Scribe line defect detection method and detection system, and storage medium

Abstract

A scribe line defect detection method, a scribe line defect detection system and a computer readable storage medium are provided. The scribe line defect detection method comprises the following steps: acquiring a first image of a plurality of scribe lines among a plurality of dies on a sample to be detected; segmenting each first image into second images of a plurality of scribe line segments according to a preset size, and stitching the second images of the scribe line segments corresponding to the scribe lines into a plurality of third images; and each third image is analyzed, so that defects on each scribe line segment of each scribe line can be detected respectively. By reconstructing the scribe line image with a large length-width ratio, the method can effectively avoid the damage of image scaling to fine defect features, thereby improving the detection rate of scribe line defects in the image.

Description

SCRIBE LINE DEFECT DETECTION METHOD AND DETECTION SYSTEM, AND STORAGE MEDIUMCROSS-REFERENCE TO RELATED APPLICATION

[0001] This application claims the priority benefit of China application serial no. 202411639706.2, filed on November 18, 2024. The entirety of the above-mentioned patent application is hereby incorporated by reference herein and made a part of this specification.TECHNICAL FIELD

[0002] The present application relates to the technical field of semiconductor manufacturing and detection, and in particular to a method for detecting a scribe line defect, a system for detecting a scribe line defect, and a computer-readable storage medium.BACKGROUND

[0003] Automatic Optical Inspection (AOI) technology is able to achieve rapid and nondestructive testing with high precision, thus has been widely applied to a plurality of fields including semiconductors, LEDs, ubiquitous semiconductors, solar panels and more. While semiconductor manufacturing relates to a plurality of various processes, including chemical mechanical planarization (CMP) , etching, deposition, and ion implantation, thus detecting, classifying, and filtering a wafer defect plays an important role in improving a yield thereof.

[0004] A conventional wafer defect detection technology is able to detect a die having a length close to a width thereof, and a processing mode to these images is generally scaling the images directly to an input size required by a model. For example, in a process method involved in patent CN111696077A, it first establishes a wafer appearance defect data set with an image data size of 640×640, then extracts a wafer defect feature through a neural network of EfficientNet, and further extracts a multi-scale feature through a Feature Pyramid Network (FPN) , before generating a region of interest (ROI) on an extracted feature map through a RPN network, and finally identifies a defect type of the ROI by a classification layer. However, such a method is only applicable to an image having an aspect ratio close to 1, while for an image having a length-to-width ratio much greater than 1, it will be necessary to scale the image, which means that a defect size will be compressed, that will definitely damage a structure of the defect, thus the method is not suitable for detecting a defect of the scribe line. In addition, if it adopts a model adapted to a specific input size of a large aspect ratio directly for training, then some defects on the scribe line, such as scratches, contamination, and edge breakage, will be more prominent under a condition having an XY-direction compression ratio inconsistent, causing an identification capability of the model being significantly reduced.

[0005] In addition, an existing patent CN116486242A, based on a small-scale phytoplankton target detection image training set, adopts two data enhancement strategies of Mosaic and Mixup to enhance a detection image. However, a Mosaic data processing measurement is performing a random cropping in a ratio, and the scaling caused by the cropping ratio may cause the defect feature to be changed, which is not suitable for the defect detection of the scribe channel. The data enhancement strategy of Mixup mixes the gray values of the two images, which may cause a specific pixel value in the image to change. Therefore, the data enhancement strategy of Mixup destroys a relative relationship between a pixel value and a background pixel in a field thereof, and destroys an original defect feature, thus the data enhancement strategy of Mixup is not suitable for detecting the defect of the scribe line either.

[0006] In order to overcome the shortcomings in the prior art as stated above, an improved scribe line defect detection method is urgently needed in the present field, which is configured to improve a detection rate of a plurality of scratch defects in a plurality of scratch images with a large aspect ratio.SUMMARY

[0007] The following presents a concise overview of one or more aspects to establish a foundational comprehension thereof. This overview is not a comprehensive overview of all aspects envisioned, and is neither intended to identify key or decisive elements of all aspects nor attempted to define the scope of any or all aspects. A sole purpose thereof is to provide a plurality of concepts of one or more aspects in a simplified form as a prelude to a more detailed description given later..

[0008] In order to overcome the above-mentioned defects in the prior art, the present application provides a scribe line defect detection method, a scribe line defect detection system, and a computer-readable storage medium. By reconstructing a plurality of scribe line images having a large aspect ratio, it is able to avoid effectively from a damage of the image scaling to a small defect feature, thereby improving a detection rate of the scribe line defect in an image.

[0009] Specifically, according to a first aspect of the present application, a scribe line defect detection method stated above comprises a plurality of following steps: acquiring a plurality of first images of a plurality of scribe lines among a plurality of dies on a sample to be detected; segmenting each of the plurality of first images into a plurality of second images of a plurality of scribe line segments according to a preset size, before stitching the plurality of second images of the plurality of scribe line segments corresponding to each of the plurality of scribe lines into a plurality of third images; and analyzing each of the plurality of third images, so as to detect a defect on each of the plurality of scribe line segments of each of the plurality of scribe lines respectively.

[0010] Further, a plurality of embodiments of the present application, wherein the step of acquiring the plurality of first images of the plurality of scribe lines among the plurality of dies on the sample to be detected, comprises: placing the sample to be detected on a moving platform of an inspection System; and moving sequentially the plurality of scribe lines among the plurality of dies on the sample to be detected to an imaging area of an imaging subsystem of the inspection System through the moving platform, so as to collect sequentially the plurality of first images of the plurality of scribe lines through the imaging subsystem.

[0011] Further, a plurality of embodiments of the present application, wherein the step of segmenting each of the plurality of first images into the plurality of second images of the plurality of scribe line segments according to the preset size, comprises: determining an amount of the plurality of scribe line segments to be segmented based on a width of the first image and a preset width of the third image; and determining a net width of each of the plurality of scribe line segments after removing an overlap area, according to a preset width of the overlap area and the amount of the plurality of scribe line segments to be segmented. The overlap area is locating between two adjacent scribe line segments; and determining a segmentation position of each of the plurality of second images based on the net width of each of the plurality of scribe line segments and the width of the overlap area, so as to perform the segmentation.

[0012] Further, in a plurality of embodiments of the present application, before the step of segmenting each of the plurality of first images into the plurality of second images of the plurality of scribe line segments according to the preset size, the detection method further comprises a plurality of following steps: detecting a width and a height of each of the plurality of first images; and rotating the first image 90 degrees clockwise or counterclockwise, in response to the width of each of the first images is smaller than the height thereof correspondingly.

[0013] Further, a plurality of embodiments of the present application, wherein the step of stitching the plurality of second images of the plurality of scribe line segments corresponding to each of the plurality of scribe lines into the plurality of third images, comprises: determining a height of an image stitching unit based on the height of the first image and a preset height of a spacing area; determining an amount of a plurality of scribe line segments being spliced in each of the plurality of third images, based on the preset height of the third image and the height of the image stitching unit; and determining a plurality of stitching positions of each of the plurality of second images in a corresponding third image, according to the height of the image stitching unit, so as to perform the stitching.

[0014] Further, a plurality of embodiments of the present application, wherein the step of analyzing each of the plurality of third images, so as to detect the defect on each of the plurality of scribe line segments of each of the plurality of scribe lines respectively, comprises: inputting each of the plurality of third images into a pre-trained deep learning model to determine a corresponding defect detection result: [y1, x1, y2, x2, cls, sco] , wherein y1, x1, y2, x2 are coordinates of two feature points of a defect in the third image, cls is a defect type having a highest predicted probability score, sco is a predicted probability score for a defect type belonging to cls; and outputting the defect type and a coordinate position of the defect, in response to the predicted probability score being greater than a preset score threshold.

[0015] Further, a plurality of embodiments of the present application, wherein the step of outputting the defect type and the coordinate position of the defect, comprises: determining and outputting a textual information of the defect type by table-lookup according to the defect type cls; and calculating and outputting a position of the defect on the sample to be detected according to the coordinates (x1, y1) and (x2, y2) of the two feature points.

[0016] Further, a plurality of embodiments of the present application, wherein the step of calculating and outputting the position of the defect on the sample to be detected according to the coordinates (x1, y1) and (x2, y2) of the two feature points, comprises: determining a first X coordinate of the defect in the first image according to the sequence number of the third image where the defect is located, together with the coordinates x1 and x2; determining a sequence number of the image stitching unit of the defect in the third image based on the coordinates y1 and y2, and further determining a first Y coordinate of the defect in the first image thereby.

[0017] Further, a plurality of embodiments of the present application, wherein the step of calculating and outputting the position of the defect on the sample to be detected according to the coordinates (x1, y1) and (x2, y2) of the two feature points, further comprises: performing an inverse rotation on the first x coordinate and the first y coordinate to determine a second x coordinate and a second y coordinate of the defect in the first image respectively, for the first image that has undergone rotation and segmentation.

[0018] Further, a plurality of embodiments of the present application, wherein the deep learning model comprises a feature extraction module, a feature fusion module, and a prediction module. A step of training the deep learning model comprises: preparing a plurality of first image samples of a plurality of scribe lines between a plurality of dies on a plurality of semiconductor samples; dividing each of the plurality of first image samples into a plurality of second image samples according to a preset size, and stitching each of the plurality of second image samples into a plurality of third image samples; labeling a plurality of true values [y1, x1, y2, x2, cls] of the plurality of defects for each of the plurality of third image samples separately, so as to construct a training set for the deep learning model. Wherein y1, x1, y2, x2 are the coordinates of the two feature points of the defect in the third image. cls is a defect type; inputting each of the plurality of third image samples into the deep learning model to be trained, to determine a plurality of predicted values of defect detection results [y1', x1', y2', x2', cls', sco'] ; and adjusting a plurality of learning parameters of the deep learning model until a difference therebetween is less than a preset loss threshold according to the predicted values and the corresponding true values thereof.

[0019] Further, a plurality of embodiments of the present application, wherein the step of stitching each of the plurality of second image samples into the plurality of third image samples, comprises: randomly selecting a preset number of the second image samples after completing the segmentation of each of the plurality of first image samples, followed by stitching into one of the third image samples, so as to expand the sample size in the training set.

[0020] Additionally, according to a second aspect of the present application, the scribe line defect detection system comprises a memory and a processor. The memory has a plurality of computer instructions stored, the processor is connected to the memory and configured to execute the computer instructions stored in the memory, to implement the scribe line defect detection method provided in the first aspect of the present application.

[0021] Further, a plurality of embodiments of the present application, wherein the detection system comprises an inspection System, the inspection System comprises a moving platform and an imaging subsystem. The moving platform is configured to carry the sample to be detected and sequentially move the plurality of scribe lines between the plurality of dies thereon to the imaging area of the imaging subsystem. The imaging subsystem is configured to sequentially capture the plurality of first images of the plurality of scribe lines.

[0022] In addition, a third aspect of the present application provides a computer-readable storage medium, having a plurality of computer instructions stored, when the plurality of computer instructions are executed by a processor, the scribe line defect detection method provided in the first aspect of the present application is implemented.BRIEF DESCRIPTION OF THE DRAWINGS

[0023] The above features and advantages of the present application can be better understood after reading the detailed description of the embodiments of the present application in conjunction with the following drawings. In the drawings, the components are not necessarily drawn to scale, and components with similar related properties or features may have the same or similar reference numerals.

[0024] FIG. 1 illustrates a schematic diagram on the structure of a scribe line defect detection system according to some embodiments of the present application.

[0025] FIG. 2 illustrates a schematic diagram on an algorithm architecture of a scribe line defect detection system according to some embodiments of the present application.

[0026] FIG. 3 illustrates a schematic diagram on a principle of a deep learning model according to some embodiments of the present application.

[0027] FIG. 4 illustrates a schematic diagram on a first image sample according to some embodiments of the present application.

[0028] FIG. 5 illustrates a schematic diagram on segmentation of a longitudinal scribe line according to some embodiments of the present application.

[0029] FIG. 6 illustrates a schematic diagram on segmented scribe line segments according to some embodiments of the present application.

[0030] FIG. 7 illustrates a schematic diagram on segmentation of a transverse scribe line according to some embodiments of the present application.

[0031] FIG. 8 illustrates a schematic diagram on a plurality of spliced third image samples according to some embodiments of the present application.

[0032] FIG. 9 illustrates a schematic diagram on a third image sample having been spliced together according to some embodiments of the present application.

[0033] FIG. 10 illustrates a schematic flow chart on an online detection phase of the scribe line defect detection method according to some embodiments of the present application.

[0034] FIG. 11 illustrates a schematic diagram on an image before detection according to some embodiments of the present application.

[0035] FIG. 12 illustrates a schematic diagram on an image after detection according to some embodiments of the present application.DESCRIPTION OF THE EMBODIMENTS

[0036] The following specific embodiments illustrate the embodiments of the present application, and those skilled in the art can easily understand other advantages and effects of the present application from the content disclosed in this specification. Although the description of the present application will be presented in conjunction with preferred embodiments, this does not mean that the features of the present application are limited to only that embodiment. On the contrary, the purpose of introducing the application in conjunction with the embodiments is to cover other options or modifications that may be extended based on the claims of the present application. In order to provide a deep understanding of the present application, the following description will include many specific details. The present application can also be implemented without using these details. In addition, in order to avoid confusion or ambiguity of the focus of the present application, some specific details will be omitted in the description.

[0037] In the description of the present application, it should be noted that unless otherwise specified and limited, the terms "installation" , "connection" , and "connection" should be broadly understood, for example, they can be fixed connections, detachable connections, or integral connections; It can be a mechanical connection or an electrical connection; It can be directly connected, indirectly connected through an intermediate medium, or connected internally between two components. For ordinary technical personnel in this field, the specific meanings of the above terms in the present application can be understood in specific situations.

[0038] In addition, the terms "up" , "down" , "left" , "right" , "top" , "bottom" , "horizontal" , and "vertical" used in the following description should be understood as the orientation shown in the paragraph and related figures. This relative term is only for ease of explanation and does not imply that the device described needs to be manufactured or operated in a specific orientation, and therefore should not be understood as limiting the present application.

[0039] It can be understood that although the terms "first" , "second" , "third" , etc. can be used here to describe various components, regions, layers, and / or parts, these components, regions, layers, and / or parts should not be limited by these terms, and these terms are only used to distinguish different components, regions, layers, and / or parts. Therefore, the first component, region, layer, and / or portion discussed below may be referred to as the second component, region, layer, and / or portion without departing from some embodiments of the present application

[0040] As mentioned hereinabove, an existing scribe line defect detection technology comprises a detection method for a die having a length and a width close to each other. A processing method for such an image is generally scaling the image into an input size required by a model directly. However, such a method is only applicable to a plurality of images with an aspect ratio close to 1. For an image having an aspect ratio much greater than 1, when it is required to be scaled, it will compress a size of a defect, that will inevitably destroy a structure of the defect, thus it is not suitable for a scribe line defect detection. In addition, if adopting a model having a specific input size adapted to a large aspect ratio directly for training, it will make a certain defect on the scribe line, such as a scratch, a stain, or an edge collapse, be more prominent, in a case of two compression ratios of both X direction and Y direction inconsistent, resulting in a significant decrease in a resolution of the model.

[0041] In addition, a Mosaic data processing measurement is performing a random cropping in a cropping ratio, and a scaling caused by the cropping ratio will cause a defect feature to change, thus it is not suitable for a scribe line defect detection. A data enhancement strategy of Mixup mixes a plurality of grayscale values of two images, which will cause a specific pixel value in the image to change. Thus the data enhancement strategy of Mixup will destroy a relative relationship between a pixel value and a background pixel in a field thereof, destroying an original defect feature, thus it is also not suitable for scribe line defect detection.

[0042] In order to overcome the above-mentioned defects in the prior art, the present application provides a scribe line defect detection method, a scribe line defect detection system, and a computer-readable storage medium. By reconstructing a plurality of scribe line images having a large aspect ratio, it is able to avoid effectively from a damage of the image scaling to a small defect feature, thereby improving a detection rate of the scribe line defect in an image.

[0043] In a plurality of non-limiting embodiments, the scribe line defect detection method stated hereinabove provided in the first aspect of the present application can be implemented based on the scribe line defect detection system stated hereinabove provided in the second aspect of the present application. The scribe line defect detection system comprises a memory and a processor. The memory comprises, but not limited to, a computer-readable storage medium provided in a third aspect of the present application, having a plurality of computer instructions stored. The processor is connected to the memory and configured to execute the computer instructions stored in the memory, to implement the scribe line defect detection method provided in the first aspect of the present application.

[0044] In addition, referencing to FIG. 1. FIG. 1 illustrates a schematic diagram on the structure of a scribe line defect detection system according to some embodiments of the present application.

[0045] In an embodiment shown in FIG. 1, the scribe line defect detection system provided by the second aspect of the present application further comprises an inspection system, the inspection system comprises a moving platform 11 and an imaging subsystem 12. The moving platform 11 is configured to carry a sample to be detected 13, and sequentially move the plurality of scribe lines between the plurality of dies thereon to the imaging area of the imaging subsystem. The imaging subsystem 12 is configured to sequentially capture the plurality of first images of the plurality of scribe lines.

[0046] Specifically, the imaging subsystem 12 comprises a light source 121, an illumination control unit 122, an imaging system 123, and a sensor 124, wherein an emitted light of the light source 121 passes through the illumination control unit 122 before forming an illumination light required for detection, and projects a light beam onto the sample to be detected 13. A reflected light or a scattered light of an illuminated area on the sample to be detected 13 is then collected by the imaging system 123, before forming a detection image via the sensor 124.

[0047] In addition, referencing to FIG. 2. FIG. 2 illustrates a schematic diagram on an algorithm architecture of a scribe line defect detection system according to some embodiments of the present application.

[0048] In an embodiment shown in FIG. 2 , the scribe line defect detection method can be divided into two parts: an offline training stage for a model and an online detection stage for the scribe line defect, which are performed independently by an offline training module 101 and an online prediction module 102 of the scribe line defect detection system operated by different behavioral subjects.

[0049] The following will first describe a working principle of the scribe line defect detection system in conjunction with some embodiments of the offline training stage of a detection model. Those skilled in the art will understand that the embodiments of these detection methods are only some non-restrictive implementation methods provided by the present application, which are intended to clearly demonstrate the main concept of the present application and provide some specific solutions that are convenient for the public to implement, rather than to limit all functions or all working modes of the detection system. Similarly, the scribe line defect detection system is also just a non-restrictive implementation method provided by the present application only, without constituting a limitation on the execution subject or the execution order of each step in the scribe line defect detection method.

[0050] Referencing to FIG. 2 and FIG. 3 together, FIG. 3 illustrates a schematic diagram on a principle of a deep learning model according to some embodiments of the present application.

[0051] In the embodiments shown in FIG. 2 and FIG. 3, the present application may first train the deep learning model 1013 in an offline training process through the offline training module 101 of the detection system, by using a plurality of third image sample 1011 having been labeled.

[0052] Specifically, the deep learning model 1013 stated above may adopt an existing deep learning model architecture, wherein comprising a feature extraction module 31, a feature fusion module 32 and a prediction module 33. Further, in some embodiments, the feature extraction module 31 can use a feature extraction network having an attention mechanism incorporated, which adds a se_block module 312 to a CSPDarknet53-Tiny network 311, configured to enhance a feature extraction of a small defect. The feature fusion module 32 can adopt a feature pyramid network FPN. The prediction module 33 may adopt a YoloHead network, wherein some convolutional layers are comprised, so as to achieve a final prediction of a detection result.

[0053] Further referencing to FIGs. 4 to 7. FIG. 4 illustrates a schematic diagram on a first image sample according to some embodiments of the present application. FIG. 5 illustrates a schematic diagram on segmentation of a longitudinal scribe line according to some embodiments of the present application. FIG. 6 illustrates a schematic diagram on segmented scribe line segments according to some embodiments of the present application. FIG. 7 illustrates a schematic diagram on segmentation of a transverse scribe line according to some embodiments of the present application.

[0054] Shown as FIG. 4, in a process of training the deep learning model stated above, the present application may first prepare a plurality of first image samples of a plurality of scribe lines between a plurality of dies on a plurality of semiconductor samples, wherein the plurality of first image samples comprise a plurality of transverse scribe lines 41 and a plurality of longitudinal scribe lines 42.

[0055] Afterwards, the present application segments each of the plurality of first image samples into a plurality of second image samples of a plurality of scribe line segments according to a preset size, before stitching the plurality of second image samples into a plurality of third image samples 1011.

[0056] Wherein the present application may first determine an amount of scolN of the plurality of scribe line segments to be divided according to a width SL_w of the first image sample and a preset width Img_W of the plurality of third image samples 1011: scolN=SL_w / / Img_W+1                 (1)

[0057] Wherein the operation “ / / ” represents a floor dividing.

[0058] Afterwards, the present application may determine a net width cutScribleL of each scribe line segment after removing an overlap area according to a preset overlap area width Overlap_W (for example, 50 pixels) and the number of the scribe line segments to be segmented scolN: cutScribleL= (SL_w- (scolN-1) ×Overlap_W)  / scolN            (2)

[0059] Wherein the overlap area is located between two adjacent scribe line segments, configured to avoid a missed detection due to a segmentation defect.

[0060] In addition, in a plurality of embodiments, the present application may further calculate a total width of the plurality of scribe line segments to avoid from being larger than an input size of the deep learning model. Specifically, in response to CutScribleL+2×Overlap_W >Img_W, it can be determined that a width of the second image sample obtained by segmentation is larger than an input size of a prediction model, so scolN is added by 1, followed by recalculating the net width cutScribleL according to a manner stated above. Wherein shown as FIG. 5 and FIG. 7, the net width CutScribleL is a length of the scribe line that is actually segmented without the overlap area, that is, the length of a white area in the scribe line segments 411～413 and the scribe line segments 421～423, while a width of a black area is a width of the overlap area Overlap_W. In this way, when the total width of the plurality of scribe line segments is larger than the input size of the deep learning model, it will be necessary to be divided into scolN+1 segments so that a total width of a plurality of re-divided scribe line segments is smaller than the input size of the deep learning model.

[0061] Those skilled in the art can understand that the embodiments stated above of arranging the overlap area between two adjacent scribe line segments are only some non-limiting implementation methods provided by the present application, which are intended to clearly demonstrate the main concept of the present application and provide some specific solutions that are convenient for the public to implement, rather than to limit the scope of protection of the present application.

[0062] Optionally, in a plurality of other embodiments, those skilled in the art may not arrange the overlap area, but directly determine the width of the plurality of scribe line segments according to the preset width of the plurality of third image samples.

[0063] Furthermore, shown as FIG. 5 and FIG. 7, the present application may determine a segmentation position offset_x1 or offset_x2 of each of the plurality of second image samples according to the net width cutScribleL of each scribe line segment and a width of the overlap area Overlap_W, so as to perform the segmentation: offset_x1= (Img_W - (cutScribleL + overlap) )  / / 2                  (3) offset_x2= (Img_W - (cutScribleL + overlap×2) )  / / 2             (4)

[0064] In addition, the embodiment shown as FIG. 5, wherein before segmenting the plurality of first image samples stated above into a plurality of scribe line segments to form the plurality of second image samples, preferably, the present application aligns all scribe lines longitudinally.

[0065] Specifically, the present application may detect both a width and a height of each of the plurality of first image samples. In response to the width of each of the plurality of first image samples being smaller than a corresponding height thereof, the present application may rotate any of the plurality of first image samples by 90° in a clockwise or counterclockwise direction to convert a longitudinal scribe line 42 into a transverse scribe line 41.

[0066] Alternatively, in a plurality of embodiments, the present application may further unify all of the plurality of scribe lines into the longitudinal direction, and in the algorithm, define a width parameter of the longitudinal scribe line 42 as SL_h, and a height parameter thereof as SL_w.

[0067] Further referencing to FIG. 8 and FIG. 9 together. FIG. 8 illustrates a schematic diagram on a plurality of spliced third image samples according to some embodiments of the present application. FIG. 9 illustrates a schematic diagram on a third image sample having been spliced together according to some embodiments of the present application.

[0068] Shown as FIG. 8 and FIG. 9, the present application may splice the plurality of second image samples of a plurality of corresponding scribe line segments of each of the plurality of scribe lines into a plurality of third image samples 1011, so as to perform a batch prediction to the plurality of scribe line segments, thereby improving prediction efficiency.

[0069] Specifically, the present application may determine a height SL_Ext_H of an image stitching unit based on a height SL_h of one of the plurality of first image samples and a preset spacing area height boundaryExt (e.g. a height of 10 pixels) , which is configured to facilitate a deep learning network to recognize the scribe line segments: SL_Ext_H=SL_+boundaryExt×2             (5)

[0070] Those skilled in the art may understand that the embodiments stated above having a spacing area 80 arranged between every two neighbored scribe line segments are only some non-limiting embodiments provided by the present application, in order to clearly demonstrate the main idea of the present application and providing a plurality of specific solutions that are convenient for the public to implement, rather than limiting the scope of protection of the present application.

[0071] Alternatively, in a plurality of other embodiments, those skilled in the art may also arrange a spacing area between two longitudinally adjacent scribe line segments only, or arrange a specific shaped dividing line between two longitudinally adjacent scribe line segments.

[0072] Further, the present application may determine a stitching amount of the plurality of scribe line segments srowN to be spliced in each of the plurality of third image samples 1011 based on a preset height Img_H of the third image sample and a height SL_Ext_H of the image stitching unit: srowN=Img_H / / SL_Ext_H               (6)

[0073] Furthermore, the present application may determine a stitching position offset_y of a first second image sample in one of the plurality of third image samples 1011 correspondingly: offset_y= (Img_H-srowN×SL_Ext_H)  / / 2        (7)

[0074] Furthermore, the present application may sequentially splice the plurality of second image samples of the corresponding scribe line segments of each scribe line from upside down, based on the stitching amount srowN and the stitching position offset_y, and fill the spacing area with black, so as to facilitate the deep learning network to recognize the scribe line segments.

[0075] Furthermore, the present application may annotate a true value [y1, x1, y2, x2, cls] of a defect data of each of the third image samples 1011 separately, so as to construct a training set of the deep learning model 1013. wherein y1, x1, y2, x2 are four coordinates of two feature points of the defect (e.g. an upper left corner and a lower right corner, or an upper right corner and a lower left corner) in the third image sample 1011, and CLS is a defect type.

[0076] Further, in a plurality of embodiments, in addition to stitching the plurality of second image samples of the corresponding scribe line segments of each scribe line, the present application may further randomly select a predetermined amount (i.e., the srowN calculated hereinbefore) of the plurality of second image samples before stitching into a third image sample 1011, followed by labeling the true value [y1, x1, y2, x2, cls] of the defect data of the third image sample 1011 as described above, to expand an amount of samples in a training set. Wherein the second image sample may be a second image sample of a plurality of scribe line segments at a plurality of different positions of a plurality of scribe lines (or even a same scribe line) .

[0077] Furthermore, the present application may encode each of the plurality of third image samples 1011 through a first scribe line encoding module 1012, before inputting into a deep learning model 1013 to be trained, so as to determine a defect detection result; and output a corresponding predicted value [y1’, x1’, y2’, x2’, cls’, sco’] by a decoding module 1014, followed by adjusting a plurality of learning parameters of the deep learning model according to the predicted value and the true value correspondingly, until a preset training times are reached, or a difference between the predicted value and the corresponding true value is less than a preset loss threshold.

[0078] In a plurality of embodiments, a model optimizer of the deep learning model 1013 may be an Adam method, with a learning rate of 0.001, a decay rate of 0.0001, a loss function set to a cross entropy loss function, a batch size of 32, and a training frequency of 200.

[0079] By performing the steps hereinabove, the skilled in the art may obtain a detection model 1023 being able to determine a coordinate, a type, and a predicted probability score of at least one of the plurality of scribe line defects based on a reconstructed third image 1021. Afterwards, the skilled in the art may store the detection model 1023 on a CD, a disk, a cloud drive, or various other storage media, for access and calling by an online detection module of the scribe line defect detection system.

[0080] The working principle of the scribe line defect detection system stated above is further stated hereinafter, with reference to some embodiments performing an online detection for the scribe line defects based on the detection model stated above. Those skilled in the art may understand that the embodiments on the detection method are only some non-limiting embodiments provided by the present application, aimed at clearly demonstrating the main idea of the present application and providing a specific solution that are convenient for the public to implement, rather than limiting all functions or working modes of the detection system. Similarly, the scribe line defect detection system is also a non-limiting embodiment provided by the present application only, instead of limiting the execution subject or the execution order of each step in the scribe line defect detection method.

[0081] Referencing to FIG. 2, FIG. 4, and FIG. 10 together. FIG. 10 illustrates a schematic flow chart on an online detection phase of the scribe line defect detection method according to some embodiments of the present application.

[0082] Shown as FIG. 2, FIG. 4, and FIG. 10, an algorithm architecture of a processor 10 of the scribe line defect detection system provided by the present application may further comprise an online prediction module 102. During a detection process for the scribe line defects in a sample 13 to be detected, the processor 10 may first obtain a plurality of first images on a plurality of scribe lines between a plurality of dies in the sample 13 to be detected. Wherein the plurality of first images comprise a plurality of longitudinal scribe lines 41 and a plurality of transverse scribe lines 42.

[0083] Specifically, a skilled in the art may place the sample 13 to be detected on a moving platform 11 of an inspection System, and through the moving platform 11, a plurality of scribe lines between a plurality of dies in the sample 13 to be detected are moved sequentially to an imaging area of an imaging subsystem 12, before the imaging subsystem 12 collecting the plurality of first images on the plurality of scribe lines sequentially.

[0084] Then, shown as FIG. 5 and FIG. 7, the processor 10 may divide each of the plurality of first images into a plurality of second images of a plurality of scribe line segments, according to a preset size. Specifically, the processor 10 may first determine an amount scolN of the plurality of scribe line segments to be segmented, based on the formula (1) stated above, according to the width SL_w of the first image and the preset width Img_W of the third image, followed by determining the net width cutScribleL of each of the plurality of scribe line segments after removing an overlap area, based on the formula (2) stated above, according to a preset width of the overlap area Overlap_W (e.g. a width of 50 pixels) and the amount scolN of the plurality of scribe line segments to be segmented. Wherein the overlap area is located between adjacent two scribe line segments, so as to avoid a missed detection caused by a segmentation defect.

[0085] In addition, in some embodiments, the processor 10 may further calculate a total width of the plurality of scribe line segments, so as to avoid the total width from being larger than an input size of the deep learning model.

[0086] Specifically, in response to CutScribleL+2×Overlap_W >Img_W, the processor 10 may determine that a width of the second image sample obtained by segmentation is larger than an input size of a prediction model, so scolN is added by 1, followed by recalculating the net width cutScribleL according to a manner stated above. Wherein shown as FIG. 5 and FIG. 7, the net width CutScribleL is a length of the scribe line that is actually segmented without the overlap area, that is, the length of a white area in the scribe line segments 411～413 and the scribe line segments 421～423, while a width of a black area is a width of the overlap area Overlap_W. In this way, when the total width of the plurality of scribe line segments is larger than the input size of the deep learning model, it will be necessary to be divided into scolN+1 segments so that a total width of a plurality of re-divided scribe line segments is smaller than the input size of the deep learning model.

[0087] Those skilled in the art may understand that the embodiment stated above of arranging the overlap area between adjacent two scribe line sections are some non-limiting embodiments provided by the present application only, aimed at clearly demonstrating the main idea of the present application and providing a plurality of specific solutions that are convenient for the public to implement, rather than limiting the scope of protection of the present application

[0088] Optionally, in a plurality of other embodiments, those skilled in the art may not arrange the overlap area, but directly determine the width of the plurality of scribe line segments according to the preset width of the plurality of third images.

[0089] Subsequently, shown as FIG. 5 and FIG. 7, the processor 10 may determine a segmentation position offset_x1 or offset_x2 on each of the plurality of second images respectively, before performing the segmentation, based on the formula (3) and the formula (4) , and according to the net width cutScribleL of each of the plurality of scribe line segments and the width of the overlap area Overlap_W.

[0090] In addition, the embodiment shown as FIG. 5, wherein before segmenting the plurality of first images stated above into a plurality of scribe line segments to form the plurality of second images, preferably, the processor 10 unifies all scribe lines longitudinally. Specifically, the processor 10 may detect both a width and a height of each of the plurality of first images. In response to the width of each of the plurality of first image samples being smaller than a corresponding height thereof, the processor 10 may rotate any of the plurality of first images by 90° in a clockwise or counterclockwise direction, so as to convert a longitudinal scribe line 42 into a transverse scribe line 41.

[0091] Alternatively, in some embodiments, the processor 10 may also unify all the plurality of scribe lines into a transverse direction, and in the algorithm, define a width parameter of the transverse scribe line as SL_h and a height parameter thereof as SL_w, so as to achieve a same effect.

[0092] Afterwards, shown as FIG. 8 and FIG. 9, the processor 10 may splice the plurality of second images of the plurality of scribe line segments correspondingly of each of the plurality of scribe lines into a plurality of third images 1021, so as to perform a batch prediction on the plurality of scribe lines, thereby improving a prediction efficiency.

[0093] Specifically, the processor 10 may determine the height SL_Ext_H of the image stitching unit according to a height SL_h of the first image and a preset height boundaryExt of a spacing area 80 (for example, a height of 10 pixels) , so as to facilitate the deep learning network to identify the scribe line segments.

[0094] Those skilled in the art may understand that the embodiments stated above having a spacing area 80 arranged between every two neighbored scribe line segments are only some non-limiting embodiments provided by the present application, in order to clearly demonstrate the main idea of the present application and providing a plurality of specific solutions that are convenient for the public to implement, rather than limiting the scope of protection of the present application.

[0095] Alternatively, in a plurality of other embodiments, those skilled in the art may also arrange a spacing area between two longitudinally adjacent scribe line segments only, or arrange a specific shaped dividing line between two longitudinally adjacent scribe line segments.

[0096] Afterwards, the processor 10 may determine the stitching amount srowN of the plurality of scribe line segments in each of the plurality of third images, based on the formula (6) stated above and according to the preset height Img_H of the third image and the height SL_Ext_H of the image stitching unit, followed by determining a stitching position offset_y of each of the plurality of second images in a corresponding third image respectively, based on the formula (7) stated above and according to the height SL_Ext_H of the image stitching unit.

[0097] Afterwards, the processor 10 may splice the plurality of second images of the corresponding scribe line segments of the scribe line according to the stitching amount srowN stated above and the stitching position offset_y, and fill the spacing area with black, so as to facilitate the deep learning network to recognize the scribe line segments.

[0098] Afterwards, the processor 10 may encode each of the plurality of third images obtained by stitching through a second scribe line encoding module 1022, before inputting into the detection model obtained by training as stated hereinbefore for an analysis, so as to detect a defect on each of the plurality of scribe line segments of each scribe line. Wherein the second scribe line encoding module 1022 may have a same encoding rule as the first scribe line encoding module 1012 in the offline training module 101.

[0099] Specifically, in response to acquiring the plurality of third images 1021, the detection model 1023 having been pre-trained may perform a neural network inference based on the plurality of third images 1021, before determining and outputting a corresponding defect detection results [y1, x1, y2, x2, cls, sco] via a corresponding decoding module 1024. Wherein the decoding module 1024 may have a same decoding rule as the scribe line decoding module 1014 in the offline training module 101. Y1, x1, y2, x2 are four coordinates of two feature points of the defect (e.g. an upper left corner and a lower right corner, or an upper right corner and a lower left corner) in the third image, cls is a defect type with a highest predicted probability score, and sco is a predicted probability score of a defect belonging to the defect type of cls.

[0100] Referencing to FIG. 11 and FIG. 12 together. FIG. 11 illustrates a schematic diagram on an image before detection according to some embodiments of the present application. FIG. 12 illustrates a schematic diagram on an image after detection according to some embodiments of the present application.

[0101] Shown as FIG. 11 and FIG. 12, in response to the predicted probability score being greater than a preset score threshold, the processor 10 may perform a table-lookup according to the defect type data cls obtained by decoding, so as to determine and output a text information of the defect type, and output the defect type of the defect. In addition, the processor 10 may also mark the third image 1021 with a box according to the coordinate positions of the two feature points.

[0102] Further, in order to facilitate a user to intuitively understand a position of the defect on the sample 13 to be detected, the processor 10 may further preferably determine two first X coordinates shift_x1 and shift_x2 of the defect in the first image according to a sequence number col_i of the third image where the defect is located, and the coordinate x1 and x2: shiift_x1=cutScribleL×col_i+overlap× (col_i-1) + (x1-offset_x)  sift_x2=sift_x1+x2-x1

[0103] Afterwards, the processor 10 may determine a sequence number row_j of the image stitching unit of the defect in the third image according to the coordinates y1 and y2: yc= (y1+y2)  / / 2 row_j= (yc-y_offset)  / / SL_Ext_H

[0104] Further afterwards, the processor 10 may determine two first Y coordinates shift_y1 and shift_y2 of the defect in the first image: shift_y1=y1-row_i×SL_Ext_H-offset_y-boundaryExt shift_y2=y2-y1+shift_y1

[0105] Furthermore, for a plurality of first images having been rotated before segmentation, preferably, the processor 10 may further reversely rotate the first X coordinate and the first Y coordinate, so as to determine two second X coordinates: Rotate_x1, Rotate_x2 and two second Y coordinates: Rotate_y1, Rotate_y2 of the defect in the first image respectively: Rotate_x1 = SL_Ext_H -shift_y2-boundaryExt Rotate_y1 = shift_x1 Rotate_x2 = rx1 + (shift_y2 -shift_y1) Rotate_y2 = ry1 + (shift_x2 -shift_x1)

[0106] Afterwards, those skilled in the art may verify an effectiveness of the scribe line defect detection method provided by the first aspect of the present application. Through a comprehensive manual inspection of various positions of the sample 13 to be detected, after training and without further parameter adjusting, the deep learning model 1013 can effectively detect small defects located on the scribe lines with an aspect ratio far greater than 1, having an average accuracy mAP of a plurality of test data more than 0.9.

[0107] Therefore, by executing the steps of analyzing the plurality of third images and converting the coordinate positions as stated above, the present application can determine the type of each defect in the plurality of scribe line images efficiently and accurately, and an exact position on the sample 13 to be detected.

[0108] Those skilled in the art will understand that the embodiments stated above of training a deep learning model using the image samples processed by a scribe line coding module before using the deep learning model to perform defect detection on each image stitching unit are some non-limiting implementation methods provided by the present application only, which are intended to clearly demonstrate the main concepts of the present application and provide some specific solutions that are convenient for the public to implement, rather than to limit the scope of protection of the present application.

[0109] Optionally, in a plurality of other embodiments, those skilled in the art may also use a common machine learning model to calculate an overall similarity of each image stitching unit in each of the plurality of third images respectively, so as to determine whether there is a defect existing in each of the plurality of image stitching unit.

[0110] In summary, the scribe line defect detection method, the scribe line defect detection system, and the computer-readable storage medium as stated above, provided by the present application, by reconstructing a plurality of scribe line images having a large aspect ratio, it is able to avoid effectively from a damage of the image scaling to a small defect feature, thereby improving a detection rate of the scribe line defect in an image.

[0111] Although the above methods are illustrated and described as a series of actions for simplicity of explanation, it should be understood and appreciated that these methods are not limited by the order of the actions, because according to one or more embodiments, some actions may occur in a different order and / or concurrently with other actions from those illustrated and described herein or not illustrated and described herein but understandable to those skilled in the art.

[0112] Those skilled in the art will appreciate that information, signals, and data may be represented using any of a variety of different technologies and techniques. For example, data, instructions, commands, information, signals, bits, symbols, and chips cited throughout the above description may be represented by voltage, current, electromagnetic waves, magnetic fields or magnetic particles, optical fields or optical particles, or any combination thereof.

[0113] Those skilled in the art will further appreciate that the various illustrative logic blocks, modules, circuits, and algorithm steps described in conjunction with the embodiments disclosed herein may be implemented as electronic hardware, computer software, or a combination of the two. To clearly illustrate this interchangeability of hardware and software, various illustrative components, blocks, modules, circuits, and steps are generally described above in terms of their functionality. Whether such functionality is implemented as hardware or software depends on the specific application and the design constraints imposed on the overall system. The technician may implement the described functionality in different ways for each specific application, but such implementation decisions should not be interpreted as resulting in a departure from the scope of the present application.

[0114] The steps of the method or algorithm described in conjunction with the embodiments disclosed herein may be embodied directly in hardware, in a software module executed by a processor, or in a combination of the two. The software module may reside in a RAM memory, a flash memory, a ROM memory, an EPROM memory, an EEPROM memory, a register, a hard disk, a removable disk, a CD-ROM, or any other form of storage medium known in the art. An exemplary storage medium is coupled to a processor so that the processor can read and write information from / to the storage medium. In an alternative, a storage medium may be integrated into a processor. The processor and the storage medium may reside in an ASIC. The ASIC may reside in a user terminal. In an alternative, the processor and the storage medium may reside in a user terminal as two discrete components.

[0115] In one or more exemplary embodiments, the functions described may be implemented in hardware, software, firmware, or any combination thereof. If implemented as a computer program product in software, each function may be stored on or transmitted by a computer-readable medium as one or more instructions or codes. Computer-readable media include both computer storage media and communication media, including any media that facilitates the transfer of a computer program from one place to another. Storage media may be any available media that can be accessed by a computer. As an example and not limitation, such a computer-readable medium may include RAM, ROM, EEPROM, CD-ROM or other optical disk storage, disk storage or other magnetic storage device, or any other medium that can be configured to carry or store the desired program code in the form of an instruction or data structure and can be accessed by a computer. Any connection is also properly referred to as a computer-readable medium. For example, if the software is transmitted from a website, server, or other remote source using a coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL) , or wireless technologies such as infrared, radio, and microwaves, the coaxial cable, fiber optic cable, twisted pair, DSL, or wireless technologies such as infrared, radio, and microwaves are included in the definition of the medium. Disk and disc as used herein include compact disc (CD) , laser disc, optical disc, digital versatile disc (DVD) , floppy disk and Blu-ray disc, where disks usually reproduce data magnetically, while discs reproduce data optically with lasers. Combinations of the above should also be included within the scope of computer-readable media.

[0116] The previous description of the disclosure is provided to enable any person skilled in the art to make or use the disclosure. Various modifications to the disclosure will be apparent to those skilled in the art, and the general principles defined herein may be applied to other variations without departing from the spirit or scope of the disclosure. Thus, the disclosure is not intended to be limited to the examples and designs described herein, but should be granted the widest scope consistent with the principles and novel features disclosed herein.

Claims

1.A scribe line defect detection method, wherein comprising:acquiring a plurality of first images of a plurality of scribe lines among a plurality of dies on a sample to be detected;determining an amount of the plurality of scribe line segments to be segmented based on a width of the first image and a preset width of a third image to be spliced, and determining a net width of each of the plurality of scribe line segments;segmenting each of the plurality of first images into a plurality of second images of a plurality of scribe line segments according to the net width of each of the plurality of scribe line segments;determining a height of an image stitching unit based on a height of the first image;determining an amount of the plurality of scribe line segments to be spliced in each of the plurality of third images, based on a preset height of the third image and a height of the image stitching unit;determining a stitching position of each of the plurality of second images in a corresponding third image, so as to splice the plurality of second images of a corresponding scribe line segment of each scribe line into a plurality of third images, based on the height of the image stitching unit; andanalyzing each of the plurality of third images, so as to detect a defect on each of the plurality of scribe line segments of each of the plurality of scribe lines respectively.2.The detection method according to claim 1, wherein the step of acquiring the plurality of first images of the plurality of scribe lines among the plurality of dies on the sample to be detected, comprising:placing the sample to be detected on a moving platform of an inspection System; andmoving sequentially the plurality of scribe lines among the plurality of dies on the sample to be detected to an imaging area of an imaging subsystem of the inspection System through the moving platform, so as to collect sequentially the plurality of first images of the plurality of scribe lines through the imaging subsystem.3.The detection method according to claim 1, wherein the step of determining the net width of each of the plurality of scribe line segments, comprising: determining the net width of each of the plurality of scribe line segments after removing an overlap area, according to a preset width of the overlap area, and an amount of the plurality of scribe line segments to be segmented, wherein the overlap area is located between adjacent two scribe line segments;the step of segmenting each of the plurality of first images into the plurality of second images of the plurality of scribe line segments according to the preset size, comprising: determining a segmentation position of each of the plurality of second images based on the net width of each of the plurality of scribe line segments and the width of the overlap area, so as to perform the segmentation.4.The detection method according to claim 3, wherein before performing the segmentation, further comprising:detecting a width and a height of each of the plurality of first images; androtating the first image 90 degrees clockwise or counterclockwise, in response to the width of each of the first images is smaller than the height thereof correspondingly.5.The detection method according to claim 3, wherein the step of determining the height of the image stitching unit based on the height of the first image, comprising:determining the height of the image stitching unit based on the height of the first image and a preset height of a spacing area.6.The detection method according to claim 5, wherein the step of analyzing each of the plurality of third images, so as to detect the defect on each of the plurality of scribe line segments of each of the plurality of scribe lines respectively, comprising:inputting each of the plurality of third images into a pre-trained deep learning model to determine a corresponding defect detection result: [y1, x1, y2, x2, cls, sco] , wherein y1, x1, y2, x2 are coordinates of two feature points of a defect in the third image, cls is a defect type having a highest predicted probability score, sco is a predicted probability score for a defect type belonging to cls; andoutputting the defect type and a coordinate position of the defect, in response to the predicted probability score being greater than a preset score threshold.7.The detection method according to claim 6, wherein the step of outputting the defect type and the coordinate position of the defect, comprising:determining and outputting a textual information of the defect type by table-lookup according to the defect type cls; andcalculating and outputting a position of the defect on the sample to be detected according to the coordinates (x1, y1) and (x2, y2) of the two feature points.8.The detection method according to claim 7, wherein the step of calculating and outputting the position of the defect on the sample to be detected according to the coordinates (x1, y1) and (x2, y2) of the two feature points, comprising:determining a first X coordinate of the defect in the first image according to the sequence number of the third image where the defect is located, together with the coordinates x1 and x2; determining a sequence number of the image stitching unit of the defect in the third image based on the coordinates y1 and y2, and further determining a first Y coordinate of the defect in the first image thereby.9.The detection method according to claim 8, wherein the step of calculating and outputting the position of the defect on the sample to be detected according to the coordinates (x1, y1) and (x2, y2) of the two feature points, further comprising:performing an inverse rotation on the first x coordinate and the first y coordinate to determine a second x coordinate and a second y coordinate of the defect in the first image respectively, for the first image that has undergone rotation and segmentation.10.The detection method according to claim 6, wherein the deep learning model comprises a feature extraction module, a feature fusion module, and a prediction module; a step of training the deep learning model comprising:preparing a plurality of first image samples of a plurality of scribe lines between a plurality of dies on a plurality of semiconductor samples;dividing each of the plurality of first image samples into a plurality of second image samples according to a preset size, and stitching each of the plurality of second image samples into a plurality of third image samples;labeling a plurality of true values [y1, x1, y2, x2, cls] of the plurality of defects for each of the plurality of third image samples separately, so as to construct a training set for the deep learning model. Wherein y1, x1, y2, x2 are the coordinates of the two feature points of the defect in the third image. cls is a defect type;inputting each of the plurality of third image samples into the deep learning model to be trained, to determine a plurality of predicted values of defect detection results [y1', x1', y2', x2', cls', sco'] ; andadjusting a plurality of learning parameters of the deep learning model until a difference therebetween is less than a preset loss threshold according to the predicted values and the corresponding true values thereof.11.The detection method according to claim 10, wherein the step of stitching each of the plurality of second image samples into the plurality of third image samples, comprising:randomly selecting a preset number of the second image samples after completing the segmentation of each of the plurality of first image samples, followed by stitching into one of the third image samples, so as to expand the sample size in the training set.12.A scribe line defect detection system, wherein comprising:a memory, having a plurality of computer instructions stored; anda processor, connecting to the memory, and configured to execute the computer instructions stored in the memory, to implement the scribe line defect detection method according to any one of claims 1～11.13.The scribe line defect detection system according to claim 12, wherein further comprising an inspection System, the inspection System comprising:a moving platform, configured to carry the sample to be detected, and sequentially move the plurality of scribe lines between the plurality of dies thereon to an imaging area of an imaging subsystem; andthe imaging subsystem, configured to sequentially capture the plurality of first images of the plurality of scribe lines.14.A computer-readable storage medium, having a plurality of computer instructions stored, wherein when the plurality of computer instructions are executed by a processor, the scribe line defect detection method according to any one of claims 1～11 is implemented.

Images