Method for automatic focal plane location

Abstract

An automatic focal plane location method, comprising: acquiring, in a first field of view, a first image set of a first target thickness of a sample, wherein the first target thickness is divided into or comprises a plurality of layers spaced apart from each other by a first step size in a vertical direction, wherein the first image set comprises images of the layers within the first target thickness of the sample in the first field of view; calculating focus values of the images of the first image set; determining a first peak focus value among the focus values of the images of the first image set; and determining a first focal plane to be a position of a layer among the layers within the first target thickness of the sample in the first field of view that has the first peak focus value.

Description

METHOD FOR AUTOMATIC FOCAL PLANE LOCATIONFIELD

[0001] The present disclosure relates to a system and method for automatic focal plane location. More particularly, the present disclosure relates to a system and method for automatic focal plane location of a microscope-based system with image-guided microscopic illumination.BACKGROUND

[0002] There are needs in illuminating patterns on samples (e.g. biological samples) at specific locations. Processes such as photobleaching of molecules at certain subcellular areas, photoactivation of fluorophores at a confined location, optogenetics, light-triggered release of reactive oxygen species within a designated organelle, or photoinduced labeling of proteins in a defined structure feature of a cell all require pattern illumination. For certain applications, the pattern of the abovementioned processes may need to be determined by a microscopic image. Some applications further need to process sufficient samples, adding the high-content requirement to repeat the processes in multiple regions. Systems capable of performing such automated image-based localized photo-triggered processes are rare.

[0003] US11,265,449 patent discloses a microscope-based system and method for illuminating varying patterns through a large number of fields of view (hereafter sometimes referred to as “FOV” ) consecutively at a high speed. The system and method meet the above needs.

[0004] A critical point of a precision optical instrument is to locate (find and / or decide) a focal plane during operation. And an auto-focus function to locate the focal plane automatically is certainly a must in the above system due to the high-content and high-speed demands. The known prior art for the auto-focus function is an extra light source reflection method. An extra optical set comprising at least a light source and a detector is added for this purpose to the microscope, such as the Perfect Focus System (PFS) from the Instruments Inc., or the Continuous Reflective Interface Sample Placement (CRISP) from ASI (Applied Scientific Instrumentation Inc. ) . An extra light source (near-infrared 870-nanometer LED) is added to the microscope to provide light to travel through the objective and be incident on a sample (a coverslip shown in the figure in this illustration) , while a detector (CCD line sensor) is added to receive the light reflected by the sample (the glass surface of a slide, or the coverslip in this illustration) . The PFS maintains focus by detecting and tracking the position of the glass surface in real time. An optical offset technology is used to maintain focus at a desired position offset from the glass surface. The detecting of the position of the glass surface may be facilitated by the assistance of the offset lens.

[0005] However, for the above system, due to the high-content and high-speed demands, a high-performance auto-focus function is needed to provide a faster and / or more accurate method to locate the focal plane, particularly in consideration of the frequent and fast transfer between different fields of view (FOVs) . Therefore, a method for automatic focal plane location is needed to address this issue.SUMMARY

[0006] The disclosure provides an automatic focal plane location method, comprising: acquiring, in a first field of view, a first image set of a first target thickness of a sample, wherein the first target thickness is divided into or comprises a plurality of layers spaced apart from each other by a first step size in a vertical direction, wherein the first image set comprises images of the layers within the first target thickness of the sample in the first field of view; calculating focus values of the images of the first image set; determining a first peak focus value among the focus values of the images of the first image set; and determining a first focal plane to be a position of a layer among the layers within the first target thickness of the sample in the first field of view that has the first peak focus value.

[0007] In some embodiments, further comprising: determining and setting two of three parameters selected from the group consisting of the first step size, a number of the layers, and the first target thickness, wherein the first step size multiplied by the number of the layers equals the first target thickness, or the first step size multiplied by (the number of the layers minus one) equals the first target thickness.

[0008] In some embodiments, wherein calculating the focus values of the images comprises performing an algorithm on the images of the first image set, wherein the algorithm comprises one or more of: a Laplacian operator, a Sobel operator, aTenengrad method, a Sum of Modified Laplacian (SML) , a Brenner algorithm, anormalized variance, and an Energy ofHigh-frequency analysis on Fourier transform.

[0009] In some embodiments, wherein determining the first peak focus value among the focus values of the images of the first image set comprises choosing an extreme value among the focus values of the images of the first image set or performing a derivative calculation on a curve of the focus values.

[0010] In some embodiments, further comprising: prior to acquiring the first image set, performing an optical detection method to determine a reference focal plane; and based on the reference focal plane, determining a placement of the first target thickness relative to the reference focal plane.

[0011] In some embodiments, wherein the position of the reference focal plane is between a top end and a bottom end of the first target thickness along the vertical direction.

[0012] In some embodiments, wherein the optical detection method comprises: setting a position of an objective along the vertical direction; projecting a detecting light and optically detecting a position of a surface of a reference object on a stage; calculating an offset related to a distance between the position of the objective and the position of the surface of the reference object; and adjusting one of the position of the objective and the position of the stage to maintain the offset when the distance between the position of the objective and the position of the surface of the reference object changes.

[0013] In some embodiments, wherein the optical detection method is a real time operation, and the method further comprises: stopping the optical detection method after the reference focal plane is determined, and prior to acquiring the first image set.

[0014] In some embodiments, further comprising: determining, in a second field of view, a placement of a second target thickness for a second image set of the sample based on a position of the first focal plane along the vertical direction; acquiring, in the second field of view, the second image set of the second target thickness of the sample, wherein the second target thickness is divided into or comprises a plurality of layers spaced apart from each other by a second step size in the vertical direction, wherein the second image set comprises images of the layers within the second target thickness of the sample in the second field of view; calculating focus values of the images of the second image set; determining a second peak focus value among the focus values of the images of the second image set; and determining a second focal plane to be a position of a layer among the layers within the second target thickness of the sample in the second field ofview that has the second peak focus value.

[0015] In some embodiments, wherein the determining the placement of the second target thickness of the sample is performed such that a position of a middle layer of the layers or a middle position within the second target thickness of the sample is the same as the position of first focal plane in the vertical direction.

[0016] In some embodiments, wherein the second target thickness, a number of the layers within the second target thickness, and the second step size are the same as the first target thickness, a number of the layers within the first target thickness, and the first step size, respectively.

[0017] In some embodiments, further comprising: in the step of determining the first peak focus value among the focus values of the images of the first image set, in response to a peak focus value not being found, adding a region of an additional thickness to the first target thickness, wherein the additional thickness is divided into or comprises a plurality of layers spaced apart from each other by the first step size in the vertical direction; acquiring, in the first field of view, a second image set of the additional thickness of the sample; calculating focus values of the images of the second image set; determining a second peak focus value among the focus values of the images of the second image set or the second image set in combination with the first image set; and determining a second focal plane to be a position of a layer among the layers within the additional thickness of the sample or a layer among the layers within the additional thickness and the first target thickness of the sample in the first field ofview that has the second peak focus value.

[0018] In some embodiments, further comprising: in response to a peak value not being found, further determining whether there is a trend among the focus values of the images of the first image set; and in response to there is a trend among the focus values of the images of the first image set, determining an increasing direction of the trend, wherein the additional thickness is added to the first target thickness along the increasing direction of the trend.

[0019] In some embodiments, wherein the additional thickness is smaller than the first target thickness along the vertical direction.

[0020] The disclosure provides a method, comprising: acquiring, in a first field of view, a first image set of a first target thickness of a sample, wherein the first target thickness is divided into or comprises a plurality of layers spaced apart from each other by a first step size in a vertical direction, wherein the first image set comprises images of the layers within the first target thickness of the sample in the first field ofview; calculating focus values of the images of the first image set; choosing two layers of the layers within the first target thickness that have higher focus values than other layers within the first target thickness; setting a distance between the two layers as a second target thickness; acquiring, in the first field of view, a second image set of the second target thickness of the sample, wherein the second target thickness is divided into a plurality of layers spaced apart from each other by a second step size in the vertical direction, wherein the second image set comprises images of the layers within the second target thickness of the sample in the first field of view; calculating focus values of the images of the second image set; determining a peak focus value among the focus values of the images of the second image set; and determining a focal plane to be a position of a layer among the layers within the second target thickness of the sample in the first field of view that has the peak focus value.

[0021] In some embodiments, further comprising: determining and setting two of three parameters selected from the group consisting of the first step size, a number of the layers within the first target thickness, and the first target thickness, wherein the first step size multiplied by the number of the layers within the first target thickness equals the first target thickness, or the first step size multiplied by (the number of the layers within the first target thickness minus one) equals the first target thickness; determining and setting one of two parameters selected from the group consisting of the second step size, and a number of the layers within the second target thickness, wherein the second step size multiplied by the number of the layers within the second target thickness equals the second target thickness, or the second step size multiplied by (the number of the layers within the second target thickness minus one) equals the second target thickness.

[0022] In some embodiments, further comprising: prior to the step of determining the peak focus value among the focus values of the images of the second image set, determining whether the second step size is smaller than or equal to a predetermined value, wherein determining the peak focus value among the focus values of the images of the second image set is performed in response to the second step size is smaller than or equal to the predetermined value.

[0023] In some embodiments, further comprising: in response to the second step size is not smaller than or equal to a predetermined value, choosing two layers of the layers within the second target thickness that have higher focus values than other layers within the second target thickness; setting a distance between the two layers within the second target thickness as a third target thickness; acquiring, in the first field of view, a third image set of the third target thickness of the sample, wherein the third target thickness is divided into a plurality of layers spaced apart from each other by a third step size in the vertical direction, wherein the third image set comprises images of the layers within the third target thickness of the sample in the first field of view; calculating focus values of the images of the third image set; determining a peak focus value among the focus values of the images of the third image set; and determining a focal plane to be a position of a layer among the layers within the third target thickness of the sample in the first field ofview that has the peak focus value.

[0024] In some embodiments, wherein the third step size is smaller than or equal to the predetermined value.

[0025] In some embodiments, wherein the predetermined value is a desired resolution value set by a user or a machine limit resolution value, and the desired resolution value set by the user is greater than or equal to the machine limit resolution value.

[0026] These and other features, aspects, and advantages of the present disclosure will become better understood with reference to the following description and appended claims.

[0027] It is to be understood that both the foregoing general description and the following detailed description are by examples, and are intended to provide further explanation of the disclosure as claimed.BRIEF DESCRIPTION OF THE DRAWINGS

[0028] A better understanding of the features and advantages of the system and method described herein will be obtained by reference to the following detailed description that set forth illustrative embodiments, and the accompanying drawings ofwhich:

[0029] FIG. 1A shows a schematic diagram of an imaging-guided microscope-based system.

[0030] FIG. 1B shows the optical path and detailed components of the imaging-guided microscope-based system ofFIG. 1A.

[0031] FIG. 2 shows an overview of the method according to some embodiments of the present disclosure.

[0032] FIG. 3A shows an Image-focus method according to some embodiments of the present disclosure.

[0033] FIG. 3B and FIG. 3C show exemplary focus functions of the Image-focus method according to some embodiments of the present disclosure.

[0034] FIG. 4A shows a flow diagram of the steps for Image-focus manual setting.

[0035] FIGS. 4B shows a flow diagram of the steps for Image-focus automated process.

[0036] FIG. 5A shows a flow diagram of the steps for optical detection manual setting.

[0037] FIG. 5B shows a flow diagram of the steps for optical detection automated process.

[0038] FIG. 6 shows a mix-mode method according to some embodiments of the present disclosure.

[0039] FIG. 7 shows a flow diagram of a multi-step Image-focus method according to some embodiments of the present disclosure.

[0040] FIG. 8 shows a flow diagram of the multi-step Image-focus method.

[0041] FIG. 9 shows a panning method according to some embodiments of the present disclosure.

[0042] FIG. 10 shows a flow diagram of the panning method.

[0043] FIG. 11 shows an extrapolating method according to some embodiments of the present disclosure.

[0044] FIG. 12 shows a flow diagram of the extrapolating method.

[0045] Note that, in accordance with standard practice in the industry, various features are not drawn to scale. In fact, the dimensions of various features may be arbitrarily increased or decreased for clarity of discussion.DETAILED DESCRIPTION

[0046] The following disclosure provides many different embodiments or examples for implementing different features of the subject matter provided. Specific examples of components and configurations are described below to simplify the disclosure. Of course, these are merely examples and are not intended to be limiting. For example, in the following description, the formation of a first feature above or on a second feature may include embodiments in which the first and second features are formed in direct contact, and may also include embodiments in which additional features may be formed between the first and second features so that the first and second features are not in direct contact. In addition, in various examples, the disclosure may repeat reference numbers and / or letters. This repetition is for the purpose of simplicity and clarity and does not, in itself, dictate the relationship between the various embodiments and / or configurations discussed.

[0047] Spatially relative terms, such as “beneath, ” “below, ” “lower, ” “above, ” “upper” and the like, may be used herein for ease of description to describe one element or feature's relationship to another element (s) or feature (s) as illustrated in the figures. It will be understood that the spatially relative terms are intended to encompass different orientations of the device in use or operation in addition to the orientation depicted in the figures. For example, if the device in the figures is turned over, elements described as “below” or “beneath” other elements or features would then be oriented “above” the other elements or features. Thus, the exemplary term “below” can encompass both an orientation of above and below. The device may be otherwise oriented (rotated 90 degrees or at other orientations) and the spatially relative descriptors used herein interpreted accordingly.

[0048] In view of the foregoing objectives, the present disclosure discloses a system for automatic focal plane location and a method thereof.

[0049] FIG. 1A shows a schematic diagram of an imaging-guided microscope-based system. FIG. 1B shows the optical path and detailed components of the imaging-guided microscope-based system ofFIG. 1A.

[0050] The microscope-based system of one embodiment comprises a microscope 10, an imaging assembly 12 coupled to the microscope 10, an illuminating assembly 11 coupled to the microscope 10, and a processing module 13a coupled to the microscope 10, the imaging assembly 12 and the illuminating assembly 11. In some embodiments, the imaging assembly 12 and the illuminating assembly 11 may be coupled as well.

[0051] The microscope 10 comprises an objective 102 and a stage 101 in association with the objective 102. The stage 101 is configured to be loaded with a sample S. In some embodiments, the sample S may include a plurality of labeling targets, in which the method is configured to determine a focal plane in regards to the labeling targets.

[0052] The imaging assembly 12 may comprise a (controllable) camera 121, an imaging light source 122, a focusing device 123, and a first shutter 124 coupled to the imaging light source 122. In one embodiment, the focusing device 123 is coupled to the camera 121 and controlled to facilitate an autofocusing process during imaging of the sample S. In one embodiment, an optical detection main structure (not shown) that includes an extra light source (near-infrared 870-nanometer LED) , a detector (CCD line sensor) , and an offset lens can be integrated into the microscope 10 as the focusing device 123. For example, the extra light source (near-infrared 870-nanometer LED) , the detector (CCD line sensor) , and the offset lens of the optical detection structure are set to the nearby position under the objective 102, and a discrete optical detection processor is used to control the offset lens and calculate an optical detection offset.

[0053] The illuminating assembly 11 may comprise an illumination light source 111 and a pattern illumination device 117 coupled to the illumination light source 111. In one embodiment, the illumination light source 111 may be a laser. In one embodiment, the pattern illumination device 117 may include a second shutter 112, a lens module 113 (such as the relay lens 113a and 113b coupled to each other, and a quarter wave plate 113c coupled to the relay lens 113b) coupled to the second shutter 112, at least a pair of scanning mirrors 115 coupled to the lens module 113 and a scan lens 116 coupled to the scanning mirrors 115. In some embodiments, the relay lens 113a and 113b may have different thickness and same shape. For example, the thickness of relay lens 113a may be greater than that of the relay lens 113b and the relay lens 113a and 113b both have oval shapes. On the other side, the quarter wave plate 113c may have a different shape than those of the relay lens 113a and 113b. For example, the quarter wave plate 113c may have a rectangular shape. Alternatively, DMD or SLM can be used as the pattern illumination device 117.

[0054] In this embodiment, the processing module 13a is coupled to the microscope 10, the imaging assembly 12, and the illuminating assembly 11. In some embodiments, the processing module 13a can be a computer, a workstation, or a central processing unit (CPU) of a computer, which is capable of executing a program designed for operating this system.

[0055] The processing module 13a controls the imaging assembly 12 such that the camera 121 acquires at least one image of the sample S of a first field of view, and the image or images are transmitted to the processing module 13a and processed by the processing module 13a automatically in real-time based on a predefined criterion, so as to determine an interested region (or focal plane) in the sample S and so as to obtain a coordination information regarding the interested region. Later, the processing module 13a may control the pattern illumination device 117 of the illuminating assembly 11 to illuminate the interested region of the sample S according to the received coordination information regarding to the interested region. Also, after the interested region of the first field of view is fully illuminated, the processing module 13a controls the stage 101 of the microscope 10 to move to a second field of view which is subsequent to the first field of view.

[0056] FIG. 2 shows an overview of the method according to some embodiments of the present disclosure. Shown there is a method M1. The method M1 starts with step S11, a manual setting. In some embodiments, the user of the microscope-based system needs to input and set necessary conditions for the automation of the method to be executed. And then the method M1 proceeds to step S12 where process automation starts. Once the step S12 is complete, the method M1 proceeds to step S13 where process automation ends. After the process automation ends, a focal plane is located, or in some cases, a field of view (FOV) is skipped without any calculation for location of the focal plane. Afterwards, the method ends. In one embodiment, the input or set in the step S11 of the method M1 can be received by the processing module 13a, and the automation in the step S12 of the method M1 can be executed by the processing module 13a or under the control of the processing module 13a. In another embodiment, instead, a controller can be extra set and discrete from the processing module 13a, or be integrated to the processing module 13a, to function the same or partly.

[0057] [Image-focus method]

[0058] FIG. 3A shows an Image-focus method according to some embodiments of the present disclosure. FIG. 3B and FIG. 3C show exemplary focus functions of the Image-focus method according to some embodiments of the present disclosure. FIG. 4A shows a flow diagram of the steps for Image-focus manual setting. FIGS. 4B shows a flow diagram of the steps for Image-focus automated process. The Image-focus method described herein can be the method M1 as discussed above.

[0059] Reference is made to FIGS. 3A and 4A. In an image-focus method, as mentioned in FIG. 2, the manual setting (e.g., the step S11 of Fig. 2) may be performed. In FIG. 3A, a target thickness of the sample S is divided to comprise multiple layers in a z-direction. Here, the z-direction is a vertical direction. In FIG. 4A, during the manual setting, the user is requested to input and set necessary conditions for the following automation of the method to be executed. This Image-focus manual setting requires a manual setting to input two of three parameters selected from the group consisting of a step size, a number of layers, and a target thickness, in which the step size multiplied by (the number of the layers minus one) equals the target thickness.

[0060] Reference is made to FIG. 4A. In some embodiments, the step S11 ofFIG. 2 can be a step S110, manual setting of step size and layer number, and thus the total thickness of the target thickness can be calculated. In other embodiments, the step S11 of FIG. 2 can be a step S112, manual setting of total thickness and layer number, and thus the step size can be calculated. In some embodiments, for example, when the top layer and the bottom layer are respectively located at the top end and the bottom end of the total thickness along the vertical direction, the step size multiplied by (the layer number-1) equals the total thickness of the target thickness. For example, in one embodiment, the step size is 0.5μm, the layer number is 21, which means 20 step sizes in the layers, and the total thickness is 10μm (0.5μm x (21-1) ) . In this example, the 1st layer is coincidently located at position of the top end of the total thickness, and the 21st layer is coincidently located at position of the bottom end of the total thickness along the vertical direction. In some embodiments, an odd number of layers is preferred, but not a limitation.

[0061] Reference is then made to FIGS. 3A to 3C, and 4B. Once the manual setting is complete, the information of the step size, the layer number, and the total thickness is obtained. Then, an Image-focus automated process (e.g., the step S12 of FIG. 2) is performed. The step S12 of FIG. 2 can include a step S120, a step S122, and a step S124 as shown in FIG. 4B. In FIG. 4B, the Image-focus automated process starts with step S120 by taking image for each layer. For example, the camera 121 takes an image for each layer in the target thickness, and then an image set including the image of each layer is obtained. Then, the method proceeds to step S122 by calculating a focus value of the image of each layer by a focus function. For example, the processing module 13a calculates a focus value of the image of each layer in the image set by a focus function.

[0062] The focus function is an algorithm to process the image of each layer in a mathematical way, such as with a Laplacian operator (FIG. 3B) or a Sobel operator (FIG. 3C) , to obtain a value or a vector as the focus value for one image. Please refer to FIG. 3B, in the Laplacian operator, symbol refers to the gradient of a two-dimensional function f, and symbol x and symbol y refers to a point (x, y) in a coordinate space; the leading symbol refers to the divergence, which produces a scalar value when applied to a vector field. Please refer to FIG. 3C, the Sobel operator uses two 3×3 kernels which are convolved with the original image to calculate approximations of the derivatives–one for horizontal changes (Gx) , and one for vertical changes (Gy) . The image data calculated by the operators turn into features of the image. In other words, the operators may be deemed as feature extractors. The image with its image data calculated by the operator is turned into another image with features and substantially still has same geometric composition (appearance, look) as the original image, but represented by different values. In one embodiment, the values for different directions of Sobel operator results are further calculated by square root of sum of squares for the focus value for the image, i.e., substantially a Tenengrad method. In addition to the Laplacian operator or the Sobel operator, the focus function may also include Sum of Modified Laplacian (SML) , Brenner algorithm, normalized variance, and Energy ofHigh-frequency analysis on Fourier transform.

[0063] After calculating the focus value for every layer by the focus function, the method proceeds to step S124 by comparing the focus values to choose a focal plane. For example, the processing module 13a compares the focus values of the images of the layers in the image set to choose a focal plane. In some embodiments, the processing module 13a performs a comparing method to the focus values to choose the focal plane of the current field of view.

[0064] In some embodiments, the comparing method can choose a peak value based on an extreme value (e.g., a peak value such as a maximum value or a minimum value, depending on a setting of the operator or the calculation of the focus function) among the focus values of the images in the image set. In some embodiments, the focal plane is determined to be a position of a layer within the target thickness that has the extreme focus value (or the peak value) .

[0065] In other embodiments, the comparing method can perform a derivative calculation on a curve of the focus values and find where the derivative is zero, among the focus values of the images. In some embodiments, the focal plane is determined to be a position of a layer within the target thickness that has the zero derivative (or the smallest derivative) .

[0066] In one embodiment, the second step S122 and the third step S124 in FIG. 4B may be carried out through an AI model. For example, first, the images taken for the layers in the first step S120 go through the second step S122 and the third step S124, and the focal plane is accordingly decided. Then, these images along with the corresponding image of the focal plane are used as training data to train the AI model. After being trained, the trained AI model is used to replace the second step S122 and the third step S124 in FIG. 4B to locate the focal plane.

[0067] [Optical detection method]

[0068] FIG. 5A and FIG. 5B illustrate one embodiment of the present disclosure called the optical detection method. FIG. 5A shows a flow diagram of the steps for optical detection manual setting. FIG. 5B shows a flow diagram of the steps for optical detection automated process. In some embodiments, the optical detection method may be the aforementioned Perfect Focus System (PFS) method, while other suitable method can also be applied. In this method, similar as the method M1 mentioned in FIG. 2, the process starts with a step S210, a manual setting of z-position. The user is requested to manually adjust the objective 102 to a z-position. In most applications of the microscope-based system, the user manually adjusts the objective 102 to a z-position related to the stage 101 to locate the focal plane by his observation through an eyepiece of the microscope-based system. That is, the objective 102 is adjusted to a z-position where the user observes a target in the sample S clearly. Accordingly, when the target in the sample S is clear, a reference focal plane is determined.

[0069] Then, the method proceeds to step S212 by applying the z-position to an optical detection processer (e.g., a PFS processer) . In some embodiments, the processer can be the processing module 13a and / or a discrete optical detection processor. Accordingly, as mentioned in FIGS. 1A and 1B, a detector of the optical detection receives the light reflected from a surface of a reference object on the stage 101 (e.g., the glass surface of a slide or a coverslip) , and the processing module 13a or the discrete optical detection processor can determine the position of the surface of a reference object on the stage 101.

[0070] Then, the method proceeds to step S214 by calculating an offset. For example, the processing module 13a or the discrete optical detection processor calculates an offset, in which the offset is related to a distance between the position of the objective 102 and the position of the surface of the reference object on the stage 101.

[0071] Afterwards, an optical detection automated process starts (e.g., the step S12 of Fig. 2) . As shown in FIG. 5B, the optical detection automated process starts with step S220 by detecting the change of the distance between the objective and the surface of the reference object. For example, the detector projects a detecting light and the detector optically detecting the position of the surface of the reference object on the stage 101. Specifically, when the x, y-position of the stage 101 changes, such as moving to a different position or a different field of view (FOV) , the distance between the objective and the surface of the reference object on the stage 101 may change. In one embodiment, the surface of the reference object may be a glass surface of a slide or a coverslip for the sample on the stage 101.

[0072] Then, the method proceeds to step S222 by adjusting the z-position of the objective or the stage 101 to maintain the distance between the objective and the surface of the reference object on the stage 101 to be the same by keeping the offset as the same as the value previously set in step S214. Stated in another way, the processing module 13a or the discrete optical detection processor maintains the offset when the distance between the objective and the surface of the reference object changes. Accordingly, the reference focal plane is thereby re-located, and the process ends. In some embodiments, the optical detection method is a real time operation. That is, the processing module 13a or the discrete optical detection processor may keep adjusting the distance between the objective and the surface of the reference object on the stage 101 by keeping the offset the same.

[0073] [Mix-mode method]

[0074] FIG. 6 illustrates one embodiment of the present disclosure called the Mix-mode method. Shown there is a method M2. The method M2 is similar to the method M1 as described above, which includes a manual setting step, a process automation start step, and a process automation end step. In method M2, a manual setting is firstly requested. The user is requested to manually select one of the auto-focus options op1, op 2, and op3, in which the option op1 is the “Optical detection only” , the option op2 is the “Image-focus only” , and the option op3 is the “Optical detection+Image-focus” . Once the auto-focus option has been selected, corresponding steps follow subsequently.

[0075] If the option op1 of “Optical detection only” is selected, the microscope-based system uses only the optical detection method illustrated above to locate the focal plane. If the option op2 of “Image-focus only” is selected, the microscope-based system uses only the Image-focus method illustrated above to locate the focal plane. If the option op3 of “Optical detection+Image-focus” is selected, the microscope-based system uses both the Optical detection method and the Image-focus method to locate the focal plane.

[0076] The Optical detection method is faster than the Image-focus method since the Image-focus method involves the image-taking for each layer and computation. But the Image-focus method can get a more accurate focal plane after the computation and comparison. Therefore, this Mix-mode method allows the users to optionally choose a suitable option depending on their application. The “Optical detection+Image-focus” may be a moderate option between the “Optical detection only” and the “Image-focus only” when the manual setting of the Image-focus method used therein is properly set, for example, as a Multi-step Image-focus method illustrated later.

[0077] When the option op1 of “optical detection only” is selected, as shown in FIG. 6, the method proceeds to step S302 where optical detection manual setting for the automation process as illustrated in FIG. 5A is firstly performed, and then the method proceeds to step S304 where the automated process, i.e., the optical detection automated process as illustrated in FIG. 5B, starts. The automation process is executed for different positions or fields ofview (FOVs) . And the automated process and the method end.

[0078] When the option op2 of “Image-focus only” is selected, as shown in FIG. 6, the method proceeds to step S312 where the Image-focus manual setting for the automation process as illustrated in FIG. 4A is firstly performed, and then the method proceeds to step S314 where the automated process, i.e., the Image-focus automated process as illustrated in FIG. 4B, starts. The automation process is executed for different positions or fields of view (FOVs) . And the automated process and the method end.

[0079] When the option op3 of “Optical detection+Image-focus” is selected, as shown in FIG. 6, the method proceeds to step S322 where optical detection manual setting for the automation process as illustrated in FIG. 5A and the Image-focus manual setting for the automation process as illustrated in FIG. 4A are firstly performed, and then the method proceeds to steps S324, S326, and S328 where the automated process starts. In step S324, the optical detection automated process as illustrated in FIG. 5B is executed firstly, so as to obtain a reference focal plane. Once the reference focal plane is determined, the method proceeds to step S326 where the optical detection is stopped. In some embodiments, the optical detection state is disabled to enter an unlocked status. That is, the optical detection automated process brings the stage 101 to a specific z-position, and usually the z-position of the stage 101 is fixed there for stability. However, in this “Optical detection+Image-focus” option, since the Image-focus automated process follows to be executed, the optical detection state is disabled to enter the unlocked status to free the stage 101 for the movement in z-position for the subsequent Image-focus automated process. And then, the method proceeds to step S328 where the Image-focus automated process as illustrated in FIG. 4B is executed. In greater detail, as mentioned above, during the step S324, a reference focal plane is determined. In step S328, based on the reference focal plane, for the Image-focus automated process, the placement of the target thickness relative to the reference focal plane is determined. For example, the position of the reference focal plane is between the top end and the bottom end of the target thickness along the vertical direction. The automation process is executed for different positions or fields of view (FOVs) . After all regions of interest (ROIs) or fields of view (FOVs) are fully illuminated, the automated process and the method end.

[0080] This “Optical detection+Image-focus” option combines the optical detection method and Image-focus method to use the optical detection method to quickly bring the stage 101 close to the focal plane, and then use the Image-focus method to more accurately locate the focal plane, particularly when the Multi-step Image-focus method is adopted.

[0081] [Multi-step Image-focus method]

[0082] FIG. 7 and FIG. 8 illustrate one embodiment of the present disclosure called the Multi-step Image-focus method. Shown there is a method M3. The method M3 is substantially a modification of the Image-focus method. As shown in FIG. 8, the method starts with a step S410 where the manual setting for the automated process is requested and / or a step S412 where the machine setting for the automated process is requested.

[0083] In some embodiments, the manual setting step S410 may be fully or partially replaced by or recommended by a machine setting step S412. In some embodiments, the manual setting step S410 and the machine setting step S412 may include setting two of three parameters selected from the group consisting of step size, total thickness of the target thickness, and number of the layer.

[0084] Then, the method proceeds to step S414 by determining the step size, the total thickness of the target thickness, and number of the layer. For example, step size=total thickness /  (number of layer-1) . In some embodiments, two of three parameters are set in the step S410 and / or step S412, and the last one of the three parameters can be calculated accordingly.

[0085] Specifically, the method M3, a target thickness in the sample S is divided to comprise multiple layers in the z-direction, or a vertical direction. However, the process to locate the focal plane comprises multiple steps of utilizing the principle of the Image-focus method. For example, the embodiment described herein comprises two steps ofutilizing the principle of the Image-focus method, and will be discussed in more detail later. The first step is substantially a coarse step for location, while the second step is a fine one.

[0086] As shown in FIG. 7, assuming a single Image-focus method is used, a first target thickness T1, which is 5μm in the example, is divided to comprise 26 layers (e.g., layers L1 to L26) in the z-direction, with a step size S2 0.2μm (e.g., the second step size in FIG. 7) between two adjacent layers (5μm /  (26-1) =0.2μm) .

[0087] In contrast, for the Multi-step Image-focus method M3, in the first step, the same first target thickness T1, which is 5μm in the example of FIG. 7, is divided to comprise 6 coarse layers (instead of26 layers) evenly distributed in z-direction by a first step size S1. Here, the first step size S1 is a coarse step size 1μm (5μm /  (6-1) =1μm) . In other words, the 6 coarse layers are at positions corresponding to the layers L1, L6, L11, L16, L21, and L26. In some embodiments, the first step size (coarse step size) S1 is greater than the second step size (fine step size) S2. In some embodiments, it is recommended to divide the target thickness T1 such that it comprises more than 5 layers evenly distributed in the z-direction, while the disclosure is not limited thereto.

[0088] Then, the method proceeds to step S416 by taking image for each layer. Step S416 is substantially the same as the step S120 in FIG. 4B. Specifically, the 6 layers (layers L1, L6, L11, L16, L21, and L26) substantially go through the same process as those in the Image-focus method. That is, the camera 121 takes the image for each layer to obtain a first image set including the image of layers L1, L6, L11, L16, L21, and L26.

[0089] Then, the method proceeds to step S418 by calculating a focus value of the image of each layer by a focus function. For example, the processing module 13a calculates a focus value of the image of each layer in the first image set (e.g., layers L1, L6, L11, L16, L21, and L26) by a focus function (substantially the same as the step S122 in FIG. 4B) .

[0090] Then, the method proceeds to step S420 by determining whether step size is smaller than or equal to a predetermined value (p.v. ) . For example, the processing module 13a determines whether the step size is smaller than or equal to a predetermined value (p.v. ) . In some embodiments, the predetermined value is a desired resolution value set by a user or a machine limit resolution value, and the desired resolution value set by the user may be greater than or equal to the machine limit resolution value.

[0091] Specifically, a checking step (the rhombus) is executed by checking whether the current step size is less than or equal to a predetermined value (e.g., step size≤p.v. ) , in which the predetermined value (p.v. ) may be at least one of a desired resolution value (set by the user before or in the above manual setting step) and a machine limit resolution value in the z-position, and the desired resolution value≥the machine limit resolution value. For example, the desired resolution value is set as 0.2 μm, and the machine limit resolution value is 0.1 μm.

[0092] In the first step, the first step size S1 (e.g., 1 μm) is larger than the predetermined value (e.g., 0.2μm) , and thus the first step size S1 does not satisfy the criterion (step size≤p.v. ) , and the process goes to the “No” path.

[0093] Then, the method proceeds to step S422 by comparing the focus values to choose two top focus values corresponding to two adjacent layers. For example, the processing module 13a compares the focus values of the 6 layers (e.g., layers L1, L6, L11, L16, L21, and L26) to choose two top focus values corresponding to two adjacent layers. As an example in FIG. 7, it is assumed that the adjacent two layers L11 and L16 have top focus values. That is, the layers L11 and L16 may include higher focus values than other layers (e.g., layers L1, L6, L21, and L26) .

[0094] Then, the method proceeds to step S424 by using the thickness defined by the two chosen layers as a new target thickness. In the example of FIG. 7, the layers L11 and L16 which include the top focus values are chosen. Specifically, a distance between the two layers L11 and L16 is set as a second target thickness T2 (i.e., the new target thickness) , in which the second target thickness T2 is smaller than the first target thickness T1. The second target thickness T2 defined by the chosen two adjacent layers is processed to utilize the principle of the Image-focus method again for a fine step.

[0095] In the second step, the method returns back to go through again the steps S414, S416, S418, and S420. Specifically, the second target thickness T2 is set as the new target thickness, and a second step size S2 is calculated again in step S414. For example, the second target thickness T2 is divided to comprise 6 layers (e.g., layers L11, L12, L13, L14, L15, and L16) evenly distributed in z-direction by a second step size S2. In some embodiments, the second step size S2 is a fine step size 0.2μm (1μm /  (6-1) =0.2μm) .

[0096] In step S416, the camera 121 takes the image for each layer in the second target thickness T2 to obtain a second image set including the images of layers L11, L12, L13, L14, L15, and L16. In step S418, the processing module 13a calculates a focus value of the image of each layer (e.g., layers L11, L12, L13, L14, L15, and L16) by a focus function. In step S420, the processing module 13a determines whether the step size is smaller than or equal to a predetermined value (p.v. ) . In the example of FIG. 7, because the second step size is 0.2 μm, which satisfies the criterion (step size≤p.v. ) , and the process goes to the “Yes” path.

[0097] Then, the method proceeds to step S426 by comparing the focus values to choose a focal plane. For example, the processing module 13a compares the focus values of the images of the layers in the second image set (e.g., layers L11, L12, L13, L14, L15, and L16) to choose a focal plane. The step S426 is similar to the step S124 as discussed in FIG. 4B. In the example of FIG. 7, it is assumed that the focus value of the layer L13 has a peak value based on an extreme value (e.g., a peak value such as a maximum value or a minimum value, depending on a setting of the operator or the calculation of the focus function) among the focus values of the images of the layers (e.g., layers L11, L12, L13, L14, L15, and L16) . Accordingly, the focal plane is determined to be the position of the layer L13, and the whole process ends.

[0098] Based on the above discussion, it is clear that in the example of FIG. 7, with the same final step size resolution 0.2μm for both the methods, only 10 layers (6 layers in the first step and 4 layers in the second step) are processed in the Multi-step Image-focus method, while 26 layers in contrast are processed in the single Image-focus method. Therefore, the Multi-step Image-focus method provides a faster method by processing on less layers to save time in taking the image for layers and calculating the focus values while keeps the same step size resolution.

[0099] Regarding the aforementioned machine setting, in one embodiment, in the case that the user tries to set the step size as 0.25 μm in the manual setting step for the second (fine) step in the above illustration example in FIG. 7, the machine setting pops out to recommend the user to change the setting as 0.2 μm, as this recommendation setting 0.2 μm is closer to and satisfies the desired resolution value set by the user.

[0100] [Panning method]

[0101] FIG. 9 and FIG. 10 illustrate one embodiment of the present disclosure called the Panning method. Shown there is a method M4. The method M4 is substantially a modification of the Image-focus method. So, similar illustration is not described again. The principle of the Panning method is to use the z-position of the focal plane in the previous FOV (position) as a middle layer (or a middle position) of the layers in the Image-focus method for a subsequent FOV.

[0102] The method M4 starts with step S510 where the stage is moved to a given position (FOV) , and then is followed by a step S512 (the rhombus) by determining whether there is a focal plane z-position in the previous position (FOV) . In the case of the very beginning FOV (e.g., the first FOV in FIG. 9) where the method M4 is initially executed, the process goes to the “No” path in step S512, and the method proceeds to step S514 where the Image-focus automated process discussed in FIG. 4B is performed.

[0103] In other cases, if there is a focal plane z-position in previous FOV, the process goes to the “Yes” path in step S512, and the method proceeds to step S516 by setting the focal plane z-position of the previous FOV as a middle layer (or a middle position) of the target thickness, and the method proceeds to step S518 where the Image-focus automated process as shown in FIG. 4B is performed.

[0104] As shown in FIG. 9, the stage 101 moves to a first FOV. In the first FOV, a first target thickness T1 is determined, and the focal plane F1 of the first FOV is determined by the step S514 where the Image-focus automated process as shown in FIG. 4B is performed. For example, a first image set including the images of layers in the first target thickness T1 is obtained, and then the focal plane F1 is determined based on the first image set as discussed in FIG. 4B.

[0105] Then, the stage 101 moves from the first FOV to the second FOV. In the second FOV, the second target thickness T2 may be the same as the first target thickness T1, and the placement of the second target thickness T2 is determined by setting the focal plane F1 to be a middle layer or a middle position of the second target thickness T2. That is, the position of the middle layer or the middle position of the second target thickness T2 of the second FOV is set the same as the position of the focal plane F1 of the first FOV in z-direction. Then, the focal plane F2 of the second FOV is determined by the step S518 where the Image-focus automated process as shown in FIG. 4B is performed. For example, a second image set including the images of layers in the second target thickness T2 is obtained, and then the focal plane F2 is determined based on the second image set as discussed in FIG. 4B. In some embodiments, the position of the focal plane F2 of the second FOV may be different from the position of the focal plane F1 of the first FOV. However, the position of the focal plane F2 of the second FOV may also be the same as the position of the focal plane F1 of the first FOV.

[0106] Similarly, the stage 101 moves from the second FOV to the third FOV. The focal plane F3 of the third FOV can be determined in a similar way as discussed above, and will not be repeated for brevity.

[0107] The Panning method may be a time-saving method as the labeling targets LT to be focused on are distributed in a trend in the sample S. By using the Panning method, the number of layers needed may be reduced to save time in comparison with the Image-focus method with a larger target thickness while the result (the focal plane located) is the same. In short, with the Panning method, there is no need to set a large target thickness with numerous layers merely to accommodate the uncertain wide spread of the labeling targets LT due to a trend. It is noted that the Panning method can be adopted in the Multi-step Image-focus method, partially (to one or more steps of the multiple steps) or entirely (to all steps) .

[0108] [Extrapolating method]

[0109] FIG. 11 and FIG. 12 illustrate one embodiment of the present disclosure called the Extrapolating method. Shown there is a method M5. The method M5 is substantially a modification of the Image-focus method. So, a similar illustration is not described again. The principle of the Extrapolating method is to add extra more layers in the Image-focus method under a specific condition. The process of the Image-focus method is carried out again on the more layers extra added for more accurately locating the focal plane.

[0110] The method M5 starts with step S610 by taking an image for each layer and then is followed by step S612, calculating a focus value of the image of each layer by a focus function. That is, the camera 121 takes the image for each layer by a setting, and then followed by the processing module 13a calculating a focus value for every layer by a focus function.

[0111] Then, the method proceeds to S614, listing the focus values in the layer order and then is followed by step S616 (the first rhombus) , determining whether there is a peak focus value. Step S616 is a checking step to check whether there is a peak, or a peak focus value, in this series of numbers. Here, the peak is defined as a maximum (or minimum) value in this series of numbers except one corresponding to the top-most layer or the bottom-most layer. In other words, if the maximum (or minimum) value is corresponding to the top-most layer or the bottom-most layer, it is not a peak. Or mathematically, the peak is the value for a layer which has positive and negative slopes or derivatives respectively on two sides of such layer in the series ofnumbers.

[0112] In the case that there is a peak, which means physically the labeling targets LT to be focused on are distributed mainly inside the target thickness, the process goes to the “Yes” path, then step S618, comparing the focus values to choose a focal plane, as illustrated in step S124 in FIG 4B, is followed.

[0113] As shown in FIG. 11, the process of the Image-focus method is carried out on the first field of view (FOV) . In some embodiments, the first FOV has a first target thickness T1. In the first FOV, the labeling targets LT are distributed mainly inside the first target thickness T1, so that in step S616, there is a peak focus value, and the peak focus value is not located in the top-most layer or the bottom-most layer in the first target thickness T1. Therefore, the method proceeds to the “Yes” path, where a focal plane (not shown) of the first FOV is properly located in step S618.

[0114] Subsequently, the process of the Image-focus method is carried out on the second field of view (FOV) . In some embodiments, the second FOV has a second target thickness T2. Similarly, in the second FOV, the labeling targets LT are distributed mainly inside the second target thickness T2, so that in step S616, there is a peak focus value, and the peak focus value is not located in the top-most layer or the bottom-most layer in the second target thickness T2. Therefore, the method proceeds to the “Yes” path, where a focal plane (not shown) of the second FOV is properly located in step S618.

[0115] Finally, the process of the Image-focus method is carried out on the third field of view (FOV) . In some embodiments, the third FOV has a third target thickness T3. However, in the third FOV, the labeling targets LT are distributed mainly outside the third target thickness T3, so that in step S616, there is not a peak focus value. In some embodiments, there might be a maximum focus value, but the maximum focus value is located in the top-most layer or the bottom-most layer in the third target thickness T3, and is therefore not considered as a peak focus value. In the example of FIG. 11, the maximum focus value is located at the top-most layer. Then, the method proceeds to the “No” path.

[0116] That is, in the case that there is not a peak, which means physically the labeling targets are not distributed mainly inside the target thickness, and the process goes to the “No” path. For example, in the third FOV, the labeling targets LT are outside the third target thickness T3, and the process of the Image-focus method may falsely locate the focal plane of the third FOV. To solve this problem, the Extrapolating method further finds a trend and / or a peak for the distribution of the labeling targets LT, and extra more layers are added by extrapolation, and the process of the Image-focus method is carried out again on these added layers to accurately locate the focal plane.

[0117] The method proceeds to step S620 (the second rhombus) , determining whether there is a trend in the focus values. Specifically, step S620 is another checking step to be executed to check whether there is a trend in this series of numbers (among the focus values of the images of the image set) . In some embodiments, in the case that there is not a trend, the method may proceed directly to step S624, skip the FOV.

[0118] Here, the trend may be defined or found by a correlation coefficient, particularly by the Pearson correlation coefficient (PCC) . The correlation coefficient or the Pearson correlation coefficient measures linear correlation between two sets of data. That is, asequence of the values of the z-positions of the layers or the numbers which the layers are numbered is the first set of data, and the sequence of the focus values of the layers listed in layer order is the second set of data. The correlation coefficient or the Pearson correlation coefficient for the two set of data are calculated to decide whether there is a trend or not. In one embodiment, the Pearson correlation coefficient is adopted, and the calculated result always has a value between-1 and 1. In the case that the calculated result is zero (0) , there is not a trend. A predetermined threshold, for example±0.4 or ±0.5, may be set to judge the calculated result of the Pearson correlation coefficient to decide whether there is a trend or not. In some embodiments, other correlation coefficients, such as Kendall's rank correlation coefficient or Spearman's rank correlation coefficient may be used.

[0119] In the case that a trend exists, which means physically the labeling targets LT are distributed mainly outside the target thickness while increasingly extending in a direction, the process goes to the “Yes” path. Next, the method proceeds to step S622, adding more layers in the direction where the trend is increasing, which then brings the process flow back to the initial step S610, forming a loop and allowing the process of the Image-focus method to be applied again to the newly added layers.

[0120] Please refer back to FIG. 11, when the method proceeds to step S620, whether there is a trend in the focus values is determined, for example, with the correlation coefficient method as illustrated above. In some embodiments, in the third FOV, the focus values of the third target thickness are determined to have a trend, where the focus values of the layers increase in the upward direction.

[0121] Then, the method proceeds to step S622, where more layers are added in the direction where the trend is increasing. In some embodiments, in the third FOV, an additional thickness T3-1 is added to the target thickness T3 in the upward direction. In some embodiments, the additional thickness T3-1 may be set the same thickness as the third target thickness T3. In some embodiments, the additional thickness T3-1 is smaller than the third target thickness T3. In some embodiments, the additional thickness T3-1 is divided into or comprises a plurality of layers spaced apart from each other by a step size S3-1, in which the step size S3-1 is the same as the step size S3 of the third target thickness T3.

[0122] In one embodiment, layers as many as 1 / 3 of layer number as setting in the manual setting step are extra added. In another embodiment, layers as many as 1 / 2 of layer number as setting are extra added. It is noted that in some embodiments, the process may be set to allow the above loop to go through again and again until default times (for example, 2 times of step S622) are reached to abort the loop and skip the position (FOV) , or re-calculate to compare the focus values of all layers added together (i.e., all layers in the target thickness T3 and the additional thickness T3-1) to choose the focal plane.

[0123] Then, back to the case that the additional thickness T3-1 is added, the method returns back to step S610, where the camera 121 takes the image for each layer, that is, the camera takes the image for the additional thickness T3-1 together. The focal plane F3 of the third FOV (with the third target thickness T3 and the additional thickness T3-1) can be determined in a similar way as discussed above, and will not be repeated for brevity.

[0124] In short, as mentioned above, in some embodiments, a third peak focus value of a third FOV is determined among the focus values of the images of the additional thickness T3-1 image set. In some embodiments, a third peak focus value of a third FOV is determined among the focus values of the images of the additional thickness T3-1 image set in combination with the target thickness T3 image set. Correspondingly, in some embodiments, a third focal plane is determined to be a position of a layer among the layers within the additional thickness T3-1 of the sample or a layer among the layers within the additional thickness T3-1 and the target thickness T3 of the sample in the third field of view that has the peak focus value.

[0125] On the other side, in the case that a trend does not exist, which means physically there might not be targets to focus on or the signal is too low, the process goes to the “No” path. Then, the method proceeds to step S624, skipping the FOV. Specifically, the current position (FOV) is skipped and the process ends if no more FOV is to processed.

[0126] It is noted that two or more of the embodiments illustrated above may be combined when the present disclosure is implemented. For example, the optical detection method and the Image-focus method are combined and used in the Mix-mode method, and the Multi-step Image-focus method may be used in the Mix-mode method. Still another example, the Panning method may be used in the Extrapolating method. And when two or more of the methods are combined, a person skilled in the art can make necessary modifications needed based on the teaching or spirit of the above illustrations.

[0127] For example, when the Panning method is used in the Extrapolating method and in the case for skipping a position (FOV) , a previous focal plane located for the position (FOV) just before the skipped position (FOV) can be used as the middle layer (or the middle position) for the process flow to continue, or the process flow can be treated as a new process in the Panning method. The former may be a preferred way to be on the safe side.

[0128] Although the present disclosure has been described in considerable detail with reference to certain embodiments thereof, other embodiments are possible. Therefore, the spirit and scope of the appended claims should not be limited to the description of the embodiments contained herein.

[0129] It will be apparent to those skilled in the art that various modifications and variations can be made to the structure of the present disclosure without departing from the scope or spirit of the disclosure. In view of the foregoing, it is intended that the present disclosure cover modifications and variations of this disclosure provided they fall within the scope of the following claims.

Claims

1.An automatic focal plane location method, comprising:acquiring, in a first field of view, a first image set of a first target thickness of a sample, wherein the first target thickness is divided into or comprises a plurality of layers spaced apart from each other by a first step size in a vertical direction, wherein the first image set comprises images of the layers within the first target thickness of the sample in the first field of view;calculating focus values of the images of the first image set;determining a first peak focus value among the focus values of the images of the first image set; anddetermining a first focal plane to be a position of a layer among the layers within the first target thickness of the sample in the first field of view that has the first peak focus value.2.The method of claim 1, further comprising:determining and setting two of three parameters selected from the group consisting of the first step size, a number of the layers, and the first target thickness.3.The method of claim 1, wherein calculating the focus values of the images comprises performing an algorithm on the images of the first image set, wherein the algorithm comprises one or more of: a Laplacian operator, a Sobel operator, a Tenengrad method, a Sum of Modified Laplacian (SML) , a Brenner algorithm, a normalized variance, and an Energy of High-frequency analysis on Fourier transform.4.The method of claim 1, wherein determining the first peak focus value among the focus values of the images of the first image set comprises choosing an extreme value among the focus values of the images of the first image set or performing a derivative calculation on a curve of the focus values.5.The method of claim 1, further comprising:prior to acquiring the first image set, performing an optical detection method to determine a reference focal plane; andbased on the reference focal plane, determining a placement of the first target thickness relative to the reference focal plane.6.The method of claim 5, wherein the position of the reference focal plane is between a top end and a bottom end of the first target thickness along the vertical direction.7.The method of claim 5, wherein the optical detection method comprises:setting a position of an objective along the vertical direction;projecting a detecting light and optically detecting a position of a surface of a reference object on a stage;calculating an offset related to a distance between the position of the objective and the position of the surface of the reference object; andadjusting one of the position of the objective and the position of the stage to maintain the offset when the distance between the position of the objective and the position of the surface of the reference object changes.8.The method of claim 5, wherein the optical detection method is a real time operation, and the method further comprises:stopping the optical detection method after the reference focal plane is determined, and prior to acquiring the first image set.9.The method of claim 1, further comprising:determining, in a second field of view, a placement of a second target thickness for a second image set of the sample based on a position of the first focal plane along the vertical direction;acquiring, in the second field of view, the second image set of the second target thickness of the sample, wherein the second target thickness is divided into or comprises a plurality of layers spaced apart from each other by a second step size in the vertical direction, wherein the second image set comprises images of the layers within the second target thickness of the sample in the second field of view;calculating focus values of the images of the second image set;determining a second peak focus value among the focus values of the images of the second image set; anddetermining a second focal plane to be a position of a layer among the layers within the second target thickness of the sample in the second field of view that has the second peak focus value.10.The method of claim 9, wherein the determining the placement of the second target thickness of the sample is performed such that a position of a middle layer of the layers or a middle position within the second target thickness of the sample is the same as the position of first focal plane in the vertical direction.11.The method of claim 9, wherein the second target thickness, a number of the layers within the second target thickness, and the second step size are the same as the first target thickness, a number of the layers within the first target thickness, and the first step size, respectively.12.The method of claim 1, further comprising:in the step of determining the first peak focus value among the focus values of the images of the first image set, in response to a peak focus value not being found, adding a region of an additional thickness to the first target thickness, wherein the additional thickness is divided into or comprises a plurality of layers spaced apart from each other by the first step size in the vertical direction;acquiring, in the first field of view, a second image set of the additional thickness of the sample;calculating focus values of the images of the second image set;determining a second peak focus value among the focus values of the images of the second image set or the second image set in combination with the first image set; anddetermining a second focal plane to be a position of a layer among the layers within the additional thickness of the sample or a layer among the layers within the additional thickness and the first target thickness of the sample in the first field of view that has the second peak focus value.13.The method of claim 12, further comprising:in response to a peak value not being found, further determining whether there is a trend among the focus values of the images of the first image set; andin response to there is a trend among the focus values of the images of the first image set, determining an increasing direction of the trend, wherein the additional thickness is added to the first target thickness along the increasing direction of the trend.14.The method of claim 12, wherein the additional thickness is smaller than the first target thickness along the vertical direction.15.A method, comprising:acquiring, in a first field of view, a first image set of a first target thickness of a sample, wherein the first target thickness is divided into or comprises a plurality of layers spaced apart from each other by a first step size in a vertical direction, wherein the first image set comprises images of the layers within the first target thickness of the sample in the first field of view;calculating focus values of the images of the first image set;choosing two layers of the layers within the first target thickness that have higher focus values than other layers within the first target thickness;setting a distance between the two layers as a second target thickness;acquiring, in the first field of view, a second image set of the second target thickness of the sample, wherein the second target thickness is divided into a plurality of layers spaced apart from each other by a second step size in the vertical direction, wherein the second image set comprises images of the layers within the second target thickness of the sample in the first field of view;calculating focus values of the images of the second image set;determining a peak focus value among the focus values of the images of the second image set; anddetermining a focal plane to be a position of a layer among the layers within the second target thickness of the sample in the first field of view that has the peak focus value.16.The method of claim 15, further comprising:determining and setting two of three parameters selected from the group consisting of the first step size, a number of the layers within the first target thickness, and the first target thickness;determining and setting one of two parameters selected from the group consisting of the second step size, and a number of the layers within the second target thickness.17.The method of claim 15, further comprising:prior to the step of determining the peak focus value among the focus values of the images of the second image set, determining whether the second step size is smaller than or equal to a predetermined value, wherein determining the peak focus value among the focus values of the images of the second image set is performed in response to the second step size is smaller than or equal to the predetermined value.18.The method of claim 17, further comprising:in response to the second step size is not smaller than or equal to a predetermined value, choosing two layers of the layers within the second target thickness that have higher focus values than other layers within the second target thickness;setting a distance between the two layers within the second target thickness as a third target thickness;acquiring, in the first field of view, a third image set of the third target thickness of the sample, wherein the third target thickness is divided into a plurality of layers spaced apart from each other by a third step size in the vertical direction, wherein the third image set comprises images of the layers within the third target thickness of the sample in the first field of view;calculating focus values of the images of the third image set;determining a peak focus value among the focus values of the images of the third image set; anddetermining a focal plane to be a position of a layer among the layers within the third target thickness of the sample in the first field of view that has the peak focus value.19.The method of claim 18, wherein the third step size is smaller than or equal to the predetermined value.20.The method of claim 17, wherein the predetermined value is a desired resolution value set by a user or a machine limit resolution value, and the desired resolution value set by the user is greater than or equal to the machine limit resolution value.

Images