Method of illumination

Abstract

An illumination method for illuminating a sample through a microscope system, comprising: setting information of a plurality of fields of view; acquiring, at a first magnification, a plurality of first images of the fields of view according to the information of the fields of view for correspondingly forming a plurality of first grids when the first images are collectively presented as a whole; selecting a region of interest among a plurality of second images of the fields of view, wherein the second images of the fields of view are the first images of the fields of view defined into a plurality of second grids for simulating observation of the sample at a second magnification, wherein the second magnification is larger than or equal to the first magnification; and illuminating the sample based on the region of interest, at the second magnification.

Description

METHOD OF ILLUMINATIONField of Invention

[0001] The present disclosure relates to a system and method of illumination in a microscope-based system. More particularly, the present disclosure relates to a system and method for a microscope-based system with enhanced image-guided microscopic illumination. METHOD OF ILLUMINATION

[0002] All publication and patent applications mentioned in this specification are herein incorporated by reference in their entirety to the same extent as if each individual publication or patent application was specifically and individually indicated to be incorporated by reference.BACKGROUND

[0003] There are needs in illuminating patterns on samples (e.g. biological samples) at specific locations. Processes such as photo-bleaching of molecules at certain subcellular areas, photo-activation of fluorophores at a confined location, optogenetics, light-triggered release of reactive oxygen species within a designated organelle, or photo-induced labeling of proteins in a defined structure feature of a cell all require pattern illumination. For certain applications, the pattern of the abovementioned processes may need to be determined by a microscopic image. Some applications further need to process sufficient samples, adding the high-content requirement to repeat the processes in multiple regions. Systems capable of performing such automated image-based localized photo-triggered processes are rare.

[0004] US11,265,449 patent discloses a microscope-based system and method for illuminating varying patterns through a large number of fields of view (hereafter sometimes referred to as “FOV” ) consecutively at a high speed. To address the protein amplification problem, the system conducts automatically three steps in each FOV: (1) acquiring an image of the biological sample; (2) processing the image to generate a light pattern corresponding to the regions of interest (ROIs) in the biological sample; (3) illuminating the ROIs with the light pattern onto the biological sample. Therefore, the system and method meet the above needs.

[0005] However, for the above system, when the automated illuminating process runs across tens of thousands of FOVs, it encounters several challenges due to the unique characteristics of biological samples, particularly with tissue sections. For instance, if the biological sample being processed is a brain slice and the user only wants to illuminate a small area to conduct photo-labeling, such as the hippocampus, then applying illuminating to the entire sample is impractical. Not only would it waste time, but conducting illumination in areas outside the hippocampus could also affect the interpretation of subsequent mass analysis results. Additionally, if the tissue section is damaged, causing certain FOVs to be unsuitable for illuminating (i.e. lacking any viable or too few ROIs) , the same issue arises.

[0006] Therefore, it is necessary to further optimize the illuminating process to reduce overall experiment time and enhance specificity in proteomics research. Accordingly, a method for illumination is needed to address this issue.

[0007] An important related technique in the microscopic field is Whole Slide Imaging (hereafter referred to as “WSI” ) . WSI is a technology used in digital pathology to scan and capture an entire sample on a slide. The resulting digital image allows pathologists and researchers to view, analyze, and share detailed images of the sample on a computer or a digital device. Also, this technique enables comprehensive view and examination while providing the ability to zoom in and out, pan across different areas of the slide, and observe fine details at various magnifications. For this reason, the present invention leverages the WSI to optimize the illuminating process of microscope-based system.SUMMARY

[0008] The disclosure provides an illumination method for illuminating a sample through a microscope system, comprising: setting information of a plurality of fields of view; acquiring, at a first magnification, a plurality of first images of the fields of view according to the information of the fields of view for correspondingly forming a plurality of first grids when the first images are collectively presented as a whole; selecting a region of interest among a plurality of second images of the fields of view, wherein the second images of the fields of view are the first images of the fields of view defined into a plurality of second grids for simulating observation of the sample at a second magnification, wherein the second magnification is larger than or equal to the first magnification; and illuminating the sample based on the region of interest, at the second magnification.

[0009] In some embodiments, setting the information of the fields of view comprises setting a number for a layout of the fields of view.

[0010] In some embodiments, setting the number for the layout of the fields of view comprises inputting a number of columns and inputting a number of rows, wherein the number of the fields of view is obtained by multiplying the number of columns by the number of rows.

[0011] In some embodiments, setting the information of the fields of view comprises setting a start position and an end position for a layout of the fields of view, wherein the fields of view cover the start position and the end position.

[0012] In some embodiments, a size of the second grids is 1 / 4 or 1 / 16 of a size of the first grids.

[0013] In some embodiments, selecting the region of interest among the second images of the fields of view comprises manually selecting a plurality of interest grids in the second grids.

[0014] In some embodiments, selecting the region of interest among the second images of the fields of view comprises: manually drawing an outline of the region of interest; and automatically selecting a plurality of interest grids in the second grids, wherein the interest grids correspondingly cover the outline of the region of interest and fill a region within the outline of the region of interest.

[0015] In some embodiments, selecting the region of interest among the second images of the fields of view comprises: manually drawing an outline of the region of interest, wherein a first number of a plurality of interest grids in the second grids correspondingly cover the outline of the region of interest and fill a region within the outline of the region of interest; and automatically rearranging a layout for defining the second grids, such that a second number of a plurality of interest grids in the rearranged second grids correspondingly cover the outline of the region of interest and fill the region within the outline of the region of interest, wherein the second number is less than the first number.

[0016] In some embodiments, a plurality of horizontal or vertical lines for the layout of the interest grids in the rearranged second grids do not align, or the interest grids in the rearranged second grids correspondingly cover the outline of the region of interest and fill a region within the outline of the region of interest with a least number of grids.

[0017] In some embodiments, the step of acquiring the first images of the fields of view further comprises adopting an automatic focal plane location method, and the step of selecting the region of interest further comprises correspondingly skipping at least one of the second images of the fields of view which an abnormal situation occurs in the automatic focal plane location method.

[0018] In some embodiments, the automatic focal plane location method comprises: acquiring an image set of a target thickness of the sample, wherein the target thickness is divided into or comprises a plurality of layers spaced apart from each other by a step size in a vertical direction, wherein the image set comprises images of the layers within the target thickness of the sample; calculating focus values of the images of the image set; determining a peak focus value among the focus values of the images of the image set; and determining a focal plane to be a position of a layer among the layers within the target thickness of the sample that has the peak focus value, wherein the fields of view are in the focal plane.

[0019] In some embodiments, further comprises before or after the step of selecting the region of interest: turning the second images of the fields of view or the second images of the fields of view within the region of interest into a plurality of binary images, wherein the binary images correspond to the second grids; calculating a number for a predetermined pixel type out of a plurality of pixels of each of the second grids of the binary images; and skipping a first portion of the second grids of the binary images, while a second portion of the second grids of the binary images are continued for further processes, wherein the number for the predetermined pixel type of each of the second grids of the first portion of the second grids is outside a predetermined pixel range, while the number for the predetermined pixel type of each of the second grids of the second portion of the second grids is within the predetermined pixel range.

[0020] The disclosure provides an illumination method, comprising: setting information of a plurality of fields of view; acquiring a plurality of first images of the fields of view according to the information of the fields of view, in a gray scale; selecting a region of interest among a plurality of second images of the fields of view, wherein the second images of the fields of view are the first images of the fields of view defined into a plurality of grids when collectively presented as a whole; turning the second images of the fields of view within the region of interest into a plurality of binary images, wherein the binary images correspond to the grids; calculating a number for a predetermined pixel type of a plurality of pixels of each of the grids of the binary images; and skipping a first portion of the grids within the region of interest, while illuminating a second portion of the grids within the region of interest, wherein the number for the predetermined pixel type of each of the grids of the first portion of the grids within the region of interest is outside a predetermined pixel range, while the number for the predetermined pixel type of each of the grids of the second portion of the grids within the region of interest is within the predetermined pixel range.

[0021] In some embodiments, setting the information of the fields of view comprises setting the predetermined pixel range by a minimum number of pixels and / or a maximum number of pixels.

[0022] In some embodiments, setting the information of the fields of view comprises setting a number for a layout of the fields of view, or setting a start position and an end position for a layout of the fields of view, wherein the fields of view cover the start position and the end position.

[0023] In some embodiments, selecting the region of interest among the second images of the fields of view comprises manually selecting a plurality of interest grids among the grids.

[0024] In some embodiments, selecting the region of interest among the second images of the fields of view comprises: manually drawing an outline of the region of interest; and automatically selecting a plurality of interest grids in the grids, wherein the interest grids correspondingly cover the outline of the region of interest and fill a region within the outline of the region of interest.

[0025] In some embodiments, selecting the region of interest among the second images of the fields of view comprises: manually drawing an outline of the region of interest, wherein a first number of a plurality of interest grids in the grids correspondingly cover the outline of the region of interest and fill a region within the outline of the region of interest; and automatically rearranging a layout for defining the grids, such that a second number of a plurality of interest grids in the rearranged grids correspondingly cover the outline of the region of interest and fill the region within the outline of the region of interest, wherein the second number is less than the first number.

[0026] In some embodiments, a plurality of horizontal or vertical lines for the layout of the interest grids in the rearranged grids do not align, or the interest grids in the rearranged grids correspondingly cover the outline of the region of interest and fill a region within the outline of the region of interest with a least number of grids.

[0027] In some embodiments, the step of acquiring the first images of the fields of view further comprises adopting an automatic focal plane location method, and the step of selecting the region of interest further comprises correspondingly skipping at least one of the second images of the fields of view which an abnormal situation occurs in the automatic focal plane location method.

[0028] These and other features, aspects, and advantages of the present disclosure will become better understood with reference to the following description and appended claims.

[0029] It is to be understood that both the foregoing general description and the following detailed description are by examples, and are intended to provide further explanation of the disclosure as claimed.BRIEF DESCRIPTION OF THE DRAWINGS

[0030] A better understanding of the features and advantages of the system and method described herein will be obtained by reference to the following detailed description that set forth illustrative embodiments, and the accompanying drawings of which:

[0031] FIG. 1A shows a schematic diagram of an imaging-guided microscope-based system.

[0032] FIG. 1B shows the optical path and detailed components of the imaging-guided microscope-based system of FIG. 1A.

[0033] FIG. 2 shows an overview of the method, according to some embodiments of the present disclosure.

[0034] FIG. 3 shows a flow diagram of the steps of the manual setting of the WSI method, according to some embodiments of the present disclosure.

[0035] FIG. 4A shows the user interface of the step S110 of FIG. 3, according to some embodiments of the present disclosure.

[0036] FIG. 4B shows the user interface of the step S112 of FIG. 3, according to some embodiments of the present disclosure.

[0037] FIG. 5 shows an overview of the process automation of the WSI method, according to some embodiments of the present disclosure.

[0038] FIG. 6 shows an example of an image in a WSI form, according to some embodiments of the present disclosure.

[0039] FIG. 7 shows the detailed process flow of step S124, selecting ROI among FOVs, according to some embodiments of the present disclosure.

[0040] FIGS. 8A-8C each shows an example of an image in a WSI form, with a ROI selected, according to some embodiments of the present disclosure.

[0041] FIG. 9A and FIG. 9B illustrate the pixel calculation method, in accordance with some embodiments of the present disclosure.

[0042] FIG. 10 illustrates a process automation of the combination of the WSI method and the Pixel calculation method, in accordance with some embodiments of the present disclosure.

[0043] FIG. 11A and FIG. 11B illustrate a light pattern generation, according to some embodiments of the present disclosure.

[0044] FIG. 12A shows an Image-focus method, according to some embodiments of the present disclosure.

[0045] FIG. 12B and FIG. 12C show exemplary focus functions of the Image-focus method according to some embodiments of the present disclosure.

[0046] FIG. 13A shows a flow diagram of the steps for Image-focus manual setting. FIGS. 13B shows a flow diagram of the steps for Image-focus automated process.

[0047] FIG. 14 and FIG. 15 illustrate one embodiment of the present disclosure called the Extrapolating method.

[0048] Note that, in accordance with standard practice in the industry, various features are not drawn to scale. In fact, the dimensions of various features may be arbitrarily increased or decreased for clarity of discussion.DETAILED DESCRIPTION

[0049] The following disclosure provides many different embodiments or examples for implementing different features of the subject matter provided. Specific examples of components and configurations are described below to simplify the disclosure. Of course, these are merely examples and are not intended to be limiting. For example, in the following description, the formation of a first feature above or on a second feature may include embodiments in which the first and second features are formed in direct contact, and may also include embodiments in which additional features may be formed between the first and second features so that the first and second features are not in direct contact. In addition, in various examples, the disclosure may repeat reference numbers and / or letters. This repetition is for the purpose of simplicity and clarity and does not, in itself, dictate the relationship between the various embodiments and / or configurations discussed.

[0050] Spatially relative terms, such as “beneath, ” “below, ” “lower, ” “above, ” “upper” and the like, may be used herein for ease of description to describe one element or feature's relationship to another element (s) or feature (s) as illustrated in the figures. It will be understood that the spatially relative terms are intended to encompass different orientations of the device in use or operation in addition to the orientation depicted in the figures. For example, if the device in the figures is turned over, elements described as “below” or “beneath” other elements or features would then be oriented “above” the other elements or features. Thus, the exemplary term “below” can encompass both an orientation of above and below. The device may be otherwise oriented (rotated 90 degrees or at other orientations) and the spatially relative descriptors used herein interpreted accordingly.

[0051] As used herein, the term “region of interest (ROI) ” generally refers to, within a field of view (FOV) , a specific feature that a user is interested in and intends to illuminate, such as a subcellular organelle. However, in the present disclosure, the term “region of interest (ROI) ” may also be used as a more general concept to refer to a specific area or region of the sample, which the user is interested in and typically encompasses a plurality of FOVs.

[0052] In view of the foregoing objectives, the present disclosure discloses a system with enhanced image-guided microscopic illumination and a method thereof.

[0053] FIG. 1A shows a schematic diagram of an imaging-guided microscope-based system. FIG. 1B shows the optical path and detailed components of the imaging-guided microscope-based system of FIG. 1A.

[0054] The microscope-based system of one embodiment comprises a microscope 10, an imaging assembly 12 coupled to the microscope 10, an illuminating assembly 11 coupled to the microscope 10, and a processing module 13a coupled to the microscope 10, the imaging assembly 12 and the illuminating assembly 11. In some embodiments, the imaging assembly 12 and the illuminating assembly 11 may be coupled as well.

[0055] The microscope 10 comprises an objective 102 and a stage 101 in association with the objective 102. The stage 101 is configured to be loaded with a sample S. In some embodiments, the sample S may include a plurality of labeling targets, in which the method is configured to determine a focal plane in regards to the labeling targets.

[0056] The imaging assembly 12 may comprise a (controllable) camera 121, an imaging light source 122, a focusing device 123, and a first shutter 124 coupled to the imaging light source 122. In one embodiment, the focusing device 123 is coupled to the camera 121 and controlled to facilitate an autofocusing process during imaging of the sample S. In one embodiment, an optical detection main structure (not shown) that includes an extra light source (near-infrared 870-nanometer LED) , a detector (CCD line sensor) , and an offset lens can be integrated into the microscope 10 as the focusing device 123. For example, the extra light source (near-infrared 870-nanometer LED) , the detector (CCD line sensor) , and the offset lens of the optical detection structure are set to the nearby position under the objective 102, and a discrete optical detection processor is used to control the offset lens and calculate an optical detection offset.

[0057] The illuminating assembly 11 may comprise an illumination light source 111 and a pattern illumination device 117 coupled to the illumination light source 111. In one embodiment, the illumination light source 111 may be a laser. In one embodiment, the pattern illumination device 117 may include a second shutter 112, a lens module 113 (such as the relay lens 113a and 113b coupled to each other, and a quarter wave plate 113c coupled to the relay lens 113b) coupled to the second shutter 112, at least a pair of scanning mirrors 115 coupled to the lens module 113 and a scan lens 116 coupled to the scanning mirrors 115. In some embodiments, the relay lens 113a and 113b may have different thickness and same shape. For example, the thickness of relay lens 113a may be greater than that of the relay lens 113b and the relay lens 113a and 113b both have oval shapes. On the other side, the quarter wave plate 113c may have a different shape than those of the relay lens 113a and 113b. For example, the quarter wave plate 113c may have a rectangular shape. Alternatively, DMD or SLM can be used as the pattern illumination device 117.

[0058] In this embodiment, the processing module 13a is coupled to the microscope 10, the imaging assembly 12, and the illuminating assembly 11. In some embodiments, the processing module 13a can be a computer, a workstation, or a central processing unit (CPU) of a computer, which is capable of executing a program designed for operating this system.

[0059] The processing module 13a controls the imaging assembly 12 such that the camera 121 acquires at least one image of the sample S of a first field of view, and the image or images are transmitted to the processing module 13a and processed by the processing module 13a automatically in real-time based on a predefined criterion, so as to determine an interested region (or focal plane) in the sample S and so as to obtain a coordination information regarding the interested region. Later, the processing module 13a may control the pattern illumination device 117 of the illuminating assembly 11 to illuminate the interested region of the sample S according to the received coordination information regarding to the interested region. Also, after the interested region of the first field of view is fully illuminated, the processing module 13a controls the stage 101 of the microscope 10 to move to a second field of view which is subsequent to the first field of view.

[0060] FIG. 2 shows an overview of the method, according to some embodiments of the present disclosure. Shown there is a method M1. The method M1 starts with step S11, a manual setting. In some embodiments, the user of the microscope-based system needs to input and set necessary conditions for the automation of the method to be executed. And then the method M1 proceeds to step S12 where process automation starts. Once the step S12 is complete, the method M1 proceeds to step S13 where process automation ends. After the process automation ends, an illumination process is completely performed and finished. Afterwards, the method ends. In one embodiment, the input or set in the step S11 of the method M1 can be received by the processing module 13a, and the automation in the step S12 of the method M1 can be executed by the processing module 13a or under the control of the processing module 13a. In another embodiment, instead, a controller can be extra set and discrete from the processing module 13a, or be integrated to the processing module 13a, to function the same or partly.

[0061] [WSI method]

[0062] FIG. 3 shows a flow diagram of the steps of the manual setting of the WSI method. In some embodiments, the method M1 can be referred as the “Whole Slide Imaging (WSI) method” . In the WSI method, as mentioned in FIG. 2, a manual setting (e.g., the step S11 of Fig. 2) may be performed. Reference is made to FIG. 3, FIG. 4A, and FIG. 4B. During the manual setting, the user is requested to input and set necessary conditions for the following automation of the method to be executed.

[0063] As shown in FIG. 3, there are two ways for this “WSI method manual setting” . In some embodiments, the step S11 of FIG. 2 can include a step S110, manual setting of number of FOVs, which allows the user to manually set for the FOVs to be acquired “by the number of FOVs” . In some embodiments, step S110 may include inputting “a number of X columns” and “a number of Y rows” , then “a number of FOVs” is obtained by multiplying the number of X columns and the number of Y rows. In some embodiments, step S110 may further include inputting a start position SP, and “a number of X columns” and “a number of Y rows” extend from the start position SP.

[0064] FIG. 4A shows the user interface of the step S110 of FIG. 3, according to some embodiments of the present disclosure. As illustrated in FIG. 4A, for example, the user manually sets the number of the X columns as “9” and the number of the Y rows as “7” . Then, a total number of 63 (9 x 7=63) FOVs is obtained. That is, 63 FOVs are to be acquired and thereby form an image in a WSI form. Specifically, 9 columns and 7 rows extend from the start position SP, thereby forming 63 grids of FOVs.

[0065] As shown in FIG. 3, in other embodiments, the step S11 of FIG. 2 can include a step S112, manual setting of start position and end position, which allows the user to manually set for the FOVs to be acquired by a start position and an end position. Then, the start position and the end position are used to calculate a grid system. In some embodiments, the grid system covers at least the start position and the end position. In some embodiments, the grid system also covers the columns and the rows between the start position and the end position.

[0066] FIG. 4B shows the user interface of the step S112 of FIG. 3, according to some embodiments of the present disclosure. As illustrated in FIG. 4B, for example, the user manually sets or locates a start position SP and an end position EP for an intended image in a WSI form, and then a layout of the grids, for example the number of columns and number of rows between the start position and the end position, are automatically calculated. It is noted, in some embodiments, in addition to being manually set by the user, the setting operations, such as in the cases of FIGS. 4A and 4B, may also be performed automatically or semi-automatically by the system. For example, for a specific type of sample, the system may automatically provide suggested settings based on the user’s previous setting ( / configurations) for user confirmation, or even allow an AI module to directly determine the settings and subsequently proceed with following automation operations.

[0067] FIG. 5 shows an overview of the process automation of the WSI method, according to some embodiments of the present disclosure. Reference is then made to FIGS. 5, 6, and 7. Once the step S11 of FIG. 2, manual setting, is complete, the information of the number of FOVs, or the start position and end position are obtained. Then, a WSI method process automation (e.g., the step S12 of FIG. 2) is performed. The step S12 of FIG. 2 can include a step S120, a step S122, and a step S124, as shown in FIG. 5.

[0068] In FIG. 5, the WSI process automation starts with step S120, acquiring the setting of FOVs. In some embodiments, step S120 is a setting for the subsequent step S122 (acquiring FOVs) , and defines the way how the images for multiple FOVs are automatically acquired. As shown in FIG. 3, the information of the setting of FOVS such as the number of FOVs, or the start position and end position are obtained. For example, as shown in FIG. 4A, the information of the settings of FOVS such as 9 columns, 7 rows, and the start position SP are acquired.

[0069] Then, the method proceeds to step S122 by acquiring FOVs. In some embodiments, the images for multiple FOVs are automatically acquired according to the user’s manual setting of FOVs of step S120 by the camera 121 in the system. In some embodiments, the images acquired for multiple FOVs are subsequently assembled or stitched into a WSI form.

[0070] FIG. 6 shows an example of an image in a WSI form, according to some embodiments of the present disclosure. As shown in FIG. 6, an example of an image in a WSI form acquired in the way of step S110, manual setting of number of FOVs, of FIG. 3 is shown. Specifically, the image in a WSI form is composed of the images for multiple FOVs: a number of 63 FOVs (separated by grid lines) with 9 columns and 7 rows extended from the start position SP. In some embodiments, the images for multiple FOVs are acquired by the objective 102 at a first magnification (e.g., 10X magnification) with a plurality of first given grids G1. That is, the images of the FOVs are acquired, and when presented collectively as a whole, each image of the FOV corresponds to and forms one of the plurality of first given grids.

[0071] Then, the method proceeds to step S124 by selecting ROI among FOVs. The step S124 allows the user to manually choose the region of interest (ROI) among the FOVs in the WSI form on which the illumination is to be conducted. The FOV for the illumination is usually at a larger (or sometimes equal) magnification when illuminated than the magnification of FOV when acquired. More details of step S124 will be described in FIG. 7.

[0072] In some embodiments, the steps in FIG. 5 may be carried out through an AI model. For example, first, the setting of FOVs in the first step S120 goes through the second step S122 and the third step S124, and the ROI is accordingly decided. Then, all these acquired images (and / or the sample type name) along with the corresponding selected images of the ROI are used as training data to train the AI model. After being trained, the trained AI model is used to replace the second step S122 and the third step S124 in FIG. 5 to automatically locate the ROI.

[0073] FIG. 7 shows the detailed process flow of step S124, selecting ROI among FOVs, according to some embodiments of the present disclosure. Reference is made to FIG. 7 and FIGS. 8A-8C. FIGS. 8A-8C each shows an example of an image in a WSI form, with a ROI selected, according to some embodiments of the present disclosure.

[0074] In some embodiments, the given grids G2 of step S124 correspond to a larger (or sometimes equal) magnification than the given grids G1 of step S120 (see FIG. 6) . That is, the given grids G2 in step S124 are defined based on the acquired images, and are to be corresponding to a larger (or, in some cases, an equal) magnification than those used for defining the given grids G1 in step S120. In some embodiments, the FOVs of step S124 are going to be at a second magnification (e.g., 20X magnification) with a plurality of second given grids G2 when illuminated, in which the second magnification is larger than the first magnification.

[0075] The definition of the grids from the given grids G1 into the second given grids G2 for simulating observation of the sample at the second magnification, i.e., for simulating the FOVs at the larger (or, in some cases, an equal) magnification, is done in a mathematical way by a calculation of the processing module 13a based on the given grids G1, rather than by an actual or physical acquiring images of the sample through the objective 102 at the second magnification.

[0076] In some embodiments, in a scenario where illumination is to be performed at a second magnification (e.g., 20X magnification) greater than the first magnification (e.g., 10X magnification) when images are acquired, the size of the second given grids G2 may be 1 / 4 of that of the first given grids G1. Similarly, for a second magnification at 40X magnification, the size of the second given grids G2 may be 1 / 16 of that of the first given grids G1. Each given grid G1 or G2 can be a FOV (or simulated FOV) . That is, in FIGS. 8A-8C, each FOV in the image in the WSI form as shown in FIG. 6 is divided into 4 FOVs in a mathematical way by calculation by the processing module 13a for the user to select.

[0077] Specifically, when grid lines are formed in FIGS. 8A to 8C, the side lengths of FOVs in FIG. 6 are divided by two in both the x and y directions, and 252 (18 x 14=252) FOVs are presented in the WSI form for selection for illumination. In contrast, as mentioned in FIG. 6, 63 (9 x 7=63) FOVs acquired at the first magnification (e.g., 10X magnification) are assembled and presented in a WSI form.

[0078] As shown in FIG. 7, step S124 may include three pathways. The first pathway starts from step S1240, manually select ROI by given grid, which allows the user to manually select a ROI to be illuminated using the given grids G2 among the FOVs. As shown in FIG. 8A, for the same sample in FIG. 6, a desired ROI is manually selected by the user among the FOVs in the given grids G2. Then, the process ends.

[0079] The second pathway starts from step S1242, manually draw ROI, which allows the user to manually draw a ROI. In some embodiments, step S1242 includes manually drawing an outline of the ROI. In some embodiments, the ROI may be drawn by a computer mouse or using a stylus. In some embodiments, the drawn ROI may be an irregular shape.

[0080] Then, the process proceeds to step S1244, (automatically) select the given grid to include the drawn ROI. Specifically, a plurality of interest grids IG in the second given grids G2 are automatically selected, wherein the interest grids IG correspondingly cover the outline of the ROI and fill a region (e.g. the second given grids G2) within the outline of the ROI to correspondingly cover the ROI drawn by the user. These FOVs automatically selected after calculation by the processing module 13a are the FOVs to be illuminated.

[0081] For example, as shown in FIG. 8B, the user manually draws the ROI as the irregular solid line, and among the images of the FOVs (the given grids G2) , the 12 given grids G2 as numbered are automatically selected by a calculation of the processing module 13a to correspondingly cover the ROI. Then, the process ends.

[0082] The third pathway starts from step S1246, manually draw ROI, which allows the user to manually draw a ROI. In some embodiments, the ROI may be drawn by a computer mouse or using a stylus. Step S1246 is substantially the same as the step S1242, therefore the details are not repeated for brevity. In some embodiments, a first number of the second given grids G2 cover the outline of the ROI and fill a region within the outline of the ROI.

[0083] Then, the process proceeds to step S1248, (automatically) select the least grid to include the ROI. Specifically, the layout of the second given grids G2 for allocating the FOVs are automatically rearranged to correspondingly cover the ROI drawn by the user with least grids or FOVs. In some embodiments, the second given grids G2 are automatically rearranged, such that a second number of the rearranged second given grids G2 correspondingly cover the outline of the ROI and fill the region within the outline of the ROI, wherein the second number is less than the first number.

[0084] As shown in FIG. 8C, the 9 interest grids IG are the new FOVs automatically selected by the processing module 13a, which correspondingly cover the ROI with least grids or FOVs. In some embodiments, the FOVs calculated from step S1248 may be less than or equal to the FOVs calculated from step S1244. In this example, only 9 interest grids IG (or FOVs) are needed to cover the ROI, while it takes 12 interest grids IG (or FOVs) to cover the same ROI in the step S1244.

[0085] The rearrangement of the grids for allocating FOVs is done in a mathematical way by a calculation of the processing module 13a, rather than by an actual or physical movement of the objective 102 or a stage 101. It is worth mentioning that the size (and side lengths) of FOVs of step S1248 is the same as the size of FOVs of steps S1240 and S1244, and the arrangement of location for each FOV (i.e., the layout) is not necessarily in alignment in the x direction (row to row) or y direction (column to column) . In other words, the horizontal or vertical lines of the rearranged interest grids IG may not align. In the example of FIG. 8C, the arrangement of location for each FOV is not in alignment in the x direction (row to row) . Then, the process ends.

[0086] After the process ends, an illumination is completely performed based on the ROI selected and finished. And the method ends. A more detailed illustration for the process automation will be shown later in FIG. 9A.

[0087] [Pixel calculation method]

[0088] FIG. 9A and FIG. 9B illustrate the pixel calculation method, in accordance with some embodiments of the present disclosure. Specifically, FIG. 9A shows a flow diagram of the steps of the manual setting of the pixel calculation method and FIG. 9B shows the user interface of the manual setting of the pixel calculation method.

[0089] As mentioned in FIG. 2, step S11, a manual setting, is requested first. As FIG. 9A shows, the step S11 may include step S114, an illuminating pixel assuming manual setting. In some embodiments, step S114 may include inputting the information of a threshold of a minimum number of pixels and a maximum number of pixels applying for each FOV. As the marking rectangle in FIG. 9B shows, the user is requested to manually set a threshold of a minimum number of pixels and a maximum number of pixels to be applied for each FOV. The number of maximum pixels is less than the number of pixels of the image resolution.

[0090] If the number of pixels counted or calculated for a specific type of pixel in the current FOV falls outside the predefined range, the illuminating step will not be executed, which means the FOV is skipped for illumination. That is, the system will proceed directly to the next FOV to begin a new cycle. With this method, in one case the system can automatically determine if there is sufficient ROI (or interested targets) in the current FOV based on pixel number. As mentioned earlier, if the tissue section has been damaged during processing or if the number of the ROIs (or interested targets) in the current FOV is not enough, the better approach is to skip that FOV without performing the illumination step.

[0091] In another case, particularly when an unpredictable situation happened in the environment, for example, unexpected light from the environment, the ROIs in the current FOV may falsely appear to be unreasonably high, it is still better to skip that FOV without performing the illumination step.

[0092] In some embodiments, the WSI method and the Pixel calculation method can be utilized separately or in combination. FIG. 10 illustrates a process automation of the combination of the WSI method and the Pixel calculation method, in accordance with some embodiments of the present disclosure. The method M1 of FIG. 2 may further include the following Pixel calculation method steps: steps S1100, S1102, S1104, S1106, S1108, S1110, S1112, S1114 and S1200.

[0093] As shown as FIG. 10, assuming the WSI method is used, after step S1100, the WSI method as illustrated in the FIG. 5 as well as its manual setting is carried out, and the method M1 proceeds to S1102, follow WSI method setting for skipping, to follow the selection result in the WSI method for skipping. When the WSI method is used, the process automation follows the WSI method manual setting in step S1100 to skip unselected (e.g., unnecessary or undesired) FOVs in a WSI image. That is, only the desired FOVs, or ROI, selected by the user in the step S124, selecting ROI among FOVs, of FIG. 5 proceed for further process for illumination, the others (not selected FOVs) are skipped. In some embodiments, when the WSI method is not used, step S1102 may be skipped, and the method M1 may proceed directly to step S1104. If the step S1102 is skipped, all FOVs set in FIG. 3 of the sample may proceed for further process for illumination.

[0094] Then, the method M1 proceeds to the step S1104, move stage to the given position or FOV. Specifically, the stage 101 is moved to the given FOV or position of the ROI previously selected. It is clear that in some embodiments, when the WSI method is not used, the given position or FOV in step S1104 may be each of all FOVs set in FIG. 3 of the sample.

[0095] Then, the method M1 proceeds to the step S1106, acquire an image of the FOV at a larger magnification. As mentioned previously, the FOV for the illumination is usually at a larger (or sometimes equal) magnification when illuminated than the magnification of FOV when acquired for the WSI form. And as the selection result in the step S124, for example, the FOVs are going to be illuminated at the second magnification (e.g., 20X magnification) , so the objective 102 with the second magnification is used to acquire the image for the FOV. Therefore, a new image is required to be acquired at a larger magnification. On the other side, if the FOVs are going to be illuminated at the first magnification (e.g., 10X magnification) , which is the same as when they were acquired in step S1102, then this step S1106 may be optional, or skipped. That is, the images of FOVs acquired previously for WSI are directly used for following steps.

[0096] Then, the method M1 proceeds to step S1108, generate a light pattern. Specifically, the images of the FOVs within the ROI selected in step S1102 are turned into a plurality of binary images. In some embodiments, a light pattern is generated to indicate the location within the ROI where the illuminating light source is going to illuminate. In some embodiments, the step S1108 may include a masking process to filter out the patterns in the image of an FOV which is not a target to be illuminated. In some embodiments, the masking process turns the image from a gray scale when acquired in step S1102 or S1106 into a binary image wherein each grid of the image has a number of a predetermined pixel type, that is, either a “1” (white) or a “0” (black) .

[0097] FIG. 11A and FIG. 11B illustrate a light pattern generation, according to some embodiments of the present disclosure. FIG. 11A shows an original image of an FOV in a gray scale when acquired in step S1102 or S1106. FIG. 11B shows a corresponding binary image of FIG. 11A generated in step S1108. As shown in FIG. 11B, the image is turned from the original gray scale image of FIG. 11A into a binary image with the predetermined pixel type of either a “1” (white) or a “0” (black) color, and no grey color.

[0098] In some embodiments, the masking process is an algorithm of an image process to automatically operate on the image of an FOV for target extraction. Specifically, in some embodiments, the user by his observation manually “creates a mask” in advance before the automation process proceeds by trying or tuning the image process on an image of an FOV of the sample, such as using different light filters to provide light source for imaging, different exposure time, contrast, and adding or subtracting of different tuned image results, to obtain an image substantially extracting the desired target for illumination.

[0099] In some embodiments, the image process algorithm corresponding to the created mask can be saved, so that the same image process algorithm can be applied to all FOVs of the acquired image in step S1108. In some embodiments, turning the image into a binary image is performed using a threshold. After the step S1108, a binary image with extracted target for illumination is generated to guide the illuminating light of where to illuminate. For example, in FIG. 11B, the white parts are to be illuminated, while the black parts are to be skipped.

[0100] Then the method M1 proceeds to step S1110, calculate the pixels of the FOV. Specifically, a plurality of pixels of the given grids of the binary images are calculated for a predetermined pixel type. For example, the pixel of each FOV (or each grid at the second magnification) in the image of FIG. 11B is calculated for a predetermined pixel type. In the example of FIG. 11B, if “1” (white) is to be illuminated, the pixels of the FOVs of “1” (white) are the predetermined pixel type to be calculated. In some embodiments, an average of the pixels of the target FOVs may be calculated for the setting of a specific range for skipping decision.

[0101] Then the method M1 proceeds to step S1112, follow pixel calculation for skipping. In some embodiments, the FOVs with pixels of the predetermined pixel type that fall out of a specific range may be skipped for illumination. Specifically, a first portion of the grids of the FOVs within the ROI is skipped for illumination, in which the pixels of the predetermined pixel type of the first portion of the grids of the FOVs within the ROI are outside the pixel range set in step S114 of FIG. 9A.

[0102] Generally, the number of white pixels (target to be illuminated) in the image generated in step S1108 is in a specific range, such as close to the aforementioned average calculated in step S1110. However, there are some reasons for the number of white pixels of an FOV is not in that specific range, for example, an image acquired by the camera 121 is exposed with low average intensity, less camera exposure time, or a wrong light filter is used; the process to create the mask is inappropriate; the mask created is an over-fit to fit some FOVs; or some unpredictable situation occurred in the environment.

[0103] Therefore, the step S1112 is used to skip such FOVs that have pixels (or pixel type) that fall out of a specific range. In some embodiments, an FOV is decided to be skipped or not according to the specific range set manually in step S114, illuminating pixel assuming manual setting, in FIG. 9A. It is noted that the proper range set is case by case and depends on the sample, and while typically white pixels are used for calculation in this method, black pixels may also be used for calculation.

[0104] Then the method M1 proceeds to step S1114, illuminate the FOV. Specifically, a second portion of the grids of the FOVs within the ROI is illuminated, in which the pixels of the predetermined pixel type of the second portion of the grids of the FOVs within the ROI are within the pixel range set in step S114 of FIG. 9A. In some embodiments, an illumination light can be illuminated on the target (white pixel) of the FOV according to the guidance (the received coordinate information) based on the binary image generated in the step S1108 if the FOV is not skipped in the previous step S1112.

[0105] As mentioned above, in this way, all the FOVs needed to be handled are processed and illuminated one by one until all the FOVs are processed and illuminated, and the illumination is completely performed and finished. Finally, the method M1 proceeds to step S1200, where the process automation ends.

[0106] [Image-focus method]

[0107] When automatically acquiring images of FOVs in the WSI method (i.e., in step S122 of FIG. 5) , automatic focal plane locating methods may be adopted. An abnormal situation that occurs during the execution of such methods may also be used as an indication of an unexpected environmental condition or a damaged sample, as previously described. The international patent application PCT / CN2025 / 124468, titled “METHOD FOR AUTOMATIC FOCAL PLANE LOCATION, ” discloses a system and method for automatic focal plane location. Among the disclosed approaches, the Image-focus method and the Extrapolating method are extracted herein for illustration purposes only, and not by way of limitation.

[0108] FIG. 12A shows an Image-focus method, according to some embodiments of the present disclosure. FIG. 12B and FIG. 12C show exemplary focus functions of the Image-focus method according to some embodiments of the present disclosure. FIG. 13A shows a flow diagram of the steps for Image-focus manual setting. FIGS. 13B shows a flow diagram of the steps for Image-focus automated process. The Image-focus method described herein can be a method M2, which may occur before or after the method M1, or be adopted in the method M1, such as being adopted in step S122 of FIG. 5 or step S1106 of FIG. 10, and is configured to locate a focal plane along a vertical direction, so that the FOVs of method M1 are in the focal plane. The step of acquiring images in the method M1 (e.g., step S122 in FIG. 5) may further comprise adopting an automatic focal plane location method, such as the Image-focus method, and selecting a region of interest in the method M1 (e.g., step S124 in FIG. 5) may further comprise correspondingly skipping at least one of the second images of the fields of view when an abnormal situation occurs in such automatic focal plane location method.

[0109] Reference is made to FIGS. 12A and 13A. In an image-focus method, similar to FIG. 2, a manual setting (e.g., the step S11 of Fig. 2) may be performed. In FIG. 12A, a target thickness of the sample S is divided to comprise multiple layers in a z-direction. Here, the z-direction is a vertical direction. In FIG. 13A, during the manual setting, the user is requested to input and set necessary conditions for the following automation of the method to be executed. This Image-focus manual setting requires a manual setting to input two of three parameters selected from the group consisting of a step size, a number of layers, and a target thickness, in which the step size multiplied by (the number of the layers minus one) equals the target thickness.

[0110] Reference is made to FIG. 13A. In some embodiments, the step S11 of FIG. 2 can be a step S210, manual setting of step size and layer number, and thus the total thickness of the target thickness can be calculated. In other embodiments, the step S11 of FIG. 2 can be a step S212, manual setting of total thickness and layer number, and thus the step size can be calculated. In some embodiments, for example, when the top layer and the bottom layer are respectively located at the top end and the bottom end of the total thickness along the vertical direction, the step size multiplied by (the layer number -1) equals the total thickness of the target thickness. For example, in one embodiment, the step size is 0.5μm, the layer number is 21, which means 20 step sizes in the layers, and the total thickness is 10μm (0.5μm x (21-1) ) . In this example, the 1st layer is coincidently located at position of the top end of the total thickness, and the 21st layer is coincidently located at position of the bottom end of the total thickness along the vertical direction. In some embodiments, an odd number of layers is preferred, but not a limitation.

[0111] Reference is then made to FIGS. 12A to 12C, and 13B. Once the manual setting is complete, the information of the step size, the layer number, and the total thickness is obtained. Then, an Image-focus automated process (e.g., the step S12 of FIG. 2) is performed. The step S12 of FIG. 2 can include a step S220, a step S222, and a step S224 as shown in FIG. 13B. In FIG. 13B, the Image-focus automated process starts with step S220 by taking image for each layer. For example, the camera 121 takes an image for each layer in the target thickness, and then an image set including the image of each layer is obtained. Then, the method proceeds to step S222 by calculating a focus value of the image of each layer by a focus function. For example, the processing module 13a calculates a focus value of the image of each layer in the image set by a focus function.

[0112] The focus function is an algorithm to process the image of each layer in a mathematical way, such as with a Laplacian operator (FIG. 12B) or a Sobel operator (FIG. 12C) , to obtain a value or a vector as the focus value for one image. Please refer to FIG. 12B, in the Laplacian operator, symbol refers to the gradient of a two-dimensional function f, and symbol x and symbol y refers to a point (x, y) in a coordinate space; the leading symbol refers to the divergence, which produces a scalar value when applied to a vector field. Please refer to FIG. 12C, the Sobel operator uses two 3×3 kernels which are convolved with the original image to calculate approximations of the derivatives –one for horizontal changes (Gx) , and one for vertical changes (Gy) .

[0113] The image data calculated by the operators turn into features of the image. In other words, the operators may be deemed as feature extractors. The image with its image data calculated by the operator is turned into another image with features and substantially still has same geometric composition (appearance, look) as the original image, but represented by different values. In one embodiment, the values for different directions of Sobel operator results are further calculated by square root of sum of squares for the focus value for the image, i.e., substantially a Tenengrad method. In addition to the Laplacian operator or the Sobel operator, the focus function may also include Sum of Modified Laplacian (SML) , Brenner algorithm, normalized variance, and Energy of High-frequency analysis on Fourier transform.

[0114] After calculating the focus value for every layer by the focus function, the method proceeds to step S224 by comparing the focus values to choose a focal plane. For example, the processing module 13a compares the focus values of the images of the layers in the image set to choose a focal plane. In some embodiments, the processing module 13a performs a comparing method to the focus values to choose the focal plane of the current field of view.

[0115] In some embodiments, the comparing method can choose a peak value based on an extreme value (e.g., a peak value such as a maximum value or a minimum value, depending on a setting of the operator or the calculation of the focus function) among the focus values of the images in the image set. In some embodiments, the focal plane is determined to be a position of a layer within the target thickness that has the extreme focus value (or the peak value) .

[0116] In other embodiments, the comparing method can perform a derivative calculation on a curve of the focus values and find where the derivative is zero, among the focus values of the images. In some embodiments, the focal plane is determined to be a position of a layer within the target thickness that has the zero derivative (or the smallest derivative) .

[0117] In one embodiment, the second step S222 and the third step S224 in FIG. 13B may be carried out through an AI model. For example, first, the images taken for the layers in the first step S220 go through the second step S222 and the third step S224, and the focal plane is accordingly decided. Then, these images along with the corresponding image of the focal plane are used as training data to train the AI model. After being trained, the trained AI model is used to replace the second step S222 and the third step S224 in FIG. 13B to locate the focal plane.

[0118] [Extrapolating method]

[0119] FIG. 14 and FIG. 15 illustrate some embodiments of the present disclosure called the Extrapolating method. The method M3 is substantially a modification of the Image-focus method M2. So, a similar illustration is not described again. The principle of the Extrapolating method is to add extra more layers in the Image-focus method under a specific condition. The process of the Image-focus method is carried out again on the more layers extra added for more accurately locating the focal plane.

[0120] The method M3 starts with step S610 by taking an image for each layer and then is followed by step S612, calculating a focus value of the image of each layer by a focus function. That is, the camera 121 takes the image for each layer by a setting, and then followed by the processing module 13a calculating a focus value for every layer by a focus function.

[0121] Then, the method proceeds to S614, listing the focus values in the layer order and then is followed by step S616 (the first rhombus) , determining whether there is a peak focus value. Step S616 is a checking step to check whether there is a peak, or a peak focus value, in this series of numbers. Here, the peak is defined as a maximum (or minimum) value in this series of numbers except one corresponding to the top-most layer or the bottom-most layer. In other words, if the maximum (or minimum) value is corresponding to the top-most layer or the bottom-most layer, it is not a peak. Or mathematically, the peak is the value for a layer which has positive and negative slopes or derivatives respectively on two sides of such layer in the series of numbers.

[0122] In the case that there is a peak, which means physically the labeling targets LT to be focused on are distributed mainly inside the target thickness, the process goes to the “Yes” path, then step S618, comparing the focus values to choose a focal plane, as illustrated in step S124 in FIG. 5, is followed.

[0123] As shown in FIG. 14, the process of the Image-focus method is carried out on the first field of view (FOV) . In some embodiments, the first FOV has a first target thickness T1. In the first FOV, the labeling targets LT are distributed mainly inside the first target thickness T1, so that in step S616, there is a peak focus value, and the peak focus value is not located in the top-most layer or the bottom-most layer in the first target thickness T1. Therefore, the method proceeds to the “Yes” path, where a focal plane (not shown) of the first FOV is properly located in step S618.

[0124] Subsequently, the process of the Image-focus method is carried out on the second field of view (FOV) . In some embodiments, the second FOV has a second target thickness T2. Similarly, in the second FOV, the labeling targets LT are distributed mainly inside the second target thickness T2, so that in step S616, there is a peak focus value, and the peak focus value is not located in the top-most layer or the bottom-most layer in the second target thickness T2. Therefore, the method proceeds to the “Yes” path, where a focal plane (not shown) of the second FOV is properly located in step S618.

[0125] Finally, the process of the Image-focus method is carried out on the third field of view (FOV) . In some embodiments, the third FOV has a third target thickness T3. However, in the third FOV, the labeling targets LT are distributed mainly outside the third target thickness T3, so that in step S616, there is not a peak focus value. In some embodiments, there might be a maximum focus value, but the maximum focus value is located in the top-most layer or the bottom-most layer in the third target thickness T3, and is therefore not considered as a peak focus value. In the example of FIG. 14, the maximum focus value is located at the top-most layer. Then, the method proceeds to the “No” path.

[0126] That is, in the case that there is not a peak, which means physically the labeling targets are not distributed mainly inside the target thickness, and the process goes to the “No” path. For example, in the third FOV, the labeling targets LT are outside the third target thickness T3, and the process of the Image-focus method may falsely locate the focal plane of the third FOV. To solve this problem, the Extrapolating method further finds a trend and / or a peak for the distribution of the labeling targets LT, and extra more layers are added by extrapolation, and the process of the Image-focus method is carried out again on these added layers to accurately locate the focal plane.

[0127] The method proceeds to step S620 (the second rhombus) , determining whether there is a trend in the focus values. Specifically, step S620 is another checking step to be executed to check whether there is a trend in this series of numbers (among the focus values of the images of the image set) . In some embodiments, in the case that there is not a trend, the method may proceed directly to step S624, skip the FOV.

[0128] Here, the trend may be defined or found by a correlation coefficient, particularly by the Pearson correlation coefficient (PCC) . The correlation coefficient or the Pearson correlation coefficient measures linear correlation between two sets of data. That is, a sequence of the values of the z-positions of the layers or the numbers which the layers are numbered is the first set of data, and the sequence of the focus values of the layers listed in layer order is the second set of data. The correlation coefficient or the Pearson correlation coefficient for the two set of data are calculated to decide whether there is a trend or not. In one embodiment, the Pearson correlation coefficient is adopted, and the calculated result always has a value between -1 and 1. In the case that the calculated result is zero (0) , there is not a trend. A predetermined threshold, for example ±0.4 or ±0.5, may be set to judge the calculated result of the Pearson correlation coefficient to decide whether there is a trend or not. In some embodiments, other correlation coefficients, such as Kendall 's rank correlation coefficient or Spearman's rank correlation coefficient may be used.

[0129] In the case that a trend exists, which means physically the labeling targets LT are distributed mainly outside the target thickness while increasingly extending in a direction, the process goes to the “Yes” path. Next, the method proceeds to step S622, adding more layers in the direction where the trend is increasing, which then brings the process flow back to the initial step S610, forming a loop and allowing the process of the Image-focus method to be applied again to the newly added layers.

[0130] Please refer back to FIG. 14, when the method proceeds to step S620, whether there is a trend in the focus values is determined, for example, with the correlation coefficient method as illustrated above. In some embodiments, in the third FOV, the focus values of the third target thickness are determined to have a trend, where the focus values of the layers increase in the upward direction.

[0131] Then, the method proceeds to step S622, where more layers are added in the direction where the trend is increasing. In some embodiments, in the third FOV, an additional thickness T3-1 is added to the target thickness T3 in the upward direction. In some embodiments, the additional thickness T3-1 may be set the same thickness as the third target thickness T3. In some embodiments, the additional thickness T3-1 is smaller than the third target thickness T3. In some embodiments, the additional thickness T3-1 is divided into or comprises a plurality of layers spaced apart from each other by a step size S3-1, in which the step size S3-1 is the same as the step size S3 of the third target thickness T3.

[0132] In one embodiment, layers as many as 1 / 3 of layer number as setting in the manual setting step are extra added. In another embodiment, layers as many as 1 / 2 of layer number as setting are extra added. It is noted that in some embodiments, the process may be set to allow the above loop to go through again and again until default times (for example, 2 times of step S622) are reached to abort the loop and skip the position (FOV) , or re-calculate to compare the focus values of all layers added together (i.e., all layers in the target thickness T3 and the additional thickness T3-1) to choose the focal plane.

[0133] Then, back to the case that the additional thickness T3-1 is added, the method returns back to step S610, where the camera 121 takes the image for each layer, that is, the camera takes the image for the additional thickness T3-1 together. The focal plane of the third FOV (with the third target thickness T3 and the additional thickness T3-1) can be determined in a similar way as discussed above, and will not be repeated for brevity.

[0134] In short, as mentioned above, in some embodiments, a third peak focus value of a third FOV is determined among the focus values of the images of the additional thickness T3-1 image set. In some embodiments, a third peak focus value of a third FOV is determined among the focus values of the images of the additional thickness T3-1 image set in combination with the target thickness T3 image set. Correspondingly, in some embodiments, a third focal plane is determined to be a position of a layer among the layers within the additional thickness T3-1 of the sample or a layer among the layers within the additional thickness T3-1 and the target thickness T3 of the sample in the third field of view that has the peak focus value.

[0135] On the other side, in the case that a trend does not exist, which means physically there might not be targets to focus on or the signal is too low, the process goes to the “No” path. Then, the method proceeds to step S624, skipping the FOV. Specifically, the current position (FOV) is skipped and the process ends if no more FOV is to be processed.

[0136] Please refer back to FIG. 5, in step S122, acquiring FOVs, the images for multiple FOVs are automatically acquired. Automatic focal plane location methods, such as the Image-focus method or the Extrapolating method described above, may be adopted in step S122 for acquiring FOVs automatically. In some embodiments, when an abnormal situation occurs on a specific FOV while locating a focal plane, such as when an additional thickness is needed to be added as described above in the Extrapolating method, step S124 in FIG. 5 may further include presenting a warning on that specific FOV.

[0137] In some embodiments, the warning of the abnormal FOV can be presented by popping up a warning window or by labeling the abnormal FOV. In certain cases, the image of the abnormal FOV may not be shown to the user, and only a blank space is displayed instead, for example, when the automatic focal plane location process is aborted and the image is therefore not acquired. In some embodiments, an abnormal situation occurs on a specific FOV may be the offset value (or the z-direction adjusting movement required) related to the optical detection method is too large or out of a range while locating a focal plane using the Mix-mode method ( “Optical detection + Image-focus” ) in the above application PCT / CN2025 / 124468. Then, in step S124, the user may decide to skip that abnormal FOV or an AI model may directly skip that abnormal FOV by setting.

[0138] It is noted that two or more of the embodiments illustrated above may be combined when the present disclosure is implemented. For example, the WSI method, pixel calculation method, and the Image-focus method may be combined and used. And when two or more of the methods are combined, a person skilled in the art can make necessary modifications needed based on the teaching or spirit of the above illustrations.

[0139] Although the present disclosure has been described in considerable detail with reference to certain embodiments thereof, other embodiments are possible. Therefore, the spirit and scope of the appended claims should not be limited to the description of the embodiments contained herein.

[0140] It will be apparent to those skilled in the art that various modifications and variations can be made to the structure of the present disclosure without departing from the scope or spirit of the disclosure. In view of the foregoing, it is intended that the present disclosure covers modifications and variations of this disclosure provided they fall within the scope of the following claims.

Claims

1.An illumination method for illuminating a sample through a microscope system, comprising:setting information of a plurality of fields of view;acquiring, at a first magnification, a plurality of first images of the fields of view according to the information of the fields of view for correspondingly forming a plurality of first grids when the first images are collectively presented as a whole;selecting a region of interest among a plurality of second images of the fields of view, wherein the second images of the fields of view are the first images of the fields of view defined into a plurality of second grids for simulating observation of the sample at a second magnification, wherein the second magnification is larger than or equal to the first magnification; andilluminating the sample based on the region of interest, at the second magnification.2.The method of claim 1, wherein setting the information of the fields of view comprises setting a number for a layout of the fields of view.3.The method of claim 2, wherein setting the number for the layout of the fields of view comprises inputting a number of columns and inputting a number of rows, wherein the number of the fields of view is obtained by multiplying the number of columns by the number of rows.4.The method of claim 1, wherein setting the information of the fields of view comprises setting a start position and an end position for a layout of the fields of view, wherein the fields of view cover the start position and the end position.5.The method of claim 1, wherein a size of the second grids is 1 / 4 or 1 / 16 of a size of the first grids.6.The method of claim 1, wherein selecting the region of interest among the second images of the fields of view comprises manually selecting a plurality of interest grids in the second grids.7.The method of claim 1, wherein selecting the region of interest among the second images of the fields of view comprises:manually drawing an outline of the region of interest; andautomatically selecting a plurality of interest grids in the second grids, wherein the interest grids correspondingly cover the outline of the region of interest and fill a region within the outline of the region of interest.8.The method of claim 1, wherein selecting the region of interest among the second images of the fields of view comprises:manually drawing an outline of the region of interest, wherein a first number of a plurality of interest grids in the second grids correspondingly cover the outline of the region of interest and fill a region within the outline of the region of interest; andautomatically rearranging a layout for defining the second grids, such that a second number of a plurality of interest grids in the rearranged second grids correspondingly cover the outline of the region of interest and fill the region within the outline of the region of interest, wherein the second number is less than the first number.9.The method of claim 8, wherein a plurality of horizontal or vertical lines for the layout of the interest grids in the rearranged second grids do not align, or the interest grids in the rearranged second grids correspondingly cover the outline of the region of interest and fill the region within the outline of the region of interest with a least number of second grids.10.The method of claim 1, wherein the step of acquiring the first images of the fields of view further comprises adopting an automatic focal plane location method, and the step of selecting the region of interest further comprises correspondingly skipping at least one of the second images of the fields of view which an abnormal situation occurs in the automatic focal plane location method.11.The method of claim 10, wherein the automatic focal plane location method comprises:acquiring an image set of a target thickness of the sample, wherein the target thickness is divided into or comprises a plurality of layers spaced apart from each other by a step size in a vertical direction, wherein the image set comprises images of the layers within the target thickness of the sample;calculating focus values of the images of the image set;determining a peak focus value among the focus values of the images of the image set; anddetermining a focal plane to be a position of a layer among the layers within the target thickness of the sample that has the peak focus value, wherein the fields of view are in the focal plane.12.The method of claim 1, further comprises before or after the step of selecting the region of interest:turning the second images of the fields of view or the second images of the fields of view within the region of interest into a plurality of binary images, wherein the binary images correspond to the second grids;calculating a number for a predetermined pixel type out of a plurality of pixels of each of the second grids of the binary images; andskipping a first portion of the second grids of the binary images, while a second portion of the second grids of the binary images are continued for further processes, wherein the number for the predetermined pixel type of each of the second grids of the first portion of the second grids is outside a predetermined pixel range, while the number for the predetermined pixel type of each of the second grids of the second portion of the second grids is within the predetermined pixel range.13.An illumination method, comprising:setting information of a plurality of fields of view;acquiring a plurality of first images of the fields of view according to the information of the fields of view, in a gray scale;selecting a region of interest among a plurality of second images of the fields of view, wherein the second images of the fields of view are the first images of the fields of view defined into a plurality of grids when collectively presented as a whole;turning the second images of the fields of view within the region of interest into a plurality of binary images, wherein the binary images correspond to the grids;calculating a number for a predetermined pixel type of a plurality of pixels of each of the grids of the binary images; andskipping a first portion of the grids within the region of interest, while illuminating a second portion of the grids within the region of interest, wherein the number for the predetermined pixel type of each of the grids of the first portion of the grids within the region of interest is outside a predetermined pixel range, while the number for the predetermined pixel type of each of the grids of the second portion of the grids within the region of interest is within the predetermined pixel range.14.The method of claim 13, wherein setting the information of the fields of view comprises setting the predetermined pixel range by a minimum number of pixels and / or a maximum number of pixels.15.The method of claim 13, wherein setting the information of the fields of view comprises setting a number for a layout of the fields of view, or setting a start position and an end position for a layout of the fields of view, wherein the fields of view cover the start position and the end position.16.The method of claim 13, wherein selecting the region of interest among the second images of the fields of view comprises manually selecting a plurality of interest grids among the grids.17.The method of claim 13, wherein selecting the region of interest among the second images of the fields of view comprises:manually drawing an outline of the region of interest; andautomatically selecting a plurality of interest grids in the grids, wherein the interest grids correspondingly cover the outline of the region of interest and fill a region within the outline of the region of interest.18.The method of claim 13, wherein selecting the region of interest among the second images of the fields of view comprises:manually drawing an outline of the region of interest, wherein a first number of a plurality of interest grids in the grids correspondingly cover the outline of the region of interest and fill a region within the outline of the region of interest; andautomatically rearranging a layout for defining the grids, such that a second number of a plurality of interest grids in the rearranged grids correspondingly cover the outline of the region of interest and fill the region within the outline of the region of interest, wherein the second number is less than the first number.19.The method of claim 18, wherein a plurality of horizontal or vertical lines for the layout of the interest grids in the rearranged grids do not align, or the interest grids in the rearranged grids correspondingly cover the outline of the region of interest and fill the region within the outline of the region of interest with a least number of grids.20.The method of claim 13, wherein the step of acquiring the first images of the fields of view further comprises adopting an automatic focal plane location method, and the step of selecting the region of interest further comprises correspondingly skipping at least one of the second images of the fields of view which an abnormal situation occurs in the automatic focal plane location method.

Images