Method for illumination scanning of a microscope system

Abstract

Provide a method for illumination scanning of a microscope system, including: determining an illumination sequence of regions of interest (ROIs) in a field of view (FOV), wherein the ROIs comprise a first ROI including first pixels and a second ROI including second pixels; determining a first illumination path for the first ROI and a second illumination path for the second ROI; and performing an illumination scanning, wherein the illumination scanning for the first pixels in the first ROI and the second pixels in the second ROI includes: moving or jumping to an illumination point by controlling a galvo; staying a dynamic waiting time, wherein the dynamic waiting time is configured to ensure the galvo reaches a stable position before illumination light is provided for illumination; providing the illumination light and illuminating the illumination point; stopping providing the illumination light; and moving or jumping to a next illumination point.

Description

METHOD FOR ILLUMINATION SCANNING OF A MICROSCOPE SYSTEMCROSS REFERENCE OF RELATED APPLICATION

[0001] This application claims priority to U.S. Provisional Patent Application No. 63 / 670,246, filed on July 12, 2024, titled “ADAPTIVE CONTROL OF LASER SCANNING SPEED BETWEEN ROIS” , which is herein incorporated by reference in its entirety. This application also claims priority to U.S. Provisional Patent Application No. 63 / 728,051, filed on December 04, 2024, titled “MICROSCOPE-BASED SYSTEMS AND METHODS FOR HIGH PRECISION AND ACCURACY LABELING BY OPTIMIZED MOTION CONTROL” , which is herein incorporated by reference in its entirety.INCORPORATION BY REFERENCE

[0002] All publications and patent applications mentioned in this specification are herein incorporated by reference in their entirety to the same extent as if each individual publication or patent application was specifically and individually indicated to be incorporated by reference.TECHNICAL FIELD

[0003] Described herein is a method for illumination scanning of a microscope system and the associated microscope system.BACKGROUND

[0004] Spatial proteomics allows protein mapping of a biological sample to reveal geographic organization for underlying protein-protein interactions. Both cell biologists and histologists are largely benefited by recent development in spatial proteomics, enabling, e.g., disease-associated microenvironmental protein mapping, heterogeneous protein distributions on histological samples, or protein identification of specific organelles. Targeted spatial proteomics aims to localize known proteins, whereas hypothesis-free spatial proteomics requires spatial protein identification without prior knowledge of what proteins to look for. Unlike transcriptomics where PCR is capable of amplifying signals so that hypothesis-free transcriptomics like RNAseq is possible, no PCR-equivalent technology is yet available for proteomics.

[0005] There are needs to illuminate patterns on samples (e.g. biological samples) at specific locations. Processes such as photobleaching of molecules at certain subcellular areas, photoactivation of fluorophores at a confined location, optogenetics, light-triggered release of reactive oxygen species within a designated organelle, or photoinduced labeling of proteins in a defined structure feature of a cell all require pattern illumination. For certain applications, the pattern of the abovementioned processes may need to be determined by a microscopic image. Some applications further need to process sufficient samples, adding the high-content requirement to repeat the processes in multiple regions. Systems capable of performing such automated image-based localized photo-triggered processes are rare.SUMMARY OF THE DISCLOSURE

[0006] In view of the foregoing objectives, some embodiments of the present disclosure provide a method for illumination scanning of a microscope system, including: determining an illumination sequence of regions of interest (ROIs) in a field of view (FOV) , wherein the ROIs comprise a first ROI including a plurality of first pixels and a second ROI including a plurality of second pixels; determining a first illumination path for the plurality of first pixels in the first ROI and a second illumination path for the plurality of second pixels in the second ROI; and performing an illumination scanning according to the illumination sequence, the first illumination path and the second illumination path, wherein the illumination scanning for each of the first illumination path for the plurality of first pixels in the first ROI and the second illumination path for the plurality of second pixels in the second ROI includes: moving or jumping to an illumination point by controlling a galvo; staying a dynamic waiting time, wherein the dynamic waiting time is configured to ensure the galvo reaches a stable position before illumination light is provided for illumination; providing the illumination light and illuminating the illumination point; stopping providing the illumination light; and moving or jumping to a next illumination point.

[0007] In some embodiments, during the illumination scanning of the plurality of first pixels within the first ROI and during the illumination scanning of the plurality of second pixels within the second ROI, the dynamic waiting time is a dwell time; and during the illumination scanning from a last pixel of the plurality of first pixels within the first ROI to an initial pixel of the plurality of second pixels within the second ROI, the dynamic waiting time is a jump waiting time.

[0008] In some embodiments, the illumination scanning further comprises: staying a pixel waiting time after the stopping providing the illumination light and before the moving or jumping to the next illumination point, wherein the pixel waiting time is configured to ensure stopping providing the illumination light before the galvo is changed to the next illumination point.

[0009] In some embodiments, the dynamic waiting time corresponds to a distance between two illumination points or a scan angle of the galvo and is formed as a mathematical function.

[0010] In some embodiments, the first illumination path begins with a start point at a periphery of the first ROI and is a spiral extending toward a center inside the first ROI.

[0011] In some embodiments, the first illumination path is set first to move along a contour of the first ROI and is then set to move to an internal part of the first ROI, and the plurality of first pixels comprises contour pixels and internal pixels surrounded by the contour pixels.

[0012] In some embodiments, the first illumination path follows to move in a spiral extending toward a center inside the first ROI for the internal part of the first ROI.

[0013] In some embodiments, the first illumination path follows to move in substantially a boustrophedon way downward inside the first ROI for the internal part of the first ROI.

[0014] In some embodiments, the dynamic waiting time corresponds to a predetermined optimal waiting time based on a mathematical model, and during the illumination scanning of the contour pixels, the dynamic waiting time for each of the contour pixels follows the predetermined optimal waiting time.

[0015] In some embodiments, during the illumination scanning of the internal pixels, the dynamic waiting time for at least one of the internal pixels does not follow the predetermined optimal waiting time.

[0016] In some embodiments, the first illumination path follows to move in a spiral extending toward a center inside the first ROI for the internal part of the first ROI.

[0017] Some embodiments of the present disclosure provide a method for illumination scanning of a microscope system, including: determining an illumination sequence of regions of interest (ROIs) in a field of view (FOV) , wherein the ROIs comprise a first ROI including a plurality of first pixels and a second ROI including a plurality of second pixels; determining a first illumination path for the plurality of first pixels in the first ROI and a second illumination path for the plurality of second pixels in the second ROI, wherein each of the first illumination path and the second illumination path moves in a spiral extending toward a center inside the first ROI; and performing an illumination scanning according to the illumination sequence, the first illumination path and the second illumination path, wherein the illumination scanning for each of the first illumination path for the plurality of first pixels within the first ROI and the second illumination path for the plurality of second pixels within the second ROI comprises: moving or jumping to an illumination point by controlling a galvo; providing the illumination light and illuminating the illumination point; stopping providing the illumination light; and moving or jumping to a next illumination point.

[0018] In some embodiments, the illumination scanning further comprises: staying a dynamic waiting time after the moving or jumping to the illumination point by controlling the galvo and before the providing the illumination light and illuminating the illumination point, wherein the dynamic waiting time is configured to ensure the galvo reaches a stable position before illumination light is provided for illumination.

[0019] In some embodiments, the illumination scanning further comprises: staying a pixel waiting time after the stopping providing the illumination light and before the moving or jumping to the next illumination point, wherein the pixel waiting time is configured to ensure stopping providing the illumination light before the galvo is changed to the next illumination point.

[0020] Some embodiments of the present disclosure provide a method for illumination scanning of a microscope system, including: determining an illumination sequence of regions of interest (ROIs) in a field of view (FOV) , wherein the ROIs comprises a first ROI including a plurality of first pixels and a second ROI including a plurality of second pixels; determining a first illumination path for the plurality of first pixels in the first ROI and a second illumination path for the plurality of second pixels in the second ROI, wherein each of the first illumination path and the second illumination is set first to move along a contour of each of the ROIs, and then move to an internal part of each of the ROIs; and performing an illumination scanning according to the illumination sequence, the first illumination path and the second illumination path.

[0021] In some embodiments, the first illumination path follows to move in a spiral extending toward a center inside the first ROI for the internal part of the first ROI.

[0022] In some embodiments, the first illumination path follows to move in substantially a boustrophedon way downward inside the first ROI for the internal part of the first ROI.

[0023] In some embodiments, the performing the illumination scanning comprises: moving or jumping to an illumination point by controlling a galvo; staying a dynamic waiting time, wherein the dynamic waiting time is configured to ensure the galvo reaches a stable position before illumination light is provided for illumination; providing the illumination light and illuminating the illumination point; stopping providing the illumination light; and moving or jumping to a next illumination point.

[0024] In some embodiments, the illumination scanning further comprises: staying a pixel waiting time after the stopping providing the illumination light and before the moving or jumping to the next illumination point, wherein the pixel waiting time is configured to ensure stopping providing the illumination light before the galvo is changed to the next illumination point.

[0025] In some embodiments, and the plurality of first pixels comprises contour pixels and internal pixels surrounded by the contour pixels, the dynamic waiting time corresponds to a predetermined optimal waiting time based on a mathematical model, and during the illumination scanning of the contour pixels, and the dynamic waiting time for contour pixels follows the predetermined optimal waiting time.

[0026] In some embodiments, during the illumination scanning of the internal pixels, the dynamic waiting time for at least one of the internal pixels does not follow the predetermined optimal waiting time.

[0027] In some embodiments, the plurality of first pixels or the second pixels comprises contour pixels and internal pixels surrounded by the contour pixels, and the dynamic waiting time for at least one of the internal pixels is shorter than the dynamic waiting time for the contour pixels.

[0028] In some embodiments, an image of the first ROI OR the second ROI is divided into two parts: a first part representing the contour and a second part representing the internal part, and each of the two parts is processed using a downward boustrophedon scanning path to allow the topmost pixel in each of the two parts to be identified and used as a start point for the first illumination path or the second illumination path.BRIEF DESCRIPTION OF THE DRAWINGS

[0029] A better understanding of the features and advantages of the methods and apparatuses described herein will be obtained by reference to the following detailed description that sets forth illustrative embodiments, and the accompanying drawings of which:

[0030] Fig. 1 shows an image guided microscopic illumination system according to embodiments of the present disclosure.

[0031] Fig. 2 shows a process for performing image-guided photolabeling with an image-guided microscopic illumination system according to embodiments of the present disclosure.

[0032] Fig. 3 is a flow chart of a computer-implemented method for performing image-guided photolabeling according to embodiments of the present disclosure.

[0033] Fig. 4 is an explanatory drawing of an illumination sequence and a plurality of illumination paths of corresponding regions of interest according to embodiments of the present disclosure.

[0034] Fig. 5A shows a flow chart of example method steps for an illumination process utilizing a laser off delay parameter -pixel waiting time according to embodiments of the present disclosure.

[0035] Fig. 5B shows a flow chart of example method steps for an illumination process utilizing a laser on delay parameter –jump waiting time according to embodiments of the present disclosure.

[0036] Figs. 6A and 6B show measurements correlating a Galvo scan angle’s effect with step response time according to an example of the present disclosure.

[0037] Figs. 7 and 8A-8B show the use of a dispersed dot matrix to validate improvement in the optimization effect described herein according to an example of the present disclosure. Fig. 7 shows the image of the dispersed dot matrix. Fig. 8A is a bar chart showing the overall time during the illumination scan of the dispersed dot matrix, comparing the tests without jump waiting time and the test with jump waiting time. Fig. 8B is a bar chart showing the average time of a pixel during the illumination scan of the dispersed dot matrix, comparing the tests without jump waiting time and the tests with jump waiting time.

[0038] Figs. 9 and 10A-10B show the use of nucleuses sample to validate improvement in the optimization effect described herein according to an example of the present disclosure. Fig. 9 shows the image of the nucleuses sample. Fig. 10A is a bar chart showing the overall time during the illumination scan of the nucleuses sample, comparing the tests without jump waiting time and the tests with jump waiting time. Fig. 10B is a bar chart showing the average time of a pixel during the illumination scan of the nucleuses sample, comparing the tests without jump waiting time and the tests with jump waiting time.

[0039] Figs. 11 and 12A-12B show the use of nucleoli randomly distributed in five FOVs to validate improvement in the optimization effect described herein according to an example of the present disclosure. Fig. 11 shows the image of the nucleoli sample. Fig. 12A is a bar chart showing the overall time during the illumination scan of the nucleoli sample, comparing the tests without jump waiting time and the tests with jump waiting time. Fig. 12B is a bar chart showing the average time of a pixel during the illumination scan of the nuclei sample, comparing the tests without jump waiting time and the tests with jump waiting time.

[0040] Fig. 13 illustrates a photobleaching scanning experiment used to confirm that optimized scanning speed maintains accuracy.

[0041] Fig. 14 shows the images captured by the camera at different times for determining the optimal dynamic waiting time.

[0042] Figs. 15A-15B show the optimal dynamic waiting times for the mirrors of the galvo to reach target positions of different test distances and stay a stable status.

[0043] Fig. 16 shows a flow chart of an illumination process according to embodiments of the present disclosure.

[0044] Figs. 17A-17C show different type of illumination paths according to embodiments of the present disclosure.

[0045] Fig. 18A shows the illumination scanning moving path in a FOV for an actual sample in an example of the present disclosure. Fig. 18B shows the result of time controlling in illumination with different specific percentages of the predetermined or calculated value of the illumination path in Fig. 18A.

[0046] [Rectified under Rule 91, 09.09.2025]Fig. 19A shows a table of result for illumination paths corresponding to the three types in Figs. 17A-17C according to an example of the present disclosure. Fig. 19B shows a bar chart based on the data in the table of Fig. 19A.DETAILED DESCRIPTION

[0047] The embodiments of the invention will be apparent from the following detailed description, which proceeds with reference to the accompanying drawings, wherein the same references relate to the same elements.

[0048] Although the terms “first” and “second” may be used herein to describe various features / elements (including steps) , these features / elements should not be limited by these terms, unless the context indicates otherwise. These terms may be used to distinguish one feature / element from another feature / element. Thus, a first feature / element discussed below could be termed a second feature / element, and similarly, a second feature / element discussed below could be termed a first feature / element without departing from the teachings of the present invention.

[0049] As used herein, the term “beam” is a laser beam used as illumination light source of the present invention. In one embodiment, a femtosecond laser may be used as the illumination light source to generate a two-photo effect for high axial illumination precision.

[0050] As used herein, the term “region of interest” is defined by the user. They may be the locations of cell nuclei, nucleoli, mitochondria, or any cell organelles or subcellular compartments. They may be the locations of a protein of interest or a morphological signature. They may also be a feature defined by two-color imaging, such as the colocation sites of protein A and B or actin filaments close to the centrosome.

[0051] As used herein, the term “illuminate” refers to provide light on the points or areas, particularly for photo-induced processes. For example, to shine the photosensitizing light on the points or areas to achieve localized photolabeling, wherein the points or areas can be proteins, amino acids, lipids, or nucleic acids. The photolabeling progress is achieved by including photosensitizers such as riboflavin, Rose Bengal or photosensitized protein (such as miniSOG and Killer Red, etc. ) and chemical reagents such as phenol, aryl azide, benzo-phenone, Ru (bpy) 32+, or their derivatives for labeling purpose. As used herein, an illumination point corresponds to a pixel.

[0052] Described herein are methods and systems particularly related to an integrated technology termed optoproteomics. In some embodiments, the integrated technology combines microscope imaging, real-time deep learning-enabled image segmentation, pattern illumination-induced targeted photoaffinity labeling, affinity purification, and mass spectrometry to subcellular spatial proteomic discovery.

[0053] Two examples of the microscope-based system and illumination method of the present disclosure include those described in US 11,265,449 and PCT / US23 / 73512 (WO2024054817) , which are entirely incorporated herein by reference for all purposes. US 11,265,449 and PCT / US23 / 73512 described platforms to perform imaged-guided microscopic illumination. One exemplary system is shown in Fig. 1. The optical system contains a microscope 110 with a drift-free focusing setup, an sCMOS camera (CAM) 120 and LED 130 for imaging, an illuminating light source (ILS) 140 (e.g., 780-nm femtosecond laser) for two-photon illumination that triggers a photochemical reaction, an acousto-optic modulator (AOM) 150 as the illuminating light source shutter, and a pair of galvanometer scanning mirrors 160 (e.g., galvo X 162 and galvo Y 164) to direct the light illumination. The microscope 110 includes the stage 118 and the PFS 116 by a USB interface. The optical system further includes a processor (PRO) 170 coupled to the components of the optical system. The processer 170 can be a computer, a workstation, or a CPU of a computer, which is capable of executing a program designed for operating this system.

[0054] Further, the on / off switching of the laser is modulated by the AOM 150. That is, the laser light is provided or not to a target to be illuminated by the controlling of the AOM 150. The laser beam can be steered by galvo X 162 and galvo Y 164, and passed through a scan lens (SL) 113, and a tube lens (TL) 114, which are the parts of the microscope 110, to be merged in the microscope 110 through dichroic mirrors (DMs, e.g., DM1 111 and DM2 112) , then focused onto the sample plane by an objective 115. The two-photon labeling can be guided from the imaging results, which can be generated by attaching an LED 130 illumination source on the microscope 110 to make epi-fluorescence imaging. The fluorescence generated within the specimen can be collected by the objective 115, and the fluorescence signals were guided with the dichroic mirrors (e.g., DM1 111 and DM2 112) and via an emission filter 117 to be projected onto a sCOMS camera 120, able of frame rates down to 19 milliseconds (ms) .

[0055] Two-photon illumination can be used to obtain better chemical labeling precision in the z direction. The use of electronically switched LED 130 and AOM 150 takes advantage of their switching speed, at the time scale of <20 μs for LED 130 triggering speed and 25 ns for AOM 150 rise / fall time. To avoid any slowdown due to mechanical movement, multiband dichroic mirrors (e.g., DM1 111 and DM2 112) can be used to allow multicolor imaging and femtosecond light illumination without movement of mechanical elements such as a turret or a shutter. A processor (PRO) 170 (e.g., a host computer coupled with a field programmable gate array, FPGA) with a 1 μs conversion time can be used to control AOM and galvos to assume synchronization for scanning, where 10 –5000 μs per illumination point was implemented for a photochemical reaction. The only mechanical movements required in the process are the fast galvo scanning and the relatively slower focal adjustment and stage movement toward the next field of view (FOV) .

[0056] Photo-induced labeling assures low background so that image-guided proteomics is feasible. However, because of the sensitivity limit of current mass spectrometry technologies, one usually needs at least femtomoles (～108 molecules) of the same species to be detectable. Performing image-guided photolabeling in ultrahigh content is thus necessary to be able to resolve low-abundant proteins. Therefore, the systems provided in this disclosure are configured to perform four sequential steps repeating tens of thousands of times needed for the entire process, as shown in Fig. 2.

[0057] FIG. 2 shows a process for performing image-guided photolabeling with an image-guided microscopic illumination system. The process includes four sequential steps, Steps 1 to 4. Step 1: Epifluorescence imaging of a FOV. A biological sample (i.e. tissues, or cultivated cells) can be pretreated, such as fixed and stained on a glass slide. Fluorescence imaging allows visualization of cell morphology, and cellular / subcellular compartments. For example, in FOV 102 (circle) , cells 101 (gray patches) were observed. According to the fluorescence signal, it can be assumed that target proteins exist in regions of interest 103 (dark spot) . Step 2: ROI mask generation of the FOV by traditional image processing or deep learning. The mask 104 defines all the regions of interest 103 to be pattern illuminated in the next step. Step 3: Selective illumination toward the ROIs for photochemical labeling (activation of the photoreactive probes described herein) . Step 4: Moving the stage of the microscope to the next FOV and repeating Step 2 and Step 3, until all FOVs are illuminated.

[0058] In general, each cycle may need 300 milliseconds for a given FOV. To achieve this high speed, PCT / US23 / 73512 discloses an algorithm to calculate the shortest illumination path within and between the regions of interest in each field of view when performing Step 2 and Step 3. Fig. 3 is a flow chart of the computer implemented method including steps 201, 202, 203, and 204. In step 201, the processing module is configured to identify the regions of interest to generate a two-dimensional illumination mask for each of the multiple fields of view. In the step 202, the processing module is configured to determine an illumination sequence of the regions of interest by minimizing a sum of a plurality of region-to-region traveling distances between sequential regions of interest for each field of view. In step 203, the processing module is configured to determine an illumination path following the illumination sequence within each of the regions of interest. In step 204, the processing module is configured to control the illumination light source and the pattern illumination device to illuminate the regions of interest based on the illumination sequence and the illumination path for each of the multiple fields of view.

[0059] FIG. 4 is an explanatory drawing of an illumination sequence 311 and a plurality of illumination paths 302-1 to 302-5 of the corresponding regions of interest 302a-302e. The dashed line 312 represents the path of the illumination assembly moving to subsequent region of interest, e.g., 302b without illumination.

[0060] Referring back to Fig. 3, in steps 201-203, a processor (e.g., processor 170) may perform image processing and obtain an XY-coordinate array of targeted points to be illuminated. Then, the processor transfers the coordinate array to a signal converter (such as digital-to-analog converter, DAC) to convert to analog voltages. In step 204, analog voltages are transferred to XY scanning mirrors to direct the illumination light to each targeted point. The digital switching time of a typical processor (i.e. FPGA) is around 20 nanoseconds, while the analog signal, due to passing through a DAC, has a switching time of approximately 1 microsecond. The scanning speed of the galvanometer is typically in the tens of kilohertz range, approximately 100 microseconds. However, the switching speed of the laser can vary depending on the response time of the optical switch used. The switching speed of a commonly used AOM (acousto-optic modulator) is generally within a few microseconds. To prevent the laser spot from moving before the laser is completely turned off, with a possibility of hitting areas outside the ROI, embodiments of the present disclosure provides an algorithm that adds two delay parameters for laser off / on when performing the illumination process. The pixel waiting time is designed to ensure the laser is fully off before any abrupt change to a new set position, which makes the illumination more precise or accurate. The jump waiting time is designed to provide dynamic waiting time after the move of laser spot, which saves unnecessary waiting time in contrast to a simple constant waiting time method so as to reduce the total working time and also accelerate the illumination process.

[0061] The first delay parameter is pixel waiting time (tpw) between two illumination points or two pixels to be illuminated. Since most illumination points or pixels to be illuminated locate within the same illumination path, most pixel waiting times (tpw) occur within the same illumination path. The pixel waiting time (tpw) is designed to provide a delay to ensure the laser is fully off before any abrupt change to a new set position so as to increase the precision of photolabeling.

[0062] In some embodiments, a predetermined pixel waiting time may be set based on the size of the ROI. In some embodiments, if ROIs are sub-micron or micron size structures, such as the cell bodies (～10 μm) , axons (～2 μm) of Purkinje cells, or a nucleoli (～1 μm) , the pixel waiting time may be ignored. However, in some embodiments, if ROIs are subcellular structures at the scale range under ～1 μm (i.e., microtubules ～25 nm in diameter, or primary cilia ～200 nm in diameter) , the pixel waiting time (tpw) may be set as a constant, i.e. from 1 μs to 200 μs.

[0063] The second delay parameter is jump waiting time (tjump) between two ROIs. For example, when laser is scheduled to move from ROI 302-ato ROI 302-b, the laser will be turned off at a temporary stop point in ROI 302-a, and then turned on at the resuming point in ROI 302-b. This delay also ensures that the scanner reaches a stable position before the laser is turned on for exposure. Since the various ROIs within a single FOV are randomly distributed, setting the same jump waiting time (tjump) for all movements for different distances between two ROIs, such as the case using jump waiting time (tjump) of the two most distant ROIs (i.e. > 1,000 μs) , would significantly increase the overall working time. Therefore, embodiments of the present disclosure further provide an algorithm to provide proper jump waiting time (tjump) and optimize scanning speed so as to reduce wasted jump waiting time between ROIs within each field of view. In some embodiments, different jump waiting times can be provided based on the distance between different ROIs (for example, from the last illuminated pixel of one ROI to the first illuminated pixel of the next ROI) to ensure that the scanner reaches a stable position before the laser is turned on for exposure. The jump wait time has a positive correlation with the distance between the two ROIs. For instance, if the distance between the two ROIs is longer, the jump wait time will be longer; if the distance is shorter, the jump wait time will be shorter. In some embodiments, an optimal jump waiting time provided is the minimum time required to ensure that the scanner reaches a stable position before the laser is turned on for exposure.

[0064] In terms of the second delay parameter, the scanner requires different response times depending on the scanning angle. Therefore, it is necessary to find a mathematical model to represent the response time (tjump) curve equation corresponding to the Galvo scanning angle. This can be described as a function f (d) , where d is the distance between two scanning points of the laser spots. Due to the trigonometric relationship between the horizontal displacement of the laser spots and the scanning angle of the galvanometer in geometric optics, d can be calculated using different dimensional norms. At small angles, the root mean square (RMS) approximation is linearly related to the mechanical angle of the scan. The calculation of tjump is mainly performed through a mathematical function based on d. This function is optimized and obtained through pre-measured characteristic values, then d is treated as a parameter to compute tjump. This computation is implemented in real-time optimization using FPGA:d=‖x′-x, y′-y‖tjump=f (d)

[0065] FIG. 5A shows a flow chart of example method steps for an illumination process utilizing the laser off delay parameter -pixel waiting time (tpw) . In step S1, the illumination process starts. Before step S1, users may choose time period of the pixel waiting time according to the scale of ROIs to increase the precision of photolabeling. In step S2, the processor moves the galvo to the initial point. In step S3, the processor turns on the shutter and the laser will illuminate the target point during a determined laser exposure time (texpos) . In step S4, the processor turns off the shutter and keeps scanners remaining stationary during the determined pixel waiting time. This step ensures scanners don’ t move to the next target point before the laser shutter is fully closed. After the end of pixel waiting time, the processor will decide whether the next target point is in the same illumination path. If the next illumination point is in the same illumination path, the processor will execute “move procedure” (A) and perform the step S5, move galvo to the next illumination point, and repeat the steps S3 and S4. If the next target point is not in the same illumination path, the processor will execute “jump procedure” (B) . If there is no next illumination point, the processor will end the illumination process.

[0066] FIG. 5B shows a flow chart of example method steps for an illumination process utilizing the laser on delay parameter –jump waiting time (tjump) . In the step S7, when the jump procedure is executed, the processor will calculate the optimal jump waiting time in real-time. In the step S8, after the processor ends the calculation of optimal jump waiting time, moving galvo to the next illumination point. In the step S9, the laser shutter remains closed until the jump waiting time ends. In the step S10, the processor turns on the shutter and the laser will illuminate the target point during a determined laser exposure time (texpos) . In step S11, the processor turns off the shutter and keeps scanners remains stationary during the determined pixel waiting time. After the end of pixel waiting time, the processor will decide to execute “move procedure” , “jump procedure” , or end the illumination process.

[0067] Measurement of Step response time and determine the optimal jump waiting time

[0068] The scan angle's effect on the Galvo step response time is analyzed by finding an appropriate mathematical model to represent this response. Following is a practical example illustrating the difference in measuring response time between large and small angles switching. The test scenarios are divided into small and large angles. In the small angle scenario, the Galvo continuously switches between two angles with a difference of approximately ±0.15 degrees mechanically, and the transient settling time of positive edge for each switch is measured. For the large angle scenario, the Galvo switches back and forth with an angle difference of ±1.22 degrees mechanically.

[0069] Based on the above testing results, the measured settling time corresponding to various angles are approximately as follows. Different mathematical models, including exponential, linear, logarithmic, polynomial, and power functions, may represent the Galvo scanner angle response characteristics for different brands of Galvos. For the scanner used in this example, the settling time curves for each scan angle were primarily measured to ensure the scanner is in a steady state before performing laser illumination. According to the measurement results as shown in Figs. 6A and 6B, a linear equation is more suitable for the X-axis (see Fig. 6A) , while a quadratic linear equation is more suitable for the Y-axis (see Fig. 6B) . Therefore, in practice, different mathematical models will be applied to optimize the scanning speed for both axes. The scanner uses 0～65535 in the computer to represent the full scan angle, corresponding to ±10° mechanical scan angle. In one embodiment, the corresponding angles is calculated first (i.e., by the CPU in the host computer) , and the corresponding response time is computed in real-time in the firmware (i.e., FPGA) . Take a mask with 800 × 800 pixel for example, if the overall scan angle is ±1.1°, the corresponding pixel is 0.00275 (° / pixel) .

[0070] Validating that the optimal jump waiting time can accelerate the overall scanning time

[0071] To validate the improvement in the optimization effect of this patented method, three different scan patterns were tested, and their average scan times were measured.

[0072] In Case 1 as shown in Figs. 7 and 8A-8B, a dispersed dot matrix was used (9 x 9) , with each dot being approximately 2x2 pixels. Fig. 7 shows the image of the dispersed dot matrix. This is an extreme case for testing the acceleration degree in a fully dispersed situation. As shown in Figs. 8A and 8B, it can be seen that both the overall scan time and the average time can be decreased by up to 50%in contrast to the aforementioned simple constant waiting time method (W / o JM) .

[0073] In Case 2 as shown in Figs. 9 and 10A-10B, a nucleus sample was tested. As shown in F. 9, the nucleuses were randomly distributed in the three FOVs. The test results in Figs. 10A and 10B show an improvement of 2.8-4.7%. The characteristic of this pattern involves multiple continuous scans with fewer scanner switches between two dispersed entities. Therefore, the improvement is not significant.

[0074] In Case 3 as shown in Figs. 11 and 12A-12B, a nucleoli sample was tested. As shown in Fig. 11, the nucleoli were randomly distributed in the five FOVs. The test results in Figs. 12A and 12B show a great improvement of 15-33%.

[0075] Precision testing

[0076] To further confirm that the optimized scanning speed maintains the original accuracy, we conducted a photobleaching scanning experiment using nucleoli. As shown in Fig. 13, the results confirm that the photobleached area remains within the nucleoli (as indicated by the arrows) . This demonstrates that during the acceleration process, the scanner reaches a stable state before the laser begins to illuminate the target position, ensuring that the precision is not affected.

[0077] Another embodiment to set up a model to determine the optimal jump waiting time

[0078] Figs. 14, 15A and 15B show another embodiment to set up a model to determine the optimal jump waiting time. While the embodiment illustrated in Figs. 6A and 6B uses the electrical signals from the galvo to establish a mathematical model to represent the step response time (tjump) curve equation corresponding to the Galvo scanning angle, this embodiment sets up a model by a method substantially the same as the method in U.S. Provisional Patent Application No. 63 / 728,051. By checking the images captured by the camera 120 to represent the response time (tjump) when the mirrors of the galvo reach the target position and stay a stable status, the method determines the optimal jump waiting time by an actual result of the laser spot, rather than the electrical signals from the galvo. In addition, while the model illustrated in Figs. 6A and 6B establishes a curve for the scan angle (X-axis) and time for the galvo, the model here establishes a curve for the actual distance ( / displacement) by pixel (X-axis) and time for the actual result of the laser spot.

[0079] Fig. 14 shows the images captured by the camera 120 at different times for determining the optimal jump waiting time. The leftmost image is at time=0, which means original positions respectively for different test distances where the galvo still does not act. The rightmost image is at time=10,000 microseconds (μsecs) , which means a long enough time duration for the mirrors of the galvo to reach target positions of different test distances and stay a stable status. The images therebetween are at different specific times. A shorter time duration may be still long enough for some shorter test distances to reach target positions and therefore a point is observed in the images, while for some longer test distances, that time duration is not enough, and a track, rather than a point, is observed. The track represents that the laser spot is in the middle of its movement. Therefore, the optimal jump waiting times for the mirrors of the galvo to reach target positions of different test distances and stay a stable status can be determined. The results are shown in Figs. 15A and 15B. Again, curves are respectively established for results for the X-axis (see Fig. 15A) and Y-axis (see Fig. 15B) in the model.

[0080] Even a move within the same ROI, there may be still need for an equivalence which functions the same as a “jump waiting time”

[0081] According to the model shown above, it is found that even for an adjacent move, i.e., one pixel movement, it takes about 300 μsecs for the mirrors of the galvo to finish the movement and stay a stable status. In other words, this finding gives a new idea or concept that even a move within the same ROI, there may be still need for an equivalence which functions the same as a “jump waiting time” for the mirrors of the galvo to stay a stable status. As a “jump waiting time” is previously defined as a time duration to wait before starting the laser exposure when there is a jump, that is, a move between ROIs, and to follow this definition, the time here is termed as a “dwell time” . It is noted that the “jump waiting time” and the “dwell time” function for the same purpose –to provide a laser on delay parameter for the mirrors of the galvo to stay a stable status, and both may be named as a “dynamic waiting time” to cover this general concept. During the illumination scanning from a last pixel of the plurality of first pixels within the first ROI to an initial pixel of the plurality of second pixels within the second ROI, the dynamic waiting time is a jump waiting time. During the illumination scanning of the plurality of first pixels within the first ROI and during the illumination scanning of the plurality of second pixels within the second ROI, the dynamic waiting time is a dwell time. The table 1 below shows a simplified estimated time for a region of interest with 10,000 pixels to be illuminated for cases with jump waiting times (dwell times) equal to 0 and 300 μsecs respectively.

[0082] Table 1

[0083] With a given exposure time of 100 μsecs, total time needed for the case with the jump waiting times (dwell times) equal to 300 μsecs is 4 times in the case with the jump waiting times (dwell times) equal to 0 μsecs.

[0084] Some embodiments of the present disclosure provide a method of illumination scanning for respective pixels in a respective illumination path. The method includes the following steps: moving or jumping a laser spot to an illumination point by controlling a galvo; staying a dynamic waiting time, wherein the dynamic waiting time is configured to ensure the galvo reaches a stable position before illumination light is provided for illumination; providing the illumination light and illuminating the illumination point; stopping providing the illumination light; and moving or jumping the laser spot to a next illumination point. When the next illumination point is within the same ROI, moving the laser spot and staying a dwell time. When the next illumination point is in different ROI, jumping the laser spot and staying a jump waiting time.

[0085] Fig. 16 illustrates a flowchart for illumination scanning according to embodiments of the present disclosure. Method 500 includes step 510, where after illuminating one pixel, it is determined whether the next pixel to be illuminated is located within the same ROI or a different ROI, that is, whether to move or jump by controlling the galvo. In step 520, when the galvo moves to another pixel within the same ROI, it will pause for a dwell time (tdw) . In step 530, when the galvo jumps to a pixel within a different ROI, it will pause for a jump waiting time (tjump) . The dynamic waiting time includes both the dwell time and the jump waiting time. Then, in step 540, the laser is turned on. In step 550, after the laser exposure continues for certain duration (texpos) , it is turned off. In step 560, after the laser is turned off, it remains off for a delay time, which is the pixel waiting time (tpw) .

[0086] In some embodiments, corresponding mathematical models and functions can be established based on different microscope system settings and different galvos to determine the dynamic time required for the galvo to reach a stable state before laser illumination. For example, the approaches used for Figs 6A and 6B or Figs. 14 to 15B may be used. In some embodiments, during performing illumination scanning, the processor of the microscope system may perform real-time calculations, utilizing the established mathematical models or functions, as well as the distances (or required galvo angles) between the different illumination points, to obtain recommended dynamic time for each move or jump.

[0087] Different types of illumination paths and corresponding time controlling in illumination

[0088] Regarding the flow chart of the computer implemented method in Fig. 3, for step 203, the processing module is configured to determine an illumination path following the illumination sequence within each of the regions of interest. Figs. 17A-17C shows three types of illumination paths. For each type of illumination path, the upper part shows an illustrative drawing for the illumination path, and the lower part shows an actual computer-generated result.

[0089] Fig. 17A illustrates a first type path 710. For the first type path 710, the illumination path 712 is spiral-shaped. The first type path 710 shown in Fig17A is the one the same as the illumination paths 302-1 to 302-5 illustrated in Fig. 4. That is, the illumination path begins with a start point at the periphery (or contour) of the region of interest and is a spiral extending toward the center inside the region of interest to end at a stop point.

[0090] Fig. 17B illustrates a second type path 720. The second type path 720 includes an external contour illumination path 722 and an internal illumination path 724. The second type path 720 shown in 17B is an illumination path first to move along the contour of the region of interest, and then for an internal part of the region of interest, the path follows to move in a spiral extending toward the center inside the region of interest to end at a stop point.

[0091] Fig. 17C illustrates a third type path 730. The third type path 730 includes an external contour illumination path 732 and an internal illumination path 734. The third type path 730 shown in 17C is an illumination path first to move along the contour of the region of interest, and then for an internal part of the region of interest, the path follows to move in substantially a boustrophedon ( / serpentine) path extending downward to fill the internal part of the region of interest to end at a stop point. To be more specific, after moving along the contour of the region of interest to completely illuminate the contour, the path follows a predetermined algorithm to begin with a point in the internal part of the region of interest and move along the horizontal direction (X-axis direction) until its encounter with the contour. Then, the path moves downward for the next row of pixels to begin with the pixel next to the contour and moves in a reverse direction along the horizontal direction (X-axis direction) to finish illumination for this row of pixels. That is, the path moves along until it encounters the contour again. The path continues in this way until the internal part of the region of interest is illuminated completely.

[0092] In addition, in all these three types of illumination paths, there may be a void formed where a pixel or pixels are not illuminated in the ROI, and afterwards extra void-filling move is conducted for the void. This void-filling operation is as the irregular movement shown by a few extra line segments in each lower part of the figure for the actual computer-generated result.

[0093] Based on the aforementioned new finding that even for an adjacent move within the same ROI, there may be still need for a “dwell time” for the mirrors of the galvo to stay a stable status, in some embodiment, time controlling in illumination may be taken for the second type path and the third type path of illumination paths above.

[0094] For the second type path and the third type path of illumination paths, in one embodiment to balance the time used in the illumination process (speed) and the precision, the illumination for the contour of the region of interest is a precision-dominating mode wherein the pixel waiting time (tpw) and the dwell time (tdw) strictly follow the predetermined pixel waiting time and the optimal dwell time calculated by a model, respectively. In contrast, the illumination for the internal part of the region of interest is a speed-dominating mode wherein the pixel waiting time (tpw) and / or the dwell time (tdw) does not strictly follow the determined pixel waiting time and / or the optimal dwell time calculated by a model. In the speed-dominating mode, the pixel waiting time (tpw) and / or the dwell time (tdw) may be reduced to a specific percentage (from less than 100%to 0%, e.g., reduced to 90%, 80%, 70%, 60%, 50%, 40%, 30%, 20%, or the like) of the predetermined or calculated value.

[0095] In some embodiments, it is noted that in most cases, the dynamic waiting time (such as dwell time) is significantly longer than the pixel waiting time (tpw) . For example, the dynamic waiting time may be on the order of microseconds, whereas the pixel waiting time may be on the order of nanoseconds. Therefore, reducing the dwell time (tdw) is generally more effective for accelerating the overall process. Thus, for the region of interest, the illumination is kept precise for the contour while the illumination is speeded up for the internal part.

[0096] In one embodiment, during the determination of the illumination path, the image of the region of interest is divided into two parts: one representing the contour and the other representing the internal part. Each image is processed using a downward boustrophedon ( / serpentine) scanning path to find the start point for the illumination path, allowing the topmost pixel in each image to be identified and used as the start point for the illumination path. In one embodiment, the image representing the contour may comprise one single loop of pixels continuously distributed along the outermost boundary to form the contour. In other words, the image representing the contour is a one-pixel-thick loop. In another embodiment, the image representing the contour may comprise a plurality of loops to implement the precision-dominating mode. For example, it may comprise two inward loops from the outermost boundary, and each loop is one pixel thick. The number of loops used to form the contour is certainly limited in order to effectively achieve the purpose of balancing illumination processing time (speed) and precision. Typically, for example, this number is fewer than 10 loops, or the area representing the contour occupies less than 10%of the total area of the ROI.

[0097] Fig. 18A shows the result of illumination scanning moving path in a FOV for an actual sample, and Fig. 18B shows the result of time controlling in illumination with different specific percentages of the predetermined or calculated value of the illumination path in Fig. 18A. The illumination path utilizes the second type path in Fig. 17B with the above time (speed) -precision balance mode for time controlling in illumination. The result of time controlling in Fig. 18B shows that illumination with 0 percentage of the predetermined or calculated value can reduce the total time of the illumination process from about 27x107 μsecs (100 percentages) to 5x107 μsecs (0 percentage) . The result is about 500 %efficiency, i.e., the total time is reduced to about 1 / 5, and while precision is still kept.

[0098] FIG. 19A shows a table comprising the result data for illumination paths corresponding to the three types in Figs. 17A-17C. Fig. 19B is a bar chart created based on the data from the table in Fig. 19A. Once again, in this example, the second type path and the third type path of illumination paths adopt the above time (speed) -precision balance mode for time controlling in illumination, with a 50-percentages of the predetermined or calculated value to speed up in the internal part of the ROIs. The result, more specifically, comprises total points to illuminate, distance to move (pixels) , and the total time (μsecs) of the illumination process for three categories to be illuminated in an actual sample. The categories are, in order from top to bottom: nucleus, nucleolus, and broken isles. The best results are marked in bold. From the results of Figs. 19A and 19B, it can be seen that the distance of the first type path is shorter than that of the second type and the third type paths. Since the internal pixels of the second type and third type paths use a shorter dwell time, the overall moving time can be reduced. Additionally, both the distance and the moving time of the second type path are slightly shorter than those of the third type path. The result also shows that the illumination path utilizing the second type path in Fig. 17B has the shortest process time for all the three categories.

[0099] Therefore, in some embodiments, the illumination path utilizing the second type path in Fig. 17B, with a time (speed) -precision balance mode for time controlling in illumination, may be set as a default for illumination.

[0100] In summary, embodiments of this disclosure provide a novel algorithm for controlling the illumination and methods to set up a model for calculating response time of the Galvo mirrors to reach stable status. By adding steps of pixel waiting time and dynamic waiting time (dwell time and / or jump waiting time) during the illumination process, the photolabeling accuracy can be improved to 1 pixel, while also shortening the overall illumination working time. In addition, various illumination paths are provided along with corresponding time controlling in illumination to provide balance between time (speed) and precision.

[0101] Although various illustrative embodiments are described above, any of a number of changes may be made to various embodiments without departing from the scope of the invention as described by the claims. For example, the order in which various described method steps are performed may often be changed in alternative embodiments, and in other alternative embodiments one or more method steps may be skipped altogether. Optional features of various device and system embodiments may be included in some embodiments and not in others. Therefore, the foregoing description is provided primarily for exemplary purposes and should not be interpreted to limit the scope of the invention as it is set forth in the claims.

[0102] The examples and illustrations included herein show, by way of illustration and not of limitation, specific embodiments in which the subject matter may be practiced. As mentioned, other embodiments may be utilized and derived there from, such that structural and logical substitutions and changes may be made without departing from the scope of this disclosure. Such embodiments of the inventive subject matter may be referred to herein individually or collectively by the term “invention” merely for convenience and without intending to voluntarily limit the scope of this application to any single invention or inventive concept, if more than one is, in fact, disclosed. Thus, although specific embodiments have been illustrated and described herein, any arrangement calculated to achieve the same purpose may be substituted for the specific embodiments shown. This disclosure is intended to cover any and all adaptations or variations of various embodiments. Combinations of the above embodiments, and other embodiments not specifically described herein, will be apparent to those of skill in the art upon reviewing the above description.

Claims

1.A method for illumination scanning of a microscope system, comprising:determining an illumination sequence of regions of interest (ROIs) in a field of view (FOV) , wherein the ROIs comprise a first ROI including a plurality of first pixels and a second ROI including a plurality of second pixels;determining a first illumination path for the plurality of first pixels in the first ROI and a second illumination path for the plurality of second pixels in the second ROI; andperforming an illumination scanning according to the illumination sequence, the first illumination path and the second illumination path, wherein the illumination scanning for each of the first illumination path for the plurality of first pixels in the first ROI and the second illumination path for the plurality of second pixels in the second ROI comprises:moving or jumping to an illumination point by controlling a galvo;staying a dynamic waiting time, wherein the dynamic waiting time is configured to ensure the galvo reaches a stable position before illumination light is provided for illumination;providing the illumination light and illuminating the illumination point;stopping providing the illumination light; andmoving or jumping to a next illumination point.2.The method for illumination scanning of the microscope system of claim 1, wherein:during the illumination scanning of the plurality of first pixels within the first ROI and during the illumination scanning of the plurality of second pixels within the second ROI, the dynamic waiting time is a dwell time; andduring the illumination scanning from a last pixel of the plurality of first pixels within the first ROI to an initial pixel of the plurality of second pixels within the second ROI, the dynamic waiting time is a jump waiting time.3.The method for illumination scanning of the microscope system of claim 1, wherein the illumination scanning further comprises:staying a pixel waiting time after the stopping providing the illumination light and before the moving or jumping to the next illumination point, wherein the pixel waiting time is configured to ensure stopping providing the illumination light before the galvo is changed to the next illumination point.4.The method for illumination scanning of the microscope system of claim 1, wherein the dynamic waiting time corresponds to a distance between two illumination points or a scan angle of the galvo and is formed as a mathematical function.5.The method for illumination scanning of the microscope system of claim 1, wherein the first illumination path begins with a start point at a periphery of the first ROI and is a spiral extending toward a center inside the first ROI.6.The method for illumination scanning of the microscope system of claim 1, wherein the first illumination path is set first to move along a contour of the first ROI and is then set to move to an internal part of the first ROI, and the plurality of first pixels comprises contour pixels and internal pixels surrounded by the contour pixels.7.The method for illumination scanning of the microscope system of claim 6, wherein the first illumination path follows to move in a spiral extending toward a center inside the first ROI for the internal part of the first ROI.8.The method for illumination scanning of the microscope system of claim 6, wherein the first illumination path follows to move in substantially a boustrophedon way downward inside the first ROI for the internal part of the first ROI.9.The method for illumination scanning of the microscope system of claim 6, wherein the dynamic waiting time corresponds to a predetermined optimal waiting time based on a mathematical model, and during the illumination scanning of the contour pixels, the dynamic waiting time for each of the contour pixels follows the predetermined optimal waiting time.10.The method for illumination scanning of the microscope system of claim 9, wherein during the illumination scanning of the internal pixels, the dynamic waiting time for at least one of the internal pixels does not follow the predetermined optimal waiting time.11.The method for illumination scanning of the microscope system of claim 9, wherein the first illumination path follows to move in a spiral extending toward a center inside the first ROI for the internal part of the first ROI.12.A method for illumination scanning of a microscope system, comprising:determining an illumination sequence of regions of interest (ROIs) in a field of view (FOV) , wherein the ROIs comprise a first ROI including a plurality of first pixels and a second ROI including a plurality of second pixels;determining a first illumination path for the plurality of first pixels in the first ROI and a second illumination path for the plurality of second pixels in the second ROI, wherein each of the first illumination path and the second illumination path moves in a spiral extending toward a center inside the first ROI; andperforming an illumination scanning according to the illumination sequence, the first illumination path and the second illumination path, wherein the illumination scanning for each of the first illumination path for the plurality of first pixels within the first ROI and the second illumination path for the plurality of second pixels within the second ROI comprises:moving or jumping to an illumination point by controlling a galvo;providing an illumination light and illuminating the illumination point;stopping providing the illumination light; andmoving or jumping to a next illumination point.13.The method for illumination scanning of the microscope system of claim 12, wherein the illumination scanning further comprises:staying a dynamic waiting time after the moving or jumping to the illumination point by controlling the galvo and before the providing the illumination light and illuminating the illumination point, wherein the dynamic waiting time is configured to ensure the galvo reaches a stable position before the illumination light is provided for illumination.14.The method for illumination scanning of the microscope system of claim 12, wherein the illumination scanning further comprises:staying a pixel waiting time after the stopping providing the illumination light and before the moving or jumping to the next illumination point, wherein the pixel waiting time is configured to ensure stopping providing the illumination light before the galvo is changed to the next illumination point.15.A method for illumination scanning of a microscope system, comprising:determining an illumination sequence of regions of interest (ROIs) in a field of view (FOV) , wherein the ROIs comprises a first ROI including a plurality of first pixels and a second ROI including a plurality of second pixels;determining a first illumination path for the plurality of first pixels in the first ROI and a second illumination path for the plurality of second pixels in the second ROI, wherein each of the first illumination path and the second illumination path is set first to move along a contour of each of the ROIs, and then move to an internal part of each of the ROIs; andperforming an illumination scanning according to the illumination sequence, the first illumination path and the second illumination path.16.The method for illumination scanning of the microscope system of claim 15, wherein the first illumination path follows to move in a spiral extending toward a center inside the first ROI for the internal part of the first ROI.17.The method for illumination scanning of the microscope system of claim 15, wherein the first illumination path follows to move in substantially a boustrophedon way downward inside the first ROI for the internal part of the first ROI.18.The method for illumination scanning of the microscope system of claim 15, wherein the performing the illumination scanning comprises:moving or jumping to an illumination point by controlling a galvo;staying a dynamic waiting time, wherein the dynamic waiting time is configured to ensure the galvo reaches a stable position before illumination light is provided for illumination;providing the illumination light and illuminating the illumination point;stopping providing the illumination light; andmoving or jumping to a next illumination point.19.The method for illumination scanning of the microscope system of claim 18, wherein the illumination scanning further comprises:staying a pixel waiting time after the stopping providing the illumination light and before the moving or jumping to the next illumination point, wherein the pixel waiting time is configured to ensure stopping providing the illumination light before the galvo is changed to the next illumination point.20.The method for illumination scanning of the microscope system of claim 18, wherein the plurality of first pixels comprises contour pixels and internal pixels surrounded by the contour pixels, the dynamic waiting time corresponds to a predetermined optimal waiting time based on a mathematical model, and during the illumination scanning of the contour pixels, the dynamic waiting time for the contour pixels follows the predetermined optimal waiting time.21.The method for illumination scanning of the microscope system of claim 20, wherein during the illumination scanning of the internal pixels, the dynamic waiting time for at least one of the internal pixels does not follow the predetermined optimal waiting time.22.The method for illumination scanning of the microscope system of claim 18, wherein the plurality of first pixels or the second pixels comprises contour pixels and internal pixels surrounded by the contour pixels, and the dynamic waiting time for at least one of the internal pixels is shorter than the dynamic waiting time for the contour pixels.23.The method for illumination scanning of the microscope system of claim 15, wherein an image of the first ROI or the second ROI is divided into two parts: a first part representing the contour and a second part representing the internal part, and each of the two parts is processed using a downward boustrophedon scanning path to allow a topmost pixel in each of the two parts to be identified and used as a start point for the first illumination path or the second illumination path.

Images