Method for calibration of a microscope-based system

Abstract

A method for calibration of a microscope-based-system includes generating a path, defined by movement controls of start points, for controlling an illuminating position with scanning mirrors directing an illuminating light; opening a camera shutter; illuminating with the illuminating light after a first waiting time for each movement control; obtaining an image; repeating "opening the shutter" to "obtaining image" twice, with a third waiting time longer than a second which is longer than the first, obtaining a second and third image; identifying representative points of the first to third image; calculating offsets of each movement control by comparing the representative points of the first and second image with the third; determining stable times of each start point, that are the shortest waiting times for the corresponding image offset to meet a predetermined criterion; fitting a curve by a mathematical model; and setting the model in the system.

Description

METHOD FOR CALIBRATION OF A MICROSCOPE-BASED SYSTEMTechnical Field

[0001] The present disclosure relates to a method for calibration of a microscope-based system. More particularly, the present disclosure relates to a method for calibration of an image-guided microscopic illumination of a microscope-based system.Background

[0002] There are needs to illuminate patterns on samples (e.g., biological samples) at specific locations. Processes such as photo-bleaching of molecules at certain subcellular areas, photo-activation of fluorophores at a confined location, optogenetics, light-triggered release of reactive oxygen species within a designated organelle, or photo-induced labelling of proteins in a defined structure feature of a cell all require pattern illumination. For certain applications, the pattern of the abovementioned processes may need to be determined by a microscopic image. Some applications further need to process sufficient samples, adding the high-content requirement to repeat the processes in multiple regions. Systems capable of performing such automated image-based localized photo-triggered processes are rare.

[0003] Furthermore, when an automated illuminating process runs across tens of thousands of fields of view (hereafter referred to as “FOV” ) , it encounters several challenges. One of the challenges is the control of a pattern illumination subsystem for the automated illuminating process. A key element in the pattern illumination subsystem may be a movable mirror or a digital micro-mirror device (DMD) . Due to the high-content and high-speed demands, a system and method with a good calibration of the movable mirror is critical since a good performance in prompt and accurate / precise illumination relies on a good control of the movable mirror. For this reason, the present invention provides a calibration method for a microscope-based system and method, and the calibration brings a good performance in the control of the movable mirror to optimize the illuminating process of the microscope-based system.Summary

[0004] In view of the foregoing objectives, some embodiments of the present disclosure provide a method for calibration of a microscope-based system, including generating a path for an illumination of a field of view of a sample with a processing module, wherein the path is defined by movement controls of start points, each of the movement controls is for controlling an illuminating position to move a distance starting from the start point by moving scanning mirrors to direct an illuminating light; opening a shutter of a camera; illuminating the field of view by providing the illuminating light after a first waiting time for each of the movement controls, according to the path; obtaining an image of the illuminating of the field of view by the camera as a first image; repeating the opening of the shutter, the illuminating of the field of view, and the obtaining of the image twice, with a second waiting time longer than the first waiting time and with a third waiting time longer than the second waiting time, to obtain images as a second image and a third image respectively; identifying representative points indicating the illuminating positions for the movement controls of the first image, the second image, and the third image; calculating offsets of each of the movement controls of the start points by comparing the representative points of the first image and the second image with the representative points of the third image; determining stable times of each of the movement controls of the start points by choosing among the first waiting time, the second waiting time, and the third waiting time, wherein the stable times are the shortest waiting time for the offset of the corresponding image to meet a predetermined criterion of the offsets; fitting a curve of the stable times with respect to the distances of the movement controls of the start points by using a mathematical model; and setting the mathematical model in the microscope-based system.

[0005] In some embodiments, identifying the representative points includes identifying the mass centers of light spots, light tracks or a combination thereof of the start points of the first image, the second image, and the third image.

[0006] In some embodiments, for a specific one of the movement controls, the third waiting time is larger than or equal to the shortest time for the scanning mirrors to direct the illuminating light to reach an end point of the specific one of the movement controls and to maintain stability.

[0007] In some embodiments, the third waiting time is larger than or equal to the shortest time for the scanning mirrors to direct the illuminating light to reach an end point of the largest distance among all of the movement controls and to maintain stability.

[0008] In some embodiments, the largest distance substantially corresponds to a side length of the field of view.

[0009] In some embodiments, further includes setting a safety factor in the mathematical model after fitting, wherein the safety factor provides an extra movement time for the scanning mirrors before illuminating the field of view.

[0010] In some embodiments, further including designating a constant in the mathematical model when fitting, wherein the constant is decided based on and is larger than or equal to a value of time required for data to be transmitted between a controller of the scanning mirrors and the processing module.

[0011] In some embodiments, the movement controls includes x-direction movement controls and y-direction movement controls of the start points, and the y-direction movement controls of all of the start points are after the x-direction movement controls of all of the start points, or the y-direction movement controls of each of the start points are respectively immediately after the x-direction movement controls of each of the start points.

[0012] In some embodiments, exposure times for illuminating the field of view are set for a duration to provide the illuminating light immediately after the first waiting time, the second waiting time, and the third waiting time elapse.

[0013] In some embodiments, each of the movement controls is aborted after the exposure time elapses.

[0014] In some embodiments, the mathematical model includes a logarithmic model or a polynomial model.

[0015] In some embodiments, different mathematical models or different equations of a same mathematical model are used to fit for different criterions of the offsets, or the distances of the movement controls are segmented into at least two ranges, and different mathematical models or different equations of a same mathematical model are respectively used to fit for at least two ranges.

[0016] In some embodiments, the predetermined criterion of the offsets is an accuracy which represents a discrepancy between an actual illuminating position and a desired position to be illuminated.

[0017] In view of the foregoing objectives, some embodiments of the present disclosure provide a method for calibration of a microscope-based system, including generating a path for an illumination of a field of view of a sample with a processing module, wherein the path is defined by movement controls of start points, each of the movement controls is for controlling an illuminating position to move a distance starting from the start point by moving scanning mirrors to direct an illuminating light; illuminating the field of view after a waiting time for each of the movement controls of each of the start points, according to the path; obtaining an image of the illuminating of the field of view by a camera as a first image; repeating the illuminating of the field of view, and the obtaining of the image for two or more times, with progressively increasing waiting times, to obtain one or more subsequent images and a last image; identifying representative points indicating the illuminating positions for the movement controls of each of the first image, the subsequent images, and the last image; calculating offsets of each of the movement controls of the start points by comparing the representative points of the first image and the subsequent images with the representative points of the last image; determining stable times of the movement controls of each of the start points by choosing among the waiting time and the progressively increasing waiting times, wherein the stable times are the shortest of the waiting time and the progressively increasing waiting times for the offset of a corresponding image to meet a predetermined criterion of the offsets; fitting a curve of the stable times with respect to the distances of the movement controls of the start points by using a mathematical model; and setting the mathematical model in the microscope-based system.

[0018] In some embodiments, in the step of determining the stable times of the movement controls of each of the start points, after choosing the shortest of the waiting time and the progressively increasing waiting times which meets the predetermined criterion of the offsets, a predetermined number of the subsequent images immediately following the corresponding image of the stable time are checked for whether the offset of thereof meet the predetermined criterion of the offsets.

[0019] In some embodiments, for a specific one of the movement controls, when one or more offsets of the predetermined number of the subsequent images does not meet the predetermined criterion of the offsets, repeating the step of determining the stable time to re-determine the stable time by choosing among the waiting time and the progressively increasing waiting times, wherein the stable time is the second shortest of the waiting time and the progressively increasing waiting times for the offset of the image to meet the predetermined criterion of the offsets.

[0020] In some embodiments, the progressively increasing waiting time of the last image is larger than or equal to the shortest time for the scanning mirrors to direct the illuminating light to reach the end point of the largest distance among all of the movement controls and to maintain stability, and the largest distance substantially correspond to a side length of the field of view.

[0021] In some embodiments, identifying the representative points indicating the illuminating positions for the movement controls includes identifying mass centers of light spots, light tracks or a combination thereof of the start points of the first image, the subsequent images, and the last image.

[0022] In some embodiments, further comprising setting a safety factor in the mathematical model after fitting, designating a constant in the mathematical model when fitting or a combination thereof, wherein the safety factor provides an extra movement time for the scanning mirrors before illuminating the field of view, and wherein the constant is decided based on and is larger than or equal to a value of time required for data to be transmitted between a controller of the scanning mirrors and the processing module.

[0023] In some embodiments, the mathematical model is a logarithmic model or a polynomial model.Brief Description of the Drawings

[0024] A better understanding of the features and advantages of the system and method described herein will be obtained by reference to the following detailed description that set forth illustrative embodiments, and the accompanying drawings of which:

[0025] Fig. 1A and Fig. 1B are schematic views of a microscope-based system, according to some embodiments.

[0026] Fig. 2 is a flowchart of a method for calibration of a microscope-based system, according to some embodiments.

[0027] Fig. 3A is a schematic view of a path for illuminating calibration on an image of an FOV, according to some embodiments.

[0028] Fig. 3B is a schematic view of images captured by a camera with different waiting times, according to some embodiments.

[0029] Fig. 4A is a statistical diagram of the calculated result of offsets of different distances of the x-direction movement controls with different waiting times, according to some embodiments.

[0030] Fig. 4B is a statistical diagram of the calculated result of offsets of different distances of the y-direction movement controls with different waiting times, according to some embodiments.

[0031] Fig. 5A is a statistical diagram of the result of different stable times required for different criteria at different distances of the x-direction movement controls and curves fit by a logarithmic model, according to some embodiments.

[0032] Fig. 5B is a statistical diagram of the result of different stable times required for different criteria at different distances of the y-direction movement controls and curves fit by a logarithmic model, according to some embodiments.

[0033] Fig. 6A is a statistical diagram of the result of different stable times required for different criteria at different distances of the x-direction movement controls and curves fit by a polynomial model, according to some embodiments.

[0034] Fig. 6B is a statistical diagram of the result of different stable times required for different criteria at different distances of the y-direction movement controls and curves fit by a polynomial model, according to some embodiments.

[0035] Fig. 7A is a statistical diagram of the result of different stable times required for a criterion of 1 at different distances of x-direction movement controls and a curve fit by a logarithmic model, according to some embodiments.

[0036] Fig. 7B is a statistical diagram of the result of different stable times required for a criterion of 1 at different distances of y-direction movement controls and a curve fit by a logarithmic model, according to some embodiments.

[0037] Fig. 8 is a schematic view of the result of a validation test for the calibration of the x-direction movement controls, according to some embodiments.

[0038] Fig. 9 is a schematic view of the result of a validation test for the calibration of the y-direction movement controls, according to some embodiments.Detailed Description

[0039] Reference will now be made in detail to the present embodiments of the invention, examples of which are illustrated in the accompanying drawings. Wherever possible, the same reference numbers are used in the drawings and the description to refer to the same parts or the like.

[0040] Although the terms “first” and “second” may be used herein to describe various features, these features should not be limited by these terms, unless the context indicates otherwise. These terms may be used to distinguish one feature from another feature. Thus, a first feature discussed below could be termed a second feature, and similarly, a second feature discussed below could be termed a first feature without departing from the teachings of the present disclosure.

[0041] As used herein, the term “illuminate” or “illumination” refers to provide light on the points or areas, particularly for photo-induces processes. For example, to shine the photo-sensitizing light on the points or areas to achieve localized photo-labeling, wherein the points or areas can be proteins, amino acids, lipids or nucleic acids. The photo-labeling progress is achieved by including photo-sensitizers, such as riboflavin, Rose Bengal or photo-sensitized protein (such as mini Single Oxygen Generator (miniSOG) and Killer Red, etc. ) and chemical reagents such as phenol, aryl azide, benzo-phenone, Ru (bpy) 32+ or their derivatives for labeling purpose.

[0042] The present disclosure provides a microscope-based system with improved calibration for image-guided mircoscopic illumination and a method thereof.

[0043] Referring to Fig. 1A and Fig. 1B, schematic views of a microscope-based system 1 are illustrated, according to some embodiments. The microscope-based system 1 includes a microscope 10, and illuminating assembly 11, an imaging assembly 12, and a processing module 13. The microscope 10 includes an objective 102 and a stage 101. The stage 101 is configured to be loaded with a sample S.

[0044] The imaging assembly 12 may comprise a (controllable) camera 121, an imaging light source 122, a focusing device 123, and a first shutter 124. In one embodiment, the focusing device 123 is coupled to the camera 121 and controlled to facilitate an autofocusing process during imaging of the sample S. In one embodiment, a perfect focus system (PFS) main structure may be integrated into the microscope 10 as the focusing device 123. For example, the extra light source (near-infrared 870-nanometer LED) , the detector (charge-coupled device (CCD) linear sensor) , and the offset lens are set to the nearby position under the objective 102, and a discrete PFS processor may be used to control the offset lens and calculate a PFS offset.

[0045] The illuminating assembly 11 may include an illumination light source 111 and a pattern illumination device 117. In one embodiment, the illumination light source 111 may be a laser. The pattern illumination device 117 may include a second shutter 112, a lens module 113 (such as relay lens and / or quarter wave plate) , at least a movable mirror, such as a pair of scanning mirrors 115, and a scan lens 116. In some embodiments, the pair of scanning mirrors 115 may be a pair of galvo scanning mirrors. Alternatively, a digital micro-mirror device (DMD) or a spatial light modulator (SLM) may be used in the pattern illumination device 117 or to replace the pattern illumination device 117. In some embodiments, the second shutter 112 may alternatively be disposed within the illumination light source 111. For example, the second shutter 112 may be disposed together with the laser inside the housing of the laser module.

[0046] In some embodiment, the processing module 13 is coupled to the microscope 10, the illuminating assembly 11, and the imaging assembly 12. The processing module 13 may be a computer (a personal computer or a laptop computer) , a workstation, or a CPU of a computer, which is capable of executing a program designed for operating this microscope-based system 1.

[0047] The processing module 13 controls the imaging assembly 12 such that the camera 121 acquires at least one image of the sample S of a first field of view, and the image (s) are transmitted to the processing module 13 to be processed automatically in real-time based on a predefined criterion, so as to determine an interested region in the image of the sample S and so as to obtain a coordinate information regarding to the interested region. Later, the processing module 13 may control the pattern illumination device 117 of the illuminating assembly 11 to illuminate the interested region of the sample S according to the received coordinate information regarding the interested region. Moreover, after the interested region of the first field of view is fully illuminated, the processing module 13 controls the stage 101 of the microscope 10 to move to a second field of view which is subsequent to the first field of view.

[0048] Referring to Fig. 2, a flowchart of a method for calibration of a microscope-based system is illustrated, according to some embodiments. The method includes phase 200, phase 210, and phase 220, sequentially. In phase 200, step 202, step 204, step 206, and step 208 are for image collecting. Referring to Fig. 3A, a path is generated in step 202, according to one embodiment. Fig. 3A illustrates a schematic view of a path for illuminating calibration on an image of an FOV. The path begins with a first start point SP1 at the top left of Fig. 3A (i.e., the coordinate (0,0) ) , and with the same increment in both x-direction and y-direction, the path moves to a second start point SP2 (i.e., the coordinate (50, 50) , with the increment unit being pixels) . With the same increment in both x-direction and y-direction, the path subsequently moves to the third start point SP3 (i.e., the coordinate (100, 100) ) , and so on, following the same rule. By this way, the path moves from the start point SP1 towards the bottom right of the FOV, and ends at the last start point SP31 (i.e., the coordinate (1500, 1500) .

[0049] Between each start points (i.e., the start point SP1 to the start point SP31) , the path moves in x-direction by conducting movement controls for each start points with a movement of scanning mirrors for a specific waiting time, and after the x-direction movement controls of each start point are completed, y-direction movement controls are conducted for each start point. For example, the path begins with the first start point SP1 (i.e., the coordinate (0, 0) ) , and then moves to the second start point SP2 (i.e., the coordinate (50, 50) , following with a x-direction movement control to an x-direction end point (i.e., the coordinate (0, 50) ) to complete the x-direction movement control for the second start point SP2. Subsequently, the path continues to move to the third start point SP3 (i.e., the coordinate (100, 100) , and then moves in x-direction to a corresponding x-direction end point (i.e., the coordinate (0, 100) ) , to complete the x-direction movement control for the third start point SP3. By this way, the movement of the path follows the same rule until the x-direction movement control (i.e., the coordinate (0, 1500) of the last start point SP31 (i.e., the coordinate (1500, 1500) is completed.

[0050] Subsequently, after all the x-direction movement controls are completed, y-direction movement controls are conducted from each start point. More specifically, the path continues by moving back to the second start point SP2 (i.e., the coordinate (50, 50) ) , and moves in y-direction to a y-direction end point (i.e., the coordinate (50, 0) to complete the y-direction movement control of the second start point SP2. Next, the path continues to move to the next start point SP3 (i.e., the coordinate (100, 100) ) , and similarly moves in y-direction to a y-direction end point (i.e., the coordinate (100, 0) to complete the y-direction movement control of the third start point SP3. By following the rule, the path ends with the completion of the y-direction movement control (i.e., the coordinate (1500, 0) of the last start point SP31 (i.e., the coordinate (1500, 1500) .

[0051] In some embodiments, the y-direction movement control of each start point may also be conducted immediately after the x-direction movement control. That is, after moving from the first start point SP1 to the second start point SP2, the path moves in x-direction to the x-direction end point, and returns back to the second start point SP2, following with a movement control in y-direction from the second start point SP2 to the y-direction end point. Then, the path moves to the next start point SP3, following with the movement in x-direction and then the y-direction. By the same rule, the path ends when the last x-direction and y-direction movement controls of the last start point SP31 are completed.

[0052] After step 202, a step 204 is conducted to instruct a camera (e.g., the camera 121 in Fig. 1A and Fig 1B) to open a shutter (e.g., the first shutter 124 in Fig. 1B) for obtaining an image. Next, in step 206, scanning mirrors (e.g., the scanning mirrors 115 in Fig. 1B, which may be galvo scanning mirrors in some embodiments) is controlled to move an illuminating position by directing an illuminating light (e.g., laser) to illuminate according to the path generated in the previous step 202. The laser is controlled to illuminate a fluorescent specimen (i.e., the sample S in Fig. 1A) on the stage (e.g., the stage 101 in Fig. 1A) after a specific waiting time for movements from each start point. For example, the waiting time may be 100 microseconds (μsec) . During the waiting time, the scanning mirrors move from each start point towards the corresponding x-direction or y-direction end point, and when the waiting time elapse, the laser is controlled to start illuminating the fluorescent specimen. In one embodiment, by opening a shutter (e.g., the second shutter 112 in Fig. 1B) for the laser after the specific waiting time for movements from each start point, the laser is controlled to start illuminating the fluorescent specimen.

[0053] In some embodiments, an exposure time of 100 μsec follows after each waiting time elapses, wherein the laser starts to illuminate and form a fluorescent light spot or light track on the fluorescent specimen. In one embodiment, as mentioned above, the starting of the laser to illuminate and the duration of the exposure time may be controlled by a shutter (i.e., the second shutter 112 in Fig. 1B) , and the shutter is closed after the exposure time. In some embodiments, each movement control may be aborted after the exposure time elapses. That is, for a movement from each start point, after the exposure time to illuminate and form a fluorescent light spot or light track on the fluorescent specimen, the scanning mirrors are unnecessary to be controlled to complete its movement for directing the illumination position towards the corresponding x-direction or y-direction end point. Instead, the movement control is terminated, and the scanning mirrors are driven to direct the illumination position to the corresponding start point for next movement control according to the path generated in step 202.

[0054] In some cases, the waiting time may be not long enough for the scanning mirrors to move and direct the laser to illuminate the x-direction or the y-direction end point. That is, the x-direction or y-direction movement control may be unable to complete before the waiting time elapses, so the laser illuminates in the middle way of the x-direction or y-direction movement control, rather than illuminating the end points. Therefore, the result of the illumination on the fluorescent specimen may include fluorescent light spots and light tracks of the movement controls from each start points to the end points in x-direction and y-direction. After the movement controls (in x-direction and y-direction) for all start points are completed, a step 208 may be conducted to instruct the camera to close the shutter (e.g., the first shutter 124 in Fig. 1B) to obtain an image of the fluorescent light spots and / or light tracks on the fluorescent specimen for this specific waiting time (i.e., 100 μsec in this embodiment) . In some embodiments, the duration of the shutter (e.g., the first shutter 124 in Fig. 1B) from opening to closing is approximately 7 seconds, during which an image of the fluorescent light spots and / or light tracks corresponding to all movement controls for a specific waiting time is obtained.

[0055] Still referring to Fig. 2, after step 208 for obtaining image, the process flows back to step 204, wherein the waiting time is increased by an increment. For example, the waiting time is increased by 100 μsec (i.e., the waiting time is now 200 μsec) . Then, a similar flow of the step 206, and the step 208 are conducted with the increased waiting time. Thus, by repeating step 204 to step 208 with different increased waiting time (in other words, from a waiting time of 0 μsec to a waiting time of 50,000 μsec, with an increment of 100 μsec) , 501 images may be obtained (i.e., step 204 to step 208 501 times) . The phase 200 ends and continues to the next phase 210. It is noted that, although in this embodiment the waiting times are increased using a fixed increment, in other embodiments the waiting times may simply be progressively longer without requiring a fixed increment. That is, a plurality of progressively increasing waiting times may be used instead.

[0056] The waiting time of 50,000 μsec is a time span considered to be long enough for the scanning mirrors to move for the illumination to arrive at every end points (including x-direction end points and y-direction end points) , and to maintain stability, even for the longest distance (i.e., the start point SP31, with the moving distance being 1500 pixels in x-direction or y-direction in this embodiment) in the FOV. The longest distance in x-direction or y-direction in the FOV is substantially the side length of the FOV. The time span long enough for the scanning mirrors to move for the illumination to arrive at the end points (including x-direction end points and y-direction end points) and to maintain stability for the longest distance of the FOV may be tested and determined in advanced, and may be different for different scanning mirrors.

[0057] Fig. 3B illustrates a schematic view of images captured by the camera with different waiting times. The waiting time of the leftmost image is 0 μsec (μs) , which are the original positions (i.e., start points) respectively for different distances, wherein the scanning mirrors do not act / move. In other words, the leftmost image equivalently illustrates all the start points of a path for illuminating calibration in this embodiment. This is a modified path plan, which differs only slightly from the one shown in Fig. 3A. The waiting time for the rightmost image is 10,000 μsec, which the time duration is long enough for the scanning mirrors to reach / arrive at the x-direction and y-direction end points of each start point and stay in a stable status. The images therebetween are different waiting times, including 100 μsec, 500 μsec, and 1,000 μsec. A shorter waiting time may still be long enough for some shorter distances to reach the x-direction (or y-direction) end points, and therefore they appear as light points in the images. As to some longer distances, the waiting time may not be long enough to reach / arrive at the x-direction (or y-direction) end points, and thus, light tracks, instead of light spots, appear in the images. The light track in the images represents that the laser spot is in the middle of its movement. Therefore, the waiting times for the scanning mirrors to reach / arrive at the x-direction (or y-direction) end points of different distances and stay a stable status may be determined.

[0058] In step 212 of the phase 210, each of the images is processed to find the mass center of the light spot or light track. Particularly, the images may be a little blurred because the scanning mirrors are moving (wherein the illumination started in the middle way before arriving at the end points) or still does not stay stable (even if the illumination started after arriving at the end points, there may be vibration of the scanning mirrors because of its movement even when the illumination point of laser light arrives at the end points) when the specific waiting time elapses and the laser illuminate the specimen. Using the process for determining the mass center of each light spot or light track, a plurality of representative points are identified as illuminating positions corresponding to respective movement controls. In other embodiments, the representative point of each light spot or light track may instead be the point closest to the start point.

[0059] In one embodiment, a particle analysis function in LabVIEW may be used to find the mass center of the light spot or light track in the images. And then, in step 214, the mass center in the images with each of the different waiting times are correspondingly compared with the mass center in the image of the longest waiting time (i.e., 50,000 μsec) to calculate the offset therebetween (x-direction and y-direction are processed respectively) . The image of the longest waiting time (i.e., 50,000 μsec) represents the condition that the scanning mirrors directs the laser for illumination to reach / arrive at the x-direction (or y-direction) end points and maintain stability, which is used as a standard image.

[0060] Fig. 4A illustrates a statistical diagram of the calculated result of offsets of different distances of the x-direction movement controls with different waiting times, according to some embodiments. Fig. 4B illustrates a statistical diagram of the calculated result of offsets of different distances of the y-direction movement controls with different waiting times, according to some embodiments. In Fig. 4A and Fig. 4B, the longer distances of the x-direction and y-direction movement controls (such as distances that are 1500, 1450, 1400) with the waiting time being lower than about 15,000 μsec (i.e., from 0 μsec to 15,000 μsec) shows larger offsets, and as the waiting time increases, the offsets decreases.

[0061] In the next step 216 of Fig. 2, a stable time for each start point is calculated. As the user may require different accuracy for illumination, different criterion of offsets may be chosen. In some embodiments, the offset may be less than 0.5 pixel, 1 pixel, 2 pixels, 4 pixels, or 8 pixels. For example, when a criterion is less than 1 pixel, the offset of the mass center in an image compared to the mass center in the standard image (i.e., the image of the longest waiting time, such as 50,000 μsec) is less than 1 pixel, to meet the criterion. This means that after calibrated by the method, the illumination accuracy should also be within 1 pixel. That is, a discrepancy between the actual illumination position and the desired position to be illuminated is less than 1 pixel. Therefore, the processing module 13 calculates to find the image corresponding to the shortest waiting time, wherein the offset meets the criterion and further the stability may be satisfied for an observation time to avoid overshooting or unstable movement of the scanning mirrors. In this embodiment, the observation time may be 1,000 μsec. That is, though an offset result of an image meets the criterion, the offset result of the subsequent 10 images thereafter (observation time 1,000 μsec / interval 100 μsec=10) should remain satisfying the criterion to be stable enough. Otherwise, when another image corresponding to the next shortest waiting time that meets the abovementioned two conditions is found, the corresponding waiting time of that image may be determined as the time required for the scanning mirrors to direct the laser to reach / arrive at the end points (i.e., x-direction and / or y-direction end points) and remain stable.

[0062] Fig. 5A and Fig. 5B illustrate the result of different stable times required for different criteria at different distances (i.e., the distances of x-direction or y-direction movement controls from the start points to the corresponding end points) and curves fit by a logarithmic model, according to some embodiments. Fig. 5A illustrates the result of the x-direction movement control, and Fig. 5B illustrates the result of the y-direction movement control. Based on the result (i.e., the points shown in Fig. 5A and Fig. 5B) , step 218 in Fig. 2, which is a curve fitting step, may be conducted. In step 218, a mathematical model may be calculated by finding a curve that properly fits (or regresses) the results. In one embodiment, step 218 may be done by using LabVIEW. In another embodiment, step 218 may automatically be done through artificial intelligence (AI) . As shown in Fig. 5A and Fig. 5B, the fitting of the curves are done by using an equation, which is “Time= Amplitude*ln (scale* (Distance+1) ) +Constant” . That is, the mathematical model in Fig. 5A and Fig. 5B are substantially a (natural) logarithmic model. The curves for each criterion are shown in Fig. 5A and Fig. 5B.

[0063] Fig. 6A and Fig. 6B illustrate the result of different stable times required for different criteria at different distances (i.e., the distances of x-direction or y-direction movement controls from the start points to the corresponding end points) and curves fit by a polynomial model, according to some embodiments. Similar to Fig. 5A and Fig. 5B, Fig. 6A illustrates the result of the x-direction movement control, and Fig. 6B illustrates the result of the y-direction movement control, but with a different equation from the one used in Fig. 5A and Fig. 5B for curve fitting. In Fig. 6A and Fig. 6B, the fitting of the curves are done by using the equation “Time=a*Distance2 + 1.05*b*Distance + Constant” . That is, the mathematical model in Fig. 6A and Fig. 6B are substantially a polynomial model.

[0064] In some embodiments, different mathematical models for fitting curves are applicable for different criteria. A comparison between Figs. 5A, 5B and Figs. 6A, 6B shows that for larger criteria, such as criteria 2, 4, and 8 (pixels) , the curves in Figs. 6A and 6B fit better than those in Figs. 5A and 5B, and for smaller criteria, such as criteria 1 and 0.5 (pixel) , the curves in Figs. 5A and 5B fit better than those in Figs. 6A and 6B. In some embodiments, such as most applications of the microscope-based system, the requirement for illumination accuracy are smaller criteria, and therefore the (natural) logarithmic model used in Fig. 5A and Fig. 5B may be more suitable and therefore used as a default. However, this is not intended to be a limitation. In another embodiment, the (natural) logarithmic model in Fig. 5A and Fig. 5B may be adopted when the requirement for illumination accuracy are smaller criteria (such as criteria 1 and 0.5) , and the polynomial model in Fig. 6A and Fig. 6B may be adopted when the requirement for illumination accuracy are larger criteria. In another embodiment, since the comparison between Figs. 5A, 5B and Figs. 6A, 6B shows that for smaller distances, such as the distances (equal to or) less than 750 pixels, the curves in Figs. 6A, 6B fit better than those in Figs. 5A, 5B, and for larger distances, such as the distances (equal to or) larger than 750 pixels, the curves in Figs. 5A, 5B fit better than those in Figs. 6A, 6B. Therefore, the polynomial model in Fig. 6A and Fig. 6B may be adopted for smaller distances (such as the distances equal to or less than 750 pixels) , and the (natural) logarithmic model in Fig. 5A and Fig. 5B may be adopted for larger distances.

[0065] Fig. 7A and Fig. 7B illustrate the result of different stable times required for a criterion of 1 at different distances (i.e., the distances of x-direction or y-direction movement controls from the start points to the corresponding end points) and a curve fit by a logarithmic model, according to some embodiments. Similar to Fig. 5A and Fig. 5B, Fig. 7A illustrates the result of the x-direction movement controls, and Fig. 7B illustrates the result of the y-direction movement controls, but also with a different equation from the one used in Fig. 5A and Fig. 5B for curve fitting. In Fig. 7A and Fig. 7B, the fitting of the curve is substantially modified based on the model set up in Fig. 5A and Fig. 5B, but with a safety factor added, which is “Time=Amplitude*ln (scale* (Distance+1) *safety factor) +Constant 1” . The safety factor provides a safety margin, so that under this mathematical model, a sufficient time is allowed for the movement of the scanning mirrors. The safety factor should be larger than 1 to be meaningful enough to meet its function. In some embodiments, the safety factor may be 1.2. In some embodiments, the safety factor may range from 1.1 to 1.3.

[0066] In addition, in some embodiments, the Constant 1 is designated as a value for “communication time” or “latency” , which is the time for the data to be transmitted between the controller of the (galvo) scanning mirrors and the processing module (i.e., the processing module 13 in Fig. 1A) . This ensures the microscope-based system (i.e., the microscope-based system 1 in Fig. 1A) to have a minimum time for signal transmitting even when the distance is short. Therefore, in Fig. 7A and Fig. 7B, the curve is substantially above (larger than) the result points while keeping the characteristic of the curve in Fig. 5A and Fig. 5B for a better prediction.

[0067] In some embodiments, the Constant 1 of the equation used in Fig. 7A and Fig. 7B may be obtained by an actual testing on the system or a theoretical calculation according to the configuration of the system. In some embodiments, the Constant 1 of the equation used in Fig. 7A and Fig. 7B may be a value of “20” (μsec) .

[0068] After step 218 in Fig. 2 the phase 210 ends, and then following with a next phase 220, which is a mathematical model utilizing phase 220, wherein a mathematical model may be set up for calibration. In step 222 of the phase 220, the mathematical model set up in the previous step 218 may be saved in the system and utilized as a calibration for operation afterwards. The microscope-based system (i.e., the microscope-based system 1 in Fig. 1A) may perform the illumination based on the saved mathematical model, particularly when controlling the scanning mirrors (e.g., galvo scanning mirrors) . For the illumination of any specific position, the processing module (i.e., the processing module 13 in Fig. 1A) determines the time required for the scanning mirrors to reach / arrive at the desired end points (i.e., the x-direction desired end points and / or the y-direction desired end points) and maintain stable by obtaining the corresponding required time of the moving distance of the illumination light directed by the scanning mirrors according to the saved mathematical model.

[0069] Fig. 8 illustrates a schematic view of the result of a validation test for the calibration of the x-direction movement controls, according to some embodiments. In Fig. 8, different criterions and different distances are respectively shown along the X-axis and Y-axis, the distances shown are longer distances, such as 1200, 1300, 1400, and 1500 (pixels) . The points 802 is the position of the longest waiting time (i.e., 50,000 μsec) in the image, wherein the longest waiting time represents the condition of the scanning mirrors being able to direct the laser for illumination to reach / arrive at the end points while maintaining stable, and the points 802 represent the mass center of the illumination spot. According to Fig. 8, all of the offset results fall within the given required criterion.

[0070] Fig. 9 illustrates a schematic view of the result of a validation test for the calibration of the y-direction movement controls, according to some embodiments. In Fig. 9, different criterion and different distances are respectively shown along the Y-axis and X-axis, the distances shown are longer distances, such as 1200, 1300, 1400, 1500 (pixels) . The points 902 represent the position of the longest waiting time (i.e., 50,000 μsec) in the image, wherein the longest waiting time represents the condition of the scanning mirrors being able to direct the laser for illumination to reach / arrive at the end points while maintaining stable, and the points 902 represent the mass center of the illumination spot. According to Fig. 9, all of the offset results fall within the given required criterion.

[0071] In summary, embodiments of this disclosure provide a method for improving the control of the scanning mirrors, so that the calibration of the image-guided microscopic illumination may be improved, thereby enhancing the accuracy and precision of the microscope-based system.

[0072] Although various illustrative embodiments are described above, any of a number of changes may be made to various embodiments without departing the scope of the disclosure as described by the claims. For example, the order in which various described method steps are performed may often be changes in alternative embodiments, and in other alternative embodiments one or more method steps may be skipped altogether. Therefore, the foregoing description is provided primarily for exemplary purposes and should not be interpreted to limit the scope of the disclosure as it is set forth in the claims.

[0073] .

Claims

1.A method for calibration of a microscope-based system, comprising:generating a path for illumination of a field of view of a sample with a processing module, wherein the path is defined by a plurality of movement controls of a plurality of start points, each of the movement controls is for controlling an illuminating position to move a distance starting from the start point by moving a plurality of scanning mirrors to direct an illuminating light;opening a shutter of a camera;illuminating the field of view by providing the illuminating light after a first waiting time for each of the movement controls, according to the path;obtaining an image of the illuminating of the field of view by the camera as a first image;repeating the opening of the shutter, the illuminating of the field of view, and the obtaining of the image twice, with a second waiting time longer than the first waiting time and with a third waiting time longer than the second waiting time, to obtain images as a second image and a third image respectively;identifying a plurality of representative points indicating the illuminating positions for the movement controls of the first image, the second image, and the third image;calculating a plurality of offsets of each of the movement controls of the start points by comparing the representative points of the first image and the second image with the representative points of the third image;determining a plurality of stable times of each of the movement controls of the start points by choosing among the first waiting time, the second waiting time, and the third waiting time, wherein the stable times are the shortest waiting time for the offset of the corresponding image to meet a predetermined criterion of the offsets;fitting a curve of the stable times with respect to the distances of the movement controls of the start points by using a mathematical model; andsetting the mathematical model in the microscope-based system.2.The method for calibration of the microscope-based system of claim 1, wherein identifying the representative points comprises identifying a plurality of mass centers of a plurality of light spots, a plurality of light tracks or a combination thereof of the start points of the first image, the second image, and the third image.3.The method for calibration of the microscope-based system of claim 1, wherein for a specific one of the movement controls, the third waiting time is larger than or equal to the shortest time for the scanning mirrors to direct the illuminating light to reach an end point of the specific one of the movement controls and to maintain stability.4.The method for calibration of the microscope-based system of claim 1, wherein the third waiting time is larger than or equal to the shortest time for the scanning mirrors to direct the illuminating light to reach an end point of the largest distance among all of the movement controls and to maintain stability.5.The method for calibration of the microscope-based system of claim 4, wherein the largest distance substantially corresponds to a side length of the field of view.6.The method for calibration of the microscope-based system of claim 1, further comprising setting a safety factor in the mathematical model after fitting, wherein the safety factor provides an extra movement time for the scanning mirrors before illuminating the field of view.7.The method for calibration of the microscope-based system of claim 1, further comprising designating a constant in the mathematical model when fitting, wherein the constant is decided based on and is larger than or equal to a value of time required for data to be transmitted between a controller of the scanning mirrors and the processing module.8.The method for calibration of the microscope-based system of claim 1, wherein the movement controls comprises a plurality of x-direction movement controls and a plurality of y-direction movement controls of the start points, and the y-direction movement controls of all of the start points are after the x-direction movement controls of all of the start points, or the y-direction movement controls of each of the start points are respectively immediately after the x-direction movement controls of each of the start points.9.The method for calibration of the microscope-based system of claim 1, wherein a plurality of exposure times for illuminating the field of view are set for a duration to provide the illuminating light immediately after the first waiting time, the second waiting time, and the third waiting time elapse.10.The method for calibration of the microscope-based system of claim 9, wherein each of the movement controls is aborted after the exposure time elapses.11.The method for calibration of the microscope-based system of claim 1, wherein the mathematical model comprises a logarithmic model or a polynomial model.12.The method for calibration of the microscope-based system of claim 1, wherein different mathematical models or different equations of a same mathematical model are used to fit for different criterions of the offsets, or wherein the distances of the movement controls are segmented into at least two ranges, and different mathematical models or different equations of a same mathematical model are respectively used to fit for the at least two ranges.13.The method for calibration of the microscope-based system of claim 1, wherein the predetermined criterion of the offsets is an accuracy which represents a discrepancy between an actual illuminating position and a desired position to be illuminated.14.A method for calibration of a microscope-based system, comprising:generating a path for an illumination of a field of view of a sample with a processing module, wherein the path is defined by a plurality of movement controls of a plurality of start points, each of the movement controls is for controlling an illuminating position to move a distance starting from the start point by moving a plurality of scanning mirrors to direct an illuminating light;illuminating the field of view after a waiting time for each of the movement controls of each of the start points, according to the path;obtaining an image of the illuminating of the field of view by a camera as a first image;repeating the illuminating of the field of view, and the obtaining of the image for two or more times, with a plurality of progressively increasing waiting times, to obtain one or more subsequent images and a last image;identifying a plurality of representative points indicating the illuminating positions for the movement controls of each of the first image, the subsequent images, and the last image;calculating a plurality of offsets of each of the movement controls of the start points by comparing the representative points of the first image and the subsequent images with the representative points of the last image;determining a plurality of stable times of the movement controls of each of the start points by choosing among the waiting time and the progressively increasing waiting times, wherein the stable times are the shortest of the waiting time and the progressively increasing waiting times for the offset of a corresponding image to meet a predetermined criterion of the offsets;fitting a curve of the stable times with respect to the distances of the movement controls of the start points by using a mathematical model; andsetting the mathematical model in the microscope-based system.15.The method for calibration of the microscope-based system of claim 14, wherein in the step of determining the plurality of stable times of the movement controls of each of the start points, after choosing the shortest of the waiting time and the progressively increasing waiting times which meets the predetermined criterion of the offsets, a predetermined number of the subsequent images immediately following the corresponding image of the stable time are checked for whether the offset of thereof meet the predetermined criterion of the offsets.16.The method for calibration of the microscope-based system of claim 15, wherein for a specific one of the movement controls, when one or more offsets of the predetermined number of the subsequent images does not meet the predetermined criterion of the offsets, repeating the step of determining the stable time to re-determine the stable time by choosing among the waiting time and the progressively increasing waiting times, wherein the stable time is the second shortest of the waiting time and the progressively increasing waiting times for the offset of the image to meet the predetermined criterion of the offsets.17.The method for calibration of the microscope-based system of claim 14, wherein the progressively increasing waiting time of the last image is larger than or equal to the shortest time for the scanning mirrors to direct the illuminating light to reach an end point of the largest distance among all of the movement controls and to maintain stability, and the largest distance substantially correspond to a side length of the field of view.18.The method for calibration of the microscope-based system of claim 14, wherein identifying the representative points indicating the illuminating positions for the movement controls comprises identifying a plurality of mass centers of a plurality of light spots, a plurality of light tracks or a combination thereof of the start points of the first image, the subsequent images, and the last image.19.The method for calibration of the microscope-based system of claim 14, further comprising setting a safety factor in the mathematical model after fitting, designating a constant in the mathematical model when fitting or a combination thereof, wherein the safety factor provides an extra movement time for the scanning mirrors before illuminating the field of view, and wherein the constant is decided based on and is larger than or equal to a value of time required for data to be transmitted between a controller of the scanning mirrors and the processing module.20.The method for calibration of the microscope-based system of claim 14, wherein the mathematical model is a logarithmic model or a polynomial model.

Images