System and method for auto-recalibration and monitoring of an optical path

Abstract

An auto-recalibration system includes an illumination light source providing a light; a first piezo mount the light arrives at; one or more optical elements the light from the first piezo mount arrives at; a second piezo mount the light from one or more optical elements arrives at; a first beam splitter that the light from the second piezo mount partially passes through the first beam splitter to an objective; a first position detector the light arrives at from the first or second piezo mount or the first beam splitter; a second position detector a part of the light reflects from the first beam splitter to; and a controller that electrically couples to the first / second piezo mount and the first / second position detector, and controls by adjusting the second piezo mount according to the second position detector and adjusting the first piezo mount according to the first position detector.

Description

SYSTEM AND METHOD FOR AUTO-RECALIBRATION AND MONITORING OF AN OPTICAL PATHBACKGROUNDField of Invention

[0001] The present disclosure relates to a system and method for auto-recalibration and monitoring of an optical path. More particularly, the present disclosure relates to a system and method for auto-recalibration and monitoring of an optical path of a microscope-based system. Description of Related Art

[0002] There are needs to illuminate patterns on samples (e.g., biological samples) at specific locations. Processes such as photo-bleaching of molecules at certain subcellular areas, photo-activation of fluorophores at a confined location, optogenetics, light-triggered release of reactive oxygen species within a designated organelle, or photo-induced labelling of proteins in a defined structure feature of a cell all require pattern illumination. For certain applications, the pattern of the abovementioned processes may need to process sufficient samples, adding the high-content requirement to repeat the processes in multiple regions. Systems capable of performing such automated image-based localized photo-triggered processes are rare.

[0003] All precision optical instruments require regular recalibration of the optical path, and each recalibration costs a lot of manpower and time. Therefore, the reduction of the frequency of calibration is very important. The causes of changes of optical path are usually environmental factors such as in ambient temperature, earthquakes, man-made collisions or instability of mechanical structures. Most events cannot be completely avoided, and the accumulation of each error in the events eventually leads to system failure of the optical instruments. Since it is unavoidable, there is a need in making the optical instrument itself to have an auto-recalibration (automatic recalibration) capability. This can effectively reduce maintenance costs.SUMMARY

[0004] The view of the foregoing objectives, some embodiments of the present disclosure provide an auto-recalibration system, including: an illumination light source that provides a light; a first piezo mount that the light from the illumination light source arrives at the first piezo mount; one or more optical elements that the light from the first piezo mount arrives at the one or more optical elements; a second piezo mount that the light from the one or more optical elements arrives at the second piezo mount; a first beam splitter that the light from the second piezo mount is split by the first beam splitter and partially passes through the first beam splitter to an objective; a first position detector that the light which arrives at the first position detector comes from the first piezo mount, the second piezo mount or the first beam splitter; a second position detector that a part of the light is reflected from the first beam splitter to the second position detector; and a controller that is configured to electrically couple to the first piezo mount, the second piezo mount, the first position detector, and the second position detector, and that the controller controls by adjusting the second piezo mount according to the second position detector and adjusting the first piezo mount according to the first position detector.

[0005] In some embodiments, the controller issues a voltage warning when a first voltage of the first piezo mount or a second voltage of the second piezo mount exceeds a lower voltage limit or an upper voltage limit or the controller issues a position warning when a first position of the light on the first position detector or a second position of the light on the second position detector deviates and exceeds a position limit.

[0006] In some embodiments, the first piezo mount is equipped with an opaque reflective mirror, and the second piezo mount is equipped with an opaque reflective mirror, a beam splitter, a reflective mirror with partial transmittance or a dichroic mirror.

[0007] In some embodiments, the light arrives at the first position detector comes from the second piezo mount, the second piezo mount is equipped with a beam splitter, a reflective mirror with partial transmittance or a dichroic mirror that a part of the light transmits to the first position detector, and the other part of the light is reflected to the first beam splitter.

[0008] In some embodiments, the one or more optical elements are one or more fixed mirrors.

[0009] In some embodiments, further including one or more scanning mirrors, a light shutter or a combination thereof, the one or more scanning mirrors are disposed between the first beam splitter and the objective, and the light shutter is disposed between the illumination light source and the first piezo mount.

[0010] In some embodiments, the light arrives at the first position detector comes from the first piezo mount, the second piezo mount is equipped with an opaque reflective mirror, and the one or more optical elements are a second beam splitter, disposed between the first piezo mount and the first position detector so that a part of the light from the first piezo mount transmits through the second beam splitter to the first position detector, and the other part of the light is reflected by the second beam splitter to the second piezo mount, and that the light arriving the second piezo mount is reflected to the first beam splitter and then partially reflected to the second position detector.

[0011] In some embodiments, further including a reflector or a blocker set on a motorize turret, an objective shutter or a combination thereof that blocks or shutters the light to arrive at a sample downstream of the objective.

[0012] In some embodiments, further including a patter illumination device disposed between the second beam splitter and the second piezo mount, that the light from the second beam splitter passes through the pattern illumination device before arriving at the second piezo mount.

[0013] In some embodiments, further including: a first assist lens that is disposed between the second beam splitter and the first position detector; and a second assist lens that is disposed between the first beam splitter and the second position detector.

[0014] In some embodiments, the first position detector and the second position detector are respectively positioned at a focus of the first assist lens and the second assist lens.

[0015] In some embodiments, the light arrives at the first position detector comes from the first beam splitter, the second piezo mount is equipped with an opaque reflective mirror, and the auto-recalibration system further includes: a second beam splitter that a part of the light reflected from the first beam splitter is reflected by second beam splitter to the first position detector, and a part of the light reflected from the first beam splitter is reflected by the second beam splitter to the first position detector, the other part of the light reflected from the first beam splitter transmits the second beam splitter to the second position detector; and a second assist lens that is disposed between the second beam splitter and the second position detector.

[0016] In some embodiments, further including a reflector or a blocker set on a motorized turret, an objective shutter or a combination thereof that blocks or shutters the light to arrive at a sample downstream of the objective.

[0017] In some embodiments, further including: a pattern illumination device, disposed between the one or more optical elements and the second piezo mount.

[0018] In some embodiments, further including a first assist lens, disposed between the second beam splitter and the first position detector.

[0019] In some embodiments, the second position detector is positioned at a focus of the second assist lens.

[0020] The view of the foregoing objective, some embodiments of the present disclosure provide a method for auto-recalibration, including: aligning an optical path that piezo mounts are adjusted; locking the piezo mounts at fixed voltages, the fixed voltages are aligned values; and monitoring positions of the optical path on position detectors.

[0021] In some embodiments, the auto-recalibration is performed during an illumination process on a sample, the method further includes: pausing the illumination process before aligning the optical path that a light source is switched off or shuttered off and the optical path is relocated, so that when the light source is switched on or reopened for aligning, the illumination process does not continue; and resuming the illumination process after locking the piezo mounts at the fixed voltages that the light source is switched off or shuttered off and the optical path is relocated back, so that when the light source is switched on or reopened for monitoring the positions of the optical path on the position detectors, the illumination process continues.

[0022] In some embodiments, the optical path is relocated in the pausing of the illumination process by one or more scanning mirrors redirecting the optical path, and the optical path is relocated in the resuming of the illumination process by the one or more scanning mirrors redirecting the optical path.

[0023] In some embodiments, the method operates periodically or when the positions of the optical path on the position detectors are deviated exceeding a predetermined value.

[0024] It is to be understood that both the foregoing general description and the following detailed description are by examples, and are intended to provide further explanation of the invention as claimed.BRIEF DESCRIPTION OF THE DRAWINGS

[0025] A better understanding of the features and advantages of the methods and apparatuses described herein will be obtained by reference to the following detailed description that sets forth illustrative embodiments, and the accompanying drawings of which:

[0026] Fig. 1A shows a schematic view of a microscope-based system, according to some embodiments of the present disclosure.

[0027] Fig. 1B shows a schematic view of a microscope-based system, according to some embodiments of the present disclosure.

[0028] Fig. 2A shows a schematic view of an original optical path, according to some embodiments of the present disclosure.

[0029] Fig. 2B shows a schematic view of an auto-recalibration system, according to some embodiments of the present disclosure.

[0030] Figs. 2C and 2D show schematic views of the operation of the auto-recalibration system mentioned in Fig. 2B, according to some embodiments of the present disclosure.

[0031] Fig. 3 shows a schematic view of an auto-recalibration system, according to some embodiments.

[0032] Fig. 4 shows a schematic view of an auto-recalibration system, according to some embodiments.

[0033] Fig. 5 shows a flowchart of a method of auto-recalibration, according to some embodimentsDETAILED DESCRIPTION

[0034] Reference will now be made in detail to the present embodiments of the disclosure, examples of which are illustrated in the accompanying drawings. Wherever possible, the same reference numbers are used in the drawings and the description to refer to the same or like parts.

[0035] Although the terms “first” and “second” may be used herein to describe various features, these features should not be limited by these terms, unless the context indicates otherwise. These terms may be used to distinguish one feature from another feature. Thus, a first feature discussed below could be termed a second feature, and similarly, a second feature discussed below could be termed a first feature without departing from the teachings of the present disclosure.

[0036] As used herein, the term “illuminate” or “illumination” refers to provide light on the points or areas, particularly for photo-induced processes. For example, to shine the photosensitizing light on the points or areas to achieve localized photo-labeling, wherein the points or areas can be proteins, amino acids, lipids, or nucleic acids. The photo-labeling progress is achieved by including photosensitizers such as riboflavin, Rose Bengal or photosensitized protein (such as mini Single Oxygen Generator (miniSOG) and Killer Red, etc. ) and chemical reagents such as phenol, aryl azide, benzo-phenone, Ru (bpy) 32+, or their derivatives for labeling purpose.

[0037] The present disclosure provides a system comprising piezoelectric (hereafter referred to as “piezo” ) mirror mounts and (light / beam) position detectors which are configured to automatically recalibrate the deviated optical path, and may be inserted in the place with the lowest optical path error tolerance or is most easily affected. The position detectors can be used to monitor the optical path, and the piezo mirror mounts can be used to adjust the optical path in real time. Furthermore, the voltage-monitoring of the piezo mirror mounts may also assist in identifying which segment of the optical path is a high-risk area or determine whether the overall system is approaching the limit of automatic calibration. It is noted that for simplicity, piezo mirror mounts are hereafter referred to as “piezo mounts” . It is also noted that a “motorized” mirror mount is a possible optional replacement for a “piezo” mirror mount, and still in the claim scope for “piezo” mirror mounts.

[0038] Figs. 1A and 1B are schematic views of a microscope-based system 1, according to some embodiments. The microscope-based system 1 includes a microscope 10, an illuminating assembly 11, an imaging assembly 12, and a processing module 13. The microscope 10 includes a stage 101, an objective 102, and a subjective 103. The stage 101 is configured to be loaded with a sample S. The imaging assembly 12 may be used for image capturing. For example, capturing an image of a field of view (FOV) of the sample S. The imaging assembly 12 may include a camera 121 (e.g. controllable camera) , an imaging light source 122, a focusing device 123, and a shutter 124.

[0039] Still referring to Figs. 1A and 1B, the illuminating assembly 11 may be used for illumination, such as photo-labeling in photo-induced processes. The illuminating assembly 11 may include an illumination light source 111 and a pattern illumination device 117, according to some embodiments. The pattern illumination device 117 may include a shutter 112, a lens module 113, at least a pair of scanning mirrors 115, and a scan lens 116. In one embodiment, the illumination light source 111 may be a laser source. In some embodiments, the lens module 113 may further include two relay lens 113a and 113b and a quarter wave plate 113c (not illustrated for simplicity) . In some embodiments, the scanning mirrors 115 may be galvo mirrors. Alternatively, in some embodiments, the pattern illumination device 117 may be replaced by a digital micromirror device (DMD) or a spatial light modulator (SLM) .

[0040] In some embodiments, the processing module 13 is coupled to the microscope 10, the illuminating assembly 11, and the imaging assembly 12. The processing module 13 may be a computer, a workstation, or a CPU of a computer, which is capable of executing a program designed for operating the microscope-based system 1.

[0041] The processing module 13 controls the imaging assembly 12 such that the camera 121 captures at least one image of a first field of view of the sample S. The image (s) is then transmitted to the processing module 13, where the image (s) is processed by the processing module 13 automatically in real-time based on a predefined criterion, to determine an interested region in the image, and to obtain a coordinate information regarding the interested region. Subsequently, the processing module 13 may control the pattern illumination device 117 of the illuminating assembly 11 to illuminate the interested region of the sample S, according to the received coordinate information regarding to the interested region. Furthermore, after the interested region is fully illuminated, the processing module 13 controls the stage 101 of the microscope 10 to move to a second field of view, which is subsequent to the first field of view.

[0042] Fig. 2A is a schematic view of an original optical path, according to some embodiments. An original optical path (or an original light path or an original laser path) starts from an illumination light source 211 through a pattern illumination device (not shown) and to an objective 202. In some embodiments, the illumination light source 211 may be a laser.

[0043] In some embodiments, an auto-recalibration system is inserted into an optical path (or a light path or a laser path) . In one embodiment, the auto-recalibration system may be inserted immediately after the illumination light source 211 (or the illumination light source 111 in Fig. 1B) . In some embodiments, the auto-recalibration system may also be inserted into the pattern illumination device 117, among the components (i.e., the shutter 112, the lens module 113, the scanning mirrors 115, and the scan lens 116) of the pattern illumination device 117 (see Fig. 1B) .

[0044] The auto-recalibration system includes at least one piezo mount and at least one position detector. In some embodiments, the piezo mount may be equipped with an opaque reflective mirror, a beam splitter, a reflective mirror with partial transmittance or a dichroic mirror.

[0045] Fig. 2B is a schematic view of an auto-recalibration system 200, according to some embodiments. The auto-recalibration system 200 includes a first piezo mount 241A, a second piezo mount 241B, a first position detector 242A, a second position detector 242B, a beam splitter 243, two optical elements (i.e., a first fixed mirror 248A, and a second fixed mirror 248B) . It is noted that, although Fig. 2B illustrates two piezo mounts (i.e., first piezo mount 241A and second piezo mount 241B) and two position detectors (i.e., first position detector 242A and second position detector 242B) , the auto-recalibration system 200 may include one or more than two piezo mounts and one or more than two position detectors. The first piezo mount 241A is equipped with an opaque reflective mirror, and the second piezo mount 241B is equipped with a beam splitter, a reflective mirror with partial transmittance or a dichroic mirror. The first piezo mount 241A, the second piezo mount 241B, the first position detector 242A, and the second position detector 242B are all electrically coupled to a controller (not shown for simplicity) , so that the first piezo mount and the second piezo mount are controlled to act (such as change or fine-tune their angle) through their inside piezoelectric devices, and the position of the incident light (e.g., laser) on the first position detector 242A and the second position detector 242B are monitored and / or recorded. The controller may be separately provided and discrete from the aforementioned processing module 13 (see Figs. 1A and 1B) , may be integrated into the processing module 13, or may be implemented as part of the function of the processing module 13. In some embodiments, wherein the controller is separately provided and discrete from the processing module 13, the controller may be coupled to and communicate with the processing module 13.

[0046] As shown in Fig. 2B, the light (e.g., laser) from the illumination light source 211 is incident on the first piezo mount 241A, and then sequentially the first fixed mirror 248A, the second fixed mirror 248B, the second piezo mount 241B, and the beam splitter 243 in the auto-recalibration system 200 for auto-recalibration or monitoring of the optical path, wherein the light (e.g., laser) is partially transmitted through the second piezo mount 241B, and partially reflected by the beam splitter 243, respectively for the detection of the first position detector 242A and the second position detector 242B. The first position detector 242A and the second position detector 242B are used to detect whether the optical path is offset, wherein the first piezo mount 241A is used to adjust the position of the light (i.e., the displacement of the light) associated with the first position detector 242A, and the second piezo mount 241B is used to adjust the angle of the incident light associated with the second position detector 242B. The first fixed mirror 248A and the second fixed mirror 248B are used for the reflection of the optical path to meet the geometric design of (the outer case of) the auto-recalibration system 200. Although Fig. 2B illustrates two fixed mirrors (i.e., the first fixed mirror 248A and the second fixed mirror 248B) , an auto-recalibration system may include no fixed mirrors or any number of fixed mirrors, depending on the geometric design of the system, according to some embodiments.

[0047] Figs. 2C and 2D illustrate schematic views of the operation of the auto-recalibration system 200 in Fig. 2B, according to some embodiments. Referring to Fig. 2C, the optical path L1 represents an optical path with good alignment, and the optical path L2 represents an optical path of an offset light source due to environmental factors, such as temperature. Furthermore, the optical path L2 shows a deviation of the position of the light (e.g., laser) focus on an image plane 201P. When a deviation of the position of the light (e.g., laser) is detected by the first position detector 242A or the second position detector 242B, the controller (not shown) may adjust the corresponding first piezo mount 241A or the second piezo mount 241B to perform the auto-recalibration.

[0048] In one embodiment, the positions of the optical path with good alignment (i.e., the optical path L1) on the first position detector 242A and the second position detector 242B, respectively as the first point P1 and the second point P2, are recorded by the controller (see Fig. 2C) . If the position of the offset optical path (i.e., the optical path L2) on the first position detector 242A and the second position detector 242B deviated from the first point P1 and the second point P2, the controller controls the first piezo mount 241A to act (i.e., to change or fine-tune an angle of the mirror of the first piezo mount 241A) , so that the offset optical path (i.e., the optical path L2) passing through the second piezo mount 241B may be realigned, and the realigned incident optical path again is incident on the first point P1 of the first position detector 242A. Subsequently, comparing the adjusted optical path (i.e., the realigned optical path L2’ in Fig. 2D) with the original optical path (i.e., the optical path L1 in Fig. 2C) , the optical path L2’ may be regarded as a new optical path that coincides with the position of the original optical path (i.e., the optical path L1 in Fig. 2C) on the second piezo mount 241B, but with a different incidental angle (or a reflective angle) . That is, the adjusted optical path L2’ reflected by and leaving the second piezo mount 241B does not proceed along the same path as the original optical path L1 due to an angle difference. Therefore, the controller controls the second piezo mount 241B to act (by changing or fine-tuning an angle of its mirror) to eliminate the angle difference of the optical path L2’ in comparison with the original optical path (i.e., the optical path L1 in Fig, 2C) , so that the adjusted optical path L2’ proceeds along the same path as the original optical path (i.e., the optical path L1 in Fig. 2C) . In order to make sure the adjusted optical path L2’ proceeds along the same path as the original optical path L1 when the second piezo mount 241B acts, the second position detector 242B keeps monitoring the position upon which the deviated optical path L2 reflected by the beam splitter 243. When the optical path L2’ reflected by the beam splitter 243 is realigned to be incident on the second point P2 of the second position detector 242B again, the auto-recalibration is completed. After the auto-recalibration, the adjusted optical path (shown as the optical path L2’ in Fig. 2D) is substantially the same as the original optical path (shown as the optical path L1 in Fig. 2C) , particularly for the adjusted optical path after the beam splitter 243.

[0049] In some embodiments, the auto-recalibration system 200 may be used to monitor whether the automatic-recalibration section of the optical path is approaching the limit of the function of the automatic recalibration. That is, during the adjustment of the optical path, the controller continuously monitors and records each voltage output to the first piezo mount 241A and the second piezo mount 241B for controlling them to act. Once the output voltage exceeds an upper limit, such as 90%or 85%of the maximum value, a warning will be issued to notify the user that the current operating environment is not stable enough, and that the impact on the auto-recalibration system 200 is about to exceed the range that can be automatically adjusted. For example, the input voltage range of a piezo mount is from 0V to 10V (as 10V being the maximum value) , and the middle position of the piezo mount is at 5V. After an initial calibration, the angle of the piezo mount is placed at an initial position, wherein the initial position is suggested to be substantially at 5V to allow margins to operate for two opposite directions. When the input voltage becomes close to 9V (i.e., 90%of the maximum value, 10V) or 1V (i.e., 10% of the maximum value, 10V) , there is nearly no adjustable space for the piezo mount due to mechanical operation limit, and thus, the warning will be issued.

[0050] In some embodiments, during the auto-recalibrations of the auto-recalibration system 200, the controller monitors and records the positions of the position detectors, i.e., the incident light (through the optical path) to the first point P1 of the first position detector 242A and / or the incident light (through the optical path) to the second point P2 of the second position detector 242B. Similarly, once the each of the positions of the incident light exceeds its respective margins, for example, 90%or 85%of its maximum value, or falls below a lower limit, for example, 10%or 15%of its maximum value, or the positions of the incident light of one or both of the first position detector 242A and the second position detector 242B approximate (s) the respective detectable position limit, a warning may be issued to the user.

[0051] In some embodiments, the controller of the auto-recalibration system 200 monitors and records each distance between the recalibrated position and the initial position (i.e., after the initial calibration) of the incident lights (through the optical path) on the first position detector 242A and the second position detector 242B. When the distance exceeds a respective predetermined value, a warning to the user may be issued.

[0052] In some embodiments, the controller of the auto-recalibration system 200 monitors and records each angle difference between the recalibrated angle and the initial angle (i.e., after the initial calibration) of the first piezo mount 241A and the second piezo mount 241B in every auto-recalibration. When the angle difference exceeds a respective predetermined value, a warning to the user may be issued.

[0053] The power of the light (e.g. laser) of the illumination light source 211 may depend on the sample S (see Fig. 1A) . That is, different sample S requires different power, and a critical specification of the position detectors, for example, the power sensitivity range of position detectors (e.g., the first position detector 242A) needs to be considered. For example, the photo-reactive molecule of a sample includes Ru (bpy) 3, the power of the light requires about 20mW. For another example, the photo-reactive molecule of a sample includes benzophenone-biotin, the power of the light requires about 200mW. In some embodiments, in order to excite the abovementioned photo-labeling reagent for reaction, the power range may substantially be between 10mW to 330mW, with a margin taken into consideration. Therefore, the upper and lower limit ratio of the power sensitivity for the first position detector 242A should be greater than 33 (330mW / 10mW) in this application scenario.

[0054] Critical specifications of the optical element of the piezo mount, for example, the transmittance required for the second piezo mount 241B, also need to be considered. Optical loss caused by the components of the auto-recalibration system 200, or the microscope-based system 1, may affect the light when arriving at the sample S (see Fig. 1A) . More specifically, the optical loss after the second piezo mount 241B (e.g., 50%optical loss caused by the components after the second piezo mount 241B) may affect the light when arriving at the sample S. The optical loss should also be taken into account when the transmittance required for the second piezo mount 241B is considered. In the case the optical loss caused by the components after the second piezo mount 241B is 50%for the light to arrive at the sample S and the response range of the first position detector 242A is between 1mW and 100mw, the minimum transmittance of the second piezo mount 241B is 5% (1mW /  (10mW /  (50%) ) =5%) , and the maximum transmittance of the second piezo mount 241B is 15% (100mW /  (330mW /  (50%) ) =15%) . Therefore, the transmittance of the second piezo mount 241B should be between 5%and 15%.

[0055] There are also limitations when deciding the piezo mounts of the first piezo mount 241A and the second piezo mount 241B. The adjustable angle range is selected or determined according to the change of the light (e.g., laser) angle with a temperature variation. For example, a laser pointing is generally 30μrad / ℃. In the case that the laser light angle is to be compensated within 6℃, the adjustable angle range of the piezo mount should be ±180μrad. Furthermore, the resolution of the adjustable angle of the piezo mount depends mainly on the consideration of the highest resolution of the step movement (of the sample or the stage) when a microscope-based system is used, such as labelling specific targets of the sample. Therefore, according to a calculation method, assuming the highest resolution of the step movement being 0.16μm and the focal length of the objective lens being 5mm, the resolution requirement of the piezo mount should be 0.16μm / 5mm=32μrad.

[0056] In one embodiment, particularly for the application where the light is always on, the piezo mounts (i.e., the first piezo mount 241A and the second piezo mount 241B) may be set to be always active, which corrects the optical path as soon as a deviation occurs. However, under this always-active mode, once the light is turned off, the typical setting of the piezo mounts is set to return to their initial position. It is noted that, in this embodiment, for the application of the microscope-based system 1, there is possibility that the light may go through an undesired path to illuminate non-target parts on a sample and result in an inaccurate labelling. That is, for the application of the microscope-based system 1, the light is not always on, but switched on and off (or shuttered off) frequently, and the time of each switching is not fixed. The piezo mounts may be set to return to an initial position every time the light is turned off, and after the light is turned on again for another illumination on a target of the sample, the reinstallation of the piezo mounts to its setting (or calibrated) position comes with the effect to direct the light through an undesired path to illuminate non-target parts on the sample and result in inaccurate labelling.

[0057] In another embodiment, the piezo mounts (i.e., the first piezo mount 241A and the second piezo mount 241B) may operate auto-recalibrations periodically instead of being always active for real-time calibrations. The voltage of the piezo mounts may be kept at a fixed value once an auto-recalibration is completed. Moreover, once another periodical auto-recalibration is carried out, the voltages of the piezo mounts may be fixed at another renewed value.

[0058] Fig. 3 illustrates a schematic view of an auto-recalibration system 300, according to some embodiments. The auto-recalibration system 300 includes a first piezo mount 341A, a second piezo mount 341B, a first position detector 342A, a second position detector 342B, a first beam splitter 343A, an optical element (i.e., a second beam splitter 343B) , and a motorized turret 345 (set with optical elements) . The auto-recalibration system 300 is inserted along an optical path (i.e., the optical path L3a) between the illumination light source 311 and the objective 302, inserted upstream and downstream of a pattern illumination device that includes a lens module 313, at least a pair of scanning mirrors 315, and a scan lens 316. The first piezo mount 341A, the second beam splitter 343B, and the first position detector 342A are disposed between the illumination light source 311 and the pattern illumination device, and the second piezo mount 341B, the first beam splitter 343A, the second position detector 342B, and the motorized turret 345 are disposed between the pattern illumination device and the objective 302. The auto-recalibration system also includes a tube lens 318, disposed between the scan lens 316 and the second piezo mount 341B. The first position detector 342A and the second position detector 342B may be both sensitive for detecting deviation of the angle of the incident light on them, and may recalibrate or align the deviated optical path L3a by adjusting the corresponding first piezo mount 341A and second piezo mount 341B.

[0059] Different from the second piezo mount 241B in Fig. 2B, which is equipped with a beam splitter, a reflective mirror with partial transmittance or a dichroic mirror, the second piezo mount 341B is equipped with an opaque reflective mirror. More specifically, the second piezo mount 341B is separated to be disposed at the back end (downstream of the scanning mirrors 315) of the optical path L3a in this embodiment, and a second beam splitter 343B is disposed in order to replace the function of the second piezo mount 241B in Fig. 2B, so that the second piezo mount 341B in Fig. 3 is not equipped with a beam splitter (or a reflective mirror with partial transmittance or a dichroic mirror) , but with an opaque reflective mirror instead.

[0060] As illustrated in Fig. 3, the second piezo mount 341B may be disposed as close as possible to the objective 302, to allow the correction of the optical path deviation caused by any components in the proceeding portion of the optical path L3a before the second piezo mount 341B. However, there are some limitations to this arrangement from both mechanical and optical perspectives. As the related paths, such as the optical path L3a and other light paths (e.g., the light path L3b from the imaging light source 322 to the sample S and the light path L3c from the sample S to the camera 321) around the objective 302 illustrated in Fig. 3, the components disposed downstream of the second piezo mount 341B are involved in both forward and backward light propagation, as well as transmission and reflection. These components (e.g., the first beam splitter 343A or the motorized turret 345) may function as beam splitter, reflective mirrors with partial transmittance or dichroic mirrors. If the second piezo mount 341B is disposed downstream of any of the components, the operation after the auto-recalibration may introduce disturbances or changes from multiple optical perspectives which may affect the camera 321 and the imaging light source 322. Furthermore, this may lead to a risk of ultimately compromising the overall accuracy of a microscope-based system (e.g., the microscope-based system 1 in Fig. 1A) .

[0061] Still referring to Fig. 3, similar to the first piezo mount 241A in Fig. 2B, the first piezo mount 341A of the auto-recalibration system 300 may be equipped with an opaque reflective mirror and disposed immediately after the illumination light source 311 (e.g., laser source) . Then, along the optical path L3a, the first piezo mount 341A is followed by the second beam splitter 343B. In some embodiments, the second beam splitter 343B may be a reflective mirror with partial transmittance or a dichroic mirror. The optical path L3a continues with the light (e.g., laser) reflecting from the second beam splitter 343B to the pattern illumination device as well as a part of the light transmits through the second beam splitter 343B, and end up on the first position detector 342A. The reflected light from the second beam splitter 343B passes through the lens module 313, the scanning mirrors 315 (e.g., galvo mirror) , and the scan lens 316 of the pattern illumination device. Then, the light passes the tube lens 318, where the light is collimated. After the light being collimated, the optical path L3a continues with the light reflected by the second piezo mount 341B arriving at the first beam splitter 343A. At the first beam splitter 343A, the light may be partially reflected to the second position detector 342B, while the other part of the light transmits through the first beam splitter 343A to the motorized turret 345. The motorized turret 345 may be set with a beam splitter, a reflective mirror with partial transmittance or a dichroic mirror that not only allows the light from the first beam splitter 343A to transmit through to the objective 302, but also allows the light from the imaging light source 322 to be reflected to through the objective 302 to the sample S and allows the light from the sample S to transmit through to be reflected by the first beam splitter 343A to the camera 321. Furthermore, the motorized turret 345 may also be set with a reflector 345A or blocker 345B used to block the light from the first beam splitter 343A to enter the objective 302 during auto-recalibration. The motorized turret 345 set with a reflector 345A or a blocker 345B may be a rotatable device that the reflector 345A or the blocker 345B is used during auto-recalibration while the above-mentioned beam splitter, reflective mirror with partial transmittance or dichroic mirror set on the motorized turret 345 is used during illumination process. In some embodiments, a shutter (not shown) used during auto-recalibration may be disposed between the objective 302 and the sample S.

[0062] Similar to the embodiment mentioned above in Fig. 2B, the first piezo mount 341A, the second piezo mount 341B, the first position detector 342A, and the second position detector 342B are electrically coupled to a controller (e.g., a processor or a computer, not shown in Fig. 3 for simplicity) , so that thereby the first piezo mount 341A and the second piezo mount 341B are controlled to act (e.g., to change or fine-tune an angle) through their inside piezoelectric devices, and the position of the incident light on the first position detector 342A and the second position detector 342B are monitored and / or recorded. The controller may be separately provided and discrete from the abovementioned processing module 13 (see Figs. 1A and 1B) , be integrated into the processing module 13 or implemented as part of the function of the processing module 13. In some embodiments, wherein the controller is separately provided and discrete from the processing module 13, the controller may be coupled to and communicate with the processing module 13.

[0063] As shown in Fig. 3, a first assist lens 344A may be optionally added between the second beam splitter 343B and the first position detector 342A. A second assist lens 344B may also be optionally added between the first beam splitter 343A and the second position detector 342B. The first assist lens 344A and the second assist lens 344B may have the same function. That is, the first position detector 342A and the second position detector 342B are respectively positioned at the focus of the corresponding first assist lens 344A and second assist lens 344B, so that any parallel shift of optical path L3a for the light causes no actual effect since all parallel light passing the assist lenses (i.e., the first assist lens 344A and the second assist lens 344B) arrive at the focus of the lens. More specifically, the assist lenses (i.e., the first assist lens 344A and the second assist lens 344B) eliminates the effect of parallel shift of the optical path L3a for the light, and only inclined incident angle of optical path L3a for the light matters. Therefore, without the assist lenses (i.e., the first assist lens 344A and the second assist lens 344B) , the geometric design of the microscope-based system (e.g., microscope-based system 1) needs to be expanded much larger to provide the same effect.

[0064] Fig. 4 illustrates a schematic view of an auto-recalibration system 400, according to some embodiments. The auto-recalibration system includes a first piezo mount 441A, a second piezo mount 441B, a first position detector 442A, a second position detector 442B, a first beam splitter 443A, a second beam splitter 443B, an optical element (i.e., a mirror 448) , a second assist lens 444B, and a motorized turret 445. The components of the auto-recalibration system 400 may be inserted in the upstream and the downstream of a pattern illumination device, between an illumination light source 411 and an objective 402. The pattern illumination device may include a lens module 413, at least a pair of scanning mirrors 415, and a scan lens 416. The auto-recalibration system 400 may also include a tube lens 418, disposed between the scan lens 416 of the pattern illumination device and the second piezo mount 441B.

[0065] Still referring to Fig. 4, similar to the first piezo mount 341A and the second piezo mount 341B mentioned in Fig. 3, the first piezo mount 441A and the second piezo mount 441B is respectively equipped with an opaque reflective mirror. The first piezo mount 441A is disposed immediately after the illumination light source 411 (e.g., laser source) . Then, along the optical path L4a, the mirror 448 reflects the light to the pattern illumination device. In some embodiments, the mirror 448 may be a reflective mirror. After passing through the pattern illumination device, the light passes the tube lens 418, where the light is collimated. The optical path L4a continues with the light reflected by the second piezo mount 441B arriving at the first beam splitter 443A. Subsequently, the light is partial reflected to the second beam splitter 443B, wherein a part of the light may be reflected to the first position detector 442A, and the other part of the light may transmit through the second assist lens 444B to the second position detector 442B. The other part of the light that transmits through the first beam splitter 443A goes through the motorized turret 445, the objective 402, and then the sample S. The motorized turret 445 may be set with a beam splitter, a reflective mirror with partial transmittance or a dichroic mirror, and may not only allow the light from the first beam splitter 443A to transmit through to the objective 302, but also allow the light from the imaging light source 422 to be reflected through the objective 402 to the sample S and allow the light from the sample S to transmit through to be reflected by the first beam splitter 443A to the camera 421. Furthermore, the motorized turret 445 may also be set with a reflector 445A or blocker 445B used to block the light from the first beam splitter 443A to enter the objective 402 during auto-recalibration. The motorized turret 445 set with a reflector 445A or a blocker 445B may be a rotatable device that the reflector 445A or the blocker 445B is used during auto-recalibration while the above-mentioned beam splitter, reflective mirror with partial transmittance or dichroic mirror set on the motorized turret 445 is used during illumination process. In some embodiments, a shutter (not shown) used during auto-recalibration may be disposed between the objective 402 and the sample S.

[0066] Similar to the embodiments mentioned above in Figs. 2B and 3, the first piezo mount 441A, the second piezo mount 441B, the first position detector 442A, and the second position detector 442B are electrically coupled to a controller (e.g., a processor or a computer, not shown in Fig. 4 for simplicity, so that the thereby the first piezo mount 441A and the second piezo mount 441B are controlled to act (e.g., to change or fine-tune and angle) through their inside piezoelectric devices, and the position of the incident light on the first position detector 442A and the second position detector 442B are monitored and / or recorded. The controller may be separately provided and discrete from the abovementioned processing module 13 (see Figs. 1A and 1B) , be integrated into the processing module 13 or implemented as part of the function of the processing module 13. In some embodiments, wherein the controller is separately provided and discrete from the processing module 13, the controller may be coupled to and communicate with the processing module 13.

[0067] As shown is Fig. 4, a first assist lens 444A may be optionally added between the second beam splitter 443B and the first position detector 442A. Unlike the second position detector 442B, which may be positioned at the focal length (i.e. the segment f of the optical path L4a in Fig. 4) of the second assist lens 444B, the first position detector 442A should not be positioned at the focal length of the first assist lens 444A. Furthermore, the position of the first position detector 442A and the first assist lens 444A should meet the thin lens equation (i.e., 1 / f=1 / do+1 / di, with “f” representing the focal length, “do” representing the object distance, and “di” representing the image distance) . That is, the relationship of segment g (i.e., segment g1, segment g2, and segment g3, which may be the object distance, do) and segment b (image distance, di) of the optical path L4a fulfils the thin lens equation.

[0068] As the first position detector 442A being sensitive to the displacement of the optical path L4a, and the second position detector being sensitive to the angle of the incident light, when the first position detector 442A detects displacement deviation, the first piezo mount 441A adjusts, so that the position of the light is recalibrated to an original position (not displaced or a position of the optical path L4a with good alignment) on the second piezo mount 441B. When the second position detector 442B detects a deviation of the angle of incident light (i.e., displacement caused by deviated incident light angle) , the second piezo mount 441B adjusts, so that the angle of the incident light is recalibrated to the original position (not deviated or a position of the optical path L4a with good alignment) . To be more specific, the first piezo mount 441A acts according to the detection of the first position detector 442A, and the second piezo mount 441B acts according to the detection of the second position detector 442B. In the condition that the displacement detected by the first position detector 442A and the deviation of the angle of the incident light detected by the second position detector 442B occurs simultaneously, the first piezo mount 441A may recalibrate the optical path L4a, followed by the second piezo mount 441B recalibrating the optical path L4a subsequently.

[0069] Fig. 5 illustrates a flowchart of a method of auto-recalibration, according to some embodiments. When the auto-recalibration is carried out during the illumination of a sample, step S1 may be operated, wherein the illumination may be paused. More specifically, firstly, the light (e.g., laser) for illumination may be switched off or shuttered off by a light shutter, to prevent the light from travelling along an undesired path or causing false illumination of the sample. Next, at least a pair of scanning mirrors (e.g., galvo mirrors) may be controlled to direct and relocate the light spot away from the illumination target on the sample (e.g., a region of interest of the sample) , or a reflector or a blocker set on a motorized turret may be controlled to block the light or an objective shutter disposed between an objective and the sample may shutter the light, so that when the light is switched back on or the light shutter is reopened for the subsequent step for recalibration, the light will not illuminate any undesired target throughout the recalibration. Furthermore, this may avoid inaccurate illumination or labelling of the sample. In the case that a reflector or a blocker set on a motorized turret is controlled to block the light or an objective shutter disposed between an objective and the sample is used to shutter the light, since the light spot of the optical path is directly avoided to reach and illuminate the sample, there is no need that the light (e.g., laser) for illumination being switched off or shuttered off by a light shutter firstly.

[0070] Then, the auto-recalibration system may be activated to operate the alignment of the optical path recalibration, according to step S2 of Fig. 5. That is, the light may be switched back on or the shutter may be reopened. However, in step S2, the light of the optical path does not illuminate the sample since the scanning mirrors relocated the optical path, or the motorized turret blocked the light or the objective shutter shuttered the light. The recalibration may be operated by adjusting piezo mounts (e.g., the first piezo mount 241A, 341A or 441A and the second piezo mount 241B, 341B or 441B, ) , according to the positions of the light on corresponding position detectors (e.g., the first position detector 242A, 342A or 442A and the second position detector 242B, 342B or 442B) . In the following step S3, the voltages of each of the piezo mounts are locked so that the voltages are fixed at new values (i.e., the voltage value after recalibration) . During the operation of step S2 and step S3, in one embodiment, the light spot of the optical path on the sample may be outside any illumination target (e.g., region of interest of the sample) due to the relocating of the optical path by the scanning mirrors (e.g., galvo mirrors) , and in another embodiment, the blocking of light by the motorized turret or the shuttering of light by the objective shutter directly avoid the light spot of the optical path to reach and illuminate the sample.

[0071] Subsequently, in step S4 of Fig. 3, wherein the auto-recalibration is carried out during the illumination of the sample, the illumination may be resumed. More specifically, firstly, the light is switched off or shuttered off by the light shutter again to prevent the light from travelling along an undesired path or causing false illumination of the sample. Next, the scanning mirrors (e.g., galvo mirrors) are direct or relocated back to the position, or the motorized turret unblocked or the objective shutter is reopened, so that when the light is switched back on or the light shutter is reopened, the illumination may be resumed. Similarly as in step S1, in the case that a reflector or blocker set on a motorized turret is controlled to block the light or an objective shutter disposed between an objective and the sample is used to shutter the light, since the light spot of the optical path is directly avoided to reach and illuminate the sample, there is no need that the light (e.g., laser) for illumination being switched off or shuttered off by a light shutter firstly.

[0072] Then, in step S5 of Fig. 5, the auto-recalibration system (e.g., auto-recalibration system 200, 300 or 400) monitors the position of the optical path on the position detectors. If the position of the optical path on the position detectors has shift or deviated larger than or equal to a predetermined displacement (e.g., 100μm in one embodiment) , the process flows back to step S1 from step S5 directly before the period elapses.

[0073] Furthermore, step S1 to step S5 may be processed periodically, such as every 30 minutes. In short, step S1 to step S5 may not only be operated periodically (e.g., every 30 minutes) but also when the optical path has deviated. It is noted that, step S1 and S4 are only for the condition that the auto-recalibration is carried out during the illumination of the sample. In some embodiments, wherein the auto-recalibration is not carried out during the illumination, such as the auto-recalibration is operated after the microscope-based system is initially powered on, step S1 and step S4 are not required and applicable. Therefore, step S1 and step S4 may be omitted.

[0074] In summary, embodiments of this disclosure provide novel auto-recalibration systems and methods for auto-recalibration and monitoring, so that optical path change or deviation may be detected and compensated, thereby improving the stability and reliability of microscope-based systems or other applicable optical systems.

[0075] Although various illustrative embodiments are described above, any of a number of changes may be made to various embodiments without departing the scope of the disclosure as described by the claims. For example, the order in which various described method steps are performed may often be changes in alternative embodiments, and in other alternative embodiments one or more method steps may be skipped altogether. Optical features of various device and system embodiments may be included in some embodiments and not in others. Therefore, the foregoing description is provided primarily for exemplary purposes and should not be interpreted to limit the scope of the disclosure as it is set forth in the claims.

[0076] It is noted that, for those skilled in the art, and in view of the specialities of optics, certain terms should not be construed in a strictly limiting sense, even when used in the claims. For example, a beam splitter primarily divides an incident light beam into two (or more) parts, with one part transmitted through the beam splitter and the other reflected by it. The arrangement of these transmitted and reflected beams is inherently interchangeable. That is, if optical element A is positioned along the transmitted path and optical element B along the reflected path, those skilled in the art would readily understand that the two elements could be interchanged without departing from the scope of the disclosure. Accordingly, claim terminology referring to “transmit” and “reflect” is not intended to be limiting in such contexts.

[0077] Similarly, an “opaque” reflective mirror generally functions to reflect light with little or no transmission. However, this characterization should not be construed as a limitation, even in the claims. For instance, in certain applications it may be desirable to position a detector behind the so-called “opaque” mirror for monitoring purposes. In such cases, a straightforward modification would be to substitute a partially transmissive mirror in place of the opaque mirror, allowing a small portion of light to pass through while the majority remains reflected. Thus, the claim terminology “opaque” should likewise not be interpreted in a strictly limiting manner, and such partially transmissive mirrors fall within the scope of the claims. This disclosure is intended to cover any and all adaptions or variations of various embodiments. Combinations of the above embodiments, and other embodiments not specifically described herein, will be apparent to those of skill in the art upon reviewing the above description.

Claims

1.An auto-recalibration system, comprising:an illumination light source, wherein the illumination light source provides a light;a first piezo mount, wherein the light from the illumination light source arrives at the first piezo mount;one or more optical elements, wherein the light from the first piezo mount arrives at the one or more optical elements;a second piezo mount, wherein the light from the one or more optical elements arrives at the second piezo mount;a first beam splitter, wherein the light from the second piezo mount is split by the first beam splitter and partially passes through the first beam splitter to an objective;a first position detector, wherein the light which arrives at the first position detector comes from the first piezo mount, the second piezo mount or the first beam splitter;a second position detector, wherein a part of the light is reflected from the first beam splitter to the second position detector; anda controller, wherein the controller is configured to electrically couple to the first piezo mount, the second piezo mount, the first position detector, and the second position detector, wherein the controller controls by adjusting the second piezo mount according to the second position detector and adjusting the first piezo mount according to the first position detector.2.The auto-recalibration system of claim 1, wherein the controller issues a voltage warning when a first voltage of the first piezo mount or a second voltage of the second piezo mount exceeds a lower voltage limit or an upper voltage limit, or the controller issues a position warning when a first position of the light on the first position detector or a second position of the light on the second position detector deviates and exceeds a position limit.3.The auto-recalibration system of claim 1, wherein the first piezo mount is equipped with an opaque reflective mirror, and the second piezo mount is equipped with an opaque reflective mirror, a beam splitter, a reflective mirror with partial transmittance or a dichroic mirror.4.The auto-recalibration system of claim 1, wherein the light which arrives at the first position detector comes from the second piezo mount, the second piezo mount is equipped with a beam splitter, a reflective mirror with partial transmittance or a dichroic mirror so that a part of the light transmits to the first position detector, and the other part of the light is reflected to the first beam splitter.5.The auto-recalibration system of claim 4, wherein the one or more optical elements are one or more fixed mirrors.6.The auto-recalibration system of claim 4, further comprising one or more scanning mirrors, a light shutter or a combination thereof, wherein the one or more scanning mirrors are disposed between the first beam splitter and the objective, and the light shutter is disposed between the illumination light source and the first piezo mount.7.The auto-recalibration system of claim 1, wherein the light which arrives at the first position detector comes from the first piezo mount, the second piezo mount is equipped with an opaque reflective mirror, and the one or more optical elements are a second beam splitter, disposed between the first piezo mount and the first position detector so that a part of the light from the first piezo mount transmits through the second beam splitter to the first position detector, and the other part of the light is reflected by the second beam splitter to the second piezo mount, and wherein the light arriving at the second piezo mount is reflected to the first beam splitter and then partially reflected to the second position detector.8.The auto-recalibration system of claim 7, further comprising a reflector or a blocker set on a motorized turret, an objective shutter or a combination thereof that blocks or shutters the light to arrive at a sample downstream of the objective.9.The auto-recalibration system of claim 7, further comprising a pattern illumination device disposed between the second beam splitter and the second piezo mount, wherein the light from the second beam splitter passes through the pattern illumination device before arriving at the second piezo mount.10.The auto-recalibration system of claim 7, further comprising:a first assist lens, wherein the first assist lens is disposed between the second beam splitter and the first position detector; anda second assist lens, wherein the second assist lens is disposed between the first beam splitter and the second position detector.11.The auto-recalibration system of claim 10, wherein the first position detector and the second position detector are respectively positioned at a focus of the first assist lens and the second assist lens.12.The auto-recalibration system of claim 1, wherein the light which arrives at the first position detector comes from the first beam splitter, the second piezo mount is equipped with an opaque reflective mirror, and the auto-recalibration system further comprises:a second beam splitter, wherein a part of the light reflected from the first beam splitter is reflected by the second beam splitter to the first position detector, and the other part of the light reflected from the first beam splitter transmits the second beam splitter to the second position detector; anda second assist lens, wherein the second assist lens is disposed between the second beam splitter and the second position detector.13.The auto-recalibration system of claim 12, further comprising a reflector or a blocker set on a motorized turret, an objective shutter or a combination thereof that blocks or shutters the light to arrive at a sample downstream of the objective.14.The auto-recalibration system of claim 12, further comprising:a pattern illumination device, disposed between the one or more optical elements and the second piezo mount.15.The auto-recalibration system of claim 12, further comprising a first assist lens, disposed between the second beam splitter and the first position detector.16.The auto-recalibration system of claim 12, wherein the second position detector is positioned at a focus of the second assist lens.17.A method for auto-recalibration, comprising:aligning an optical path, wherein a plurality of piezo mounts are adjusted;locking the piezo mounts at a plurality of fixed voltages, wherein the fixed voltages are at a plurality of aligned values; andmonitoring a plurality of positions of the optical path on a plurality of position detectors.18.The method for auto-recalibration of claim 17, wherein the auto-recalibration is performed during an illumination process on a sample, the method further comprises:pausing the illumination process before aligning the optical path, wherein a light source is switched off or shuttered off and the optical path is relocated, so that when the light source is switched on or reopened for aligning, the illumination process does not continue; andresuming the illumination process after locking the piezo mounts at the fixed voltages, wherein the light source is switched off or shuttered off and the optical path is relocated back, so that when the light source is switched on or reopened for monitoring the positions of the optical path on the position detectors, the illumination process continues.19.The method for auto-recalibration of claim 18, wherein the optical path is relocated in the pausing of the illumination process by one or more scanning mirrors redirecting the optical path, and the optical path is relocated back in the resuming of the illumination process by the one or more scanning mirrors redirecting back the optical path.20.The method for auto-recalibration of claim 17, wherein the method operates periodically or when the positions of the optical path on the position detectors are deviated exceeding a predetermined value.

Images