Realtime structured illumination super-resolution high-throughput imaging method

Abstract

Systems and methods for image reconstruction are provided. The method may include: implementing a first thread to acquire image data of an object by imaging the object in at least one structured illumination direction using an imaging device, and storing the image data into a buffer; implementing a second thread to obtain one or more image sequences from the buffer; and / or implementing a third thread to extract at least one set of raw images from the one or more image sequences, and transmit the at least one set of raw images to a graphics processing unit (GPU) of the one or more processors, to facilitate the GPU to generate a target image based on the at least one set of raw images, each set of the at least one set of raw images corresponding to one of the at least one structured illumination direction.

Description

REALTIME STRUCTURED ILLUMINATION SUPER-RESOLUTION HIGH-THROUGHPUT IMAGING METHODTECHNICAL FIELD

[0001] The present disclosure relates to the field of imaging, and in particular, to systems and methods for image reconstruction.BACKGROUND

[0002] Structured illumination microscopy (SIM) utilizes modulation techniques of stripe structured light illumination in multiple directions and phases, which can acquire relatively high frequency information that traditional fluorescence microscopes cannot obtain. Super-resolution images can be obtained through joint reconstruction of multiple frames, improving the image resolution of traditional microscopes. As a widefield imaging technique, SIM does not require a relatively high laser intensity or special fluorescent dyes. Therefore, it has relatively high speed and applicability, and is particularly suitable for imaging living cells with high spatiotemporal resolution. With the increasing demand for monitoring fine structures and activities of cells or subcellular organelles, real-time image acquisition, image reconstruction, and image display is needed. It is desirable to provide systems and methods for real-time image acquisition, image reconstruction, and image display.SUMMARY

[0003] In one aspect of the present disclosure, a method for image reconstruction is provided. The method may be implemented on a computing device having one or more processors and one or more storage devices. The method may include: implementing a first thread to acquire image data of an object by imaging the object in at least one structured illumination direction using an imaging device, and storing the image data into a buffer; implementing a second thread to obtain one or more image sequences from the buffer; and / or implementing a third thread to extract at least one set of raw images from the one or more image sequences, and transmit the at least one set of raw images to a graphics processing unit (GPU) of the one or more processors, to facilitate the GPU to generate a target image based on the at least one set of raw images, each set of the at least one set of raw images corresponding to one of the at least one structured illumination direction.

[0004] In another aspect of the present disclosure, a method for image reconstruction is provided. The method may be implemented on a computing device having one or more processors and one or more storage devices. The method may include: obtaining a plurality of sets of raw images generated by imaging an object in a plurality of structured illumination directions using an imaging device, each set of the plurality of sets of raw images corresponding to one of the plurality of structured illumination directions; generating an initial target image by performing frequency separation and combination on the plurality of sets of raw images; and / or performing rolling reconstruction based on the initial target image, including: (a) . acquiring a new set of raw images corresponding to a specified direction of the plurality of structured illumination directions; (b) . updating the plurality of sets of raw images by replacing one set of raw images corresponding to the specified direction with the new set of raw images corresponding to the specified direction; (c) . generating an updated target image by performing frequency separation and combination on the  updated plurality of sets of raw images; and / or in response to a termination condition of the rolling reconstruction being not satisfied, designating another direction of the plurality of structured illumination directions as the specified direction and repeating operations (a) - (c) to further update the target image.

[0005] In another aspect of the present disclosure, a method for image reconstruction is provided. The method may be implemented on a computing device having one or more processors and one or more storage devices. The method may include: acquiring at least one first set of raw images by imaging, at a first imaging site, at a first wavelength channel, in at least one structured illumination direction, an object using an imaging device, each set of the at least one first set of raw images corresponding to one of the at least one structured illumination direction; acquiring at least one second set of raw images by imaging, at the first imaging site, at a second wavelength channel, in the at least one structured illumination direction, the object using the imaging device, each set of the at least one second set of raw images corresponding to one of the at leat one structured illumination direction; and / or generating a first target image by performing frequency separation and combination on the at least one first set of raw images; wherein the generating the first target image and the acquiring the at least one second set of raw images are performed synchronously.

[0006] In another aspect of the present disclosure, a method for image reconstruction is provided. The method may be implemented on a computing device having one or more processors and one or more storage devices. The method may include: obtaining a plurality of sets of raw images generated by imaging an object in a plurality of structured illumination directions using an imaging device, each set of the plurality of sets of raw images corresponding to one of the plurality of structured illumination directions; estimating, for each direction of the plurality of structured illumination directions, one or more model parameters of a physical model associated with the imaging device based on a set of raw images corresponding to the each direction; and / or generating a target image by performing frequency separation and combination on the plurality of sets of raw images based on model parameters corresponding to the plurality of structured illumination directions.

[0007] In another aspect of the present disclosure, a method for imaging is provided. The method may be implemented on a computing device having one or more processors and one or more storage devices. The method may include: obtaining at least one set of raw images generated by imaging an object using an imaging device; generating at least one target image based on the at least one set of raw images; performing image processing and / or analysis on the at least one target image to obtain one or more image analysis results; and / or determining one or more imaging strategies to be used in subsequent imaging based on the one or more image analysis results.

[0008] In another aspect of the present disclosure, a system for image reconstruction is provided. The system may include at least one storage device storing a set of instructions, and at least one processor in communication with the storage device. When executing the set of instructions, the at least one processor may be configured to cause the system to perform operations including: implementing a first thread to acquire image data of an object by imaging the object in at least one structured illumination direction using an imaging device, and storing the image data into a buffer;  implementing a second thread to obtain one or more image sequences from the buffer; and / or implementing a third thread to extract at least one set of raw images from the one or more image sequences, and transmit the at least one set of raw images to a graphics processing unit (GPU) of the one or more processors, to facilitate the GPU to generate a target image based on the at least one set of raw images, each set of the at least one set of raw images corresponding to one of the at least one structured illumination direction.

[0009] In another aspect of the present disclosure, a system for image reconstruction is provided. The system may include at least one storage device storing a set of instructions, and at least one processor in communication with the storage device. When executing the set of instructions, the at least one processor may be configured to cause the system to perform operations including: obtaining a plurality of sets of raw images generated by imaging an object in a plurality of structured illumination directions using an imaging device, each set of the plurality of sets of raw images corresponding to one of the plurality of structured illumination directions; generating an initial target image by performing frequency separation and combination on the plurality of sets of raw images; and / or performing rolling reconstruction based on the initial target image, including: (a) . acquiring a new set of raw images corresponding to a specified direction of the plurality of structured illumination directions; (b) . updating the plurality of sets of raw images by replacing one set of raw images corresponding to the specified direction with the new set of raw images corresponding to the specified direction; (c) . generating an updated target image by performing frequency separation and combination on the updated plurality of sets of raw images; and / or in response to a termination condition of the rolling reconstruction being not satisfied, designating another direction of the plurality of structured illumination directions as the specified direction and repeating operations (a) - (c) to further update the target image.

[0010] In another aspect of the present disclosure, a system for image reconstruction is provided. The system may include at least one storage device storing a set of instructions, and at least one processor in communication with the storage device. When executing the set of instructions, the at least one processor may be configured to cause the system to perform operations including: acquiring at least one first set of raw images by imaging, at a first imaging site, at a first wavelength channel, in at least one structured illumination direction, an object using an imaging device, each set of the at least one first set of raw images corresponding to one of the at least one structured illumination direction; acquiring at least one second set of raw images by imaging, at the first imaging site, at a second wavelength channel, in the at least one structured illumination direction, the object using the imaging device, each set of the at least one second set of raw images corresponding to one of the at leat one structured illumination direction; and / or generating a first target image by performing frequency separation and combination on the at least one first set of raw images; wherein the generating the first target image and the acquiring the at least one second set of raw images are performed synchronously.

[0011] In another aspect of the present disclosure, a system for image reconstruction is provided. The system may include at least one storage device storing a set of instructions, and at least one processor in communication with the storage device. When executing the set of instructions, the at  least one processor may be configured to cause the system to perform operations including: obtaining a plurality of sets of raw images generated by imaging an object in a plurality of structured illumination directions using an imaging device, each set of the plurality of sets of raw images corresponding to one of the plurality of structured illumination directions; estimating, for each direction of the plurality of structured illumination directions, one or more model parameters of a physical model associated with the imaging device based on a set of raw images corresponding to the each direction; and / or generating a target image by performing frequency separation and combination on the plurality of sets of raw images based on model parameters corresponding to the plurality of structured illumination directions.

[0012] In another aspect of the present disclosure, a system for imaging is provided. The system may include at least one storage device storing a set of instructions, and at least one processor in communication with the storage device. When executing the set of instructions, the at least one processor may be configured to cause the system to perform operations including: obtaining at least one set of raw images generated by imaging an object using an imaging device; generating at least one target image based on the at least one set of raw images; performing image processing and / or analysis on the at least one target image to obtain one or more image analysis results; and / or determining one or more imaging strategies to be used in subsequent imaging based on the one or more image analysis results.

[0013] In another aspect of the present disclosure, a system for image reconstruction is provided. The system may include: an acquisition module configurd to implemente a first thread to acquire image data of an object by imaging the object in at least one structured illumination direction using an imaging device, and storing the image data into a buffer; and a reconstruction module configured to:implemente a second thread to obtain one or more image sequences from the buffer; and implemente a third thread to extract at least one set of raw images from the one or more image sequences; and transmit the at least one set of raw images to a graphics processing unit (GPU) of the one or more processors, to facilitate the GPU to generate a target image based on the at least one set of raw images, each set of the at least one set of raw images corresponding to one of the at least one structured illumination direction.

[0014] In another aspect of the present disclosure, a system for image reconstruction is provided. The system may include: an acquisition module configured to obtain a plurality of sets of raw images generated by imaging an object in a plurality of structured illumination directions using an imaging device, each set of the plurality of sets of raw images corresponding to one of the plurality of structured illumination directions; and a reconstruction module configured to: generate an initial target image by performing frequency separation and combination on the plurality of sets of raw images; and perform rolling reconstruction based on the initial target image, the rolling reconstruction including: (a) . acquiring a new set of raw images corresponding to a specified direction of the plurality of structured illumination directions; (b) . updating the plurality of sets of raw images by replacing one set of raw images corresponding to the specified direction with the new set of raw images corresponding to the specified direction; (c) . generating an updated target image by performing frequency separation and combination on the updated plurality of sets of raw images;  and in response to a termination condition of the rolling reconstruction being not satisfied, designating another direction of the plurality of structured illumination directions as the specified direction and repeating operations (a) - (c) to further update the target image.

[0015] In another aspect of the present disclosure, a system for image reconstruction is provided. The system may include: an acquisition module configured to: acquire at least one first set of raw images by imaging, at a first imaging site, at a first wavelength channel, in at least one structured illumination direction, an object using an imaging device, each set of the at least one first set of raw images corresponding to one of the at least one structured illumination direction; and acquire at least one second set of raw images by imaging, at the first imaging site, at a second wavelength channel, in the at least one structured illumination direction, the object using the imaging device, each set of the at least one second set of raw images corresponding to one of the at leat one structured illumination direction; and a reconstruction module configured to generate a first target image by performing frequency separation and combination on the at least one first set of raw images;

[0016] wherein generation of the first target image and acquisition of the at least one second set of raw images are performed synchronously.

[0017] In another aspect of the present disclosure, a system for image reconstruction is provided. The system may include: an acquisition module configured to obtain a plurality of sets of raw images generated by imaging an object in a plurality of structured illumination directions using an imaging device, each set of the plurality of sets of raw images corresponding to one of the plurality of structured illumination directions; and a reconstruction module configured to: estimate, for each direction of the plurality of structured illumination directions, one or more model parameters of a physical model associated with the imaging device based on a set of raw images corresponding to the each direction; and generate a target image by performing frequency separation and combination on the plurality of sets of raw images based on model parameters corresponding to the plurality of structured illumination directions.

[0018] In another aspect of the present disclosure, a system for imaging is provided. The system may include: an acquisition module configured to obtain at least one set of raw images generated by imaging an object using an imaging device; a reconstruction module configured to generate at least one target image based on the at least one set of raw images; a processing module configured to perform image processing and / or analysis on the at least one target image to obtain one or more image analysis results; and an imaging strategy determination module configured to determine one or more imaging strategies to be used in subsequent imaging based on the one or more image analysis results.

[0019] In another aspect of the present disclosure, a non-transitory computer readable medium storing instructions is provided. The instructions, when executed by at least one processor, may cause the at least one processor to implement a method comprising: implementing a first thread to acquire image data of an object by imaging the object in at least one structured illumination direction using an imaging device, and storing the image data into a buffer; implementing a second thread to obtain one or more image sequences from the buffer; and / or implementing a third thread to extract at least one set of raw images from the one or more image sequences, and transmit the at least one  set of raw images to a graphics processing unit (GPU) of the one or more processors, to facilitate the GPU to generate a target image based on the at least one set of raw images, each set of the at least one set of raw images corresponding to one of the at least one structured illumination direction.

[0020] In another aspect of the present disclosure, a non-transitory computer readable medium storing instructions is provided. The instructions, when executed by at least one processor, may cause the at least one processor to implement a method comprising: obtaining a plurality of sets of raw images generated by imaging an object in a plurality of structured illumination directions using an imaging device, each set of the plurality of sets of raw images corresponding to one of the plurality of structured illumination directions; generating an initial target image by performing frequency separation and combination on the plurality of sets of raw images; and / or performing rolling reconstruction based on the initial target image, including: (a) . acquiring a new set of raw images corresponding to a specified direction of the plurality of structured illumination directions; (b) . updating the plurality of sets of raw images by replacing one set of raw images corresponding to the specified direction with the new set of raw images corresponding to the specified direction; (c) . generating an updated target image by performing frequency separation and combination on the updated plurality of sets of raw images; and / or in response to a termination condition of the rolling reconstruction being not satisfied, designating another direction of the plurality of structured illumination directions as the specified direction and repeating operations (a) - (c) to further update the target image.

[0021] In another aspect of the present disclosure, a non-transitory computer readable medium storing instructions is provided. The instructions, when executed by at least one processor, may cause the at least one processor to implement a method comprising: acquiring at least one first set of raw images by imaging, at a first imaging site, at a first wavelength channel, in at least one structured illumination direction, an object using an imaging device, each set of the at least one first set of raw images corresponding to one of the at least one structured illumination direction; acquiring at least one second set of raw images by imaging, at the first imaging site, at a second wavelength channel, in the at least one structured illumination direction, the object using the imaging device, each set of the at least one second set of raw images corresponding to one of the at leat one structured illumination direction; and / or generating a first target image by performing frequency separation and combination on the at least one first set of raw images; wherein the generating the first target image and the acquiring the at least one second set of raw images are performed synchronously.

[0022] In another aspect of the present disclosure, a non-transitory computer readable medium storing instructions is provided. The instructions, when executed by at least one processor, may cause the at least one processor to implement a method comprising: obtaining a plurality of sets of raw images generated by imaging an object in a plurality of structured illumination directions using an imaging device, each set of the plurality of sets of raw images corresponding to one of the plurality of structured illumination directions; estimating, for each direction of the plurality of structured illumination directions, one or more model parameters of a physical model associated with the imaging device based on a set of raw images corresponding to the each direction; and / or  generating a target image by performing frequency separation and combination on the plurality of sets of raw images based on model parameters corresponding to the plurality of structured illumination directions.

[0023] In another aspect of the present disclosure, a non-transitory computer readable medium storing instructions is provided. The instructions, when executed by at least one processor, may cause the at least one processor to implement a method comprising: obtaining at least one set of raw images generated by imaging an object using an imaging device; generating at least one target image based on the at least one set of raw images; performing image processing and / or analysis on the at least one target image to obtain one or more image analysis results; and / or determining one or more imaging strategies to be used in subsequent imaging based on the one or more image analysis results.

[0024] Additional features will be set forth in part in the description which follows, and in part will become apparent to those skilled in the art upon examination of the following and the accompanying drawings or may be learned by production or operation of the examples. The features of the present disclosure may be realized and attained by practice or use of various aspects of the methodologies, instrumentalities, and combinations set forth in the detailed examples discussed below.BRIEF DESCRIPTION OF THE DRAWINGS

[0025] The present disclosure is further described in detail of exemplary embodiments. These exemplary embodiments are described in detail with reference to the drawings. These embodiments are not limiting, and in these embodiments, the same number indicates the same structure, wherein:

[0026] FIG. 1 is a schematic diagram illustrating an exemplary application scenario of an imaging system according to some embodiments of the present disclosure;

[0027] FIG. 2 is a schematic diagram illustrating an exemplary computing device according to some embodiments of the present disclosure;

[0028] FIG. 3 is a block diagram illustrating an exemplary mobile device on which the terminal (s) may be implemented according to some embodiments of the present disclosure;

[0029] FIG. 4 is a schematic diagram illustrating an exemplary processing device according to some embodiments of the present disclosure;

[0030] FIG. 5 is a flowchart illustrating an exemplary process for image reconstruction according to some embodiments of the present disclosure;

[0031] FIG. 6A is a flowchart illustrating another exemplary process for image reconstruction according to some embodiments of the present disclosure;

[0032] FIG. 6B is a flowchart illustrating an exemplary process for rolling reconstruction according to some embodiments of the present disclosure;

[0033] FIG. 7 is a flowchart illustrating another exemplary process for image reconstruction according to some embodiments of the present disclosure;

[0034] FIG. 8 is a flowchart illustrating another exemplary process for image reconstruction according to some embodiments of the present disclosure;

[0035] FIG. 9 is a flowchart illustrating an exemplary process for imaging according to some embodiments of the present disclosure;

[0036] FIGs. 10A-10D are schematic diagrams illustrating an exemplary frequency separation and combination process according to some embodiments of the present disclosure;

[0037] FIGs. 11A-11C are exemplary images illustrating stripe-artifact removal effects according to some embodiments of the present disclosure;

[0038] FIG. 12 is an exemplary timing diagram for real-time SIM image reconstruction according to some embodiments of the present disclosure;

[0039] FIG. 13A is an exemplary fluorescence wide-field image according to some embodiments of the present disclosure;

[0040] FIG. 13B is an exemplary real-time SIM image according to some embodiments of the present disclosure;

[0041] FIG. 14 is an exemplary user interface for real-time image reconstruction according to some embodiments of the present disclosure;

[0042] FIGs. 15A-15D are schematic diagrams illustrating an exemplary rolling reconstruction process according to some embodiments of the present disclosure;

[0043] FIG. 16 is a schematic diagram illustrating an exemplary intelligent imaging process according to some embodiments of the present disclosure;

[0044] FIG. 17 is an exemplary timing diagram for real-time rolling reconstruction according to some embodiments of the present disclosure;

[0045] FIG. 18 is an exemplary timing diagram for real-time multi-channel imaging and image reconstruction according to some embodiments of the present disclosure; and

[0046] FIG. 19 is a schematic diagram illustrating an exemplary intelligent imaging workflow with real-time image reconstruction according to some embodiments of the present disclosure.DETAILED DESCRIPTION

[0047] In the following detailed description, numerous specific details are set forth by way of examples in order to provide a thorough understanding of the relevant disclosure. However, it should be apparent to those skilled in the art that the present disclosure may be practiced without such details. In other instances, well-known methods, procedures, systems, components, and / or circuitry have been described at a relatively high-level, without detail, in order to avoid unnecessarily obscuring aspects of the present disclosure. Various modifications to the disclosed embodiments will be readily apparent to those skilled in the art, and the general principles defined herein may be applied to other embodiments and applications without departing from the spirit and scope of the present disclosure. Thus, the present disclosure is not limited to the embodiments shown, but to be accorded the widest scope consistent with the claims.

[0048] The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting. As used herein, the singular forms “a, ” “an, ” and “the” may be intended to include the plural forms as well, unless the context clearly indicates otherwise. It will be further understood that the terms “comprise, ” “comprises, ” and / or “comprising, ” “include, ” “includes, ” and / or “including, ” when used in this specification, specify the presence of stated features, integers, steps, operations, elements, and / or components, but do not preclude the presence or addition of one or more other features, integers, steps, operations, elements,  components, and / or groups thereof. It will be understood that the term “object” and “subject” may be used interchangeably as a reference to a thing that undergoes an imaging procedure of the present disclosure.

[0049] It will be understood that the term “system, ” “engine, ” “unit, ” “module, ” and / or “block” used herein are one method to distinguish different components, elements, parts, section or assembly of different level in ascending order. However, the terms may be displaced by another expression if they achieve the same purpose.

[0050] Generally, the word “module, ” “unit, ” or “block, ” as used herein, refers to logic embodied in hardware or firmware, or to a collection of software instructions. A module, a unit, or a block described herein may be implemented as software and / or hardware and may be stored in any type of non-transitory computer-readable medium or another storage device. In some embodiments, a software module / unit / block may be compiled and linked into an executable program. It will be appreciated that software modules can be callable from other modules / units / blocks or themselves, and / or may be invoked in response to detected events or interrupts. Software modules / units / blocks configured for execution on computing devices (e.g., processor 210 as illustrated in FIG. 2) may be provided on a computer-readable medium, such as a compact disc, a digital video disc, a flash drive, a magnetic disc, or any other tangible medium, or as a digital download (and can be originally stored in a compressed or installable format that needs installation, decompression, or decryption prior to execution) . Such software code may be stored, partially or fully, on a storage device of the executing computing device, for execution by the computing device. Software instructions may be embedded in firmware, such as an EPROM. It will be further appreciated that hardware modules / units / blocks may be included in connected logic components, such as gates and flip-flops, and / or can be included of programmable units, such as programmable gate arrays or processors. The modules / units / blocks or computing device functionality described herein may be implemented as software modules / units / blocks but may be represented in hardware or firmware. In general, the modules / units / blocks described herein refer to logical modules / units / blocks that may be combined with other modules / units / blocks or divided into sub-modules / sub-units / sub-blocks despite their physical organization or storage. The description may apply to a system, an engine, or a portion thereof.

[0051] It will be understood that when a unit, engine, module or block is referred to as being “on, ” “connected to, ” or “coupled to, ” another unit, engine, module, or block, it may be directly on, connected or coupled to, or communicate with the other unit, engine, module, or block, or an intervening unit, engine, module, or block may be present, unless the context clearly indicates otherwise. As used herein, the term “and / or” includes any and all combinations of one or more of the associated listed items.

[0052] It should be noted that when an operation is described to be performed on an image, the term “image” used herein may refer to a dataset (e.g., a matrix) that contains values of pixels (pixel values) in the image. As used herein, a representation of an object (e.g., a person, an organ, a cell, or a portion thereof) in an image may be referred to as the object for brevity. For instance, a representation of a cell or organelle (e.g., mitochondria, endoplasmic reticulum, centrosome, Golgi  apparatus, etc. ) in an image may be referred to as the cell or organelle for brevity. As used herein, an operation on a representation of an object in an image may be referred to as an operation on the object for brevity. For instance, a segmentation of a portion of an image including a representation of a cell or organelle from the image may be referred to as a segmentation of the cell or organelle for brevity.

[0053] It should be understood that the term “resolution” as used herein, refers to a measure of the sharpness of an image. The term “superresolution” or “super-resolved” or “SR” as used herein, refers to an enhanced (or increased) resolution, e.g., which may be obtained by a process of combining a sequence of low-resolution images to generate a higher resolution image or sequence.

[0054] These and other features, and characteristics of the present disclosure, as well as the methods of operation and functions of the related elements of structure and the combination of parts and economies of manufacture, may become more apparent upon consideration of the following description with reference to the accompanying drawings, all of which form a part of this disclosure. It is to be expressly understood, however, that the drawings are for the purpose of illustration and description only and are not intended to limit the scope of the present disclosure. It is understood that the drawings are not to scale.

[0055] The flowcharts used in the present disclosure illustrate operations that systems implement according to some embodiments of the present disclosure. It is to be expressly understood the operations of the flowcharts may be implemented not in order. Conversely, the operations may be implemented in inverted order, or simultaneously. Moreover, one or more other operations may be added to the flowcharts. One or more operations may be removed from the flowcharts.

[0056] The present disclosure relates to systems and methods for real-time image acquisition, real-time image reconstruction, and imaging strategy determination. Multi-threading technology may be used in image acquisition, image reconstruction, image display, imaging strategy determination, etc., and parallel processing may be performed. To achieve higher reconstruction speed, timing sequence (s) used in image acquisition and / or image reconstruction may be optimized, and / or rolling reconstruction may be performed. Image acquisition and image reconstruction for different wavelength channels may be performed synchronously to reduce the time delay between image acquisition and image reconstruction, thereby improving reconstruction speed. Images generated at different sites may be stitched to obtain a stitched image with an enlarged view, thereby realizing the generation of super-resolution image (s) with a relatively large view. In addition, with the implementation of real-time image acquisition and real-time image reconstruction, real-time on-line imaging strategy determination may be realized. Thus, cellular activities can be monitored in real time, and imaging strategy can be adjusted in real time according to the monitored cellular activities, which facilitates the capturing of cells of interest or events of interest of cells.

[0057] In the present disclosure, real-time image reconstruction refers to image reconstruction with relatively high temporal resolution. The temporal resolution for the real-time image reconstruction may be less than 100 ms. In some embodiments, the temporal resolution may be less than 50 ms. In some embodiments, the temporal resolution may be less than 30 ms. In some embodiments, the  temporal resolution may be less than 20 ms. In some embodiments, the temporal resolution may be less than 10 ms.

[0058] Moreover, although the systems and methods disclosed in the present disclosure are described primarily regarding SIM images, it should be understood that the descriptions are merely provided for the purposes of illustration, and not intended to limit the scope of the present disclosure. The systems and methods of the present disclosure may be applied to any other kind of systems including an image acquisition device for image reconstruction. For example, the systems and methods of the present disclosure may be applied to microscopes, telescopes, cameras (e.g., surveillance cameras, camera phones, wedcams) , unmanned aerial vehicles, medical imaging devices, or the like, or any combination thereof.

[0059] FIG. 1 is a schematic diagram illustrating an exemplary application scenario of an imaging system according to some embodiments of the present disclosure. As shown in FIG. 1, the imaging system 100 may include an image acquisition device 110, a network 120, one or more terminals 130, a processing device 140, and a storage device 150.

[0060] The components in the imaging system 100 may be connected in one or more of various ways. Merely by way of example, the image acquisition device 110 may be connected to the processing device 140 through the network 120. As another example, the image acquisition device 110 may be connected to the processing device 140 directly as indicated by the bi-directional arrow in dotted lines linking the image acquisition device 110 and the processing device 140. As still another example, the storage device 150 may be connected to the processing device 140 directly or through the network 120. As a further example, the terminal 130 may be connected to the processing device 140 directly (as indicated by the bi-directional arrow in dotted lines linking the terminal 130 and the processing device 140) or through the network 120.

[0061] The imaging system 100 may be configured to acquire raw images, and reconstruct super-resolution images based on the raw images. The image acquisition device 110 may be configured to obtain one or more images associated with an object within its detection region. The object may include one or more biological or non-biological objects. In some embodiments, the image acquisition device 110 may be an optical imaging device, a radioactive-ray-based imaging device (e.g., a computed tomography device) , a nuclide-based imaging device (e.g., a positron emission tomography device, a magnetic resonance imaging device) , etc. Exemplary optical imaging devices may include a microscope 111 (e.g., a fluorescence microscope) , a surveillance device 112 (e.g., a security camera) , a mobile terminal device 113 (e.g., a camera phone) , a scanning device 114 (e.g., a flatbed scanner, a drum scanner, etc. ) , a telescope, a webcam, or the like, or any combination thereof. In some embodiments, the optical imaging device may include a capture device (e.g., a detector or a camera) for collecting the image data. For illustration purposes, the present disclosure may take the microscope 111 as an example for describing exemplary functions of the image acquisition device 110. Exemplary microscopes may include a structured illumination microscope (SIM) (e.g., a two-dimensional SIM (2D-SIM) , a three-dimensional SIM (3D-SIM) , a total internal reflection SIM (TIRF-SIM) , a spinning-disc confocal-based SIM (SD-SIM) , etc. ) , a photoactivated localization microscopy (PALM) , a stimulated emission depletion fluorescence microscopy (STED) , a  stochastic optical reconstruction microscopy (STORM) , etc. The SIM may include a detector such as an EMCCD camera, an sCMOS camera, etc. The objects detected by the SIM may include one or more objects of biological structures, biological issues, proteins, cells, microorganisms, or the like, or any combination. Exemplary cells may include INS-1 cells, COS-7 cells, Hela cells, liver sinusoidal endothelial cells (LSECs) , human umbilical vein endothelial cells (HUVECs) , HEK293 cells, or the like, or any combination thereof. In some embodiments, the one or more objects may be fluorescent or fluorescent-labeled. The fluorescent or fluorescent-labeled objects may be excited to emit fluorescence for imaging.

[0062] The network 120 may include any suitable network that can facilitate the imaging system 100 to exchange information and / or data. In some embodiments, one or more of components (e.g., the image acquisition device 110, the terminal (s) 130, the processing device 140, the storage device 150, etc. ) of the imaging system 100 may communicate information and / or data with one another via the network 120. For example, the processing device 140 may acquire image data from the image acquisition device 110 via the network 120. As another example, the processing device 140 may obtain user instructions from the terminal (s) 130 via the network 120. The network 120 may be and / or include a public network (e.g., the Internet) , a private network (e.g., a local area network (LAN) , a wide area network (WAN) , etc. ) , a wired network (e.g., an Ethernet) , a wireless network (e.g., an 802.11 network, a Wi-Fi network, etc. ) , a cellular network (e.g., a Long Term Evolution (LTE) network) , an image relay network, a virtual private network ( "VPN" ) , a satellite network, a telephone network, a router, a hub, a switch, a server computer, and / or a combination of one or more thereof. For example, the network 120 may include a cable network, a wired network, a fiber network, a telecommunication network, a local area network, a wireless local area network (WLAN) , a metropolitan area network (MAN) , a public switched telephone network (PSTN) , a BluetoothTM network, a ZigBeeTM network, a near field communication network (NFC) , or the like, or a combination thereof. In some embodiments, the network 120 may include one or more network access points. For example, the network 120 may include wired and / or wireless network access points, such as base stations and / or network switching points, through which one or more components of the imaging system 100 may access the network 120 for data and / or information exchange.

[0063] In some embodiments, a user may operate the imaging system 100 through the terminal (s) 130. The terminal (s) 130 may include a mobile device 131, a tablet computer 132, a laptop computer 133, or the like, or a combination thereof. In some embodiments, the mobile device 131 may include a smart home device, a wearable device, a mobile device, a virtual reality device, an augmented reality device, or the like. In some embodiments, the smart home device may include a smart lighting device, a control device of an intelligent electrical apparatus, a smart monitoring device, a smart television, a smart video camera, an interphone, or the like, or a combination thereof. In some embodiments, the wearable device may include a bracelet, footgear, glasses, a helmet, a watch, clothing, a backpack, a smart accessory, or the like, or a combination thereof. In some embodiments, the mobile device may include a mobile phone, a personal digital assistant (PDA) , a gaming device, a navigation device, a point of sale (POS) device, a laptop, a tablet  computer, a desktop, or the like, or a combination thereof. In some embodiments, the virtual reality device and / or augmented reality device may include a virtual reality helmet, virtual reality glasses, a virtual reality eyewear, an augmented reality helmet, augmented reality glasses, an augmented reality eyewear, or the like, or a combination thereof. For example, the virtual reality device and / or augmented reality device may include a Google GlassTM, an Oculus RiftTM, a HololensTM, a Gear VRTM, or the like. In some embodiments, the terminal (s) 130 may be part of the processing device 140.

[0064] The processing device 140 may process data and / or information obtained from the image acquisition device 110, the terminal (s) 130, and / or the storage device 150. In some embodiments, the processing device 140 may be a server or a server group. The server group may be centralized or distributed. In some embodiments, the processing device 140 may be local or remote. For example, the processing device 140 may access information and / or data stored in the image acquisition device 110, the terminal (s) 130, and / or the storage device 150 via the network 120. As another example, the processing device 140 may be directly connected to the image acquisition device 110, the terminal (s) 130, and / or the storage device 150 to access stored information and / or data. In some embodiments, the processing device 140 may be implemented on a cloud platform. For example, the cloud platform may include a private cloud, a public cloud, a hybrid cloud, a community cloud, a distributed cloud, an interconnected cloud, a multiple cloud, or the like, or a combination thereof. In some embodiments, the processing device 140 may be implemented by a computing device 200 having one or more components as described in FIG. 2.

[0065] The storage device 150 may store data, instructions, and / or any other information. In some embodiments, the storage device 150 may store data obtained from the terminal (s) 130, the image acquisition device 110, and / or the processing device 140. In some embodiments, the storage device 150 may store data and / or instructions that the processing device 140 may execute or use to perform exemplary methods described in the present disclosure. In some embodiments, the storage device 150 may include a mass storage device, a removable storage device, a volatile read-and-write memory, a read-only memory (ROM) , or the like. In some embodiments, the storage device 150 may be executed on a cloud platform. For example, the cloud platform may include a private cloud, a public cloud, a hybrid cloud, a community cloud, a distributed cloud, an interconnected cloud, a multiple cloud, or the like, or a combination thereof.

[0066] In some embodiments, the storage device 150 may be connected to the network 120 to communicate with one or more other components (e.g., the processing device 140, the terminal (s) 130, etc. ) of the imaging system 100. One or more components of the imaging system 100 may access data or instructions stored in the storage device 150 via the network 120. In some embodiments, the storage device 150 may be directly connected to or communicate with one or more other components (e.g., the processing device 140, the terminal (s) 130, etc. ) of the imaging system 100. In some embodiments, the storage device 150 may be part of the processing device 140.

[0067] FIG. 2 is a schematic diagram illustrating an exemplary computing device according to some embodiments of the present disclosure. The computing device 200 may be used to implement  any component of the imaging system 100 as described herein. For example, the processing device 140 and / or the terminal (s) 130 may be implemented on the computing device 200, respectively, via its hardware, software program, firmware, or a combination thereof. Although only one such computing device is shown, for convenience, the computer functions relating to the imaging system 100 as described herein may be implemented in a distributed manner on a number of similar platforms, to distribute the processing load.

[0068] As shown in FIG. 2, the computing device 200 may include a processor 210, a storage 220, an input / output (I / O) 230, and a communication port 240.

[0069] The processor 210 may execute computer instructions (e.g., program code) and perform functions of the imaging system 100 (e.g., the processing device 140) in accordance with the techniques described herein. The computer instructions may include, for example, routines, programs, objects, components, data structures, procedures, modules, and functions, which perform particular functions described herein. For example, the processor 210 may process image data obtained from any components of the imaging system 100.

[0070] Merely for illustration, only one processor is described in the computing device 200. However, it should be noted that the computing device 200 in the present disclosure may also include multiple processors, thus operations and / or method operations that are performed by one processor as described in the present disclosure may also be jointly or separately performed by the multiple processors. For example, if in the present disclosure the processor of the computing device 200 executes both operation A and operation B, it should be understood that operation A and operation B may also be performed by two or more different processors jointly or separately in the computing device 200 (e.g., a first processor executes operation A and a second processor executes operation B, or the first and second processors jointly execute operations A and B) .

[0071] The storage 220 may store data / information obtained from any component of the imaging system 100. In some embodiments, the storage 220 may include a mass storage device, a removable storage device, a volatile read-and-write memory, a read-only memory (ROM) , or the like, or any combination thereof.

[0072] In some embodiments, the storage 220 may store one or more programs and / or instructions to perform exemplary methods described in the present disclosure. For example, the storage 220 may store a program for the processing device 140 to perform image reconstruction on raw images generated by the image acquisition device 110.

[0073] The I / O 230 may input and / or output signals, data, information, etc. In some embodiments, the I / O 230 may enable user interaction with the imaging system 100 (e.g., the processing device 140) . In some embodiments, the I / O 230 may include an input device and an output device.

[0074] The communication port 240 may be connected to a network to facilitate data communications. The communication port 240 may establish connections between the processing device 140 and the image acquisition device 110, the terminal (s) 130, and / or the storage device 150. The connection may be a wired connection, a wireless connection, any other communication connection that can enable data transmission and / or reception, and / or any combination of these connections. In some embodiments, the communication port 240 may be and / or include a  standardized communication port, such as RS232, RS485, etc. In some embodiments, the communication port 240 may be a specially designed communication port.

[0075] FIG. 3 is a block diagram illustrating an exemplary mobile device on which the terminal (s) 130 may be implemented according to some embodiments of the present disclosure.

[0076] As shown in FIG. 3, the mobile device 300 may include a communication unit 310, a display unit 320, a graphics processing unit (GPU) 330, a central processing unit (CPU) 340, an I / O 350, a memory 360, a storage unit 370, etc. In some embodiments, any other suitable component, including but not limited to a system bus or a controller (not shown) , may also be included in the mobile device 300. In some embodiments, an operating system 361 (e.g., iOSTM, AndroidTM, Windows PhoneTM, etc. ) and one or more applications (apps) 362 may be loaded into the memory 360 from the storage unit 370 in order to be executed by the CPU 340. The application (s) 362 may include a browser or any other suitable mobile apps for receiving and rendering information relating to imaging, image processing, or other information from the imaging system 100 (e.g., the processing device 140) . User interactions with the information stream may be achieved via the I / O 350 and provided to the processing device 140 and / or other components of the imaging system 100 via the network 120. In some embodiments, a user may input parameters to the imaging system 100, via the mobile device 300.

[0077] In order to implement various modules, units and their functions described above, a computer hardware platform may be used as hardware platforms of one or more elements (e.g., the processing device 140 and / or other components of the imaging system 100 described in FIG. 1) . Since these hardware elements, operating systems and program languages are common; it may be assumed that persons skilled in the art may be familiar with these techniques and they may be able to provide information needed in the imaging and assessing according to the techniques described in the present disclosure. A computer with the user interface may be used as a personal computer (PC) , or other types of workstations or terminal devices. After being properly programmed, a computer with the user interface may be used as a server. It may be considered that those skilled in the art may also be familiar with such structures, programs, or general operations of this type of computing device.

[0078] FIG. 4 is a schematic diagram illustrating an exemplary processing device according to some embodiments of the present disclosure. As shown in FIG. 4, the processing device 140 may include an acquisition module 402, a reconstruction module 404, a processing module 406, an adjusting module 408, an imaging strategy determination module 410, and a displaying module 412.

[0079] The acquisition module 402 may be configured to obtain images (e.g., raw images) or image data (e.g., image data corresoponding to raw image (s) ) . A raw image may be an image generated by imaging an object in a structured illumination direction. The raw image may have a relatively low resolution, and may correspond to a structured illumination direction. The image (s) may be generated by imaging an object using an imaging device (e.g., the image acquisition device 110) . For SIM imaging, the object may be imaged at one or more imaging sites, at one or more wavelength channels, and in one or more structured illumination directions. For example, for 2D-SIM imaging or TIRF-SIM imaging, the object may be imaged in three structured illumination  directions, and in each structured illumination direction, three raw images (with different phases (e.g., with a phase interval of π / 3) ) may be acquired, and thus, nine raw images may be obtained for reconstructing a super-resolution 2D image. As another example, for 3D-SIM imaging, the object may be imaged in three structured illumination directions, and in each structured illumination direction, five raw images (with different phases (e.g., with a phase interval of π / 5)) may be acquired, and thus, fifteen raw images may be obtained for reconstructing a super-resolution 3D image. Each imaging site may have a (x, y, z) position in an XYZ coordinate system. More descriptions of the acquisition module 402 may be found elsewhere in the present disclosure (e.g., FIGs. 5-9 and descriptions thereof) .

[0080] The reconstruction module 404 may be configured to reconstruct one or more target images. A target image may be a super-resolution image. Each target image may be reconstructed based on one or more raw images. For example, for 2D-SIM imaging or TIRF-SIM imaging, a target image may be reconstructed based on nine raw images generated in three structured illumination directions. As another example, for 3D-SIM imaging, a target image may be reconstructed based on fifteen raw images generated in three structured illumination directions. The resolution of the target image may be higher than that of the raw image (s) used to reconstruct the target image. In some embodiments, the reconstruction module 404 may pre-process the raw image (s) , estimate model parameters of a physical model associated with the imaging device based on the raw image (s) , and reconstruct the target image based on the raw image (s) and the model parameters. In some embodiments, the reconstruction module 404 may post-process the target image. In some embodiments, before reconstructing the target image, the reconstruction module 404 may reconstruct one or more preview images. The preview image (s) may be displayed for user’s previewing. More descriptions of the reconstruction module 404 may be found elsewhere in the present disclosure (e.g., FIGs. 5-9 and descriptions thereof) .

[0081] The processing module 406 may be configured to process and / or analyze the target image (s) or the preview image (s) to obtain one or more image analysis results. The processing and / or the analysis may include denoising, image segmentation, image enhancement, feature extraction, statistical analysis, etc. More descriptions of the processing module 406 may be found elsewhere in the present disclosure (e.g., FIGs. 5-9 and descriptions thereof) .

[0082] The adjusting module 408 may be configured to adjust one or more parameters used in acquiring the image data, one or more parameters and / or one or more algorithms used in generating the target image based on the image analysis result (s) . More descriptions of the adjusting module 408 may be found elsewhere in the present disclosure (e.g., FIGs. 5-9 and descriptions thereof) .

[0083] The imaging strategy determination module 410 may be configured to determine one or more imaging strategies to be used in subsequent imaging based on the one or more image analysis results. More descriptions of the imaging strategy determination module 410 may be found elsewhere in the present disclosure (e.g., FIGs. 5-9 and descriptions thereof) .

[0084] The displaying module 412 may be configured to display image (s) (e.g., the preview image (s) , the target image (s) ) . More descriptions of the displaying module 412 may be found elsewhere in the present disclosure (e.g., FIGs. 5-9 and descriptions thereof) .

[0085] It should be noted that the above description of modules of the processing device 140 is merely provided for the purposes of illustration, and not intended to limit the present disclosure. For persons having ordinary skills in the art, the modules may be combined in various ways or connected with other modules as sub-systems under the teaching of the present disclosure and without departing from the principle of the present disclosure. In some embodiments, one or more modules may be added or omitted in the processing device 140. For example, a thread management module may be added to imeplement multi-threaded operations of the acquisition module 402, the reconstruction module 404, the processing module 406, the adjusting module 408, the imaging strategy determination module 410, and the displaying module 412.

[0086] FIG. 5 is a flowchart illustrating an exemplary process for image reconstruction according to some embodiments of the present disclosure. In some embodiments, process 500 may be performed for real-time image reconstruction. In some embodiments, process 500 may be executed by the imaging system 100. For example, the process 500 may be implemented as a set of instructions (e.g., an application) stored in a storage device (e.g., the storage device 150, the storage 220, and / or the storage unit 370) . In some embodiments, the processing device 140 (e.g., the processor 210 of the computing device 200, the CPU 340 of the mobile device 300, and / or one or more modules illustrated in FIG. 4) may execute the set of instructions and may accordingly be directed to perform the process 500. The operations of the illustrated process presented below are intended to be illustrative. In some embodiments, the process 500 may be accomplished with one or more additional operations not described, and / or without one or more of the operations discussed. Additionally, the order in which the operations of the process 500 as illustrated in FIG. 5 and described below is not intended to be limiting.

[0087] In 501, a plurality of sets of raw images may be obtained. Operation 501 may be performed by the processing device 140 (e.g., the acquisition module 402) .

[0088] In some embodiments, the plurality of sets of raw images may be generated by imaging an object in a plurality of structured illumination directions using an imaging device. Each set of the plurality of sets of raw images may correspond to one of the plurality of structured illumination directions. For example, for 2D-SIM imaging or TIRF-SIM imaging, the object may be imaged in three structured illumination directions, and in each structured illumination direction, a set of raw images (e.g., three raw images with different phases (e.g., with a phase interval of π / 3)) may be acquired, and thus, three sets of raw images (e.g., nine raw images) may be obtained. As another example, for 3D-SIM imaging, the object may be imaged in three structured illumination directions, and in each structured illumination direction, a set of raw images (e.g., five raw images with different phases (e.g., with a phase interval of π / 5) ) may be acquired, and thus, three sets of raw images (e.g., fifteen raw images) may be obtained. The structured illumination direction may also be referred to as an imaging direction.

[0089] In 502, one or more raw images (e.g., each raw image) of the plurality of sets of raw images may be pre-processed by filtering the raw image (s) . Operation 502 may be performed by the processing device 140 (e.g., the reconstruction module 404) .

[0090] In some embodiments, the pre-processing operation may include background removal, noise removal, etc. In some embodiments, background removal and / or noise removal may be performed on a raw image based on a background strength and / or signal strength of the raw image, so as to improve the signal-to-noise ratio (SNR) of the raw image. Through pre-processing the raw image (s) , the accuracy of further processing performed on the raw image (s) may be improved. For example, the accuracy of the model parameters estimated based on the pre-processed raw image (s) may be improved, and thus, the accuracy of the target image genrerated based on the model parameters and / or the pre-processed raw images may be improved.

[0091] In some embodiments, a raw image may be filtered according to a background intensity and / or a noise level of the raw image. In some embodiments, interference fringe structures in the raw image may be reserved in the pre-processing in order not to affect the subsequent estimation of model parameters. Merely by way of example, the raw image (s) may be pre-processed according to Equations (1) - (3) :

[0092] wherein represents a raw image; Id, j (x, y, c) represents a pre-processed raw image; (x, y) represents the X and Y coordinate of a pixel of the raw image in an XY coordinate system; d represents a structured illumination direction, d∈ {Direction1, Direction2, Direction3} ; j represents an imaging phase; c represents a wavelength channel; B represents a readout noise average of the imaging device (e.g., a camera of the imaging device) ; H (x, y) represents a filter; and F (· ; θ) represents a neural network for denoising. In Equation (2) , H (x, y) may be expressed as or in which FT {·} represents Fourier transform, iFT {·} represents inverse Fourier transform, and Hin and Hout represent spectral distribution of the Point Spread Function of the imaging device at the focal plane and at the defocus location of the imaging device, respectively.

[0093] In 503, model parameters of a physical model associated with the imaging device may be estimated based on the raw images. Operation 503 may be performed by the processing device 140 (e.g., the reconstruction module 404) .

[0094] Specifically, for each direction of the plurality of structured illumination directions, one or more model parameters of the physical model may be estimated based on a set of raw images corresponding to the each direction. In some embodiments, a first parameter may be estimated based on different frequency components of the set of raw images corresponding to the each direction; and one or more second parameters may be estimated based on the first parameter and the different frequency components of the set of raw images corresponding to the each direction. In some embodiments, the first parameter may include a wave vector of a structured illumination light (e.g., a stripe structured light) in the each direction. Merely by way of example, the processing device 140 may determine a first frequency component, a second frequency component, and a third  frequency component of the set of raw images corresponding to the each direction, and estimate the wave vector based on the first frequency component, the second frequency component, and the third frequency component using a cross-correlation algorithm. In some embodiments, the second parameter (s) may include an amplitude and / or an initial phase of the structured illumination light. Merely by way of example, the processing device 140 may determine an intermidiate image based on an optical transfer function of the imaging device, and at least two of the first frequency component, the second frequency component, and the third frequency component; and determine the amplitude and / or the initial phase of the structured illumination light based on an amplitude and / or a phase of the intermidiate image, respectively. In some embodiments, the processing device 140 may determine the intermidiate image based on the optical transfer function, a translated function of the optical transfer function translating in frequency domain, a translated frequency component of the first frequency component translating in frequency domain, and at least one of the second frequency component and the third frequency component. In some embodiments, the processing device 140 may determine the amplitude of the structured illumination light by linear fitting the amplitude of the intermidiate image. In some embodiments, the processing device 140 may determine the initial phase of the structured illumination light by linear fitting the phase of the intermidiate image.

[0095] For a wavelength channel of 2D-SIM imaging or TIRF-SIM imaging, an exemplay physical model associated with the imaging device may be expressed as: Id, j (x, y) = [O (x, y) ×Sd, j (x, y) ] *PSF,           (4)

[0096] wherein Sd, j (x, y) represents a stripe structured light model in a structured illumination direction d and at an imaging phase j, in which d, j∈ {1, 2, 3} ; PSF represents the Point Spread Function of the imaging device.

[0097] Sd, j (x, y) and may be expressed as:

[0098] wherein cd represents the the amplitude of the structured illumination light in the structured illumination direction d; Pd represents the wave vector of the structured illumination light in the structured illumination direction d;  represents the phase of the structured illumination light in the structured illumination direction d;  represents an initial phase of the structured illumination light in the structured illumination direction d;  The model parameters cd, Pd, and may be estimated based on raw images. For each structured illumination direction, spectrum separation may be performed on the set of raw images corresponding to the each direction. For example, a first frequency component asecond frequency component and a third frequency component of the set of raw images may be determined according to Equation (7) :

[0099] High frequency component and low frequency component may have overlapping spectrum information, and thus, the wave vector may be estimated based on the first frequency component, the second frequency component, and the third frequency component using a cross-correlation algorithm:

[0100] wherein k= (kx, ky) represents frequency domain coordinates; H (k) represents optical transfer function; H (k+p′) represents a translated function of the optical transfer function H (k) translating in frequency domain for +p′; H (k-p′) represents a translated function of the optical transfer function H (k) translating in frequency domain for -p′;  represents a translated frequency component of the first frequency component translating in frequency domain for -p′.

[0101] In some embodiments, the amplitude of the structured illumination light cd and the initial phase of the structured illumination light in the structured illumination direction d may satisfy Equation (9) :

[0102] The intermidiate image may be determined based on the optical transfer function H (k) , a translated function of the optical transfer function H (k) translating in frequency domain for Pd, the third frequency component of the set of raw images, and the first frequency component translated in frequency domain for Pd, i.e.,  Then the amplitude of the structured illumination light cd and the initial phase of the structured illumination light may be determined based on an amplitude and / or a phase of the intermidiate image, respectively.

[0103] For a wavelength channel of 3D-SIM imaging, an exemplay physical model associated with the imaging device may be expressed as: Id, j (x, y, z) = [O (x, y, z) ×Sd, j (x, y, z) ] *PSF (x, y, z) .            (10)

[0104] wherein Sd, j (x, y, z) represents a stripe structured light model in a structured illumination direction d and at an imaging phase j, in which d∈ {1, 2, 3} , j∈ {1, 2, 3, 4, 5} ; PSF represents a 3D Point Spread Function of the imaging device.

[0105] Sd, j (x, y, z) and may be expressed as: Sd, j (x, y, z) =∑dLd (z) Jd, j (x, y) ,              (11)

[0106] wherein Ld (z) represents an axial stripe illumination light; cd represents the the amplitude of the structured illumination light in the structured illumination direction d; Pd represents the wave vector of the structured illumination light in the structured illumination direction d;  represents the phase of the structured illumination light in the structured illumination direction d;  represents an initial phase of the structured illumination light in the structured illumination direction d;

[0107] In the physical model of the 3D-SIM imaging, if the stripes of the stripe structured light are fixed relative to the focal plane of the object, then the axial stripe illumination light and the 3D Point Spread Function PSF may have the same coordinate system. Therefore, Id, j (x, y, z) may be expressed as:

[0108] After the 3D Point Spread Function PSF is calibrated, the model parameters cd, Pd, and  (for 3D-SIM imaging) may be estimated based on raw images, which is similar to the estimation for 2D-SIM imaging or TIRF-SIM imaging, and is not repeated herein.

[0109] In 504, a target image may be generated by performing frequency separation and combination on the plurality of sets of raw images based on model parameters corresponding to the plurality of structured illumination directions. Operation 504 may be performed by the processing device 140 (e.g., the reconstruction module 404) .

[0110] After the model parameters corresponding to the plurality of structured illumination directions are determined, the frequency components of the set of raw images corresponding to the each direction may be translated in frequency domain for one or more times of the wave vector Pd, and then the translated frequency components may be combined to obtain a super-resolution target image.

[0111] In some embodiments, the processing device 140 may determine at least two frequency components for the each set of the plurality of sets of raw images; determine translated frequency components by translating the frequency components for the plurality of sets of raw images in frequency domain based on wave vectors of a structured illumination light in the plurality of structured illumination directions used in imaging the object; and combine the translated frequency components to obtain the target image. In some embodiments, to determine the translated frequency components, the processing device 140 may determine an optical transfer function of the imaging device or a modulated optical transfer function of the imaging device; and determine the translated frequency components by translating the frequency components using the optical transfer function or the modulated optical transfer function.

[0112] Merely by way of example, for 2D-SIM imaging or TIRF-SIM imaging and 3D-SIM imaging, the frequency separation and combination process may be respectively expressed as:

[0113] In Equation (15) , k= (kx, ky) represents 2D frequency domain; and SR (x, y) represents a 2D super-resolution image. In Equation (16) , k= (kx, ky, kz) represents 3D frequency domain.  represents frequency components in the structured illumination direction d; and SR (x, y, z)  represents a 3D super-resolution image. A (k) represents apodizing function. w represents a factor for adjusting reconstruction. iFT {·} represents inverse Fourier transform.

[0114] FIGs. 10A-10D are schematic diagrams illustrating an exemplary frequency separation and combination process (for 2D-SIM imaging or TIRF-SIM imaging) according to some embodiments of the present disclosure. As shown in FIG. 10A, the frequency spectrum of the raw images in each structured illumination direction is within a detection range of the imaging device. As shown in FIG. 10B, frequency components of the set of raw images in a first structured illumination direction are seperated, translated (according to the the wave vector of the stripe illumination light in the first structured illumination direction) , and combined. As shown in FIG. 10C, further, frequency components of the set of raw images in a second structured illumination direction are seperated, translated (according to the the wave vector of the stripe illumination light in the second structured illumination direction) , and combined. As shown in FIG. 10C, further, frequency components of the set of raw images in a third structured illumination direction are seperated, translated (according to the the wave vector of the stripe illumination light in the third structured illumination direction) , and combined to obtain a super-resolution target image.

[0115] In 505, the target image may be post-processed. Operation 505 may be performed by the processing device 140 (e.g., the reconstruction module 404) .

[0116] In some embodiments, if the background in the plurality of set of raw images is relatively strong, the pre-processing operation may fail to completely remove the background information from the raw images. After performing separation, translation, and combination on the spectral components of the raw images, the background information may remain in a high-frequency region of the target image, causing periodic stripe artifacts or honeycomb artifacts in the target image, as shown in FIG. 11A. FIG. 11A shows exemplay frequency components obtained by performing separation operation on the raw images.

[0117] In some embodiments, post-processing may be performed on the target image to reduce or remove the artifacts in the target image. Merely by way of example, the post-processing may be performed according to the following Equations:

[0118] wherein kx and ky represent frequency domain coordinates; a represents a factor for adjusting filtering; and m represents frequency components (m=0 represents low frequency component, m≠0 represents high frequency components) .

[0119] FIG. 11B shows an exemplay filter for filtering frequency components. FIG. 11C shows an exemplay filtering result, in which defocus information with a relatively high frequency is removed, as indicated by the white circles in FIG. 11C.

[0120] Alternatively or additionally, in order to further remove defocus (background) information in the target image, the optical transfer function H (k) of the imaging device may be modulated. For example, the optical transfer function H (k) may be modulated according to the following Equation (s) :

[0121] In some embodiments, the post-processing may include filtering the target image, performing deconvolution on the target image, and / or post-processing the target image using a deep network model. Exemplary deconvolution may include RL (Richardson-Lucy) deconvolution, Landweber (LW) deconvolution, sparse deconvolution, etc.

[0122] It should be noted that the above description of the process 500 is merely provided for purposes of illustration, and not intended to limit the scope of the present disclosure. It should be understood that, after understanding the principle of the operations, persons having ordinary skills in the art may arbitrarily combine any operations, add or delete any operations, or apply the principle of the operations to other image processing process, without departing from the principle. In some embodiments, one or more operations in the process 500 may be omitted. For example, operation 502, and / or operation 505 may be omitted. In some embodiments, two or more operations in the process 500 may be integrated into one operation. For example, operations 503-504 may be integrated into one reconstruction operation.

[0123] FIG. 6A is a flowchart illustrating another exemplary process for image reconstruction according to some embodiments of the present disclosure. FIG. 6B is a flowchart illustrating an exemplary process for rolling reconstruction according to some embodiments of the present disclosure. In some embodiments, processes 600 and 610 may be performed for real-time image reconstruction. In some embodiments, process 600 and / or process 610 may be executed by the imaging system 100. For example, the process 600 and / or process 610 may be implemented as a set of instructions (e.g., an application) stored in a storage device (e.g., the storage device 150, the storage 220, and / or the storage unit 370) . In some embodiments, the processing device 140 (e.g., the processor 210 of the computing device 200, the CPU 340 of the mobile device 300, and / or one or more modules illustrated in FIG. 4) may execute the set of instructions and may accordingly be directed to perform the process 600 and / or process 610. The operations of the illustrated process presented below are intended to be illustrative. In some embodiments, the process 600 and / or process 610 may be accomplished with one or more additional operations not described, and / or without one or more of the operations discussed. Additionally, the order in which the operations of the process 600 as illustrated in FIG. 6A and described below is not intended to be limiting. In some embodiments, operation 604 illustrated in FIG. 6A may be performed according to one or more operations of the process 610 illustrated in FIG. 6B.

[0124] In 601, a plurality of sets of raw images may be obtained. Operation 501 may be performed by the processing device 140 (e.g., the acquisition module 402) .

[0125] The plurality of sets of raw images may be generated by imaging an object in a plurality of structured illumination directions using an imaging device. Each set of the plurality of sets of raw images may correspond to one of the plurality of structured illumination directions. Operation 601 may be similar to operation 501, more descriptions of which may be found in FIG. 5 and descriptions thereof.

[0126] In 602, one or more raw images (e.g., each raw image) of the plurality of sets of raw images may be pre-processed by filtering the raw image (s) . Operation 602 may be performed by the processing device 140 (e.g., the reconstruction module 404) . Operation 602 may be similar to operation 502, more descriptions of which may be found in FIG. 5 and descriptions thereof.

[0127] In 603, an initial target image may be generated by performing frequency separation and combination on the plurality of sets of raw images. Operation 603 may be performed by the processing device 140 (e.g., the reconstruction module 404) . The generation of the initial target image may be similar to the generation of the target image described in operation 505, and related descriptions may not be repeated herein.

[0128] In 604, rolling reconstruction may be performed. Operation 604 may be performed by the processing device 140 (e.g., the reconstruction module 404) .

[0129] For real-time super-resolution image reconstruction, multiple sets of raw images corresponding to multiple structured illumination directions may need to be acquired. For example, for 2D-SIM imaging or TIRF-SIM imaging, in each of three structured illumination directions, three raw images (with different phases (e.g., with a phase interval of π / 3) ) may be acquired, and nine raw images may be acquired for reconstructing a super-resolution 2D image. As another example, for 3D-SIM imaging, in each of three structured illumination directions, five raw images (with different phases (e.g., with a phase interval of π / 5) ) may be acquired, and fifteen raw images may be acquired for reconstructing a super-resolution 3D image. In some embodiments, to improve temporal resolution of the reconstructed image (s) , rolling reconstruction may be performed. Rolling reconstruction may refer to a reconstruction operation performed in a continuous acquisition, in which only a portion of raw images (e.g., a set of raw images corresponding to one of three structured illumination directions) are updated to reconstruct a new frame of super-resolution image. More descriptions of the rolling reconstruction may be found elsewhere in the present disclosure (e.g., FIG. 6B and descriptions thereof) .

[0130] As shown in FIG. 6B, in 611, a new set of raw images corresponding to a specified direction of the plurality of structured illumination directions may be acquired. In 612, the plurality of sets of raw images may be updated by replacing one set of raw images corresponding to the specified direction with the new set of raw images corresponding to the specified direction. In 613, an updated target image may be generated by performing frequency separation and combination on the updated plurality of sets of raw images. In 614, whether the imaging is to be continued may be determined (or whether a termination condition of the rolling reconstruction is satisfied may be determined) . In some embodiments, whether the imaging is to be continued (or whether a  termination condition of the rolling reconstruction is satisfied) may be determined based on a preset condition (e.g., a condition relating to an imaging duration) or a user instruction. For example, if the imaging duration reaches a preset duration threshold, the imaging may be terminated. If the imaging is continued (or the termination condition of the rolling reconstruction is not satisfied) , in 615, another direction of the plurality of structured illumination directions may be designated as the specified direction, and then operations 611-613 may be repeated to further update the target image. If the imaging is not to be continued (or the termination condition of the rolling reconstruction is satisfied) , in 616, the rolling reconstruction may be terminated. Operations 611-615 may be performed by the processing device 140 (e.g., the reconstruction module 404) . The specified direction may be any direction of the plurality of structured illumination directions. The specified direction may be updated in turn among the plurality of structured illumination directions. The frequency separation and combination operation performed on the updated plurality of sets of raw images may be similar to the frequency separation and combination illustrated in 504, which is not repeated herein.

[0131] Generally, the plurality of sets of raw images corresponding to the plurality of structured illumination directions may be acquired sequentially. For example, if the plurality of structured illumination directions includes three directions, then in a round of acquisition, a first set of raw images corresponding to a first direction of the plurality of structured illumination directions may be acquired first, next a second set of raw images corresponding to a second direction of the plurality of structured illumination directions may be acquired, and then a third set of raw images corresponding to a third direction of the plurality of structured illumination directions may be acquired. Then a super-resolution image (e.g., the initial target image in 603) may be generated based on the acquired three sets of raw images. In a next round of acquisition, a new first set of raw images corresponding to the first direction may be acquired, next a new second set of raw images corresponding to the second direction may be acquired, and then a new third set of raw images corresponding to the third direction may be acquired. In a conventional reconstruction process, after the new first set of raw images, the new second set of raw images, and the new third set of raw images are all acquired, the three new sets of raw images may be used to reconstruct a new frame of super-resolution image, and one or more further rounds of acquisition may be performed similarly. In the rolling reconstruction process, after the new first set of raw images corresponding to the first direction are acquired, the new first set of raw images may replace the previous first set of raw images, and then the new first set of raw images, the previous second set of raw images, and the previous third set of raw images may be used to reconstruct a new frame of super-resolution image. After the new second set of raw images corresponding to the second direction are acquired, the new second set of raw images may replace the previous second set of raw images, and then the new first set of raw images, the new second set of raw images, and the previous third set of raw images may be used to reconstruct another new frame of super-resolution image. After the new third set of raw images corresponding to the third direction are acquired, the new third set of raw images may replace the previous third set of raw images, and then the new first set of raw images, the new second set of raw images, and the new third set of raw images may be used to reconstruct a further new frame of super-resolution image. If the imaging process is continued, one or more further  rounds of acquisition may be performed similarly, and the rolling reconstruction may be performed repeated.

[0132] FIGs. 15A-15D are schematic diagrams illustrating an exemplary rolling reconstruction process (for 2D-SIM imaging) according to some embodiments of the present disclosure. FIG. 15A shows an exemplary frequency separation and combination result for an initial target image. FIG. 15B shows an exemplary frequency separation and combination result after updating the first set of raw images in the first direction, in which the second set of raw images in the second direction and the third set of raw images in the third direction are not updated. FIG. 15C shows an exemplary frequency separation and combination result after updating the second set of raw images in the second direction, in which the third set of raw images in the third direction are not updated. FIG. 15D shows an exemplary frequency separation and combination result after updating the third set of raw images in the third direction.

[0133] FIG. 17 shows an exemplary timing diagram for real-time rolling reconstruction. Through rolling reconstruction, the time spent in reconstructing a frame of super-resolution image may be one-third of that of conventional reconstruction, i.e., the temporal resolution may be tripled. Merely by way of example, NVIDIA GeForce RTX 3090 GPU is used for real-time SIM rolling reconstruction, for reconstructing a 512×512 image, the time spent for 2D-SIM imaging or TIRF-SIM imaging is 7 ms, the time spent for 3D-SIM imaging is 10 ms; for reconstructing a 1024×1024 image, the time spent for 2D-SIM imaging or TIRF-SIM imaging is 23 ms, the time spent for 3D-SIM imaging is 36 ms.

[0134] It should be noted that the above description of the processes 600 and 610 are merely provided for purposes of illustration, and not intended to limit the scope of the present disclosure. It should be understood that, after understanding the principle of the operations, persons having ordinary skills in the art may arbitrarily combine any operations, add or delete any operations, or apply the principle of the operations to other image processing process, without departing from the principle. In some embodiments, the initial target image in 603 or the updated target image in 613 may be generated using a first machine learning model. An input of the first machine learning model may include a plurality of sets of raw images, and the output of the first machine learning model may include a reconstructed super-resolution image. The first machine learning model may be obtained by training an initial machine learning model using training samples. Each training sample may include a plurality of sets of sample raw images and a lable (e.g., a sample reconstructed image corresponding to the plurality of sets of sample raw images) .

[0135] FIG. 7 is a flowchart illustrating an exemplary process for image reconstruction according to some embodiments of the present disclosure. In some embodiments, process 700 may be performed for real-time multi-channel image reconstruction. In some embodiments, process 700 may be executed by the imaging system 100. For example, the process 700 may be implemented as a set of instructions (e.g., an application) stored in a storage device (e.g., the storage device 150, the storage 220, and / or the storage unit 370) . In some embodiments, the processing device 140 (e.g., the processor 210 of the computing device 200, the CPU 340 of the mobile device 300, and / or one or more modules illustrated in FIG. 4) may execute the set of instructions and may accordingly  be directed to perform the process 700. The operations of the illustrated process presented below are intended to be illustrative. In some embodiments, the process 700 may be accomplished with one or more additional operations not described, and / or without one or more of the operations discussed. Additionally, the order in which the operations of the process 700 as illustrated in FIG. 7 and described below is not intended to be limiting.

[0136] In some embodiments, multi-channel imaging of the object may be needed. In some embodiments, imaging of the object may be performed at a specific imaging site, at a specific wavelength channel, and in at least one structured illumination direction to generate a super-resolution image. In some embodiments, multi-channel imaging of the object may be performed at a same imaging site. In some embodiments, after the multi-channel imaging at a specific imaging site is finished, the multi-channel imaging may be performed at a next imaging site. In some embodiments, in order to reduce the time delay between image acquisition and image reconstruction and improve the reconstruction efficiency, image acquisition and image reconstruction for different wavelength channels may be performed synchronously. Process 700 illustrates an exemplary multi-channel imaging process.

[0137] In 701, at least one first set of raw images may be acquired by imaging, at a first imaging site, at a first wavelength channel, in at least one structured illumination direction, an object using an imaging device. Each set of the at least one first set of raw images may correspond to one of the at least one structured illumination direction. Operation 701 may be performed by the processing device 140 (e.g., the acquisition module 402) . The acquisition of the at least one first set of raw images may be similar to that described in 501, which is not repeated herein. In some embodiments, the at least one structured illumination direction may include a plurality of structured illumination directions (e.g., three structured illumination directions) . In some embodiments, the at least one first set of raw images may include a plurality of first sets of raw images (e.g., three sets) . Each first set of raw images may include one or more raw images (e.g., one image, three images, five images) .

[0138] In 702, a first target image may be generated based on the at least one first set of raw images. Operation 702 may be performed by the processing device 140 (e.g., the reconstruction module 404) . In some embodiments, the first target image may be generated by performing frequency separation and combination on the at least one first set of raw images. More descriptions of the frequency separation and combination may be found elsewhere in the present disclosure (e.g., FIG. 5 and descriptions thereof) .

[0139] In 703, at least one second set of raw images may be acquired by imaging, at the first imaging site, at a second wavelength channel, in the at least one structured illumination direction, the object using the imaging device. Each set of the at least one second set of raw images may correspond to one of the at least one structured illumination direction. Operation 703 may be performed by the processing device 140 (e.g., the acquisition module 402) . The acquisition of the at least one first set of raw images may be similar to that described in 501, which is not repeated herein. In some embodiments, the at least one second set of raw images may include a plurality of  second sets of raw images (e.g., three sets) . Each second set of raw images may include one or more raw images (e.g., one image, three images, five images) .

[0140] In some embodiments, the reconstruction of the first target image based on the at least one first set of raw images and the acquisition of the at least one second set of raw images may be performed synchronously or parallelly.

[0141] In 704, a second target image may be generated based on the at least one second set of raw images. Operation 704 may be performed by the processing device 140 (e.g., the reconstruction module 404) . In some embodiments, the second target image may be generated by performing frequency separation and combination on the at least one second set of raw images. More descriptions of the frequency separation and combination may be found elsewhere in the present disclosure (e.g., FIG. 5 and descriptions thereof) .

[0142] In 705, at least one third set of raw images may be acquired by by imaging, at a second imaging site, at the first wavelength channel, in the at least one structured illumination direction, the object using the imaging device. Each set of the at least one third set of raw images may correspond to one of the at least one structured illumination direction. Operation 705 may be performed by the processing device 140 (e.g., the acquisition module 402) . The acquisition of the at least one third set of raw images may be similar to that described in 501, which is not repeated herein. In some embodiments, the at least one third set of raw images may include a plurality of third sets of raw images (e.g., three sets) . Each third set of raw images may include one or more raw images (e.g., one image, three images, five images) .

[0143] In some embodiments, the reconstruction of the second target image based on the at least one second set of raw images may be performed synchronously or parallelly with imaging of the object using the imaging device at the second imaging site (i.e., the acquisition of the at least one third set of raw images) or at a third wavelength channel.

[0144] In 706, a third target image may be generated based on the at least one third set of raw images. Operation 706 may be performed by the processing device 140 (e.g., the reconstruction module 404) . In some embodiments, the third target image may be generated by performing frequency separation and combination on the at least one third set of raw images. More descriptions of the frequency separation and combination may be found elsewhere in the present disclosure (e.g., FIG. 5 and descriptions thereof) .

[0145] In some embodiments, target images acquired at adjacent imaging sites may be stitched to obtain a stitched image with an enlarged view. For example, the first imaging site may be adjacent to the second imaging site; the first target image (acquired at the first imaging site) and the third target image (acquired at the second imaging site) may be stitched to obtain a stitched image with an enlarged view. Parameters used in acquiring raw images at different imaging sites may be the same or different. Alternatively or additionally, parameters and / or algorithms used in generating target images acquired at different imaging sites may be the same or different. For example, one or more parameters used in acquiring the at least one first set of raw images may be different from one or more parameters used in acquiring the at least one third set of raw images. Alternatively or additionally, one or more parameters and / or one or more algorithms used in generating the first  target image may be different from one or more parameters and / or one or more algorithms used in generating the third target image.

[0146] FIG. 18 is an exemplary timing diagram for real-time multi-channel imaging and image reconstruction according to some embodiments of the present disclosure. As shown in FIG. 18, SIM imaging may be performed at four wavelength channels, e.g., 405 nm wavelength channel, 488 nm wavelength channel, 561 nm wavelength channel, and 638 nm wavelength channel. The image reconstruction process of the super-resolution image at the 405 nm wavelength channel may be performed synchronously or parallelly with the image acquision process of the raw images at the 488 nm wavelength channel.

[0147] It should be noted that the above description of the process 700 is merely provided for purposes of illustration, and not intended to limit the scope of the present disclosure. It should be understood that, after understanding the principle of the operations, persons having ordinary skills in the art may arbitrarily combine any operations, add or delete any operations, or apply the principle of the operations to other image processing process, without departing from the principle. In some embodiments, the first target image, the second target image and / or the third target image may be generated using the first machine learning model. An input of the first machine learning model may include the at least one first set of raw images, the at least one second set of raw images, or the at least one third set of raw images; and the output of the first machine learning model may include a reconstructed super-resolution image (e.g., the first target image, the second target image, or the third target image) .

[0148] FIG. 8 is a flowchart illustrating an exemplary process for image reconstruction according to some embodiments of the present disclosure. In some embodiments, process 800 may be performed for real-time image reconstruction.

[0149] In some embodiments, process 800 may be executed by the imaging system 100. For example, the process 800 may be implemented as a set of instructions (e.g., an application) stored in a storage device (e.g., the storage device 150, the storage 220, and / or the storage unit 370) . In some embodiments, the processing device 140 (e.g., the processor 210 of the computing device 200, the CPU 340 of the mobile device 300, and / or one or more modules illustrated in FIG. 4) may execute the set of instructions and may accordingly be directed to perform the process 800. The operations of the illustrated process presented below are intended to be illustrative. In some embodiments, the process 800 may be accomplished with one or more additional operations not described, and / or without one or more of the operations discussed. Additionally, the order in which the operations of the process 800 as illustrated in FIG. 8 and described below is not intended to be limiting.

[0150] As described in FIG. 5, the image reconstruction process may include pre-processing, model parameter estimating, frequency separation and combination, and / or post-processing. The acquisition processes and / or processing processes of different sets of raw images corresponding to different structured illumination directions may be independent of each other, and thus, parallel processing of at least some operations in the image reconstruction process may be realized. In  order to improve reconstruction efficiency, multi-threading technology may be used and parallel processing may be performed.

[0151] In 801, a first thread may be implemented to acquire image data of an object by imaging the object in at least one structured illumination direction using an imaging device, and the image data (e.g., raw image (s) ) may be stored into a buffer. Operation 801 may be performed by the processing device 140 (e.g., the acquisition module 402) . In some embodiments, the at least one structured illumination direction may include a plurality of structured illumination directions (e.g., three structured illumination directions) .

[0152] In 802, a second thread may be implemented to obtain one or more image sequences from the buffer. Operation 802 may be performed by the processing device 140 (e.g., the reconstruction module 404) . The image sequences may be arranged according to the at least one structured illumination direction and a phase sequence of the raw images.

[0153] In 803, a third thread may be implemented to extract at least one set of raw images from the one or more image sequences, and transmit the at least one set of raw images to a graphics processing unit (GPU) , to facilitate the GPU to generate a target image based on the at least one set of raw images. Operation 803 may be performed by the processing device 140 (e.g., the reconstruction module 404) . In some embodiments, the at least one set of raw images may include a plurality of sets of raw images (e.g., three sets) . Each set of raw images may include one or more raw images (e.g., one image, three images, five images) .

[0154] The GPU may perform pre-processing, model parameter estimating, and / or frequency separation and combination on the at least one set of raw images to obtain the target image. In this process, SIM images (e.g., raw image (s) , target image (s) ) and intermediate data (e.g., pre-processed image (s) , model parameter (s) , etc. ) may be stored as data with multiple data precisions (such as single precision 32-bit floating-point numbers, integers, 16-bit floating-point numbers, etc. ) . Alternatively or additionally, an operation instruction set with a relatively short instruction cycle may be used to implement various data operations in this process without affecting the accuracy of the final reconstructed target image, thereby reducing the consumption of hardware device memory and computing resources. In some embodiments, if frequency separation and combination operation is performed on images corresponding to all the at least one structured illumination direction, the third thread may start the post-processing (e.g., implemented by the GPU) of the reconstructed target image. In some embodiments, the GPU may estimate, for each direction of the at least one structured illumination direction, one or more model parameters of a physical model associated with the imaging device based on a set of raw images corresponding to the each direction; and generate the target image by performing frequency separation and combination on the at least one set of raw images based on model parameters corresponding to the at least one structured illumination direction. More descriptions of the reconstruction of the target image may be found elsewhere in the present disclosure (e.g., FIG. 5 and descriptions thereof) . When the image reconstruction process is finished, the third thread may be implemented to transmit the target image to a storage device (e.g., the storage device 150, the memory of the processing device 140, etc. ) . An exemplary timing diagram for real-time SIM image reconstruction may be shown in FIG. 12.

[0155] In 804, a fourth thread may be implemented to monitor the buffer, and / or display the target image. Operation 804 may be performed by the processing device 140 (e.g., the displaying module 412) .

[0156] In 805, in response to a user request, a fifth thread may be implemented to extract one or more raw images from the one or more image sequences, and generate a preview image based on the one or more raw images. Operation 805 may be performed by the processing device 140 (e.g., the reconstruction module 404) .

[0157] In 806, an analysis result of the preview image may be determined. Operation 806 may be performed by the processing device 140 (e.g., the processing module 406) .

[0158] In 807, one or more parameters used in acquiring the image data, one or more parameters and / or one or more algorithms used in generating the target image may be adjusted based on the analysis result. Operation 807 may be performed by the processing device 140 (e.g., the adjusting module 408) .

[0159] In some embodiments, at least two of the first thread, the second thread, the third thread, and the fourth thread may be implemented simultaneously or parallelly. Using the multi-threading technology, the time spent for reconstructing a super-resolution image (e.g., the target image) may be greatly reduced, and the real-time image reconstruction may be realized.

[0160] Merely by way of example, NVIDIA GeForce RTX 3090 GPU is used for real-time SIM reconstruction, for reconstructing a 512×512 image, the time spent for 2D-SIM imaging or TIRF-SIM imaging is 17 ms, the time spent for 3D-SIM imaging is 27 ms; for reconstructing a 1024×1024 image, the time spent for 2D-SIM imaging or TIRF-SIM imaging is 58 ms, and the time spent for 3D-SIM imaging is 96 ms, as shown in Table 1.

[0161] Table 1 Time spent for real-time image reconstruction for a single wavelength channel under different imaging field sizes.

[0162] FIG. 13A is an exemplary fluorescence wide-field image according to some embodiments of the present disclosure. FIG. 13B is an exemplary real-time SIM image according to some embodiments of the present disclosure. The objects in FIGs. 13A-13B are mitochondrial inner membranes of U2OS cells. The images shown in FIGs. 13A-13B are obtained by imaging the objects with an excitation wavelength of 488 nm, an emission wavelength of 525 nm, and an exposure time of 5 ms. The size of the images shown in FIGs. 13A-13B is 512×512 pixels. In comparison with the fluorescence wide-field image in FIG. 13A, in the real-time SIM image shown in FIG. 13B, the mitochondrial inner membrane can be clearly observed.

[0163] In some embodiments, the real-time image reconstruction process may be automatically performed in response to the acquired raw images. In some embodiments, a user may control or adjust at least a portion of the real-time image reconstruction process. In some embodiments, a user terminal 130 may provide a user interface. The user interface may be configured to facilitate the user to control or adjust at least a portion of the real-time image reconstruction process. The user may give one or more instructions to the imaging system 100 through the user interface to control or adjust at least a portion of the real-time image reconstruction process. The user interface may include one or more function buttons configured to facilitate the user to triger corresponding function (s) . The user interface may include one or more textboxes, one or more sliding blocks, and / or one or more select boxes configured to facilitate the user to input or select one or more parameters and / or one or more algorithms used in the image reconstruction process.

[0164] In some embodiments, the first thread, the second thread, the third thread, and / or the fourth thread may be implemented automatically in response to a first user request. The first user request may indicate that an accelerated real-time image reconstruction is trigerred.

[0165] In some embodiments, in response to a second user request, a fifth thread may be implemented to extract one or more raw images from the one or more image sequences, and generate a preview image based on the one or more raw images. For example, a set of raw images corresponding to a structured illumination direction may be extracted and used to reconstruct the preview image. The second user request may indicate the processing device 140 to reconstruct a preview image. The preview image may be an image with a lower resolution than the target image. The preview image may be reconstructed based on one or more preset reconstruction parameters and / or one or more preset algorithms. The reconstruction of the preview image may be similar to that of the target image illustrated in operations 503-504 in FIG. 5, which is not repeated herein.

[0166] In some embodiments, in response to a third user request, the processing device 140 may determine (before reconstruction) whether to perform pre-processing on each image of the one or more raw images based on a background intensity and / or a noise level of the each image. The third user request may indicate that the user selects the system’s autonomous decision-making function. In response to determining to perform pre-processing on the each image, the processing device 140 may determine a pre-processsing algorithm based on the background intensity and / or the noise level of the each image, and pre-process the each image based on the pre-processsing algorithm. The pre-processing may be similar to the pre-processing illustrated in operation 502 in FIG. 5, which is not repeated herein.

[0167] In some embodiments, in response to a fourth user request, the processing device 140 may determine whether to perform post-processing on the preview image based on a background intensity and / or a noise level of the preview image. The fourth user request may indicate that the user selects the system’s autonomous decision-making function. In some embodiments, the third user request and the fourth user request may be the same request or a single request. In some embodiments, in response to determining to perform post-processing on the preview image, the processing device 140 may determine a post-processing algorithm based on the background  intensity and / or the noise level of the preview image, and post-process the preview image based on the post-processing algorithm.

[0168] In some embodiments, the processing device 140 may process and / or analyze the preview image, determine an analysis result of the preview image, and adjust one or more parameters used in acquiring the image data, one or more parameters and / or one or more algorithms used in generating the target image based on the analysis result. For example, if the analysis result of the preview image indicates that the resolution of the preview image does not satisfy a preset condition or does not satisfy the user’s requirement (s) , the processing device 140 may adjust one or more parameters used in acquiring the image data, one or more parameters and / or one or more algorithms used in generating the target image, such that the target image satisfies the preset condition or satisfies the user’s requirement (s) .

[0169] In some embodiments, in response to a fifth user request, the processing device 140 may determine whether to perform pre-processing on each image of the at least one set of raw images based on a background intensity and / or a noise level of the each image. The fifth user request may indicate that the user selects the system’s autonomous decision-making function. In some embodiments, the third user request, the fourth user request, and the fifth user request may be the same request or a single request. In some embodiments, in response to determining to perform pre-processing on the each image, the processing device 140 may determine a pre-processing algorithm based on the background intensity and / or the noise level of the each image, and pre-process the each image based on the pre-processing algorithm. The pre-processing may be similar to the pre-processing illustrated in operation 502 in FIG. 5, which is not repeated herein.

[0170] In some embodiments, in response to a sixth user request, the processing device 140 may determine whether to perform post-processing on the target image based on a background intensity and / or a noise level of the target image. The sixth user request may indicate that the user selects the system’s autonomous decision-making function. In some embodiments, the third user request, the fourth user request, the fifth user request, and the sixth user request may be the same request or a single request. In some embodiments, in response to determining to perform post-processing on the target image, the processing device 140 may determine a post-processing algorithm based on the background intensity and / or the noise level of the target image, and post-process the target image based on the post-processing algorithm.

[0171] In some embodiments, in response to a seventh user request, the processing device 140 may adjust one or more parameters and / or one or more algorithms used in generating the target image. The seventh user request may indicate that the user selects adjusting reconstruction parameter (s) . For example, if the target image does not satisfy a preset condition or does not satisfy the user’s requirement (s) , the user may request the processing device 140 to adjust (or the user may adjust manullay through the user interface) one or more parameters and / or one or more algorithms used in generating the target image to regenerate the target image, such that the target image satisfies the preset condition or satisfies the user’s requirement (s) . In some embodiments, the parameter (s) and / or the algorithm (s) may be adjusted dynamically.

[0172] In some embodiments, the preview image and / or the target image may be generated base on at least one set of raw images using the first machine learning model. An input of the first machine learning model may include raw images, and the output of the first machine learning model may include the preview image or the target image.

[0173] An exemplary user interface is shown in FIG. 14. When the user uses real-time SIM imaging (e.g., through trigering the “Real-time Super Resolution” function button) , there is no need for the user to pay attention to the starting, management, and termination process of the thread (s) for image acquisition, image reconstruction, and image display. The user only need to click the “Real-time Super Resolution” function button to start the real-time SIM reconstruction process. Then, the imaging system 100 may connect and initialize hardware devices, automatically create and manage various threads for image acquisition, image reconstruction, and image display, and this process only takes 1-3 seconds. In the real-time SIM preview, the imaging system 100 may autonomously choose whether to activate the image pre-processing and / or post-processing function based on the image background intensity and signal-to-noise ratio, and select the corresponding processing algorithm (s) according to different background intensities and signal-to-noise ratios. The user can customize the reconstruction process by selecting whether to enable the autonomous selection button, and at the same time. The user can adjust the parameter (s) used in reconstruction online to achieve dynamic adjustment of the effect of the reconstructed image.

[0174] It should be noted that the above description of the process 800 is merely provided for purposes of illustration, and not intended to limit the scope of the present disclosure. It should be understood that, after understanding the principle of the operations, persons having ordinary skills in the art may arbitrarily combine any operations, add or delete any operations, or apply the principle of the operations to other image processing process, without departing from the principle. In some embodiments, operations 805-807 may be performed before operations 803-804.

[0175] FIG. 9 is a flowchart illustrating an exemplary process for imaging according to some embodiments of the present disclosure. In some embodiments, process 900 may be performed for intelligent imaging. In some embodiments, process 900 may be executed by the imaging system 100. For example, the process 900 may be implemented as a set of instructions (e.g., an application) stored in a storage device (e.g., the storage device 150, the storage 220, and / or the storage unit 370) . In some embodiments, the processing device 140 (e.g., the processor 210 of the computing device 200, the CPU 340 of the mobile device 300, and / or one or more modules illustrated in FIG. 4) may execute the set of instructions and may accordingly be directed to perform the process 900. The operations of the illustrated process presented below are intended to be illustrative. In some embodiments, the process 900 may be accomplished with one or more additional operations not described, and / or without one or more of the operations discussed. Additionally, the order in which the operations of the process 900 as illustrated in FIG. 9 and described below is not intended to be limiting.

[0176] In 901, at least one set of raw images generated by imaging an object using an imaging device may be obtained. Operation 901 may be performed by the processing device 140 (e.g., the acquisition module 402) . In some embodiments, the at least one set of raw images may be obtained  by imaging the object in at least one structured illumination direction using the imaging device. Each set of the at least one set of raw images may correspond to one of the at least one structured illumination direction. The obtaining of the at least one set of raw images may be similar to that described in 502, which is not repeated herein. In some embodiments, the at least one structured illumination direction may include a plurality of structured illumination directions (e.g., three structured illumination directions) . In some embodiments, the at least one set of raw images may include a plurality of sets of raw images (e.g., three sets) . Each set of raw images may include one or more raw images (e.g., one image, three images, five images) .

[0177] In 902, at least one target image may be generated based on the at least one set of raw images. Operation 902 may be performed by the processing device 140 (e.g., the reconstruction module 404) . The at least one target image may include one target image acquired in a current time point, and / or one or more target images acquired in previous time points. In some embodiments, each of the at least one target image may be generated based on one set of the at least one set of raw images.

[0178] In some embodiments, for each direction of the at least one structured illumination direction, one or more model parameters of a physical model associated with the imaging device may be estimated based on a set of raw images corresponding to the each direction; and the at least one target image may be generated by performing frequency separation and combination on the at least one set of raw images based on model parameters corresponding to the at least one structured illumination direction. The reconstruction of the target image (s) may be similar to that described in 502-505, and more descriptions of the reconstruction may be found elsewhere in the present disclosure (e.g., FIG. 5 and descriptions thereof) . In some embodiments, each of the at least one target image may be generated based on each set of the at least one set of raw images using a sixth machine learning model. For example, one target image may be generated based on one raw image using the sixth machine learning model. An input of the sixth machine learning model may include a set of raw images, and the output of the sixth machine learning model may include a reconstructed super-resolution image. The sixth machine learning model may be obtained by training an initial machine learning model using training samples. Each training sample may include a set of sample raw images and a lable (e.g., a sample reconstructed image corresponding to the set of sample raw images) .

[0179] In 903, image processing and / or analysis may be performed on the at least one target image to obtain one or more image analysis results. Operation 903 may be performed by the processing device 140 (e.g., the processing module 406) .

[0180] The one or more image analysis results may include a state of the object, and / or an event of the object. The state of the object may include at least one of a morphology of the object, a size of the object, a count of the object, a position of the object, a spacial distribution of the object, or an abnormal state of the object. For example, the object may be or include cell (s) , and the state of the cell (s) may include a count of the cells, a morphologies of the cell (s) , size (s) of the cell (s) , position (s) of the cell (s) , etc. The morphology of a cell may refer to a shape and / or a structure of the cell. The size of a cell may refer to an area and / or a volume of the cell. The position of a cell may refer to a  position of the cell in a 2D plane or in the 3D space. The event of the object may include change (s) of the state (s) of the object, e.g., a change of the morphology of the object exceeds a first threshold, a change of the size of the object exceeds a second threshold, a change of the count of the object exceeds a third threshold, a change of the position of the object exceeds a fourth threshold, a change of the spacial distribution of the object exceeds a fifth threshold, etc. Merely by way of example, if the change of the count of the cells is equal to or larger than 1, it may indicate that an event of cell division may have happened. As another example, if the change of the count of the cells is equal to or less than -1, it may indicate that an event of cell apoptosis may have happened.

[0181] In some embodiments, two or more target images acquired in consecutive time points may be processed and / or analyzed to obtain the event of the object (e.g., cell division, cell apoptosis, etc. ) .

[0182] In some embodiments, by analyzing long-term images of living cells, cell states or events of interest may be classified into four categories based on the morphology, count, and spatial position relationship of cells or organelles. The four categories may include: morphological and numerical changes, spatial position changes, spatial distribution changes, and abnormal states. Morphological and numerical changes may refer to changes in the count, size, shape, structure, area, or volume of cells or organelles (such as the appearance or apoptosis of cells or organelles, changes in the count and morphology of chromosomes at different stages of cell division, etc. ) . Spatial position changes may indicate changes in the position of cells or organelles in 3D space, such as lateral movement or axial focal plane changes. In order to ensure that cells or organelles are always in the field of view, 3D tracking of cells or organelles may be required. The spatial distribution changes may represent the density changes or relative spatial position changes between cells or organelles in 3D space (such as the aggregation of intracellular lipid droplets, the interaction between organelles, etc. ) Abnormal states may indicate that the macroscopic or microscopic phenotype of the cells or the current state of the imaging system no longer meet the requirements for continued imaging. At this time, the imaging process of the cell or organelle may usually needs to be terminated. Under different cell states or events, different imaging strategies can be selected according to experimental needs.

[0183] The processing and / or the analysis may include denoising, image segmentation, image enhancement, feature extraction, statistical analysis, image stitching, etc. In some embodiments, the processing module 406 may process and / or analyze the at least one target image using one or more algorithms (e.g., denoising algorithm (s) , segmentation algorithm (s) , enhancement algorithm (s) , statistical analysis algorithm (s) , etc. ) .

[0184] In some embodiments, the processing module 406 may process and / or analyze the at least one target image using one or more machine learning models (i.e., the processing module 406 may process the at least one target image using one or more machine learning models to obtain the one or more image analysis results) . For example, the processing module 406 may process the at least one target image using a second machine learning model to obtain the image analysis results. An input of the second machine learning model may include the at least one target image, and the output of the second machine learning model may include the image analysis result (s) . The second  machine learning model may be obtained by training an initial machine learning model using training samples. Each training sample may include a target image and a lable (e.g., image analysis result (s) corresponding to the target image) . As another example, the processing module 406 may process the at least one target image using a third machine learning model and a fourth machine learning model, respectively, to obtain the state of the object, and the event of the object, respectively. An input of the third machine learning model may include the at least one target image, and the output of the third machine learning model may include the state of the object. The third machine learning model may be obtained by training an initial machine learning model using training samples. Each training sample may include a target image and a lable (e.g., the state of the object in the target image) . An input of the fourth machine learning model may include the at least one target image, and the output of the fourth machine learning model may include the event of the object. The fourth machine learning model may be obtained by training an initial machine learning model using training samples. Each training sample may include target image (s) and a lable (e.g., the event of the object in the target image (s)) .

[0185] In 904, one or more imaging strategies to be used in subsequent imaging may be determined based on the one or more image analysis results. Operation 904 may be performed by the processing device 140 (e.g., the imaging strategy determination module 410) .

[0186] An imaging strategy may refer to a strategy relating to parameter (s) and / or algorithm (s) used in subsequent image acquisition and image reconstructioin, and / or an imaging mode of subsequent imaging (e.g., 2D imaging, 3D imaging) . Exemplary imaging strategies may include: adjusting one or more parameters to be used in subsequent imaging; adjusting one or more parameters and / or one or more algorithms used in subsequent image reconstruction; starting the subsequent imaging at one or more other wavelength channels different from a current wavelength channel; starting tracking one or more targets of interest in the object in subsequent imaging; switching between 2D imaging and 3D imaging; terminating current imaging; and / or prompting an abnormal state of the object, etc.

[0187] In some embodiments, the one or more imaging strategies to be used in subsequent imaging may be determined based on the one or more image analysis results and a user instruction. In some embodiments, before reconstruction, the user instruction may prescribe (e.g., through the user interface) that if the target image (s) have specific image analysis result (s) , then a corresponding imaging strategy may be used in subsequent imaging. If the image analysis results obtained in 903 include the specific image analysis result (s) , then the corresponding imaging strategy prescribed by the user may be determined to be used in subsequent imaging. In some embodiments, after reconstruction, the image analysis result (s) may be provided to the user, and the user may instruct or select (e.g., through the user interface) the imaging strategy to be used in subsequent imaging.

[0188] In some embodiments, the one or more imaging strategies to be used in subsequent imaging may be determined based on the one or more image analysis results and a preset rule. The preset rule may indicate a correspondence between the one or more image analysis results and the one or more imaging strategies. In some embodiments, the preset rule may be denoted by a table.  Exemplary imaging strategies corresponding to state (s)  / event (s) of cells may be shown in Table 2. The preset rule may be related to the purpose of an experiment. In some embodiments, the preset rule may be set by the user. Alternatively or additionally, the preset rule may be summarized from historical experiments.

[0189] Merely by way of example, in the process of cell mitosis, cell (s) may change from a stretched state to a contracted state, which means size (s) (e.g., lateral size (s) , axial size (s)) of the cell (s) may change, and accordingly the focal plane of the cell (s) may change. If the focal plane is not adapted for the change of the cell (s) , it may be hard to image the cell (s) clearly. In such cases (in which image analysis results indicate a certain level of change of the size (s) of the cell (s)) , a proper imaging strategy (e.g., focal plane tracking) may be determined for subsequent imaging. In addition, one cell may divide into two daughter cells under the contracted state. The daughter cells may need to be tracked so as to image the daughter cells. Accordingly, the imaging strategy (e.g., focal plane tracking) may need to be switched to view tracking. After the cell mitosis is finished, the cell (s) may change from the contracted state to the stretched state, the size (s) (e.g., lateral size (s) , axial size (s) ) of the cell (s) may change again, and accordingly the focal plane of the cell (s) may change. Accordingly, the imaging strategy (e.g., view tracking) may need to be switched to focal plane tracking. The process of cell mitosis or activity of organelles is generally completed in a relatively short time. The real-time image reconstruction disclosed in the present disclosure can provide relatively high temporal resolution for the reconstructed image (s) , which make it convenient to capture the changes of the cell (s) in the cell mitosis process or activity of organelles, and adjust the imaging strategy timely, and thus, the cell mitosis process can be recorded more completely and more clearly.

[0190] Table 2 Exemplary imaging strategies for super-resolution SIM imaging.

[0191] In some embodiments, the one or more imaging strategies to be used in subsequent imaging may be determined based on the one or more image analysis results using a fifth machine learning model. An input of the fifth machine learning model may include the image analysis result (s) , and the output of the fifth machine learning model may include the imaging strategy. The fifth machine learning model may be obtained by training an initial machine learning model using training samples. Each training sample may include image analysis results of a target image and a lable (e.g., imaging strategy corresponding to the image analysis results) .

[0192] In some embodiments, after the image analysis results are obtained, the processing device 140 may automatically determine the imaging strategy to be used in subsequent imaging, and then the subsequent imaging may be automatically performed. In some embodiments, the determined imaging strategy may be provided for the user to confirm.

[0193] In long-term imaging of living cells, due to the uncertainty of cell morphology, movement, and external environment, it is hard to ensure that the expected target image can be obtained using the parameters preset before imaging. In experiments, a large amount of redundant and invalid data is often generated, which reduces experimental efficiency. In order to effectively solve this problem, the imaging system 100 may need to monitor cell activity at all times. When abnormal state (s) of cells occur (not matching the expected state) or event (s) of interest occur, active adjustment of imaging strategies and / or parameters can be used to correct abnormal state (s) , terminate the experiment, or trigger imaging using event (s) of interest. Thus, intelligent imaging may be desirable. The above imaging process can be illustrated in FIG. 16. FIG. 16 is a schematic diagram illustrating an exemplary intelligent imaging process according to some embodiments of the present disclosure.

[0194] FIG. 19 is a schematic diagram illustrating an exemplary intelligent imaging workflow with real-time image reconstruction according to some embodiments of the present disclosure. An experimental process of real-time SIM intelligent imaging is illustrated. Before starting an experiment, the real-time SIM preview function may be performed to preview the super-resolution structure of the imaging sample and select the imaging site of interest by adjusting the XY displacement stage. During this process, the user can choose whether to enable multi-channel imaging (also referred to as high-throughput imaging) and 3D real-time tracking function. In multi-channel imaging, the user can choose to perform multi-site imaging or large field of view (FOV) imaging (e.g., stitching images to obtain large field of view) , and different imaging and / or reconstruction parameters can be set for different sites. After selecting the imaging site of interest, the imaging system monitors and analyzes the current cells’s tates and events of interest online based on the acquired images. When a specific cell state or event is detected, the imaging system may adjust the imaging and reconstruction parameter (s) in real time according to the user's preset imaging strategy or the default imaging strategy, thus starting the subsequent imaging. When the  imaging system detects an abnormal state (such as the disappearance of the imaged object, the imaged object does not meet the imaging requirements, a preset imaging duration has been reached, etc. ) , the imaging system may prompt the user with abnormal information, and then the user may determine (or the imaging system may autonomously determine) to terminate the imaging at the current imaging site or the entire imaging process. After the experiment is ended, raw images acquired in the experiment may be used for batch reconstruction and processing (e.g., reconstruct super-resolution image (s) , which may be further processed and analyzed) to obtain experimental results.

[0195] It should be noted that real-time image reconstruction with relatively high temporal resolution may be essential for intelligent imaging. Many types of events that occur in cells generally happens very quickly, and many types of states of cells generally last for a very short time period. If the image reconstruction process is time consuming (e.g., the temporal resolution for image reconstruction is lower than the cell states or events) , the cell states or events may not be captured successfully, and accordingly, the imaging strategy may not be adjusted timely, and thus, intelligent imaging may not be performed effectively. Therefore, the real-time image reconstruction illustrated in FIGs. 5-8 may be used in combination with imaging strategy determinaton to realize intelligent imaging.

[0196] In addition, the real-time image reconstruction with relatively high temporal resolution may provide super-resolution structure information for the object (e.g., cell (s) ) , thereby improving the identification accuracy of the state and / or event of the object.

[0197] In some embodiments, the state and / or event of the object may be unpredictable and / or uncertain. If predetermined parameters are used in the whole imaging process, redundant image data may be generated, which may incease the burden of subsequent data storing, data process, and data screening. The real-time image reconstruction may make the intelligent imaging provide more valuable information.

[0198] In some embodiments, the event of the object may occure at a non-linear speed. The predetermined imaging interval may be fixed, without adapting to the speed of the event of the object. If the predetermined imaging interval is larger than the speed of the event of the object, effective event (s) may be missed. If the predetermined imaging interval is smaller than the speed of the event of the object, redundant image data may be generated. The real-time image reconstruction may make the intelligent imaging provide adaptive imaging interval (s) .

[0199] In some embodiments, after some certain types of events of the object occure, timely intervention or adjustment of the imaging strategy may be necessary to ensure the objectivity and impartiality of cell experiments. For example, if the object (s) are moving in a relatively high speed, and the imaging strategy is not adjusted timely, the object (s) may move beyond the imaging field of view and may not be imaged. The real-time image reconstruction may make the intelligent imaging provide an adaptive imaging field of view.

[0200] Having thus described the basic concepts, it may be rather apparent to those skilled in the art after reading this detailed disclosure that the foregoing detailed disclosure is intended to be presented by way of example only and is not limiting. Various alterations, improvements, and  modifications may occur and are intended to those skilled in the art, though not expressly stated herein. These alterations, improvements, and modifications are intended to be suggested by this disclosure, and are within the spirit and scope of the exemplary embodiments of this disclosure.

[0201] Moreover, certain terminology has been used to describe embodiments of the present disclosure. For example, the terms “one embodiment, ” “an embodiment, ” and / or “some embodiments” mean that a particular feature, structure or characteristic described in connection with the embodiment is included in at least one embodiment of the present disclosure. Therefore, it is emphasized and should be appreciated that two or more references to “an embodiment” or “one embodiment” or “an alternative embodiment” in various portions of this specification are not necessarily all referring to the same embodiment. Furthermore, the particular features, structures or characteristics may be combined as suitable in one or more embodiments of the present disclosure.

[0202] Further, it will be appreciated by one skilled in the art, aspects of the present disclosure may be illustrated and described herein in any of a number of patentable classes or context including any new and useful process, machine, manufacture, or composition of matter, or any new and useful improvement thereof. Accordingly, aspects of the present disclosure may be implemented entirely hardware, entirely software (including firmware, resident software, micro-code, etc. ) or combining software and hardware implementation that may all generally be referred to herein as a “unit, ” “module, ” or “system. ” Furthermore, aspects of the present disclosure may take the form of a computer program product embodied in one or more computer readable media having computer readable program code embodied thereon.

[0203] A computer readable signal medium may include a propagated data signal with computer readable program code embodied therein, for example, in baseband or as part of a carrier wave. Such a propagated signal may take any of a variety of forms, including electro-magnetic, optical, or the like, or any suitable combination thereof. A computer readable signal medium may be any computer readable medium that is not a computer readable storage medium and that may communicate, propagate, or transport a program for use by or in connection with an instruction execution system, apparatus, or device. Program code embodied on a computer readable signal medium may be transmitted using any appropriate medium, including wireless, wireline, optical fiber cable, RF, or the like, or any suitable combination of the foregoing.

[0204] Computer program code for carrying out operations for aspects of the present disclosure may be written in any combination of one or more programming languages, including an object oriented programming language such as Java, Scala, Smalltalk, Eiffel, JADE, Emerald, C++, C#, VB. NET, Python or the like, conventional procedural programming languages, such as the “C” programming language, Visual Basic, Fortran 2103, Perl, COBOL 2102, PHP, ABAP, dynamic programming languages such as Python, Ruby and Groovy, or other programming languages. The program code may execute entirely on the user’s computer, partly on the user’s computer, as a stand-alone software package, partly on the user’s computer and partly on a remote computer or entirely on the remote computer or server. In the latter scenario, the remote computer may be connected to the user’s computer through any type of network, including a local area network (LAN) or a wide area network (WAN) , or the connection may be made to an external computer (for  example, through the Internet using an Internet Service Provider) or in a cloud computing environment or offered as a service such as a Software as a Service (SaaS) .

[0205] Furthermore, the recited order of processing elements or sequences, or the use of numbers, letters, or other designations therefore, is not intended to limit the claimed processes and methods to any order except as may be specified in the claims. Although the above disclosure discusses through various examples what is currently considered to be a variety of useful embodiments of the disclosure, it is to be understood that such detail is solely for that purpose, and that the appended claims are not limited to the disclosed embodiments, but, on the contrary, are intended to cover modifications and equivalent arrangements that are within the spirit and scope of the disclosed embodiments. For example, although the implementation of various components described above may be embodied in a hardware device, it may also be implemented as a software only solution, for example, an installation on an existing server or mobile device.

[0206] Similarly, it should be appreciated that in the foregoing description of embodiments of the present disclosure, various features are sometimes grouped together in a single embodiment, figure, or description thereof for the purpose of streamlining the disclosure aiding in the understanding of one or more of the various inventive embodiments. This method of disclosure, however, is not to be interpreted as reflecting an intention that the claimed subject matter requires more features than are expressly recited in each claim. Rather, inventive embodiments lie in less than all features of a single foregoing disclosed embodiment.

[0207] In some embodiments, the numbers expressing quantities or properties used to describe and claim certain embodiments of the application are to be understood as being modified in some instances by the term “about, ” “approximate, ” or “substantially. ” For example, “about, ” “approximate, ” or “substantially” may indicate ±20%variation of the value it describes, unless otherwise stated. Accordingly, in some embodiments, the numerical parameters set forth in the written description and attached claims are approximations that may vary depending upon the desired properties sought to be obtained by a particular embodiment. In some embodiments, the numerical parameters should be construed in light of the number of reported significant digits and by applying ordinary rounding techniques. Notwithstanding that the numerical ranges and parameters setting forth the broad scope of some embodiments of the application are approximations, the numerical values set forth in the specific examples are reported as precisely as practicable.

[0208] Each of the patents, patent applications, publications of patent applications, and other material, such as articles, books, specifications, publications, documents, things, and / or the like, referenced herein is hereby incorporated herein by this reference in its entirety for all purposes, excepting any prosecution file history associated with same, any of same that is inconsistent with or in conflict with the present document, or any of same that may have a limiting affect as to the broadest scope of the claims now or later associated with the present document. By way of example, should there be any inconsistency or conflict between the descriptions, definition, and / or the use of a term associated with any of the incorporated material and that associated with the present document, the description, definition, and / or the use of the term in the present document shall prevail.

[0209] In closing, it is to be understood that the embodiments of the application disclosed herein are illustrative of the principles of the embodiments of the application. Other modifications that may be employed may be within the scope of the application. Thus, by way of example, but not of limitation, alternative configurations of the embodiments of the application may be utilized in accordance with the teachings herein. Accordingly, embodiments of the present application are not limited to that precisely as shown and described.

Claims

1.A method for image reconstruction, implemented on a computing device having one or more processors and one or more storage devices, comprising:implementing a first thread to acquire image data of an object by imaging the object in at least one structured illumination direction using an imaging device, and storing the image data into a buffer;implementing a second thread to obtain one or more image sequences from the buffer; andimplementing a third thread to extract at least one set of raw images from the one or more image sequences, and transmit the at least one set of raw images to a graphics processing unit (GPU) of the one or more processors, to facilitate the GPU to generate a target image based on the at least one set of raw images, each set of the at least one set of raw images corresponding to one of the at least one structured illumination direction.2.The method of claim 1, further comprising:implementing the third thread to transmit the target image to a storage device.3.The method of claim 1, further comprising:implementing a fourth thread to monitor the buffer, and display the target image.4.The method of claim 3, wherein at least two of the first thread, the second thread, the third thread, or the fourth thread are implemented simultaneously.5.The method of claim 3, wherein the first thread, the second thread, the third thread, and / or the fourth thread are implemented automatically in response to a first user request.6.The method of claim 1, further comprising:in response to a second user request, implementing a fifth thread to extract one or more raw images from the one or more image sequences, and generate a preview image based on the one or more raw images.7.The method of claim 6, wherein the preview image is generated according to a process including:in response to a third user request, determining whether to perform pre-processing on each image of the one or more raw images based on a background intensity and / or a noise level of the each image; andin response to determining to perform pre-processing on the each image,determining a pre-processsing algorithm based on the background intensity and / or the noise level of the each image, andpre-processing the each image based on the pre-processsing algorithm.8.The method of claim 6, wherein the preview image is generated according to a process including:in response to a fourth user request, determining whether to perform post-processing on the preview image based on a background intensity and / or a noise level of the preview image; andin response to determining to perform post-processing on the preview image,determining a post-processing algorithm based on the background intensity and / or the noise level of the preview image, andpost-processing the preview image based on the post-processing algorithm.9.The method of claim 6, further comprising:determining an analysis result of the preview image; andadjusting one or more parameters used in acquiring the image data, one or more parameters and / or one or more algorithms used in generating the target image based on the analysis result.10.The method of claim 1, wherein the target image is generated according to a process including:estimating, for each direction of the at least one structured illumination direction, one or more model parameters of a physical model associated with the imaging device based on a set of raw images corresponding to the each direction; andgenerating the target image by performing frequency separation and combination on the at least one set of raw images based on model parameters corresponding to the at least one structured illumination direction.11.The method of claim 10, further comprising:in response to a fifth user request, determining whether to perform pre-processing on each image of the at least one set of raw images based on a background intensity and / or a noise level of the each image; andin response to determining to perform pre-processing on the each image,determining a pre-processing algorithm based on the background intensity and / or the noise level of the each image, andpre-processing the each image based on the pre-processing algorithm.12.The method of claim 10, further comprising:in response to a sixth user request, determining whether to perform post-processing on the target image based on a background intensity and / or a noise level of the target image; andin response to determining to perform post-processing on the target image,determining a post-processing algorithm based on the background intensity and / or the noise level of the target image, andpost-processing the target image based on the post-processing algorithm.13.The method of claim 1, further comprising:in response to a seventh user request, adjusting one or more parameters and / or one or more algorithms used in generating the target image.14.The method of claim 1, wherein the target image is generated based on the at least one set of raw images using a machine learning model.15.A method for image reconstruction, implemented on a computing device having one or more processors and one or more storage devices, comprising:obtaining a plurality of sets of raw images generated by imaging an object in a plurality of structured illumination directions using an imaging device, each set of the plurality of sets of raw images corresponding to one of the plurality of structured illumination directions;generating an initial target image by performing frequency separation and combination on the plurality of sets of raw images; andperforming rolling reconstruction based on the initial target image, including:(a) . acquiring a new set of raw images corresponding to a specified direction of the plurality of structured illumination directions;(b) . updating the plurality of sets of raw images by replacing one set of raw images corresponding to the specified direction with the new set of raw images corresponding to the specified direction;(c) . generating an updated target image by performing frequency separation and combination on the updated plurality of sets of raw images; andin response to a termination condition of the rolling reconstruction being not satisfied, designating another direction of the plurality of structured illumination directions as the specified direction and repeating operations (a) - (c) to further update the target image.16.The method of claim 15, wherein the generating an initial target image by performing frequency separation and combination on the plurality of sets of raw images includes:estimating, for each direction of the plurality of structured illumination directions, one or more model parameters of a physical model associated with the imaging device based on a set of raw images, among the plurality of sets of raw images, corresponding to the each direction; andgenerating the initial target image by performing frequency separation and combination on the plurality of sets of raw images based on model parameters corresponding to the plurality of structured illumination directions.17.The method of claim 15, wherein the generating an updated target image by performing frequency separation and combination on the updated plurality of sets of raw images includes:generating the updated target image by performing frequency separation and combination on the updated plurality of sets of raw images based on model parameters corresponding to the plurality of structured illumination directions.18.The method of claim 17, wherein the model parameters corresponding to the plurality of structured illumination directions are obtained by:estimating, for each direction of the plurality of structured illumination directions, one or more model parameters of a physical model associated with the imaging device based on a set of raw images, among the updated plurality of sets of raw images, corresponding to the each direction.19.The method of claim 15, wherein the initial target image or the updated target image is generated using a machine learning model.20.A method for image reconstruction, implemented on a computing device having one or more processors and one or more storage devices, comprising:acquiring at least one first set of raw images by imaging, at a first imaging site, at a first wavelength channel, in at least one structured illumination direction, an object using an imaging device, each set of the at least one first set of raw images corresponding to one of the at least one structured illumination direction;acquiring at least one second set of raw images by imaging, at the first imaging site, at a second wavelength channel, in the at least one structured illumination direction, the object using the imaging device, each set of the at least one second set of raw images corresponding to one of the at leat one structured illumination direction; andgenerating a first target image by performing frequency separation and combination on the at least one first set of raw images;wherein the generating the first target image and the acquiring the at least one second set of raw images are performed synchronously.21.The method of claim 20, further comprising:acquiring at least one third set of raw images by imaging, at a second imaging site, at the first wavelength channel, in the at least one structured illumination direction, the object using the imaging device, each set of the at least one third set of raw images corresponding to one of the at least one structured illumination direction; andgenerating a third target image by performing frequency separation and combination on the at least one third set of raw images.22.The method of claim 21, wherein the first imaging site is adjacent to the second imaging site, the method further comprising:stitching the first target image and the third target image to obtain a stitched image with an enlarged view.23.The method of claim 21, wherein:one or more parameters used in acquiring the at least one first set of raw images are different from one or more parameters used in acquiring the at least one third set of raw images; and / orone or more parameters and / or one or more algorithms used in generating the first target image are different from one or more parameters and / or one or more algorithms used in generating the third target image.24.The method of claim 20, further comprising:generating a second target image by performing frequency separation and combination on the at least one second set of raw images; andwherein the generating the second target image is performed synchronously with imaging the object using the imaging device at a second imaging site or at a third wavelength channel.25.The method of claim 20, wherein the first target image is generated based on the at least one first set of raw images using a machine learning model.26.A method for image reconstruction, implemented on a computing device having one or more processors and one or more storage devices, comprising:obtaining a plurality of sets of raw images generated by imaging an object in a plurality of structured illumination directions using an imaging device, each set of the plurality of sets of raw images corresponding to one of the plurality of structured illumination directions;estimating, for each direction of the plurality of structured illumination directions, one or more model parameters of a physical model associated with the imaging device based on a set of raw images corresponding to the each direction; andgenerating a target image by performing frequency separation and combination on the plurality of sets of raw images based on model parameters corresponding to the plurality of structured illumination directions.27.The method of claim 26, further comprising:pre-processing each raw image of the plurality of sets of raw images by filtering the raw image according to a background intensity and / or a noise level of the raw image.28.The method of claim 26, wherein the estimating, for each direction of the plurality of structured illumination directions, one or more model parameters includes:estimating a first parameter based on different frequency components of the set of raw images corresponding to the each direction; andestimating one or more second parameters based on the first parameter and the different frequency components of the set of raw images corresponding to the each direction.29.The method of claim 28, wherein the first parameter includes a wave vector of a structured illumination light in the each direction, and the estimating a first parameter based on different  frequency components of the set of raw images corresponding to the each direction includes:determining a first frequency component, a second frequency component, and a third frequency component of the set of raw images corresponding to the each direction; andestimating the wave vector based on the first frequency component, the second frequency component, and the third frequency component using a cross-correlation algorithm.30.The method of claim 29, wherein the one or more second parameters include an amplitude and / or an initial phase of the structured illumination light, and the estimating one or more second parameters includes:determining an intermidiate image based on an optical transfer function of the imaging device, and at least two of the first frequency component, the second frequency component, or the third frequency component; anddetermining the amplitude and / or the initial phase of the structured illumination light based on an amplitude and / or a phase of the intermidiate image, respectively.31.The method of claim 30, wherein the determining an intermidiate image includes:determining the intermidiate image based on the optical transfer function, a translated function of the optical transfer function translating in frequency domain, a translated frequency component of the first frequency component translating in frequency domain, and at least one of the second frequency component or the third frequency component.32.The method of claim 30, wherein the determining the amplitude and / or the initial phase of the structured illumination light includes:determining the amplitude of the structured illumination light by linear fitting the amplitude of the intermidiate image; and / ordetermining the initial phase of the structured illumination light by linear fitting the phase of the intermidiate image.33.The method of claim 26, wherein the performing frequency separation and combination includes:determining at least two frequency components for the each set of the plurality of sets of raw images;determining translated frequency components by translating the frequency components for the plurality of sets of raw images in frequency domain based on wave vectors of a structured illumination light in the plurality of structured illumination directions used in imaging the object; andcombining the translated frequency components to obtain the target image.34.The method of claim 33, wherein the determining translated frequency components including:determining an optical transfer function of the imaging device or a modulated optical transfer function of the imaging device; anddetermining the translated frequency components by translating the frequency components using the optical transfer function or the modulated optical transfer function.35.The method of claim 26, further comprising:post-processing the target image, the post-processing including at least one of filtering the target image, performing deconvolution on the target image, post-processing the target image using a deep network model.36.A method for imaging, implemented on a computing device having one or more processors and one or more storage devices, comprising:obtaining at least one set of raw images generated by imaging an object using an imaging device;generating at least one target image based on the at least one set of raw images;performing image processing and / or analysis on the at least one target image to obtain one or more image analysis results; anddetermining one or more imaging strategies to be used in subsequent imaging based on the one or more image analysis results.37.The method of claim 36, wherein the obtaining at least one set of raw images generated by imaging an object using an imaging device includes:obtaining the at least one set of raw images by imaging the object in a at least one structured illumination direction using the imaging device, each set of the at least one set of raw images corresponding to one of the at least one structured illumination direction.38.The method of claim 37, wherein the generating at least one target image based on the at least one set of raw images includes:estimating, for each direction of the at least one structured illumination direction, one or more model parameters of a physical model associated with the imaging device based on a set of raw images corresponding to the each direction; andgenerating each of the at least one target image by performing frequency separation and combination on one set of the at least one set of raw images based on model parameters corresponding to the at least one structured illumination direction.39.The method of claim 36, wherein the one or more image analysis results include at least one of a state of the object or an event of the object.40.The method of claim 39, wherein:the state of the object includes at least one of a morphology of the object, a size of the object, a count of the object, a position of the object, a spacial distribution of the object, or an abnormal state of the object; and / orthe event of the object includes at least one of a change of the morphology of the object exceeds a first threshold, a change of the size of the object exceeds a second threshold, a change of the count of the object exceeds a third threshold, a change of the position of the object exceeds a fourth threshold, or a change of the spacial distribution of the object exceeds a fifth threshold.41.The method of claim 36, wherein the performing image processing and / or analysis on the at least one target image to obtain one or more image analysis results includes:processing the at least one target image using one or more machine learning models to obtain the one or more image analysis results.42.The method of claim 36, wherein the one or more imaging strategies includes at least one of:adjusting one or more parameters to be used in subsequent imaging;adjusting one or more parameters and / or one or more algorithms used in subsequent image reconstruction;starting the subsequent imaging at one or more other wavelength channels different from a current wavelength channel;starting tracking one or more targets of interest in the object in subsequent imaging;switching between 2D imaging and 3D imaging;terminating current imaging; orprompting an abnormal state of the object.43.The method of claim 36, wherein the determining one or more imaging strategies to be used in subsequent imaging based on the one or more image analysis results includes:determining the one or more imaging strategies to be used in subsequent imaging based on the one or more image analysis results and a user instruction.44.The method of claim 36, wherein the determining one or more imaging strategies to be used in subsequent imaging based on the one or more image analysis results includes:determining the one or more imaging strategies to be used in subsequent imaging based on the one or more image analysis results and a preset rule, the preset rule indicating a correspondence between the one or more image analysis results and the one or more imaging strategies.45.The method of claim 36, wherein the determining one or more imaging strategies to be used in subsequent imaging based on the one or more image analysis results includes:determining the one or more imaging strategies to be used in subsequent imaging based on the one or more image analysis results using a machine learning model.46.The method of claim 36, wherein the generating at least one target image based on the at  least one set of raw images includes:generating each of the at least one target image based on each set of the at least one set of raw images using a machine learning model.47.A system for image reconstruction, comprising:at least one storage device storing a set of instructions; andat least one processor in communication with the storage device, wherein when executing the set of instructions, the at least one processor is configured to cause the system to perform operations including:implementing a first thread to acquire image data of an object by imaging the object in at least one structured illumination direction using an imaging device, and storing the image data into a buffer;implementing a second thread to obtain one or more image sequences from the buffer; andimplementing a third thread to extract at least one set of raw images from the one or more image sequences, and transmit the at least one set of raw images to a graphics processing unit (GPU) of the one or more processors, to facilitate the GPU to generate a target image based on the at least one set of raw images, each set of the at least one set of raw images corresponding to one of the at least one structured illumination direction.48.A system for image reconstruction, comprising:at least one storage device storing a set of instructions; andat least one processor in communication with the storage device, wherein when executing the set of instructions, the at least one processor is configured to cause the system to perform operations including:obtaining a plurality of sets of raw images generated by imaging an object in a plurality of structured illumination directions using an imaging device, each set of the plurality of sets of raw images corresponding to one of the plurality of structured illumination directions;generating an initial target image by performing frequency separation and combination on the plurality of sets of raw images; andperforming rolling reconstruction based on the initial target image, including:(a) . acquiring a new set of raw images corresponding to a specified direction of the plurality of structured illumination directions;(b) . updating the plurality of sets of raw images by replacing one set of raw images corresponding to the specified direction with the new set of raw images corresponding to the specified direction;(c) . generating an updated target image by performing frequency separation and combination on the updated plurality of sets of raw images; andin response to a termination condition of the rolling reconstruction being not satisfied, designating another direction of the plurality of structured illumination directions as the specified direction and repeating operations (a) - (c) to further update the target image.49.A system for image reconstruction, comprising:at least one storage device storing a set of instructions; andat least one processor in communication with the storage device, wherein when executing the set of instructions, the at least one processor is configured to cause the system to perform operations including:acquiring at least one first set of raw images by imaging, at a first imaging site, at a first wavelength channel, in at least one structured illumination direction, an object using an imaging device, each set of the at least one first set of raw images corresponding to one of the at least one structured illumination direction;acquiring at least one second set of raw images by imaging, at the first imaging site, at a second wavelength channel, in the at least one structured illumination direction, the object using the imaging device, each set of the at least one second set of raw images corresponding to one of the at leat one structured illumination direction; andgenerating a first target image by performing frequency separation and combination on the at least one first set of raw images;wherein the generating the first target image and the acquiring the at least one second set of raw images are performed synchronously.50.A system for image reconstruction, comprising:at least one storage device storing a set of instructions; andat least one processor in communication with the storage device, wherein when executing the set of instructions, the at least one processor is configured to cause the system to perform operations including:obtaining a plurality of sets of raw images generated by imaging an object in a plurality of structured illumination directions using an imaging device, each set of the plurality of sets of raw images corresponding to one of the plurality of structured illumination directions;estimating, for each direction of the plurality of structured illumination directions, one or more model parameters of a physical model associated with the imaging device based on a set of raw images corresponding to the each direction; andgenerating a target image by performing frequency separation and combination on the plurality of sets of raw images based on model parameters corresponding to the plurality of structured illumination directions.51.A system for imaging, comprising:at least one storage device storing a set of instructions; andat least one processor in communication with the storage device, wherein when executing the set of instructions, the at least one processor is configured to cause the system to perform operations including:obtaining at least one set of raw images generated by imaging an object using an imaging device;generating at least one target image based on the at least one set of raw images;performing image processing and / or analysis on the at least one target image to obtain one or more image analysis results; anddetermining one or more imaging strategies to be used in subsequent imaging based on the one or more image analysis results.52.A system for image reconstruction, comprising:an acquisition module configurd to implemente a first thread to acquire image data of an object by imaging the object in at least one structured illumination direction using an imaging device, and storing the image data into a buffer; anda reconstruction module configured to:implemente a second thread to obtain one or more image sequences from the buffer; andimplemente a third thread to extract at least one set of raw images from the one or more image sequences; and transmit the at least one set of raw images to a graphics processing unit (GPU) of the one or more processors, to facilitate the GPU to generate a target image based on the at least one set of raw images, each set of the at least one set of raw images corresponding to one of the at least one structured illumination direction.53.A system for image reconstruction, comprising:an acquisition module configured to obtain a plurality of sets of raw images generated by imaging an object in a plurality of structured illumination directions using an imaging device, each set of the plurality of sets of raw images corresponding to one of the plurality of structured illumination directions; anda reconstruction module configured to:generate an initial target image by performing frequency separation and combination on the plurality of sets of raw images; andperform rolling reconstruction based on the initial target image, the rolling reconstruction including:(a) . acquiring a new set of raw images corresponding to a specified direction of the plurality of structured illumination directions;(b) . updating the plurality of sets of raw images by replacing one set of raw images corresponding to the specified direction with the new set of raw images corresponding to the specified direction;(c) . generating an updated target image by performing frequency separation and combination on the updated plurality of sets of raw images; andin response to a termination condition of the rolling reconstruction being not satisfied, designating another direction of the plurality of structured illumination directions as the specified direction and repeating operations (a) - (c) to further update the target image.54.A system for image reconstruction, comprising:an acquisition module configured to:acquire at least one first set of raw images by imaging, at a first imaging site, at a first wavelength channel, in at least one structured illumination direction, an object using an imaging device, each set of the at least one first set of raw images corresponding to one of the at least one structured illumination direction; andacquire at least one second set of raw images by imaging, at the first imaging site, at a second wavelength channel, in the at least one structured illumination direction, the object using the imaging device, each set of the at least one second set of raw images corresponding to one of the at leat one structured illumination direction; anda reconstruction module configured to generate a first target image by performing frequency separation and combination on the at least one first set of raw images;wherein generation of the first target image and acquisition of the at least one second set of raw images are performed synchronously.55.A system for image reconstruction, comprising:an acquisition module configured to obtain a plurality of sets of raw images generated by imaging an object in a plurality of structured illumination directions using an imaging device, each set of the plurality of sets of raw images corresponding to one of the plurality of structured illumination directions; anda reconstruction module configured to:estimate, for each direction of the plurality of structured illumination directions, one or more model parameters of a physical model associated with the imaging device based on a set of raw images corresponding to the each direction; andgenerate a target image by performing frequency separation and combination on the plurality of sets of raw images based on model parameters corresponding to the plurality of structured illumination directions.56.A system for imaging, comprising:an acquisition module configured to obtain at least one set of raw images generated by imaging an object using an imaging device;a reconstruction module configured to generate at least one target image based on the at least one set of raw images;a processing module configured to perform image processing and / or analysis on the at least one target image to obtain one or more image analysis results; andan imaging strategy determination module configured to determine one or more imaging strategies to be used in subsequent imaging based on the one or more image analysis results.57.A non-transitory computer readable medium storing instructions, the instructions, when executed by at least one processor, causing the at least one processor to implement a method comprising:implementing a first thread to acquire image data of an object by imaging the object in at least one structured illumination direction using an imaging device, and storing the image data into a buffer;implementing a second thread to obtain one or more image sequences from the buffer; andimplementing a third thread to extract at least one set of raw images from the one or more image sequences, and transmit the at least one set of raw images to a graphics processing unit (GPU) of the one or more processors, to facilitate the GPU to generate a target image based on the at least one set of raw images, each set of the at least one set of raw images corresponding to one of the at least one structured illumination direction.58.A non-transitory computer readable medium storing instructions, the instructions, when executed by at least one processor, causing the at least one processor to implement a method comprising:obtaining a plurality of sets of raw images generated by imaging an object in a plurality of structured illumination directions using an imaging device, each set of the plurality of sets of raw images corresponding to one of the plurality of structured illumination directions;generating an initial target image by performing frequency separation and combination on the plurality of sets of raw images; andperforming rolling reconstruction based on the initial target image, including:(a) . acquiring a new set of raw images corresponding to a specified direction of the plurality of structured illumination directions;(b) . updating the plurality of sets of raw images by replacing one set of raw images corresponding to the specified direction with the new set of raw images corresponding to the specified direction;(c) . generating an updated target image by performing frequency separation and combination on the updated plurality of sets of raw images; andin response to a termination condition of the rolling reconstruction being not satisfied, designating another direction of the plurality of structured illumination directions as the specified direction and repeating operations (a) - (c) to further update the target image.59.A non-transitory computer readable medium storing instructions, the instructions, when executed by at least one processor, causing the at least one processor to implement a method comprising:acquiring at least one first set of raw images by imaging, at a first imaging site, at a first wavelength channel, in at least one structured illumination direction, an object using an imaging device, each set of the at least one first set of raw images corresponding to one of the at least one structured illumination direction;acquiring at least one second set of raw images by imaging, at the first imaging site, at a second wavelength channel, in the at least one structured illumination direction, the object using the imaging device, each set of the at least one second set of raw images corresponding to one of the at leat one structured illumination direction; andgenerating a first target image by performing frequency separation and combination on the at least one first set of raw images;wherein the generating the first target image and the acquiring the at least one second set of raw images are performed synchronously.60.A non-transitory computer readable medium storing instructions, the instructions, when executed by at least one processor, causing the at least one processor to implement a method comprising:obtaining a plurality of sets of raw images generated by imaging an object in a plurality of structured illumination directions using an imaging device, each set of the plurality of sets of raw images corresponding to one of the plurality of structured illumination directions;estimating, for each direction of the plurality of structured illumination directions, one or more model parameters of a physical model associated with the imaging device based on a set of raw images corresponding to the each direction; andgenerating a target image by performing frequency separation and combination on the plurality of sets of raw images based on model parameters corresponding to the plurality of structured illumination directions.61.A non-transitory computer readable medium storing instructions, the instructions, when executed by at least one processor, causing the at least one processor to implement a method comprising:obtaining at least one set of raw images generated by imaging an object using an imaging device;generating at least one target image based on the at least one set of raw images;performing image processing and / or analysis on the at least one target image to obtain one or more image analysis results; anddetermining one or more imaging strategies to be used in subsequent imaging based on the one or more image analysis results.

Images