Digital microfluidic biosensors for biological signature detection and library preparation

Abstract

A biosensor for performing an integrated process of biological signature detection from a biological sample is provided. The biosensor comprises a control sub-system configured to generate control signals for controlling the integrated process of biological signature detection; and a fluidic sub-system configured to receive the biologic sample and generate droplets from the biological sample. The fluidic sub-system comprises a digital microfluidic device receiving the control signals to control movements of the droplets across surfaces of the digital microfluidic device. The biosensor further includes an imaging sub-system coupled to the digital microfluidic device. The imaging sub-system comprises a semiconductor-based image sensor positioned relative to the digital microfluidic device to enable performing at least one of: monitoring the movements of the droplets across surfaces of the digital microfluidic device, monitoring biochemical reactions, or sensing fluorescent signals and obtaining images of the fluorescent signals for biological signature detection.

Description

DIGITAL MICROFLUIDIC BIOSENSORS FOR BIOLOGICAL SIGNATURE DETECTION AND LIBRARY PREPARATIONFIELD OF TECHNOLOGY

[0001] The present disclosure relates generally to biological signature detection, and more specifically to systems, devices, and methods for performing an integrated process of biological signature detection from a biological sample, for detecting protein biomarkers based on enzyme-linked immunosorbent assays (ELISA) , for detecting protein biomarkers based on proximity extension assays (PEA) , and for preparing a library for high-throughput nucleotide sequencing.BACKGROUND

[0002] Sequencing is a method used to identify sequences of segments (also referred to as strands) of nucleic acid (e.g., DNA) molecules. Sanger sequencing is a first-generation sequencing technique that uses the sequencing-by-synthesis method. Historically, Sanger sequencing has a high degree of accuracy but is low in sequencing throughput. Second-generation sequencing techniques (also referred to as next generation sequencing or NGS techniques) massively increase the throughput of the synthesizing process by parallelizing many reactions similar to those in Sanger sequencing. Third-generation sequencing techniques allow direct sequencing of single nucleic acid molecules.SUMMARY

[0003] A biological molecule found in blood, other body fluids, or tissues can be a sign of a normal or abnormal process, or of a condition or disease. Protein biomarkers are a type of biological molecules. Currently, nearly ten thousand types of proteins are known to be secreted into the blood or other bodily fluids under normal physiological conditions or in the presence of disease, making them important molecular markers for assessing health status, early disease screening, diagnosis, and monitoring prognosis in clinical settings. However, there are currently very few trace biomarkers that can be detected through minimally invasive means for disease diagnosis. Furthermore, existing instruments for detecting low or ultra-low abundance proteins are challenging to be widely implemented in clinical settings due to factors such as size, operational complexity, and high cost. Therefore, there is a continuing need to develop precise biological signature detection devices for detecting low-abundance proteins. The devices should also be simple to operate and affordable. Such biological signature detection devices can be used for early screening, auxiliary diagnosis, and monitoring the prognosis of various diseases in clinical settings.

[0004] One process related to the biological signature detection is nucleotide acid sequencing, which is a process of determining the exact sequence of nucleotides in a DNA or RNA molecule. As described above, for performing nucleotide sequencing, NGS technologies may be used. The NGS technology uses a sequencing-by-synthesis process. One of the many steps in the sequencing-by-synthesis process is library preparation for nucleotide acid sequencing. The library preparation step involves a series of molecular biology operations on target DNA or RNA samples to transform them into a form suitable for high-throughput sequencing. Another process related to the biological signature detection is sensing the fluorescent signals to monitor the sequencing process and to obtain images of the fluorescent signals. The images of fluorescent signals can be obtained using high-throughput and high-resolution semiconductor-based image sensors.

[0005] The biological signature detection methods described herein also use biosensors that have digital microfluidic devices. Digital microfluidics technology is based on the principle of electrowetting-on-dielectric (EWOD) , combining techniques such as electrodes, magnets, and temperature control to generate and manipulate droplets and magnetic beads. Digital microfluidic devices can be used in biomedical applications, for example, in scenarios such as automated sample preparation strategies, immunoassays, molecular diagnostics, blood handling / testing, and microbiological analysis.

[0006] Furthermore, the biological signature detection methods described herein use deep learning models. In contrast to traditional algorithms, deep learning models can enhance analytical efficiency through automatically learning features from raw data, thereby reducing the demand of manual feature engineering. Deep learning models have improved capability of handling high-dimensional data and effectively capturing complex patterns and correlations, and have demonstrated higher predictive accuracy compared to traditional models.

[0007] Currently, certain challenges exist when biological signature detection is performed for a biological sample that has a low abundance level (e.g., at a single molecular level) . For example, it is difficult to detect ultra-low abundance or single-molecule protein biomarker samples in an ultra-sensitive, highly-accurate, low-cost, and timely manner. The reasons for such difficulties include the fact that the existing protein detection instruments either lack sufficient sensitivity and accuracy or have very high associated cost. In addition, it usually takes a long time (e.g., days or weeks) for performing data analysis and generating reports.

[0008] The present disclosure provides an integrated biosensor (e.g., an all-in-one platform) by combining a semiconductor-based image sensor with digital microfluidic technologies to realize ultra-sensitive, highly-accurate, and low-cost biological signature detection. The biosensor described herein can also improve the speed and reduce the cost of the automatic library preparation process. At the same time, the biosensor described herein also integrates deep learning models into the all-in-one platform to shorten the time required for data analysis and report generation.

[0009] Embodiments of the present invention relate to configuring a biosensor including a digital microfluidic device for ultra-sensitive, highly accurate, low-cost, and rapid biological signature (e.g., protein biomarkers) detection even when the biological sample is at ultra-low abundance or single-molecule level. Embodiment of present invention further provide methods for fast and automatic library preparation, based on an ultra-sensitive semiconductor-based image sensor (e.g., CMOS sensor) , a digital microfluidic device, and deep learning algorithms. The various types of biosensors described herein combines a digital microfluidic device with a semiconductor-based image sensor, and in some embodiments, integrate them together. In one example, the digital microfluidic device is configured to generate and control droplets where biochemical reactions of protein detection or library preparation take place; and the semiconductor-based image sensor is used to monitor droplet movement and collect optical signals for biological signature detection (e.g., protein biomarkers detection) or library quality control. Finally, the collected images data are analyzed by deep learning models to realize high accuracy detection and fast diagnosis.

[0010] These and other embodiments are described more fully below.BRIEF DESCRIPTION OF THE DRAWINGS

[0011] FIG. 1 illustrates an exemplary biosensor for performing an integrated process of biological signature detection in accordance with an embodiment of the present invention;

[0012] FIG. 2 illustrates an exemplary sequencing-by-synthesis process in accordance with an embodiment of the present invention;

[0013] FIG. 3A is a block diagram illustrating a biosensor for ultra-sensitive biological signature detection and automatic library preparation in accordance with an embodiment of the present invention;

[0014] FIG. 3B is a flowchart illustrating a method of an integrated process of biological signature detection performed by a biosensor in accordance with an embodiment of the present invention;

[0015] FIG. 3C is a diagram illustrating a process of generating a diagnostic report based on image data using deep learning models, in accordance with an embodiment of the present invention;

[0016] FIG. 4A (a) is a top view diagram for illustrating a first type biosensor in accordance with an embodiment of the present invention;

[0017] FIG. 4A (b) is a side view diagram for illustrating a first type biosensor in accordance with an embodiment of the present invention;

[0018] FIG. 4A (c) is an example image of fluorescent signals for biological signature detection, in accordance with an embodiment of the present invention;

[0019] FIG. 4B (a) is a top view diagram for illustrating a second type biosensor in accordance with an embodiment of the present invention;

[0020] FIG. 4B (b) is a side view diagram for illustrating a second type biosensor in accordance with an embodiment of the present invention;

[0021] FIG. 4C (a) is a top view diagram for illustrating a third type biosensor in accordance with an embodiment of the present invention;

[0022] FIG. 4C (b) is a top view diagram for illustrating a digital microfluidic device of the third type biosensor in accordance with an embodiment of the present invention;

[0023] FIG. 4C (c) is a top view diagram for illustrating a semiconductor-based image sensor of the third type biosensor in accordance with an embodiment of the present invention;

[0024] FIG. 4C (d) is a side view diagram for illustrating the third type biosensor in accordance with an embodiment of the present invention;

[0025] FIG. 4D is side view and a perspective view of a digital microfluidic device in accordance with an embodiment of the present invention;

[0026] FIG. 5 is a block diagram illustrating an example image sub-system configured to sense fluorescent signals and obtain images of the fluorescent signals, in accordance with an embodiment of the present invention;

[0027] FIG. 6A is a flowchart illustrating a method performed by a biosensor for detecting protein biomarkers based on enzyme-linked immunosorbent assays (ELISA) , in accordance with an embodiment of the present invention;

[0028] FIG. 6B illustrates an example biosensor for detecting protein biomarkers based on enzyme-linked immunosorbent assays (ELISA) , in accordance with an embodiment of the present invention;

[0029] FIG. 7A is a flowchart illustrating a method performed by a biosensor for detecting protein biomarkers based on proximity extension assays (PEA) in accordance with an embodiment of the present invention;

[0030] FIG. 7B illustrates an example biosensor for detecting protein biomarkers based on proximity extension assays (PEA) , in accordance with an embodiment of the present invention

[0031] FIG. 8A is a flowchart illustrating a method performed by a biosensor configured to prepare a library for high-throughput nucleotide sequencing in accordance with an embodiment of the present invention;

[0032] FIG. 8B (a) is a top view diagram for illustrating a biosensor configured to prepare a library for high-throughput nucleotide sequencing in accordance with an embodiment of the present invention;

[0033] FIG. 8B (b) and 8B (c) are side view diagrams for illustrating a biosensor configured to prepare a library for high-throughput nucleotide sequencing in accordance with an embodiment of the present invention; and

[0034] FIG. 9 illustrates a block diagram of an exemplary computing device that may incorporate embodiments of the present invention.

[0035] While the embodiments of the present invention are described with reference to the above drawings, the drawings are intended to be illustrative, and other embodiments are consistent with the spirit, and within the scope, of the invention.DETAILED DESCRIPTION

[0036] The various embodiments now will be described more fully hereinafter with reference to the accompanying drawings, which form a part hereof, and which show, by way of illustration, specific examples of practicing the embodiments. This specification may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein; rather, these embodiments are provided so that this specification will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Among other things, this specification may be embodied as methods or devices. Accordingly, any of the various embodiments herein may take the form of an entirely hardware embodiment, an entirely software embodiment or an embodiment combining software and hardware aspects. The following specification is, therefore, not to be taken in a limiting sense.

[0037] A biological molecule found in blood, other body fluids, or tissues can be a sign of a normal or abnormal process, or of a condition or disease. Protein biomarkers are a type of biological molecules. Proteins are fundamental building blocks of life. Proteins carry out the basic functions essential for life activities. Currently, nearly ten thousand types of proteins are known to be secreted into the blood or other bodily fluids under normal physiological conditions or in the presence of diseases, making them important molecular markers for assessing health status, early disease screening, diagnosis, and monitoring prognosis in clinical settings. In particular, blood samples play a crucial role in clinical diagnosis and precision medicine research. Specifically, blood protein biomarkers have been particularly instrumental in the diagnosis of, for example, cardiovascular diseases, cancers, infectious diseases, neurodegenerative disorders, metabolic syndromes, and other medical conditions. Especially in the early stages of disease, the concentration of relevant protein biomarkers may be diluted by human’s circulatory system; or they may be difficult to detect in the blood due to physiological barriers, such as the blood-brain barrier. As a result, it is usually difficult to detect a trace amount of protein biomarkers produced during the early stages of diseases like neurodegenerative disorders and tumors. This difficulty hinders the clinical application of protein biomarker detection in early stages of diseases.

[0038] Due to the aforementioned problems, there are currently very few trace biomarkers that can be detected through minimally invasive means for disease diagnosis. Furthermore, existing instruments for detecting low or ultra-low abundance proteins are challenging to widely implement in clinical settings due to factors such as size, operational complexity, and high cost. Therefore, there is a continuing need to develop precise biological signature detection devices based on low-abundance proteins. The biological signature detection devices should also be simple to operate and affordable, thereby expanding the number and types of disease markers that can be detected. The biological signature detection devices can be used for early screening, auxiliary diagnosis, and monitoring the prognosis of various diseases in clinical settings. While the description herein uses protein biomarkers as an example, it is understood that the biosensors and methods described herein can also be used to perform integrated processes of detecting and characterizing other types of biological signatures, like detecting nucleotide acids (e.g., DNA) or other genetic materials from biological threat agents, emerging diseases, and protein toxins.

[0039] One process related to the biological signature detection is nucleotide acid sequencing, which is a process of determining the exact sequence of nucleotides in a DNA or RNA molecule. Thus, it may also be referred to as DNA sequencing, RNA sequencing, or gene sequencing. As described above, for performing nucleotide sequencing, NGS technologies may be used. The NGS technology uses a sequencing-by-synthesis process. One of the many steps in the sequencing-by-synthesis process is library preparation for nucleotide acid sequencing. The library preparation step involves a series of molecular biology operations on target DNA or RNA samples to transform them into a form suitable for high-throughput sequencing instruments such as the biosensors described below. The sequencing-by-synthesis process primarily includes fragmentation of the sample DNA / RNA, end repair, A-tailing, adapter ligation, PCR amplification, and library purification. Following this, the prepared library samples may undergo quality control and quantification before proceeding to further sequencing. The sequencing-by-synthesis process is described in greater detail below in connection with FIG. 2.

[0040] Another process related to the biological signature detection is sensing the fluorescent signals to monitor the sequencing process and to obtain images of the fluorescent signals. Semiconductor-based image sensors are emerging image sensor technologies that offer unique sensitivity advantages compared to traditional image acquisition methods using charge-coupled devices (CCDs) . One type of semiconductor-based image sensor is a complementary metal-oxide-semiconductor (CMOS) image sensor. CMOS image sensors, primarily used for detecting and capturing photons, exhibit excellent performance in low-light conditions, achieving low readout noise, low dark current, wide dynamic range, and high quantum efficiency (QE) , thus enhancing detection sensitivity and reliability to the level of single-molecule analysis.

[0041] The biologic signature detection described herein also uses digital microfluidic devices. Digital microfluidics technology is based on the principle of electrowetting-on-dielectric (EWOD) , combining techniques such as electrodes, magnets, and temperature control to generate and manipulate droplets and magnetic beads. Digital microfluidic devices can be used in biomedical applications, for example, in scenarios such as automated sample preparation strategies, immunoassays, molecular diagnostics, blood handling / testing, and microbiological analysis.

[0042] In the biologic signature detection process described here, deep learning models are used to analyze the images captured by the semiconductor-based image sensors and to perform other data analysis. In contrast to traditional algorithms, deep learning models can enhance analytical efficiency by automatically learning features from raw data and thus reducing the demand of manual feature engineering. Deep learning models have improved capabilities of handling high-dimensional data and effectively capturing complex patterns and correlations, and have demonstrated higher predictive accuracy compared to traditional models. Therefore, deep learning models have shown potential in life science areas such as sequence alignment, variant detection, gene expression analysis, epigenetic studies, protein structure prediction, and clinical applications. One type of the machine learning model is a large-language model (LLM) . LLMs have demonstrated to be useful in various fields, significantly increasing efficiency. In the fields of medical and healthcare, for example, LLMs show enhanced capabilities, like analyzing vast amounts of data and providing unprecedented support in areas such as diagnostics, treatment planning, and personalized medicine. LLMs’a bility to understand and generate human-like text accelerates advancements, making healthcare delivery more efficient, accurate, and accessible.

[0043] Currently, certain challenges exist in biological signature detection at low abundance level. For example, it is difficult to detect ultra-low abundance or single-molecule protein biomarkers in a biological sample in an ultra-sensitive, highly-accurate, low-cost, and timely manner. The reasons for such difficulties include the fact that the existing protein detection instruments lack sufficient sensitivity and accuracy and / or have very high associated costs. In addition, it usually takes a long time (e.g., days or weeks) for performing data analysis and generating reports.

[0044] Example existing instrument for detecting ultra-low abundance or single-molecule proteins are based on the SiMoA (Single Molecule Array) method. It is a single-molecule immunoassay technique based on microarray. It captures immune complexes in microwells and counts fluorescent signal spots using high-resolution fluorescence microscopy, thereby enabling the detection of protein concentrations. This instrument has extremely high sensitivity and is referred to as digital ELISA (enzyme-linked immunosorbent assays) , offering sensitivity that is much greater than traditional ELISA methods. The existing instrument based on SiMoA method, however, requires the use of a microscope, resulting in a bulky instrument. The instrument also has a high associated cost and low throughput, making the detection of protein biomarkers inefficient and slow.

[0045] Another example of detecting proteins is based on the PEA (Proximity Extension Assay) method and q-PCR or NGS readout. The PEA technology combines the antibody-and DNA-based methodologies to provide a unique way of detecting proteins. The exponential amplification properties of PCR are utilized in PEA to achieve a strong readout signal, providing assay sensitivity on par or better than traditional enzyme-linked immunosorbent assays (ELISAs) . This existing instrument that uses the PEA technology, however, requires signal reading in conjunction with qPCR or NGS. As a result, it is not an integrated solution and also suffers from being bulky and expensive.

[0046] Furthermore, many existing instruments need quiet hours to analyze data and generate clinical reports including recommendations on disease diagnosis results and therapeutic regimens. The protein detection processes based on these existing instruments therefore require experienced experts to review a large amount of documentation, and such experts are in short supply, whether in large high-level hospitals or in community or rural clinics. Consequently, the results provided by the existing instruments cannot be delivered to the patient or released in a timely manner.

[0047] As described above, library preparation is one of the many steps in a sequencing-by-synthesis process for biological signature detection. Library preparation for gene sequencing also requires significant time spent by skilled personnel (e.g., 4 hours) , who perform manual library construction experiments with low input / output ratios and with additional library quality control equipment. Although some existing instrument enables fully automated library construction without the need for extra library quality control equipment, it is expensive, costing tens of thousands of dollars.

[0048] Therefore, there is a continuing need to develop an integrated biosensor (e.g., an all-in-one platform) to realize ultra-sensitive, highly-accurate, and low-cost biological signature detection. The biosensor described herein combines a semiconductor-based image sensor with digital microfluidic technologies, thereby improving the biological signature detection precision and speed, and reducing the cost of the automatic library preparation process. At the same time, the biosensors described herein also integrate deep learning models into the all-in-one platform to shorten the time required for subsequent data analysis and report generation. The present disclosure provides a real time monitoring system throughout the digit fluidic droplet manipulation process, which can reveal more information for each stages of the protein molecules sensing. Moreover, the present disclosure also provides techniques using nanoscale wells (or no wells) with droplets combination coupled with ELISA fluorescent method for protein biomarker detection. The details of the techniques are described below.

[0049] In the present disclosure, example biosensors with ultra-sensitive semiconductor-based (e.g., CMOS) image sensor, digital microfluidic device, and deep learning models are provided. In one example, the biosensor is an integrated apparatus that is compact and has low cost. The biosensor can detect biological signatures (e.g., protein biomarkers) in an ultra-sensitive, highly-accurate, low-cost and rapid manner, even when the biological signature in the sample is at ultra-low abundance or single-molecule level.

[0050] Embodiments of the present invention discussed herein provide a biosensor for performing an integrated process of biological signature detection from a biological sample. The biosensor comprises a control sub-system configured to generate control signals for controlling the integrated process of biological signature detection; and a fluidic sub-system configured to receive the biologic sample and generate droplets from the biological sample. The fluidic sub-system comprises a digital microfluidic device receiving the control signals to control movements of the droplets across surfaces of the digital microfluidic device. The biosensor further includes an imaging sub-system coupled to the digital microfluidic device. The imaging sub-system comprises a semiconductor-based image sensor positioned relative to the digital microfluidic device to enable performing at least one of: monitoring the movements of the droplets across surfaces of the digital microfluidic device, monitoring biochemical reactions, or sensing fluorescent signals and obtaining images of the fluorescent signals for biological signature detection.

[0051] Embodiments of the present invention also provide a method performed by a biosensor for detecting protein biomarkers based on enzyme-linked immunosorbent assays (ELISA) . The method comprises receiving a biological sample for performing the protein biomarkers detection; distributing, by a fluidic sub-system of the biosensor, the biological sample to a digital microfluidic device of the biosensor to form a plurality of droplets of the biological sample; receiving one or more types of reagents including antibodies; controlling, by a control sub-system of the biosensor, the plurality of droplets of the biological sample to be positioned in wells at the bottom of the digital microfluidic device; and sensing, by a semiconductor-based image sensor, fluorescent signals generated by biochemical reactions enabled by the antibodies in the digital microfluidic device. The semiconductor-based image sensor is vertically stacked with the digital microfluidic device to obtain images of the fluorescent signals for protein biomarkers detection.

[0052] Embodiments of the present invention also provide a method performed by a biosensor for detecting protein biomarkers based on proximity extension assays (PEA) . The method comprises: receiving a biological sample for performing the protein biomarkers detection; distributing the biological sample to a first portion of a digital microfluidic device of the biosensor to form a plurality of droplets of the biological sample; performing, by a control sub-system of the biosensor: moving one or more of the plurality of droplets of the biological sample from the first portion to one or more intermediate portions of the digital microfluidic device to enable one or more biochemical reactions based on one or more types of reagents including antibodies conjugated with DNA; moving one or more of the plurality of droplets of the biological sample from the one or more intermediate portions to the last portion of the digital microfluidic device; and sensing, by a semiconductor-based image sensor, fluorescent signals generated by the one or more biochemical reactions. The semiconductor-based image sensor is at least partially vertically stacked with the digital microfluidic device to obtain images of the fluorescent signals for PEA-based protein biomarkers detection.

[0053] Embodiments of the present invention also provide a method performed by a biosensor for preparing a library for high-throughput nucleotide sequencing. The method comprises receiving a biological sample for library preparation; distributing the biological sample to a first portion of a digital microfluidic device of the biosensor to form a plurality of droplets of the biological sample; performing, by a control sub-system of the biosensor: moving one or more of the plurality of droplets of the biological sample from the first portion to one or more intermediate portions to enable biochemical reactions based on at least a library preparation reagent; moving the one or more of the plurality of droplets of the biological sample from the one or more intermediate portions to the last portion of the digital microfluidic device; sensing, by a semiconductor-based image sensor, fluorescent signals generated by at least some of the biochemical reactions. The semiconductor-based image sensor is at least partially vertically stacked with the digital microfluidic device to obtain images of the fluorescent signals for library preparation. Structure of a biosensor for performing an integrated process of biological  signature detection from a biological sample

[0054] FIG. 1 is a block diagram illustrating an exemplary biosensor 100 for performing an integrated process of biological signature detection. For example, biosensor 100 can be used to detect protein biomarkers based on enzyme-linked immunosorbent assays (ELISA) , detect protein biomarkers based on proximity extension assays (PEA) , and / or prepare a library for high-throughput nucleotide sequencing. Biosensor 100 may include an analytical system 110. As illustrated in FIG. 1, in one example, analytical system 110 includes an optical sub-system 120, an imaging sub-system 118, a fluidic sub-system 112, a control sub-system 114, sensors 116, and a power sub-system 122. Analytical system 110 can be used to perform next-generation sequencing (NGS) reactions and produce fluorescence images 140 captured during multiple synthesis cycles. Fluorescence images 140 are also referred to as images 140 of fluorescence signals. These images 140 are provided to computing device (s) 103 for further processing, such as monitoring the movements of droplets across the surfaces of the digital microfluidic device, biological signature detection (e.g., basecalling and subsequent data analyses including, for example, variant detection, genome alignments, and pathogenic detection) , diagnostic report generation, report analysis, and / or providing clinical advice.

[0055] Referencing FIG. 1, one or more flowcell (s) 132 are provided to analytical system 110. A flowcell is a slide where the sequencing reactions occur. Flowcells can be patterned or un-patterned flowcells. The following description use un-patterned flowcells as examples because they have certain advantageous over patterned flowcells. For example, the clusters formed on an un-patterned flowcell can be controlled to form clusters having desired density, spatial arrangements and sizes. The patterned flowcell, on the other hand, has arrays of nanoscale wells and therefore may limit the cluster formation manner. The biosensors described in the present disclosure can operate using either patterned flowcells or un-patterned flowcells. For simplicity, un-patterned flowcells are used for illustration.

[0056] In some examples, each of the un-patterned flowcells has a planar surface without any wells or tiles. Numerous clusters are controllably generated on the surface of a flowcell and form a logical unit for imaging and data processing. FIG. 2 illustrates a flowcell 132 and also illustrates a portion 208 of flowcell 132. Clusters of strands are formed on the portion 208, and similarly many other portions of flowcell 132. The synthesis process occurs in flowcell 132 and is described below in more detail.

[0057] Referencing FIG. 1, optical sub-system 120, imaging sub-system 118, and sensors 116 are configured to perform various functions including providing an excitation light, guiding or directing the excitation light (e.g., using an optical waveguide or an optical fiber) , detecting light emitted from samples as a result of the excitation light, and converting photons of the detected light to electrical signals. For example, optical sub-system 120 includes an excitation optical module and one or more light sources, an optical waveguide, and / or one or more filters. In some embodiments, the excitation optical module and the light source (s) include laser (s) and / or light-emitting diode (LED) based light source (s) that generate and emit excitation light. The excitation light can have a single wavelength, a plurality of wavelengths, or a wavelength range (e.g., wavelengths between 200 nm to 1600 nm) . For instance, if analytical system 110 has a four-fluorescence channel configuration, optical sub-system 120 uses four different fluorescent lights having different wavelengths to excite four different corresponding fluorescent dyes (one for each of the bases A, G, T, C) .

[0058] In some embodiments, the excitation optical module can include further optical components such as beam shaping optics to form uniform collimated light. The excitation optical module can be optically coupled to an optical waveguide. For example, one or more of grating (s) , mirror (s) , prism (s) , diffuser (s) , and other optical coupling devices can be used to direct the excitation lights from the excitation optical module toward the optical waveguide.

[0059] In some embodiments, the optical waveguide can include three parts or three layers-afirst light-guiding layer, a fluidic reaction channel, and a second light-guiding layer. The fluidic reaction channel may be bounded by the first light-guiding layer on one side (e.g., the top side) and bounded by the second light-guiding layer on the other side (e.g., the bottom side) . The fluidic reaction channel can be used to dispose flowcell (s) 132 bearing droplets of the biological sample. The fluidic reaction channel can be coupled to, for example, fluidic pipelines in fluidic sub-system 112 to receive and / or exchange liquid reagent. A fluidic reaction channel can be further coupled to other fluidic pipelines to deliver liquid reagent to the next fluidic reaction channel or a pump / waste container.

[0060] In some embodiments, the fluorescent excitation lights are delivered to flowcell (s) 132 without using an optical waveguide. For example, the fluorescent lights can be directed from the excitation optical module to flowcell (s) 132 using free-space optical components such as lens, grating (s) , mirror (s) , prism (s) , diffuser (s) , and other optical coupling devices.

[0061] As described above, fluidic sub-system 112 delivers various reagents to flowcell (s) 132 directly or through a fluidic reaction channel using fluidic pipelines. Fluidic sub-system 112 performs reagent exchange or mixing, and dispose waste generated from the liquid photonic system. One embodiment of fluidic sub-system 112 is a microfluidics sub-system, which can process small amount of fluidics using channels measuring from tens to hundreds of micrometers. A microfluidics sub-system allows accelerating PCR processes, reducing reagent consumption, reaching high throughput assays, and integrating pre-or post-PCR assays on-chip. In some examples, the microfluidics sub-system includes one or more digital microfluidic devices. A digital microfluidic device (DMF) is a type of lab-on-a-chip technology that manipulates tiny droplets of liquids (e.g., on the scale of nanoliters to microliters) on a surface using electrical signals. Unlike traditional microfluidics, where fluids flow through microchannels, digital microfluidics uses discrete droplets that are moved by controlling surface tension through the application of electrical potentials. As described in greater detail below, a digital microfluidic device can include an electrode array, a dielectric layer, a hydrophobic coating, and a top plate. The digital microfluidic device can move liquid droplets which may contain chemicals, biological samples, or reagents. The droplets can be moved, merged with other droplets, split, or mixed.

[0062] In some embodiments, fluidic sub-system 112 can include one or more reagents, one or more multi-port rotary valves, one or more pumps, and one or more waste containers. The one or more reagents can be sequencing reagents in which sequencing samples are disposed, specific protein detection reagent, purify reagent, and / or any other reagents. Different reagents can include the same or different chemicals or solutions (e.g., nucleic acid primers) for analyzing different samples. Biological samples that can be analyzed using the systems described in this application include, for example, fluorescent or fluorescently-labeled biomolecules such as nucleic acids, nucleotides, deoxyribonucleic acid (DNA) , ribonucleic acid (RNA) , peptide, or proteins. In some embodiments, fluorescent or fluorescently-labeled biomolecules include fluorescent markers capable of emitting light in one, two, three, or four wavelength ranges (e.g., emitting red and yellow lights) when the biomolecules are provided with an excitation light. The emitted light from the fluidic sub-system 112 can be further processed (e.g., filtered) before they reach the image sensors.

[0063] With reference to FIG. 1, analytical system 110 further includes a control sub-system 114 and a power sub-system 122. Control sub-system 114 can be configured (e.g., via software) to control various aspects of the analytical system 110. For example, control sub-system 114 can include hardware and software to control the operation of optical sub-system 120 (e.g., control the excitation light generation) , fluidic sub-system 112 (e.g., control the multi-port rotary valve and pump) , and power sub-system 122 (e.g., control the power supply of the various systems shown in FIG. 1) . It is understood that various sub-systems of analytical system 110 of biosensor 100 shown in FIG. 1 are for illustration only. Analytical system 110 can include more or fewer sub-systems than shown in FIG. 1. Moreover, one or more sub-systems included in analytical system 110 can be combined, integrated, or divided in any manner that is desired.

[0064] Referencing FIG. 1, analytical system 110 of biosensor 100 includes an imaging sub-system 118. In some embodiments, imaging sub-system 118 has one or more image sensor (s) 116. Sensor (s) 116 detect photons of light emitted from the biological sample and convert the photons to electrical signals. Sensor (s) 116 are also referred to as image sensor (s) . An image sensor can be a semiconductor-based image sensor (e.g., silicon-based CMOS sensor) or a charge-coupled device (CCD) image sensor. A semiconductor-based image sensor can be a backside illumination (BSI) based image sensor or a front side illumination (FSI) based image sensor. In some embodiments, sensor (s) 116 may include one or more filters to remove scattered light or leakage light while allowing a substantial portion of the light emitted from the biological sample to pass. Filters can thus improve an image sensor’s signal-to-noise ratio. An example high-throughput image sensor 116 is described in more detail below in connection with FIG. 5 (shown as sensor 500 in FIG. 5) .

[0065] The photons detected by sensor (s) 116 are processed by a signal processing circuitry 117 of imaging sub-system 118. An imaging sub-system 118 also includes a signal processing circuitry 117, which is electrically coupled to sensor (s) 116 to receive electrical signals generated by sensor (s) 116. In some embodiments, the signal processing circuitry 117 can include one or more charge storage elements, an analog signal readout circuitry, and a digital control circuitry. In some embodiments, the charge storage elements receive or read out electrical signals generated in parallel based on substantially all photosensitive elements of an image sensor 116 (e.g., using a global shutter) ; and transmit the electrical signals to the analog signal read-out circuitry. The analog signal read-out circuitry may include, for example, an analog-to-digital converter (ADC) , which converts analog electrical signals to digital signals.

[0066] In some embodiments, after the signal processing circuitry 117 of imaging sub-system 118 converts analog electrical signals to digital signals, it can transmit the digital signals to a data processing system to produce digital images such as fluorescence images 140 (also referred to as images of fluorescence signals) . For example, the data processing system can perform various digital signal processing (DSP) algorithms (e.g., compression) for high-speed data processing. In some embodiments, at least a part of the data processing system can be integrated with the signal processing circuitry 117 on a same semiconductor die or chip. In some embodiments, at least a part of the data processing system can be implemented separately from the signal processing circuitry 117 (e.g., using a separate DSP chip or cloud computing resources) . Thus, data can be processed and shared efficiently to improve the performance of the sample analytical system 110. It is appreciated that at least a portion of the signal processing circuitry 117 and data processing system in imaging sub-system 118 can be implemented using, for example, CMOS-based application specific integrated circuits (ASIC) , field programmable gate array (FPGA) , discrete IC technologies, and / or any other desired circuit techniques. One such example of circuitry for implementing the data processing system and / or the signal processing circuitry 117 is shown in FIG. 9 and described below.

[0067] It is further appreciated that power sub-system 122, optical sub-system 120, imaging sub-system 118, sensor (s) 116, signal processing circuitry 117, control sub-system 114, and fluidic sub-system 112 may be separate systems or components or may be integrated with one another. The combination of at least a portion of optical sub-system 120, imaging sub-system 118, and sensors 116 is sometimes also referred to as a liquid photonic system.

[0068] Referencing FIG. 1, analytical system 110 of biosensor 100 provides fluorescence images 140 and / or other data to computing device (s) 103 to perform further processes including image preprocessing, cluster detection, feature extraction, basecalling, droplets monitoring, biochemical reaction monitoring, data analysis (e.g., variant calling, genome alignment, pathogenic detection, etc. ) , and diagnostic reporting. Instructions for implementing one or more deep learning neural networks 102 reside on computing device (s) 103 in computer program product 104 which is stored in storage 105 and those instructions are executable by processor 106. One or more deep learning neural networks 102 can be used for performing various processes described below. When processor 106 is executing the instructions of computer program product 104, the instructions, or a portion thereof, are typically loaded into working memory 109 from which the instructions are readily accessed by processor 106. In one embodiment, computer program product 104 is stored in storage 105 or another non-transitory computer readable medium (which may include being distributed across media on different devices and different locations) . In alternative embodiments, the storage medium is transitory.

[0069] In one example, processor 106 in fact comprises multiple processors which may comprise additional working memories (additional processors and memories not individually illustrated) including a graphics processing unit (GPU) comprising at least thousands of arithmetic logic units supporting parallel computations on a large scale. Other embodiments comprise one or more specialized processing units comprising systolic arrays and / or other hardware arrangements that support efficient parallel processing (e.g., tensor processing units or TPUs, neural processing units or NPUs, programmable logic devices or PLDs) . In some embodiments, such specialized hardware works in conjunction with a CPU and / or GPU to carry out the various processing described herein. In some embodiments, such specialized hardware comprises application specific integrated circuits and the like (which may refer to a portion of an integrated circuit that is application-specific) , field programmable gate arrays and the like, or combinations thereof. In some embodiments, however, a processor such as processor 106 may be implemented as one or more general purpose processors (preferably having multiple cores) without necessarily departing from the spirit and scope of the present invention. As described below, the processor 106 can enable biosensors described herein to perform an integrated process of basecalling, analyzing the sequencing data, and providing the diagnosis outputs based on the biological sample.

[0070] User device 107 incudes a user interface 108 for displaying results of processing carried out by the one or more deep learning neural networks 102. The results may be, for example, a diagnostic report. In alternative embodiments, a neural network such as neural network 102, or a portion of it, may be stored in storage devices and executed by one or more processors residing on analytical system 110 and / or user device 107. Such alternatives do not depart from the scope of the invention. User device 107 can be, for example, integrated in biosensor 100 for providing user interface 108 to facilitate user interaction with the biosensor 100. In other examples, user device 107 can be a separate device from biosensor 100.

[0071] In FIG. 1, some or all of the sub-systems can be included in a single housing, thereby making biosensor 100 a standalone all-in-one machine, as shown in FIG. 3A. For example, the fluidic sub-system 112, the imaging sub-system 118, the processor 106, the user device 107 including user interface 108, and optionally one or more other sub-systems (e.g., the control sub-system 114, the optical sub-system 120, etc. ) are all mounted inside a same housing. With this all-in-one machine, a user can perform sample analyzing, sequencing, basecalling, subsequent data analysis, and diagnosis reporting using the same apparatus, thereby significantly cutting down the processing time and cost. Furthermore, biosensor 100 combines semiconductor-based image sensors that have high-throughput and digital microfluidic devices, such that the biological signature detection can be performed even when the sample is at low abundance or single molecule level. The details are described below. Sequencing-by-Synthesis

[0072] As described above, biosensor 100 can be used to perform biological signatures detection, even at a very low abundance level. FIG. 2 illustrates an exemplary sequencing-by-synthesis process 200 using an analytical system (e.g., system 110) of biosensor 100 in accordance with an embodiment of the present invention. In step 1 of process 200, the analytical system heats up a biological sample to break apart the two strands of a DNA molecule. One of the single strands will be used as the DNA template strand. FIG. 2 illustrates such a DNA template strand 202, which can be a genomic DNA. A genomic DNA is the complete DNA sequence of an organism’s genome, which is the total genetic information of an organism. Template strand 202 may be a strand that includes a sequence of nucleotide bases (e.g., a long sequence having few hundreds or thousands of bases) . It is understood that there may be many such templated strands generated from using the polymerase chain reaction (PCR) techniques. It is further understood that there may also be other isolation and purification processes applied to the biological sample to obtain the DNA template strands.

[0073] In step 2 of process 200, the analytical system generates many DNA fragments from the DNA template strand 202. These DNA fragments, such as fragments 204A-204D shown in FIG. 2, are smaller pieces containing fewer number of nucleotide bases. These DNA fragments can thus be sequenced in a massively parallel manner to increase the throughput of the sequencing process in NGS. Step 3 of process 200 performs adapter ligation. Adapters are oligonucleotides with sequences that are complementary to the priming oligos disposed on the flowcell (s) . The ends of the nucleic acid fragments are ligated with adapters to obtain ligated DNA fragments (e.g., 206A-D) to enable the subsequent sequencing process.

[0074] The DNA fragmentation and adapter ligation steps prepare the nucleic acids to be sequenced. These prepared, ready-to-sequence samples are referred to as “libraries” because they represent a collection of molecules that are sequenceable. After the DNA fragmentation and adapter ligation steps, the analytical system generates a sequencing library representing a collection of DNA fragments with adapters attached to their ends. In some embodiments, prepared libraries are also quantified (and normalized if needed) so that an optimal concentration of molecules to be sequenced is loaded to the system. In some embodiments, other processes may also be performed in the library preparation process. Such processes may include size selection, library amplification by PCR, and / or target enrichment.

[0075] After library preparation, process 200 proceeds to step 4 for clonal amplification to generate clusters of DNA fragment strands (also referred to as template strands) . In this step, each of the DNA fragments is amplified or cloned to generate thousands of identical copies. These copies form clusters so that fluorescent signals of the clusters in the subsequent sequencing reaction are strong enough to be detected by the analytical system. One such amplification process is known as bridge amplification. In a bridge amplification process, a portion 208 of flowcell 132 is used and priming oligos are disposed on the flowcell 132. In some examples, flowcell 132 is an un-patterned flowcell and thus does not include any wells (e.g., nanoscale wells or microscale wells) like patterned flowcells. Thus, the surface of the flowcell 132 is planar. As a result, the surface properties of the flowcell 132 can be uniform or consistent without variation or disruption, thereby minimizing the impact on biochemical reactions and cluster formation. Different portions of flowcell 132 can be substantially the same and the planar surface of flowcell 132 enables intelligent control of the cluster formation. Details of using un-patterned flowcells can be found in co-pending International Application No. PCT / CN2024 / 135118, attorney docket No. G1329.10007WO01, filed on November 28, 2024, the content of which is incorporated by reference on its entirety for all purposes.

[0076] Continuing with the process 200 shown in FIG. 2, each DNA fragment in the library anneals to the primer oligo disposed on a portion 208 of flowcell 132 via the adapters attached to the DNA fragment. The complementary strand of a ligated DNA fragment is then synthesized. The complementary strand folds over and anneals with the other type of primer oligo disposed on the portion 208 of flowcell 132. A double-stranded bridge is thus formed after synthesis of the complementary strand.

[0077] The double-stranded bridge is denatured, forming two single strands attached to the portion 208 of flowcell 132. This process of bridge amplification repeats many times. The double-stranded clonal bridges are denatured, the reverse strands are removed, and the forward strands remain as clusters for subsequent sequencing. Two such clusters of strands are shown as clusters 214 and 216 in FIG. 2. Many clusters having different DNA fragments can be attached to the flowcell 132 at a same portion 208 or different portions. For example, cluster 214 may be a cluster of ligated fragmented DNA 206A disposed on portion 208; and cluster 216 may be a cluster of ligated fragmented DNA 206B also disposed on portion 208. The subsequent sequencing can be performed in parallel to some or all of these different clusters disposed on a portion and in turn, some or all the clusters disposed on many portions of the flowcell (s) . The sequencing process can thus be massively parallel.

[0078] Referencing FIG. 2, after the clonal amplification in step 4, process 200 proceeds to step 5, where the clusters are sequenced by synthesis (SBS) . In this SBS step, nucleotides are incorporated by a DNA polymerase into the complementary DNA strands of the clonal clusters of the DNA fragments one base at a time in each synthesis cycle. For example, as shown in FIG. 2, if cycle 1 is a beginning cycle, a first complementary nucleotide base is incorporated to the complementary DNA strand of each strand in cluster 214. FIG. 2 only shows one strand in cluster 214 for simplicity. But it is understood that similar processes can occur to some or all other strands of cluster 214, some or all other clusters on portion 208 of flowcell 132, some or all other portions, and some or all other flowcells. This synthesis process repeats in cycle 2, where a second complementary nucleotide base is incorporated to the complementary DNA strand. This synthesis process then repeats in cycles 3, 4, and so on, until complementary nucleotide bases are incorporated for all bases in the template strand 206A or until a predetermined number of cycles is reached. Thus, if the template strand 206A has “n” nucleotide bases, there may be “n” cycles or a predetermined number of cycles (less than “n” ) for the entire sequencing-by-synthesis process. The complementary strand 207A is at least partially completed after all the synthesis cycles. In some embodiments, this synthesis process can be performed for some or all strands, clusters, portions, and flowcells in parallel.

[0079] Step 6 of process 200 is an imaging step that can be performed after step 5 or in parallel with step 5. As one example, a flowcell can be imaged after the sequencing-by-synthesis process is completed for the flowcell. As another example, a flowcell can be imaged while the sequencing-by-synthesis process is being performed on another flowcell, thereby increasing the throughput. Referencing FIG. 2, in each cycle, the analytical system captures one or more images of the portion 208 (e.g., images 228A-228D) of flowcell 132. The images represent the fluorescent signals detected in the particular cycle for all the clusters disposed on the portion 208 of flowcell 132. In some embodiments, the analytical system can have a four-channel configuration, where four different fluorescent dyes are used for identifying the four nucleotide bases. For example, the four fluorescence channels use different types of dyes for generating fluorescent signals having different spectral wavelengths. Different dyes may each bind with a different target and produce signals with a different fluorescence color or spectrum. Examples of the different dyes may include a Carboxyfluorescein (FAM) based dye that produces signals having a blue fluorescence color, a Hexachloro-fluorescein (HEX) based dye that produces signals having a green fluorescence color, a 6-carboxy-X-rhodamine (ROX) based dye that produces signals having a red fluorescence color, a Tetramethylrhodamine (TAMRA) based dye that produces signals having a yellow fluorescence color.

[0080] In a four-channel configuration, the analytical system captures an image of the same portion of the flowcell for each channel. Therefore, for each portion, the analytical system produces four images in each cycle. This imaging process can be performed with respect to some or all the portions and flowcells, producing a massive number of images in each cycle. These images represent the fluorescent signals detected in that particular cycle for all the clusters disposed on the tile. The images captured for all cycles can be used for basecalling to determine the sequences of the DNA fragments. A sequence of an DNA fragment includes an ordered combination of nucleotide bases having four different types, i.e., Adenine (A) , Thymine (T) , Cytosine (C) , and Guanine (G) . The sequences of multiple DNA fragments can be integrated or combined to generate the sequence of the original genomic DNA strand. Embodiments of this invention described below can process the massive numbers of images in an efficient way using high-throughput semiconductor-based image sensors. While the above descriptions use DNA as an example, it is understood that the same or similar processes can be used for other nucleic acid (e.g., RNA and artificial nucleic acid) or protein biomarkers.

[0081] FIG. 3A is a block diagram illustrating a biosensor 100 configured for ultra-sensitive biological signature detection and automatic library preparation in accordance with an embodiment of the present invention. Biosensor 100 shown in FIG. 3A is substantially the same as that in FIG. 1, except it is simplified for better illustration. In FIG. 3A, biosensor 100 includes the fluidic sub-system 112, the imaging sub-system 118 and the computing device 103, same as shown in FIG. 1. Other sub-systems are not shown in FIG. 3A. In one embodiment, all these sub-systems are included in a single housing of biosensor 100, such that biosensor 100 is an all-in-one platform for performing ultra-sensitive biological signature (e.g., protein biomarkers) detection and automatic library preparation. Biosensor 100 may thus not need to rely on other resources (remote or local) to complete the tasks. In one example, it can perform the biological signature detection and library preparation offline, significantly shortening the time compared to those conventional ways described above.

[0082] FIG. 3B is a flowchart illustrating a method 360 of an integrated process. Method 360 can be performed by biosensor 100 to detect biological signatures in accordance with an embodiment of the present invention. With reference to both FIGs. 3A and 3B, in some examples, biosensor 100 receives a biological sample 101. The fluidic sub-system 112 of biosensor 100 generates (step 362) droplets from the biological sample 101. In some examples, the fluidic sub-system 112 includes a digital microfluidic device 330, which receives (step 364) control signals to control movements of the droplets across surfaces of the digital microfluidic device 330. The control signals are generated and provided by a control sub-system (not shown in FIG. 3A) to the digital microfluidic device 330.

[0083] The control sub-system of biosensor 100 may control (step 366) the movements of the droplets across surfaces of the digital microfluidic device 330. The various types of biosensors and an example method of controlling the movements of the droplets are described in greater detail below. In some examples, the biosensor 100 further includes an imaging sub-system 118. Imaging sub-system 118 includes a semiconductor-based image sensor 340 (e.g., CMOS sensor) positioned relative to the digital microfluidic device 330. Embodiments of the image sensor 340 of imaging sub-system 118 and its example positioning with respect to the digital microfluidic device 330 are also described in greater detail below. The combination of the digital microfluidic device 330 and the semiconductor-based image sensor 340 enable the performance of (step 368) at least one of: monitoring the movements of the droplets across surfaces of the digital microfluidic device 330; monitoring biochemical reactions; or sensing fluorescent signals and obtaining images of the fluorescent signals for biological signature detection. The imaging sub-system 118 may provide images 140 of fluorescent signals for further processing. As shown in FIG. 3B, in step 369, the biosensor 100 may perform the biological signature detection based on the images 140 of fluorescent signals. As described more below in connection with FIG. 3C, the detection may be performed using one or more deep learning models deployed on computing device 103 of biosensor 100. In some examples, the biosensor 100 may provide (step 371) , via a user interface (e.g., interface 108) , diagnosis outputs based on the biological signature detection results. In some examples, biosensor 100 can perform the biological signature detection and provide the diagnostic outputs in an offline mode based on one or more neural networks deployed locally at biosensor 100. FIG. 3C is described next to provide more details.

[0084] FIG. 3C is a diagram illustrating a process of generating diagnostic outputs (e.g., a clinical report) based on image data analyzed using deep learning models, in accordance with an embodiment of the present invention. With reference to FIGs. 3A and 3C, imaging sub-system 118 generates and provides images 140 of fluorescent signals to computing device 103, which may be deployed with one or more deep learning models trained for performing various image processing and data analysis tasks. As shown in FIG. 3C, for example, computing device 103 may be deployed with deep learning models 372, 376, and 382. The deep learning models 372, 376, and / or 382 may be for example, self-attention transformer network, hierarchical processing network, large-language model (LLM) , and / or any other desired neural networks. Examples of such deep learning models are described in more detail in U.S. non-provisional application No. 17 / 681,672, now U.S. Patent No. 11, 580, 641, entitled “DEEP LEARNING BASED METHODS AND SYSTEMS FOR NUCLEIC ACID SEQUENCING” , filed on February 25, 2022; U.S. non-provisional application No. 18 / 070, 377, , entitled “METHODS AND SYSTEMS FOR ENHANCING NUCLEIC ACID SEQUENCING QUALITY IN HIGH-THROUGHPUT SEQUENCING PROCESSES WITH MACHINE LEARNING; ” filed November 28, 2022; and co-pending International Patent Application No. PCT / CN2024 / 135118 filed on November 28, 2024, attorney docket number G1329.10007WO01. The contents of these applications are hereby incorporated by reference in their entireties for all purposes.

[0085] In one example, deep learning models 372, 376, and 382 may be LLMs that are trained to perform end-to-end processing of the image data. For example, one or more LLMs can be trained to take the images 140 provided by the imaging sub-system of biosensor 100, extract positions 374 of the clusters in the images 140, perform biological signature detections such as generating a protein profile 378 of the biological sample, and subsequently generate a diagnosis report 384 (e.g., a clinical report) . In some examples, the large-language model (LLM) is enhanced with a vectorized biomedical diagnostic knowledge database. For instance, the LLM may be a general purpose LLM trained or customized with specific biomedical diagnostic knowledge database (e.g., a cancer diagnostic knowledge database) . Such database may be vectorized. The LLM may also be customizable based on the user input or selection. For instance, different users may specialize in different biomedical areas, and therefore may customize the LLM to have knowledge in those corresponding biomedical areas. The LLM model may also be updatable with additional biomedical diagnostic knowledge. The diagnosis report may include information such as the diagnosis results, therapeutic regimes, recommended medicines or treatments 386. This information can be provided to a user to review and comment.

[0086] In some examples, the deep learning models deployed to biosensor 100 use a huge vector database containing vectors that represent biomedical diagnostics knowledge, including expert knowledge in medical application fields such as pathogenic microorganisms, tumors, rare diseases, skin diseases, and diabetes. At the same time, the deep learning models can be deployed locally on, for example, FPGAs / GPUs / TPUs / NPUs / PLDs of computing device 103, without relying on any cloud computing platform or large GPU through model quantization compression methods. In other words, the processors included in computing device 103 of biosensor 100 can enable the biosensor 100 to operate in an offline mode to perform the integrated process of biological signature detection. As a result, the biosensor 100 can locally process the images and generate diagnosis report in an efficient and timely manner, with rapid detection turnaround and lower cost.

[0087] At the same time, biosensor 100, which is an integrated machine, can be configured to build an application ecosystem based on an LLM enhanced with medical field knowledge. Users of biosensor 100 can flexibly choose the specific diagnostic application that needs to generate a medical report according to the patient's disease type, such as rare disease detection, pathogen detection, tumor detection, skin disease detection, diabetes detection, and other disease detection. Details of the LLM and processing of the image data to generate diagnostic report are described in co-pending International Patent Application No. PCT / CN2024 / 135118 filed on November 28, 2024, attorney docket number G1329.10007WO01.

[0088] Biosensors 100 described above may have several types, which are described next. FIG. 4A (a) is a top view diagram for illustrating a first type biosensor 400 in accordance with an embodiment of the present invention. FIG. 4A(b) is a side view diagram for illustrating the first type biosensor 400 in accordance with an embodiment of the present invention. FIG. 4A (c) is an example image of fluorescent signals for biological signature detection, generated by using the first type biosensor 400. With reference to FIGs. 4A (a) -4A(c) , the first type biosensor 400 may include a digital microfluidic device 402 and a semiconductor-based image sensor 404. Other sub-systems of biosensor 400 are not shown in FIG. 4A and they can be substantially the same as those described above.

[0089] As shown in FIG. 4A, the first type biosensor 400 includes a digital microfluidic device 402 and a semiconductor-based (e.g., CMOS) image sensor 404 arranged in a vertically stacked (e.g., top-and-bottom) configuration, separated by a waterproof layer 403. The digital microfluidic device 402 has an inlet 406 and an outlet 408 for exchanging sample and reagents. Droplets 411A-411N are formed on the surface of the digital microfluidic device 402 on top of waterproof layer 403. Droplets 411A-411N in FIG. 4A may represent the droplets from the same sample. For example, droplet 411B may have the same protein biomarkers as droplet 411A. Droplet 411B may represent droplet 411A that is moved to a different position (e.g., to receive a different reagent) . In other examples, droplets 411A-411N may represent different droplets have different protein biomarkers (e.g., Protein 1 –Protein N) . The surface of the digital microfluidic device 402 may or may not have wells (e.g., nanoscale wells or microscale wells) . In some examples, if the digital microfluidic device 402 has wells, the droplets 411 may be controlled to move to the wells with the reagents, such that ultra-sensitive biological signature detection (e.g., protein detection) reactions take place. If the digital microfluidic device 402 has no wells, the droplets 411 may be controlled to move to any positions to receive the reagents for the biochemical reactions to occur.

[0090] In the first type biosensor 400, the digital microfluidic device 402 and the semiconductor-based image sensor 404 are vertically stacked. For example, semiconductor-based image sensor 404 is placed above or below device 402 to sense the fluorescent signals and obtain the images 140 of the fluorescent signals. FIG. 4A shows that digital microfluidic device 402 is vertically positioned above the image sensor 404. In this example, digital microfluid device 402 and semiconductor-based image sensor 404 are disposed on two opposite sides of a waterproof layer 403. Image sensor 404, in one example, includes a layer 404A of sensing elements and a substate layer 404B. The fluorescent signals generated from the biochemical reactions are received by the sensing elements in layer 404A of image sensor 404, which then stores and transmits the data to a deep learning model for further processing.

[0091] In some examples, the image sensor 404 may be built on top or below a droplet control layer (e.g., a layer that contains electrodes for controlling the droplets) in digital microfluidic device 402. The image sensor 404 may be configured to have dimensions that enable it to sense fluorescent signals generated across substantially the entire surface of digital microfluidic device 402. Thus, the fluorescent signals generated by biochemical reactions in the droplets can be optically detected and monitored in each and every step of the reactions, regardless of where the droplets are on the surface of the digital microfluidic device 402. In some examples, detecting fluorescent signals in each and every step of the biochemical reactions may require using different light sources for illumination. In some examples, fluorescent detection may only happen at the last stage of the multiple biochemical reaction steps (e.g., droplets distribution step, binding steps, and reaction steps) . Monitoring biochemical reactions in each and every step can extract more information. For example, the droplets can be monitored to determine if they are correctly distributed, if they are properly controlled to move to the desired positions in the digital microfluidic device 402, if the droplets are properly mixed with desired reagents, and / or if the biochemical reactions are properly carried out, etc. In other examples, not all steps are monitored and some steps may not be monitored. In other examples, only the biochemical reaction step is monitored, and no other steps are monitored. It is understood that while FIG. 4A illustrates that the image sensors in layer 404A can be sized to sense the fluorescent signals generated across the entire surface of digital microfluidic device 402, image sensor 404 can be sized in any manner to sense fluorescent signals generated from any portion of the surface. One example is shown in FIG. 4B.

[0092] FIG. 4B (a) is a top view diagram for illustrating a second type biosensor 420 in accordance with an embodiment of the present invention. FIG. 4B(b) is a side view diagram for illustrating the second type biosensor 420. With reference to FIGs. 4B (a) and 4B (b) , the second type biosensor 420 includes a digital microfluidic device 422 and a semiconductor-based (e.g., CMOS) image sensor 424. As shown in FIG. 4B, the digital microfluidic device 422 and the semiconductor-based image sensor 424 are partially vertically stacked in a manner such that the semiconductor-based image sensor 424 senses fluorescent signals from a last portion 432 of the digital microfluid device 422.

[0093] In particular, the digital microfluid device 422 comprises a plurality of portions including a first portion 426, the last portion 432, and one or more intermediate portions (e.g., portions 428 and 430) located between the first portion 426 and the last portion 432. In the example shown in FIG. 4B, the first portion 426 is located at the left-most side of device 422 and the last portion 432 is located at the right-most side of device 422. In some examples, the digital microfluidic device 422, as depicted in FIG. 4B, is filled with oil through, e.g., inlet of first portion 426. The first portion 426 of device 422 is configured to receive droplets 431 of the sample (e.g., also via inlet of first portion 426) . The intermediate portion 428 is configured to receive a reagent (e.g., a specific protein detection reagent) via another inlet of intermediate portion 428. And the intermediate portion 430 is configured to receive another reagent (e.g., purifying reagent) via another inlet of intermediate portion 430. The digital microfluidic device 422 may also have wells (e.g., nanoscale wells or microscale wells) where the biochemical reactions may occur. In other example, device 422 may have no wells, and biochemical reactions can occur at any locations by controlling the movements of droplets 431.

[0094] The operation of biosensor 420 is described using protein biomarker detection as illustration. As shown in FIG. 4B, according to the designated well positions (or just desired positions if there are no wells) in the microfluidic device 422, droplets 431 of the samples, protein detection reagents, and purification reagents are added through inlets of portions 426, 428, and 430, respectively. As described in more detail below, the droplets on the surface of a digital microfluidic device can be moved by sending control signals to control the electrodes of the digital microfluidic device. The movement can therefore be controlled precisely. Through precise program-controlled manipulation, liquid droplets 431 can be moved from first portion 426 to second portion 428, where the biochemical reaction occurs with the protein detection reagent. Droplets 431 can be further moved from the second portion 428 to third portion 430, where purification reaction occurs with the purifying reagent. There may be other reagents and therefore the digital microfluidic device 422 may include one or more other portions where other reactions may occur. The other reagents may also be added via one or more inlets of portions 426, 428, or 430 and other reactions may also occur at the existing portions 426, 428, or 430.

[0095] As shown in FIG. 4B, the one or more reagents disposed in the one or more intermediate portions 428 and / or 430 of device 422 can enable ultra-sensitive protein detection reactions within the droplets 431. Finally, the droplets 431 can be moved to the last portion 432, which is located above or beneath the semiconductor-based image sensor 424, as shown in FIG. 4B. The last portion 432 is the location where the optical signals produced by the biochemical reactions within the droplets 431 are detected by the image sensor 424, which then stores and transmits the data to a deep learning model for further processing. The image sensor 424 shown in FIG. 4B also includes a substate layer 424B and a layer 424A having sensing elements. Therefore, the second type biosensor 420 differs from the first type biosensor 400 in that the image sensor 424 only overlaps with the last portion 432 of the microfluidic device 422, but not other portions. As a result, the second type biosensor 420 only captures the fluorescent signals generated at the last portion 432 of the device 422. The second type biosensor 420 also differs from the first type biosensor 400 in that there are multiple inlets for disposing the droplets of the sample, and one or more reagents, where the first type biosensor 400 may have only one inlet. Both types of biosensors have outlets for discarding or exchanging sample and reagents.

[0096] Another type of biosensor is illustrated using FIG. 4C. In particular, FIG. 4C (a) is a top view diagram for illustrating a third type biosensor 440 in accordance with an embodiment of the present invention. FIG. 4C (b) is a top view diagram for illustrating a digital microfluidic device 442 of the third type biosensor 440. FIG. 4C (c) is a top view diagram for illustrating a semiconductor-based image sensor 444 of the third type biosensor 440. FIG. 4C (d) is a side view diagram for illustrating the third type biosensor 440. With reference to FIGs. 4C (a) -4C (d) , the third type biosensor 440 also includes a digital microfluidic device 442 and a semiconductor-based (e.g., CMOS) image sensor 444. Similar to the first and second types of biosensors 400 and 420, in third type biosensor 440, the digital microfluidic device 442 and the semiconductor-based image sensor 444 are vertically stacked. As shown in FIGs. 4C (a) -4C (d) , the semiconductor-based image sensor 444 includes a plurality of image sensing groups 452A-452C (while three groups are shown in FIG. 4C, more or fewer groups can be used) . Each image sensing group 452 may include one or more columns and / or rows of image sensing elements, and each column or row can have any number of image sensing elements. As shown in FIG. 4C (c) , each image sensing group 452 has two columns, and each column has five image sensing elements. The number of image sensing elements in a column or row, and the number of columns and / or rows in an image sensing group 452 can be determined based on the desired imaging resolution, the size of the portions of microfluidic device 442, the desired imaging throughput, and / or other factors.

[0097] For third type biosensor 440, the digital microfluidic device 442 and the semiconductor-based image sensor 444 are vertically stacked in a manner such that only one or more groups of the plurality of image sensing groups 452A-452C, but not all, sense the fluorescent signals to obtain the images of the fluorescent signals for biological signature detection. Operations using the third type biosensor 440 are described in greater detail below.

[0098] With reference still to FIG. 4C, in particular, the digital microfluidic device 442 comprises a plurality of portions including a first portion 446, the last portion 450, and one or more intermediate portions (e.g., portion 448) located between the first portion 446 and the last portion 450. In other examples, there may be another portion to the right side of portion 450. The another portion may thus be the last portion and the portion 450 may be one of the intermediate portions. It is understood that the portions of digital microfluidic device 442 shown in FIG. 4C are for illustration purposes, and any configurations of the portions can be implemented. In some examples, the digital microfluidic device 442, as depicted in FIG. 4C, is filled with oil. The first portion 446 of device 442 is configured to have an inlet for receiving sample or receiving droplets 451 of the sample. Droplets 451 may be formed on the surface of digital microfluidic device 442 or may be formed and disposed onto the surface of the digital microfluidic device 442. The intermediate portion 448 has one or more inlets for receiving a reagent (e.g., a specific protein detection reagent) . And the last portion 450 has one or more inlets for receiving another reagent (e.g., purifying reagent) . As described above, device 442 may have another portion located to the right side of portion 450, and portion 450 may thus be an intermediate portion having one or more inlets to receive the purifying agent. The digital microfluidic device 442 may also have wells (e.g., nanoscale wells or microscale wells) , where the biochemical reactions may occur. Device 442 may also have no wells, and the droplets 451 are moved, by controlling the electrodes of device 442, to different locations on the surface of device 442.

[0099] The operation of the third type biosensor 440 is described using protein biomarker detection as illustration. As shown in FIG. 4C, according to the designated well positions (or simply positions if device 442 has no wells) in the digital microfluidic device 442, droplets 451 of the samples, protein detection reagents, and purification reagents are added through inlets of portions 446, 448, and 450, respectively. As described in more detail below, the droplets 451 on the surface of a digital microfluidic device 442 can be moved by sending control signals 363 to control the electrodes 454 of microfluidic device 442. The movement of the droplets 451 can therefore be controlled precisely. Through precise program-controlled manipulation, liquid droplets 451 are moved from first portion 446 to second portion 448, where the biochemical reactions occur with the protein detection reagent. Droplets 451 can be further moved from the second portion 448 to last portion 450, where purification reactions occur with the purifying reagent. There may be other reagents and therefore the digital microfluidic device 442 may include one or more other portions where other reactions may occur. In other examples, other reactions may also occur at the existing portions of device 442 and require no other portions.

[0100] The one or more reagents disposed in the one or more portions of device 442 enable ultra-sensitive protein detection reactions within the droplets 451. In some examples, the droplets 451 may be moved to another portion (not shown) , which is located to the right side of portion 450. While moving of the droplets 451 is controlled in a manner similar to those described above for the second type biosensor 420, the third type biosensor 440 is configured to use different groups of the image sensing groups to monitor different steps of the operations performed by the biosensor 440. In particular, as shown in FIGs. 4C (a) -4C (d) , the first image sensing group 452A is positioned and controlled to monitor the formation of the droplets 451. For instance, the first imaging sensing group 452A can obtain optical signals indicating one or more aspects of the droplets 451, such as size, spatial arrangements, and / or quantity. The optical signals may be processed and converted to electrical signals by first image sensing group 452A. The electrical signals can be stored and transmitted to computing device 103 for further processing (e.g., using one or more deep learning models to extract the positions information of the droplets) . The information thus obtained can be analyzed to determine if the droplets 451 are formed properly with the desired size, spatial arrangements, and / or quantity.

[0101] In some examples, the first image sensing group 452A and / or second image sensing group 452B can also be positioned and controlled to monitor the movements of the droplets 451. As described above, droplets 451 can be moved from portion 446 to portion 448 by controlling the electrodes of digital microfluidic device 442. This movement can be monitored by the first image sensing group 452A and / or the second image sensing group 452B. For example, first image sensing group 452A and / or the second image sensing group 452B can sense optical signals continuously or at different time points. The optical signals at different time points represent the movements of the droplets 451. The first image sensing group 452A and / or the second image sensing group 452B can thus convert the optical signals to electrical signals, which are then processed by computing device 103 to calculate the movement profile of the droplets 451. For instance, based on the images obtained by first image sensing group 452A and / or the second image sensing group 452B, the computing device 103 can determine that most or all of the droplets 451 have been moved from portion 446 to portion 448, or that some droplets 451 may not have been moved to portion 448. Therefore, the formation and movements information of droplets 451 can be used by the control sub-system (e.g., system 114) to dynamically control the movement of droplets 451 in real time.

[0102] Similarly, second image sensing group 452B and / or third image sensing group 452C can enable monitoring the movements of droplets 451 from portion 448 to portion 450, and from portion 450 to another portion (e.g., an extra portion not shown in FIG. 4C) of digital microfluidic device 442. The movement information of droplets 451 between these portions can again be used by the control sub-system (e.g., system 114) of to dynamically control the movement of droplets 451 in real time. For example, if certain droplet is not in a desired position, the control sub-system can send control signals to control the droplet to move to the desired position.

[0103] In addition to monitoring droplets’ movements, second image sensing group 452B and third image sensing group 452C can also monitor biochemical reactions based on their respective reagents. For example, second image sensing group 452B can enable monitoring the biochemical reaction in droplets 451 with specific protein detection; and third image sensing group 452C can enable monitoring the biochemical reaction in droplets 451 with purifying reagent. The biochemical reactions may generate particular optical signals, which can be sensed by the second image sensing group 452B and / or third image sensing group 452C. The optical signals are converted to electrical signals, which can then be processed by computing device 103 (e.g., using one or more deep learning models) . The processed electrical signals can represent information related to the biochemical reaction status (e.g., the reaction has just begun, is ongoing, has completed, is incomplete and may have problems, the reaction results, etc. ) . As such, the second image sensing group 452B and / or third image sensing group 452C can further enable monitoring the biochemical reactions in real time. The monitoring results can be provided to the control sub-system and / or the fluidic sub-system to make real time adjustments. For example, the control sub-system may control the movements of the droplets 451 to slow down or speed up, depending on whether the biochemical reactions are complete or the real-time status of the reactions. As another example, digital microfluidic device 442 may be controlled to receive more reagent if the amount of reagent is not sufficient.

[0104] In some examples, third imaging sensing group 452C can also sense fluorescent signals for subsequent basecalling. In some examples, another image sensing group (not shown) may sense the fluorescent signals for subsequent basecalling. Regardless of which imaging sensing group is used, the third type biosensor 440 uses only one or more groups, but not all, of the image sensing groups 452 to sense the fluorescent signals for subsequent basecalling. As described above, the other image sensing groups may be used for other purposes such as monitoring the movements of the droplets from the first portion to the one or more intermediate portions; monitoring the movement of the droplets among the one or more intermediate portions; monitoring the movement of the droplets from the one or more intermediate portions to the last portion; and / or monitoring the biochemical reactions based on the reagents.

[0105] Each of the imaging sensing groups in image sensor 444 can sense, store, and transmit data to one or more deep learning models for further processing. The image sensor 444 shown in FIG. 4C also includes a substate layer 444B and a layer 444A having sensing elements. The sensing elements can be divided into a plurality of image sensing groups 452. Therefore, while the third type biosensor 440 and the first type biosensor 400 both have sensing elements overlapping in positions with their respective microfluidic devices 442 and 402, the third type biosensor 440 has separate image sensing groups that can be individual controlled to monitor different aspects of the entire process of droplets formation, movements, and reaction, thereby providing further flexibility to control the process in real time. As a result, the third type biosensor 440 can obtain optical signals generate across all portions of the digital microfluidic device 442. Similar to the second type biosensor 420, third type biosensor 440 may also have multiple inlets for disposing the droplets of the sample and one or more reagents.

[0106] FIG. 4D includes diagrams showing a side view and a perspective view of an example digital microfluidic device 460 in accordance with an embodiment of the present invention. Digital microfluidic device 460 can be used to implement any of the digital microfluidic devices described above, including devices 402, 422, and 442. As described above, a digital microfluidic (DMF) device is a technology that manipulates small volumes of liquids (usually in nanoliters to microliters) on a surface by applying electrical signals. In one example, digital microfluidic device 460 is operational based on electrowetting-on-dielectric (EWOD) . As shown in FIG. 4D, digital microfluidic device 460 includes dielectric layer 464 and electrode 466 embedded underneath the dielectric layer 464. The dielectric layer 464 and the embedded electrode 466 are disposed on substrate 468. In some examples, dielectric layer 464 may be coated with hydrophobic coating to prevent liquid droplets 461 from sticking to the surface of the dielectric layer 464.

[0107] In some examples, as shown in FIG. 4D, an optional top plate or substrate 473 is placed above the droplets 461 with a gap in between, creating a sandwich-like structure the can further aid in controlling the liquid droplets 461. The top plate or substrate 473 is connected to the electrical ground 462, which in turn is connected to a control circuit 470. The control circuit 470 is also connected to electrodes 466 and provides electrical signals to electrodes 466 to manipulate droplets 461.

[0108] FIG. 4D also shows the example manipulations of droplets 461. For example, from the left side, the droplet 461 can be formed from a sample and moved to a desired location via a desired path. The movement of the droplet 461 can be precisely controlled by electrodes 466 when receiving control signals from control circuit 470. When a voltage is applied to electrode 466, it reduces the surface tension at that location, causing the droplet to move towards the activated electrode. By sequentially activating electrodes 466, droplets 461 can be transported, split, merged, or mixed as shown in FIG. 4D. In some examples, as shown in FIG. 4D, a droplet can be split into two by applying voltage to electrodes 466 on either side of the droplet, creating two new droplets. On the other hand, electrical forces can be created on opposite sides of two droplets to merge them into one.

[0109] Digital microfluidic device 460 is digitally programmable, such that by changing the pattern of the electric signals, the movement and actions of droplets can be dynamically reconfigured for various applications. As described above in connection with FIGs. 4A-4C, droplets 461 can be moved to specific locations on surface 472 of device 460 and mixed with particular reagents such that particular biochemical reactions occur. The digital microfluidic device thus creates a lab-on-a-chip platform for performing biological and chemical assays. By using a digital microfluidic device, droplets can also be mixed and reacted in precise quantities. Digital microfluidic devices can thus be highly versatile and allow precise manipulation of small liquid volumes, making it particularly desirable for performing biological signature detections at very low abundance level or even single molecule level. The detection is further enabled by using high-resolution and scalable semiconductor-based image sensors, as described next. As described above, traditional optical microscopy may not be capable of sensing optical signals generated from droplets at such a small quantity or low abundance level. The semiconductor-based image sensor may have pixels with very small size, thereby making it suitable for performing high-resolution detection. Furthermore, the semiconductor-based image sensor may also be easily scalable to have high throughput, making parallel sensing and monitoring (as shown in FIGs. 4A-4C with different image sensing groups) realizable. High-throughput semiconductor-based imaging system

[0110] To enable the imaging sensing of optical signals representing the droplets movements and biochemical reactions, the present disclosure provides the imaging sub-system 118 of biosensor 100, which comprises a plurality of semiconductor-based image sensors (e.g., CMOS sensors) configured to perform high-throughput imaging sensing with high resolution. FIG. 5 is a block diagram illustrating an example high-throughput scalable image sensor 500 of image sub-system 118 used to sense the fluorescent signals and obtain images of the fluorescent signals in any particular cycles for one or more clusters. For simplicity, other components (e.g., signal processing circuitry 117) of imaging sub-system 118 are not shown. Scalable image sensor 500 can be used to implement any of image sensors 116, 340, 404, 424, and / or 444 described above.

[0111] As shown in FIG. 5, scalable image sensor 500 of imaging sub-system 118 includes many individual image sensors 522. Scalable image sensor 500 can be scaled to include as many individual image sensors 522 as desired. An image sensor is a sensor that detects photons, generates electrical signals (also referred to as photoelectrons) based on the detected photons, and transmits the electrical signals for further signal processing. In an image sensing system, photons can be generated as a result of fluorescence or chemiluminescence emissions from biological or chemical samples being analyzed. The photons are then collected and detected by photosensitive elements (e.g., pixels) included in an image sensor. Photosensitive elements can include, for example, photodiodes (e.g., silicon based photodiodes) for detecting photons and generating electrical signals based on detected photons. In some embodiments, photosensitive elements may also include amplifiers (e.g., avalanche amplification) . The electrical signals generated by an image sensor can represent various photon information including the number of photons collected, the position of photons, and / or the intensity of photons. An image sensor described in this disclosure is not limited to a sensor that transmits electrical signals or information for generating an image. An image sensor used for analyzing biological or chemical samples (e.g., nucleotide acid sequencing applications, polymerase chain reaction applications) can include sensors that detect photons and transmit electrical signals for any type of signal processing with or without generating an image.

[0112] With reference to FIG. 5, scalable image sensor 500 includes wafer-level packaged semiconductor dies and their arrangements on a single semiconductor wafer. In some embodiments, wafer-level packaging of the semiconductor dies can include one or more processes including: forming through-silicon vias (TSV) , depositing redistribution layers, depositing passivation layers, forming electrically-conductive spheres, and disposing solder mask layers. In this disclosure, wafer-level packaged semiconductor dies are sometimes also referred to as packaged semiconductor dies or TSV-packaged semiconductor dies. In FIG. 5, each individual block (e.g., block representing individual image sensors 522A-522F) can represent a packaged semiconductor die of a semiconductor wafer. A semiconductor die is a unit or a single block of semiconductor material on which integrated circuits or other devices (e.g., sensors) are fabricated. For example, an image sensor having a plurality of photosensitive elements (e.g., pixels) can be fabricated on each semiconductor die represented by an individual block shown in FIG. 5.

[0113] In some embodiments, each individual image sensor can be fabricated on an individual semiconductor die. Thus, image sensor 522A is fabricated on a semiconductor die; image sensor 522B is fabricated on another neighboring die, and so forth. Each block associated with an image sensor 522 in FIG. 5 represents a separate semiconductor die. An image sensor may have a pre-configured or a pre-determined throughput capacity represented by a pixel array size. For example, an image senor may have a pixel array size of 8 megapixels, 16 megapixels, 32 megapixels, etc. Typically, for a given semiconductor process (e.g., a 45nm CMOS image sensor process) , a larger pixel array size requires more photosensitive elements such as more photodiodes. As a result, an image sensor with higher throughput capacity may require a larger physical area of a semiconductor die. In some embodiments, rather than increasing the area of a single semiconductor die, a high throughput sensing system or throughput-scalable sensing system can also be obtained based on group dicing of multiple packaged semiconductor dies.

[0114] FIG. 5 illustrates an exemplary a high throughput imaging sub-system 118 based on group dicing of packaged semiconductor dies from a semiconductor wafer as groups. As shown in FIG. 5, multiple packaged semiconductor dies can be diced as a group 520, instead of individually, from a semiconductor wafer. Dicing, sometimes also referred to as wafer dicing, is a process by which packaged semiconductor dies are physically separated from a semiconductor wafer or a wafer-level packaged semiconductor wafer. A dicing process may include scribing, breaking, mechanical sawing, and / or laser cutting. Dicing is typically performed at or near dicing streets (e.g., dicing streets 535) between the packaged semiconductor dies. The dicing streets can be, for example, 80 micrometers (um) wide.

[0115] In FIG. 5, an exemplary dicing group 520 is illustrated. The exemplary dicing group 520 may include a plurality of individual packaged semiconductor dies (e.g., 8, 16, 32, 64, etc. ) , on which individual image sensors 522 are fabricated. An image sensor with a particular throughput capacity may be fabricated on each packaged semiconductor die in the group 520. Therefore, the blocks shown in FIG. 5 can also represent a group of image sensors 522 disposed on the corresponding packaged semiconductor dies. The group of image sensors 522 collectively form scalable image sensor 500.

[0116] FIG. 5 illustrates a throughput-scalable imaging sub-system 118 obtained based on dicing multiple packaged semiconductor dies as a group from a semiconductor wafer or a wafer-level packaged semiconductor wafer. In FIG. 5, an image sensor is pre-fabricated or disposed on each packaged semiconductor die. For example, one image sensor 522A can be fabricated or disposed on a packaged semiconductor die. The image sensor 522A may include, for example, a plurality of photosensitive elements 524, a plurality of electrically-conductive layers (not shown in FIG. 5) , a plurality of electrically-conductive pads 526, and a semiconductor (e.g., silicon) substrate 528. The substrate 528 is a common substrate that is shared among all semiconductor dies of the image sensors 522.

[0117] As shown in FIG. 5, based on a group dicing plan, the packaged semiconductor dies of the semiconductor wafer can be diced in groups. The example illustrated in FIG. 5 shows that a group of six packaged semiconductor dies of image sensors 522A-522F are physically separated from the semiconductor wafer by, for example, laser cutting along the dicing streets at dicing streets 530, while keeping the semiconductor dies of image sensors 522A-522F together. In other words, the laser cutting is only to separate the group 520 as a whole from a wafer, without physically separating the individual packaged semiconductor dies of image sensors 522A-522F from one another. Dicing streets 530 represent the perimeter of the group of dies 522A-522F. And therefore, in group dicing, the laser cutting is performed along the perimeter of the group of dies 522A-522F, but not between the dies. Each of packaged semiconductor dies 522A-522F can be pre-fabricated or disposed with an image sensor having a particular throughout capacity (e.g., pixel array size) . The six individual image sensors pre-fabricated or disposed on packaged semiconductor dies 522A-522F (or more or fewer individual image sensors) can thus form a scalable image sensor 500 that has six-times throughput capacity than each individual image sensor 522. In general, if each individual image sensor in the imaging sub-system 118 has a pixel array size of M megapixels and there are N number of image sensors in the imaging sub-system, the total pixel array size of the imaging sub-system is then M x N. In the example illustrated in FIG. 5, if each image sensor 522 disposed on the respective semiconductor die has a pixel array size of 64 megapixels, and a group of six packaged semiconductor dies form the scalable image sensor 500 of imaging sub-system 118, imaging sub-system 118 can be scaled to have a pixel array size of 384 megapixels.

[0118] While FIG. 5 illustrates that imaging sub-system 118 includes six image sensors 522A-522F disposed on six packaged semiconductor dies, it is appreciated that the number of individual image sensors in a particular imaging sub-system can be determined or preconfigured to any desired number satisfying a throughput scaling requirement. For example, if a particular imaging sub-system used for a nucleotide acid sequencing application requires a total pixel array size of 1000 megapixels (or 1 Gigapixels) , and if each image sensor has a pixel array size of 64 megapixels, the number of individual image sensors required for such an imaging sub-system would be about 16 (e.g., 1000 / 64) . Correspondingly, 16 packaged semiconductor dies can be diced from the semiconductor wafer as a group (i.e., without separating the 16 dies from one another) . Accordingly, based on the throughput scaling requirement for the imaging sub-system and based on the throughput capacity of each individual image sensor, the number of image sensors in the imaging sub-system can be readily determined. As a result, the throughput capacity of the imaging sub-system can easily be scalable based on requirements of the specific applications (e.g., a DNA sequencing application, a PCR application) of the imaging sub-system. Such a throughput-scalable system does not require complex and costly re-design of the image sensor itself (e.g., redesign to add more photosensitive elements in a single semiconductor die) . The throughput-scalable imaging sub-system can be used to detect fluorescent signals from high-density clusters. Furthermore, as the size of a pixel of the image sensor 522 becomes smaller, the resolution of the imaging sub-system 118 can be improved too.

[0119] As shown in FIG. 5, in one example of an imaging sub-system 118, multiple image sensors 522 are disposed on packaged semiconductor dies. As illustrated in FIG. 5, photosensitive elements of the multiple image sensors are not physically continuous or connected with one another. For example, photosensitive elements 524 of the image sensor 522A disposed on a corresponding die are separated from photosensitive elements 534 of the image sensor 522B disposed on another die. Between the photosensitive elements of different image sensors, other device structures or components (e.g., pads 526) and dicing streets (e.g., dicing street 535 between dies of image sensors 522A and 522B) may exist. As a result, an image generated by multiple image sensors 522A-522F disposed on separate packaged semiconductor dies may not be continues or may have one or more image gaps between different portions of the image. Image gaps can be blank or dark areas between different portions of an image due to the lack of photon sensing between the photosensitive elements. Such image gaps may not be acceptable for certain imaging applications that require a continuous image to be provided. Such applications may include, for example, traditional photo-capturing applications (e.g., taking portrait photos, picturing a real-world object, etc. ) , surveillance camera applications, or security monitoring applications.

[0120] Further, for those applications in which image gaps are not acceptable or tolerable, if a raw image generated by multiple image sensors is not continuous or has image gaps, significant image processing efforts may be required to remove or mitigate the image gaps. For example, post-capturing image processing may be applied to stitch portions of the images together to provide an acceptable image without image gaps. Thus, an image sensing system with multiple image sensors that have discretely-positioned photosensitive elements (e.g., elements that are not physically continuous or connected with one another) may not be easily designed or implemented for many imaging applications. In contrast, such an imaging system may not have, or may have minimum, impact on performance of a biological or chemical sample analysis application such as a nucleotide acid sequencing application or a protein biomarker detection application. For many biological or chemical sample analysis applications, image sensors are used to count photons emitted from the samples and generate an image base on the photons. The image can be allowed to have image gaps, because the analysis results can be derived based on the information related to photon detections (e.g., the intensity of photons, position of photons, pattern of photons, etc. ) . The derivation of the analysis results does not require the image to be continuous or without image gaps. Therefore, a high-throughput image sensing system (e.g., imaging sub-system 118) including multiple individual image sensors obtained based on group dicing technologies can be readily used for many biological or chemical sample analysis application or any other photon counting based applications, without requiring any mitigation effort to remove the image gaps caused by the discretely-positioned photosensitive elements. Further details of such a high-throughput image sensing system can be found in U.S. non-provisional application No. 17 / 246, 487, (now patent No. US 11, 175, 219) , entitled “THROUGHPUT-SCALABLE ANALYTICAL SYSTEM USING SINGLE MOLECULE ANALYSIS SENSORS, ” filed on April 30, 2021, the content of which is incorporated herein by reference in its entirety for all purposes.

[0121] The biosensor described above combines digital microfluidic technology with high-throughput and high-resolution semiconductor-based image sensing technology. As a result, the biosensor described herein can perform ultra-sensitive biological signature detection (e.g., protein biomarker detection) even when the biological sample is at ultra-low abundance level or single molecule level. For example, the sensitivity of the biosensor described herein can be more than 30 times higher than existing technologies. The detection time using the biosensors described herein can be shortened more than half, and the cost of the biosensor can be less than 10%of the existing systems.

[0122] FIGs. 6-8 illustrate several methods of detecting protein biomarkers or preparing libraries using the biosensors described above. In particular, FIG. 6A is a flowchart illustrating a method 600 performed by a biosensor 620 for detecting protein biomarkers based on enzyme-linked immunosorbent assays (ELISA) , in accordance with an embodiment of the present invention. FIG. 6B is a diagram showing a sideview of biosensor 620 for detecting protein biomarkers based on ELISA. FIG. 7A is a flowchart illustrating a method 700 performed by a biosensor 720 for detecting protein biomarkers based on proximity extension assays (PEA) in accordance with an embodiment of the present invention. FIG. 7B is a diagram showing a sideview of a biosensor 720 for detecting protein biomarkers based on PEA. FIG. 8A is a flowchart illustrating a method 800 performed by a biosensor 820 configured to prepare a library for high-throughput nucleotide sequencing in accordance with an embodiment of the present invention. FIG. 8B (a) is diagram showing a top view diagram for illustrating a biosensor 820 configured to prepare a library for high-throughput nucleotide sequencing in accordance with an embodiment of the present invention. FIG. 8B (b) and 8B (c) are diagrams showing a side view of a biosensor 840 configured to prepare a library for high-throughput nucleotide sequencing in accordance with an embodiment of the present invention. Biosensors 620, 720, and 840 can be implemented using any of the biosensors described above, such as biosensors 100, 400, 420, and / or 440. Protein Biomarker Detection based on ELISA

[0123] With reference to FIGs. 6A-6B, biosensor 620 can be configured to detect protein biomarkers based on ELISA. ELISA (Enzyme-Linked Immunosorbent Assay) is technique for detecting and quantifying specific antigens (proteins, hormones, or other substances) in a sample, such as blood, serum, or other bodily fluids. It operates based on the interaction between antigens and antibodies, with an enzyme linked to an antibody or antigen producing a detectable signal. There are several types of ELISA including direct ELISA, indirect ELISA, sandwich ELISA, and competitive ELISA. In direct ELISA, an antigen is immobilized on a surface (e.g., a surface of a digital microfluidic device) , and a detection antibody conjugated to an enzyme binds directly to the antigen. In indirect ELISA, an antigen is coated on a surface (e.g., a surface of a digital microfluidic device) , and a primary antibody specific to the antigen binds. Then a secondary antibody, conjugated to an enzyme, binds to the primary antibody, enhancing signal sensitivity. In sandwich ELISA, a “capture” antibody is first immobilized on a surface (e.g., a surface of a digital microfluidic device) . The antigen of interest is added, and it binds to the capture antibody. A second detection antibody, conjugated to an enzyme, binds to the antigen, forming a "sandwich. " This method is highly specific and sensitive. Competitive ELISA involves the competition between an unlabeled antigen in the sample and a labeled antigen for binding to an antibody. It is often used when the antigen is small or has only one binding site.

[0124] The method 600 in FIG. 6A describes a method performed by biosensor 620 based on sandwich ELISA. It is understood that the steps in method 600 are not necessarily performed in the order as shown. The orders of the steps may be changed, some steps may be omitted, extra steps may be added, depending on the types of ELISA used. In FIG. 6B, biosensor 620 is shown as the first type biosensor (e.g., biosensor 400) configured to perform the sandwich ELISA. It is understood that other types of biosensors can also be used without undue experimentation. With reference to FIGs 6A and 6B, biosensor 620 can receive (step 602) a biological sample 601 for performing the protein biomarkers detection. The biosensor 620 can distribute (step 604) , by a fluidic sub-system of the biosensor 620, the biological sample 601 to a digital microfluidic device 622 of the biosensor 620 to form a plurality of droplets 621 of the biological sample 601. The biosensor 620 may receive (step 608) one or more types of reagents including antibodies (e.g., the capture antibodies, the primary and detection antibodies) . In sandwich ELISA, the capture antibodies are received and immobilized in wells (nanoscale wells or microscale wells) or certain portions of the digital microfluidic device 622. The droplets 621 include antigens (target proteins) that are captured by these antibodies.

[0125] The biosensor 620 can control (step 610) , by a control sub-system of the biosensor, the plurality of droplets 621 to be positioned in wells at the bottom of the digital microfluidic device 622. For instance, the droplets are pipetted into the fluid layer in device 622 and positioned near the bottom layer so that the electrodes 626 of digital microfluidic device 622 can use electrical force to manipulate their positions. In one example, the digital microfluidic device 622 can move the droplets 621 by electrodes 626 controlled by the control sub-system. The electrodes 626 can be disposed at the bottom of the digital microfluidic device 622, e.g., between the fluidic sub-system and the semiconductor-based image sensor 624. When moving the droplets 621, the control sub-system of biosensor 620 can apply a voltage to any droplet 621 of the plurality of droplets by the electrodes 626. The value of the voltage applied can be based on a size of the droplet 621. If the size is bigger, the value of the voltage may also be bigger, thereby generating a bigger electrical force.

[0126] In sandwich ELISA, the detection antibody, conjugated to an enzyme, binds to the antigen, forming a "sandwich. " The biochemical reactions 625 are shown in FIG. 6B using one of the droplets 621. The detection antibody catalyzes the substrate to produce optical signals. For sandwich ELISA, step 608 may be separated to two sub-steps, including a first sub-step for receiving a first reagent comprising capture antibodies and a second sub-step for receiving a second reagent comprising detection antibodies. The two sub-steps may not be consecutive and may have other steps performed between. For example, the biosensor 620 may perform steps 602, 604, and 610 after the first sub-step of receiving capture antibodies and before the second sub-step of receiving the detection antibodies.

[0127] In step 612, biosensor 620 senses, by a semiconductor-based image sensor 624, fluorescent signals generated by biochemical reactions enabled by the antibodies in the digital microfluidic device 622. In some examples as shown in FIG. 6B, the fluorescent signals may be generated substantially across the entire digital microfluidic device 622. As shown in FIG. 6B, the semiconductor-based image sensor 624 is vertically stacked with the digital microfluidic device 622 to obtain images of the fluorescent signals for protein biomarkers detection. As described above, a semiconductor-based image sensor described herein can be very sensitive, depending on its pixel size. For example, the semiconductor-based image sensor 624 can be configured to have a sensitivity for detecting a single photon. The images 140 of fluorescent signals are processed and transmitted to deep learning models for subsequent processing (e.g., basecalling, quality filtering, etc. ) . Protein Biomarker Detection based on PEA

[0128] Turning next to FIGs. 7A and 7B, a method 700 performed by a biosensor 720 for detecting protein biomarkers based on proximity extension assays (PEA) is illustrated. Proximity Extension Assay (PEA) is an advanced protein analysis technique used to detect and quantify multiple proteins in a sample with high sensitivity and specificity. It combines antibody-based recognition with DNA-based detection to measure protein interactions, especially in low-abundance proteins, and is used in biomarker discovery, clinical diagnostics, and large-scale proteomics studies.

[0129] It is understood that the steps in method 700 are not necessarily performed in the order as shown. The orders of the steps may be changed, some steps may be omitted, extra steps may be added. In FIG. 7B, biosensor 720 can be the first type biosensor (e.g., biosensor 400) , the second type biosensor (e.g., biosensor 420) , or the third type biosensor (e.g., biosensor 440) , or any other type of biosensors using digital microfluidic technologies and semiconductor-based image sensors. The biosensor 720 is configured to detect protein biomarkers based on proximity extension assays (PEA) .

[0130] With reference to FIGs 7A and 7B, biosensor 720 can receive (step 702) a biological sample 701 for performing the protein biomarkers detection. In step 704, the biosensor 720 distributes the biological sample 701 to a first portion of a digital microfluidic device 722 of the biosensor 720 to form a plurality of droplets 721. In FIG. 7B, the first portion may be the portion at the left side of device 722, and the droplets 721 are formed after receiving the sample 701 and reagents through inlets (e.g., the inlet above the first portion of device 722) . In step 708, the control sub-system of the biosensor 720 can move one or more of the plurality of droplets 721 from the first portion to one or more intermediate portions of the digital microfluidic device 722 to enable one or more biochemical reactions based on one or more types of reagents including antibodies conjugated with DNA. For example, the one or more intermediate portions of device 722 may be in the middle portion of device 722. In one example, biosensor 720 may receive one or more types of reagents including antibodies conjugated with DNA at the one or more intermediate portions of the digital microfluidic device 722. Thus, at the intermediate portions, the sample and PEA protein detection reagents are encapsulated in droplets 721 (e.g., microdroplets) , where the protein detection reagents contain a pair of antibodies conjugated with DNA that target the specific protein. When the two antibodies bind close to each other on the same protein, the DNA oligonucleotides on the antibodies come into proximity. This proximity allows for a DNA hybridization event between the oligonucleotides. The respective DNA strands hybridize to form double-stranded DNA, which is then excised. The newly created DNA is then amplified by quantitative PCR (qPCR) or Next Generation Sequencing (NGS) . The number of DNA copies correlates with the amount of target protein in the sample.

[0131] In step 710, the control sub-system of biosensor 720 can move one or more of the plurality of droplets 721 from the one or more intermediate portions to the last portion of the digital microfluidic device 722, as shown in FIG. 7B. The last portion may be the right portion of device 722. In step 712, a semiconductor-based image sensor 724 senses fluorescent signals generated by one or more biochemical reactions. The semiconductor-based image sensor 724 is at least partially vertically stacked with the digital microfluidic device 722 to obtain images 140 of the fluorescent signals for PEA-based protein biomarkers detection. In some examples, the semiconductor-based image sensor 724 is configured to have a sensitivity for detecting a single photon (e.g., using the high-throughput and high-resolution sensor described above) . In some examples, biosensor 720 can perform the protein biomarkers detection and provide the diagnostic outputs in an offline model based on one or more neural networks deployed locally at the biosensor 720, similar to those described above.

[0132] As described above, if biosensor 720 is the second type biosensor, the semiconductor-based image sensor 724 may only vertically overlap with the digital microfluidic device 722 at the last portion of the digital microfluidic device 722 to sense the florescent signals generated by the one or more biochemical reactions. If biosensor 720 is the third type biosensor, the semiconductor-based image sensor 724 comprises a plurality of image sensing groups. One or more groups of the plurality of image sensing groups, but not all groups, sense the fluorescent signals generated by the one or more biochemical reactions to obtain images 140 of the fluorescent signals for PEA-based protein biomarkers detection. For example, the imaging sensing group that is located underneath the right portion of the microfluidic device 722 can be configured to obtain images 140 of the fluorescent signals for PEA-based protein biomarkers detection. And the other image sensing groups can be configured to monitor at least one of the following operations: movements of the droplets 721 from the first portion (e.g., the left portion) to the one or more intermediate portions (e.g., the middle portion) ; movement of the droplets 721 among the one or more intermediate portions; movement of the droplets 721 from the one or more intermediate portions to the last portion (e.g., the right portion) ; and the biochemical reactions based on the one or more types of reagents (e.g., the protein detection reagents) . The biochemical reactions are symbolically illustrated as 725 in Fig. 7B.

[0133] Similar to those described above, digital microfluidic device 722 can move one or more of the plurality of droplets 721 by applying a voltage to a droplet of the plurality of droplets 721 by electrodes 726. Electrodes 726 may be located at the bottom of device 722 and above the image sensor 724. And the value of the voltage applied can be based on a size of the droplet. The bigger the size of the droplet, the bigger the value of the voltage applied. Biosensors for Library Preparation of NGS

[0134] The biosensors described herein can also be used to perform library preparation. As described above, library preparation involves a series of molecular biology operations on target DNA or RNA samples to transform them into a form suitable for high-throughput sequencing. The combination of the digital microfluidic device and semiconductor-based image sensor described above can be used to perform library preparation more efficiently and effectively.

[0135] In particular, with references to FIGs. 8A and 8B, in some examples, biosensor 840 is configured to perform a method 800 for preparing a library for high-throughput nucleotide sequencing. It is understood that the steps in method 800 are not necessarily performed in the order as shown. The orders of the steps may be changed, some steps may be omitted, extra steps may be added. In FIG. 8B, biosensor 840 can be the first type biosensor (e.g., biosensor 400) , the second type biosensor (e.g., biosensor 420) , or the third type biosensor (e.g., biosensor 440) , or any other types of biosensors using digital microfluidic device and semiconductor-based image sensors. As shown in FIG. 8B, biosensor 840 includes a digital microfluidic device 842 and semiconductor-based image sensor 844. In the example shown in FIG. 8B, image sensor 844 is a second type biosensor similar to that in biosensor 420 shown above. Thus, image sensor 844 is partially vertically stacked with the digital microfluidic device 842 to sense fluorescent signals generated by the biochemical reactions and obtain the images 140 of fluorescent signals. It is understood, however, image sensor 844 can also be other types of image sensors described above.

[0136] In step 802, biosensor 840 receives a biological sample 801 for library preparation. For instance, as shown in FIG. 8B, sample 801 may be received via sample inlets 846 located at the first portion (e.g., the most left side portion) of digital microfluidic device 842. In step 804, the fluidic sub-system of biosensor 840 can distribute the biological sample to the first portion of the digital microfluidic device 842 to form a plurality of droplets 851 of the biological sample 801. The droplets 851 may be formed on the surface of digital microfluidic device 842. In one example, the digital microfluidic device 842 is filled with oil before receiving the sample 801 and other reagents.

[0137] Steps 808, 810, 812, and 814 as shown in FIG. 8A can be performed by a control sub-system of biosensor 840. The control sub-system can send control signals 363 to electrodes 834 of digital microfluidic device 842 to control the movements of the droplets 851. In step 808, the control sub-system of biosensor 840 moves one or more of the plurality of droplets 851 from the first portion to a second portion of the digital microfluidic device 842 to enable biochemical reactions based on a library preparation reagent. The library preparation reagent can be, for example, a specific protein detection reagent (and / or any other desired reagent) provided to device 842 through inlets 848. Therefore, the second portion of digital microfluidic device 842 corresponds to the portion underneath the inlets 848.

[0138] Next, in step 810, the control sub-system of biosensor 840 moves the one or more of the plurality of droplets 851 from the second portion to a third portion of the digital microfluidic device 842 to enable biochemical reactions based on a purify reagent. The purify reagent can be provided through inlets 850 and therefore the third portion of digital microfluidic device 842 corresponds to the portion underneath the inlets 850.

[0139] In the example shown in FIGs. 8A and 8B, in step 812, the control sub-system of biosensor 840 moves the one or more of the plurality of droplets 851 from the third portion to a fourth portion of the digital microfluidic device 842 to enable biochemical reactions based on a library quality control reagent. The library quality control reagent can be provided through inlets 852 and therefore the fourth portion of digital microfluidic device 842 corresponds to the portion underneath the inlets 852.

[0140] In the example shown in FIGs. 8A and 8B, in step 814, the control sub-system of biosensor 840 moves the one or more of the plurality of droplets 851 from the fourth portions to the last portion of the digital microfluidic device 842. The last portion can be the right most portion of device 842. The last portion of device 842 is vertically stacked with the semiconductor-based image sensor 844. As such, semiconductor-based image sensor 844 can sense (step 816) fluorescent signals generated by at least some of the biochemical reactions described above. The semiconductor-based image sensor 844 is at least partially vertically stacked with the digital microfluidic device 842 to obtain images of the fluorescent signals for library quantification and quality control. As shown in FIG. 8B, the semiconductor-based image sensor 844 may include CMOS image sensors stacked above the last portion of digital microfluidic device 842 to sense optical signals generated by the biochemical reactions and to obtain images.

[0141] As described above, library preparation reagents, purification reagents, and library quality control (QC) reagents are added to the microfluidic device 842 as shown in FIG. 8B. Digital microfluidic device 842 may have wells (e.g., nanoscale wells or microscale wells) or no wells (e.g., planar surface) . Through precise control of droplet generation and movement by the control sub-system of biosensor 840, the biochemical reactions for library preparation and library QC take place within the droplets 851. As described above, the droplets 851 are moved to the last portion of the device 842, which is underneath the image sensor 844 (e.g., a CMOS image sensor chip) shown in FIG. 8B, where the optical signals generated by the biochemical reactions inside the droplets 851 are detected and recorded by the image sensor 844. The image sensor 844 converts the optical signals to electrical signals and transmits them to computing device 103 for performing further data processing using deep learning models as described above.

[0142] The biochemical reactions for library preparation described above are collectively references as reactions 825 illustrated in FIG. 8B (c) . In these reactions 825, genomic DNA (gDNA) from the sample 801 is enzymatically fragmented. Following this, the end-repair and A-tailing process are carried out. Then, specially designed adapters are ligated to these new fragments. After magnetic bead purification, the DNA undergoes PCR amplification, and the amplified products are further purified. Lastly, a small portion of the library sample is split off to react with the library QC reagents, and the resulting optical signals are collected by the image sensor 844 located underneath or above the microfluidic device 842. The data collected are then processed and transmitted to the deep learning models described above to obtain the library QC results. The remaining large volume of the library sample can be separated for subsequent sequencing. Exemplary Computing Device Embodiment

[0143] FIG. 9 is an example block diagram of a computing device 900 that may incorporate embodiments of the present invention. Computing device 900 may be used to implement computing device 103 described above. FIG. 9 is merely illustrative of a machine system to carry out aspects of the technical processes described herein, and does not limit the scope of the claims. One of ordinary skill in the art would recognize other variations, modifications, and alternatives. In one embodiment, the computing device 900 typically includes a monitor or graphical user interface 902, a data processing system 920, a communication network interface 912, input device (s) 908, output device (s) 906, and the like.

[0144] As depicted in FIG. 9, the data processing system 920 may include one or more processor (s) 904 that communicate with a number of peripheral devices via a bus subsystem 918. These peripheral devices may include input device (s) 908, output device (s) 906, communication network interface 912, and a storage subsystem, such as a volatile memory 910 and a nonvolatile memory 917. The volatile memory 910 and / or the nonvolatile memory 917 may store computer-executable instructions and thus forming logic 922 that when applied to and executed by the processor (s) 904 implement embodiments of the processes disclosed herein.

[0145] The input device (s) 908 include devices and mechanisms for inputting information to the data processing system 920. These may include a keyboard, a keypad, a touch screen incorporated into the monitor or graphical user interface 902, audio input devices such as voice recognition systems, microphones, and other types of input devices. In various embodiments, the input device (s) 908 may be embodied as a computer mouse, a trackball, a track pad, a joystick, wireless remote, drawing tablet, voice command system, eye tracking system, and the like. The input device (s) 908 typically allow a user to select objects, icons, control areas, text and the like that appear on the monitor or graphical user interface 902 via a command such as a click of a button or the like. Graphical user interface 902 can be used in any of the above described methods to receive user inputs and / or for providing user with outputs.

[0146] The output device (s) 906 include devices and mechanisms for outputting information from the data processing system 920. These may include the monitor or graphical user interface 902, speakers, printers, infrared LEDs, and so on as well understood in the art.

[0147] The communication network interface 912 provides an interface to communication networks (e.g., communication network 916) and devices external to the data processing system 920. The communication network interface 912 may serve as an interface for receiving data from and transmitting data to other systems. Embodiments of the communication network interface 912 may include an Ethernet interface, a modem (telephone, satellite, cable, ISDN) , (asynchronous) digital subscriber line (DSL) , FireWire, USB, a wireless communication interface such as Bluetooth or WiFi, a near field communication wireless interface, a cellular interface, and the like. The communication network interface 912 may be coupled to the communication network 916 via an antenna, a cable, or the like. In some embodiments, the communication network interface 912 may be physically integrated on a circuit board of the data processing system 920, or in some cases may be implemented in software or firmware, such as "soft modems", or the like. The computing device 900 may include logic that enables communications over a network using protocols such as HTTP, TCP / IP, RTP / RTSP, IPX, UDP and the like.

[0148] The volatile memory 910 and the nonvolatile memory 914 are examples of tangible media configured to store computer readable data and instructions forming logic to implement aspects of the processes described herein. Other types of tangible media include removable memory (e.g., pluggable USB memory devices, mobile device SIM cards) , optical storage media such as CD-ROMS, DVDs, semiconductor memories such as flash memories, non-transitory read-only-memories (ROMS) , battery-backed volatile memories, networked storage devices, and the like. The volatile memory 910 and the nonvolatile memory 914 may be configured to store the basic programming and data constructs that provide the functionality of the disclosed processes and other embodiments thereof that fall within the scope of the present invention. Logic 922 that implements embodiments of the present invention may be formed by the volatile memory 910 and / or the nonvolatile memory 914 storing computer readable instructions. Said instructions may be read from the volatile memory 910 and / or nonvolatile memory 914 and executed by the processor (s) 904. The volatile memory 910 and the nonvolatile memory 914 may also provide a repository for storing data used by the logic 922. The volatile memory 910 and the nonvolatile memory 914 may include a number of memories including a main random access memory (RAM) for storage of instructions and data during program execution and a read only memory (ROM) in which read-only non-transitory instructions are stored. The volatile memory 910 and the nonvolatile memory 914 may include a file storage subsystem providing persistent (non-volatile) storage for program and data files. The volatile memory 910 and the nonvolatile memory 914 may include removable storage systems, such as removable flash memory.

[0149] The bus subsystem 918 provides a mechanism for enabling the various components and subsystems of data processing system 920 communicate with each other as intended. Although the communication network interface 912 is depicted schematically as a single bus, some embodiments of the bus subsystem 918 may utilize multiple distinct busses.

[0150] It will be readily apparent to one of ordinary skill in the art that the computing device 900 may be a device such as a smartphone, a desktop computer, a laptop computer, a rack-mounted computer system, a computer server, or a tablet computer device. As commonly known in the art, the computing device 900 may be implemented as a collection of multiple networked computing devices. Further, the computing device 900 will typically include operating system logic (not illustrated) the types and nature of which are well known in the art.

[0151] One embodiment of the present invention includes systems, methods, and a non-transitory computer readable storage medium or media tangibly storing computer program logic capable of being executed by a computer processor. The computer program logic can be used to implement embodiments of processes and methods described herein, including methods 600, 700, and 800, and various deep learning algorithms and processes.

[0152] Those skilled in the art will appreciate that computing device 900 illustrates just one example of a system in which a computer program product in accordance with an embodiment of the present invention may be implemented. To cite but one example of an alternative embodiment, execution of instructions contained in a computer program product in accordance with an embodiment of the present invention may be distributed over multiple computers, such as, for example, over the computers of a distributed computing network.

[0153] While the present invention has been particularly described with respect to the illustrated embodiments, it will be appreciated that various alterations, modifications and adaptations may be made based on the present disclosure and are intended to be within the scope of the present invention. While the invention has been described in connection with what are presently considered to be the most practical and preferred embodiments, it is to be understood that the present invention is not limited to the disclosed embodiments but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the scope of the underlying principles of the invention as described by the various embodiments referenced above and below.

Claims

1.A biosensor for performing an integrated process of biological signature detection from a biological sample, the biosensor comprising:a control sub-system configured to generate control signals for controlling the integrated process of biological signature detection;a fluidic sub-system configured to receive the biologic sample and generate droplets from the biological sample, the fluidic sub-system comprising a digital microfluidic device receiving the control signals to control movements of the droplets across surfaces of the digital microfluidic device; andan imaging sub-system coupled to the digital microfluidic device, the imaging sub-system comprising a semiconductor-based image sensor positioned relative to the digital microfluidic device to enable performing at least one of:monitoring the movements of the droplets across surfaces of the digital microfluidic device,monitoring biochemical reactions, orsensing fluorescent signals and obtaining images of the fluorescent signals for biological signature detection.2.The biosensor of claim 1, wherein the biological signature detection comprises at least one of protein biomarkers detection or nucleotide sequences detection.3.The biosensor of claim 1, further comprising:one or more processors including at least one of: one or more graphical processing units (GPUs) , one or more general-purpose processing units, one or more tensor processing units (TPUs) , or one or more programmable logic devices (PLDs) ;wherein the one or more processors enable the biosensor to operate in an offline mode to perform the integrated process of biological signature detection.4.The biosensor of claim 1, wherein:the digital microfluidic device and the semiconductor-based image sensor are vertically stacked in a manner such that the semiconductor-based image sensor senses the fluorescent signals to obtain the images of the fluorescent signals, the fluorescent signals being generated across substantially the entire surface of the digital microfluidic device.5.The biosensor of claim 4, wherein the digital microfluid device and the semiconductor-based image sensor are disposed on two opposite sides of a waterproof layer.6.The biosensor of claim 1, wherein:the digital microfluidic device and the semiconductor-based image sensor are partially vertically stacked in a manner such that the semiconductor-based image sensor senses fluorescent signals from a last portion of the digital microfluid device.7.The biosensor of claim 6, wherein:the digital microfluid device comprises a plurality of portions including a first portion, the last portion, and one or more intermediate portions located between the first portion and the last portion;the first portion of the digital microfluidic device is configured to receive the droplets of the biological sample; andthe one or more intermediate portions of the digital microfluidic device are configured to receive one or more respective reagents.8.The biosensor of claim 7, wherein the control sub-system is configured to:move the droplets of the biological sample from the first portion to the one or more intermediate portions, enabling biochemical reactions based on the reagents; andmove the droplets of the biological sample from the one or more intermediate portions to the last portion, such that the fluorescent signals are sensed by the semiconductor-based image sensor.9.The biosensor of claim 7, wherein the one or more intermediate portions of the digital microfluidic device comprise a first intermediate portion configured to receive a protein detection reagent and a second intermediate portion configured to receive a purify reagent.10.The biosensor of claim 1, wherein:the semiconductor-based image sensor comprises a plurality of image sensing groups; andthe digital microfluidic device and the semiconductor-based image sensor are vertically stacked in a manner such that only one or more groups of the plurality of image sensing groups, but not all, of the semiconductor-based image sensor senses the fluorescent signals to obtain the images of the fluorescent signals for biological signature detection.11.The biosensor of claim 10, wherein:the digital microfluid device comprises a plurality of portions including a first portion, a last portion, and one or more intermediate portions located between the first portion and the last portion;the first portion of the digital microfluidic device is configured to receive the droplets of the biological sample; andthe one or more intermediate portions of the digital microfluidic device are configured to receive one or more respective reagents.12.The biosensor of claim 11, wherein the control sub-system is configured to:move the droplets of the biological sample from the first portion to the one or more intermediate portions, enabling biochemical reactions based on the reagents; andmove the droplets of the biological sample from the one or more intermediate portions to the last portion, such that the fluorescent signals are sensed by the one or more groups, but not all, of the plurality of image sensing groups of the semiconductor-based image sensor.13.The biosensor of claim 12, wherein:the other groups of the plurality of image sensing groups of the semiconductor-based image sensor are positioned to enable monitoring at least one of:movements of the droplets from the first portion to the one or more intermediate portions;movement of the droplets among the one or more intermediate portions;movement of the droplets from the one or more intermediate portions to the last portion; orthe biochemical reactions based on the reagents.14.The biosensor of claim 1, further comprising:one or more processors and memory storing one or more instructions, when executed by the one or more processors, cause the one or more processors to:perform the biological signature detection based on the images of the fluorescent signals, andprovide, via a user interface, diagnostic outputs based on the biological signature detection results.15.The biosensor of claim 14, wherein the one or more processors are configured to perform the biological signature detection and provide the diagnostic outputs in an offline mode based on one or more neural networks deployed locally at the biosensor.16.The biosensor of claim 15, wherein the one or more neural networks comprise a large-language model (LLM) enhanced with a vectorized biomedical diagnostic knowledge database.17.The biosensor of claim 16, wherein the LLM is at least one of:customizable based on a user input, orupdatable with additional biomedical diagnostic knowledge.18.A method performed by a biosensor for detecting protein biomarkers based on enzyme-linked immunosorbent assays (ELISA) , the method comprises:receiving a biological sample for performing the protein biomarkers detection;distributing, by a fluidic sub-system of the biosensor, the biological sample to a digital microfluidic device of the biosensor to form a plurality of droplets of the biological sample;receiving one or more types of reagents including antibodies;controlling, by a control sub-system of the biosensor, the plurality of droplets of the biological sample to be positioned at the bottom of the digital microfluidic device; andsensing, by a semiconductor-based image sensor, fluorescent signals generated by biochemical reactions enabled by the antibodies in the digital microfluidic device, the semiconductor-based image sensor being vertically stacked with the digital microfluidic device to obtain images of the fluorescent signals for protein biomarkers detection.19.The method of claim 18, wherein controlling the plurality of droplets of the biological sample to be positioned in the wells comprises:moving the one or more of the plurality of droplets by electrodes controlled by the control sub-system.20.The method of claim 19, wherein the electrodes are disposed between the fluidic sub-system and semiconductor-based image sensor.21.The method of claim 19, wherein moving the one or more of the plurality of droplets by electrodes comprises:applying a voltage to a droplet of the plurality of droplets by the electrodes, a value of the voltage being based on a size of the droplet.22.The method of claim 18, wherein the semiconductor-based image sensor is configured to have a sensitivity for detecting a single photon.23.The method of claim 18, wherein the fluorescent signals are generated substantially across the entire digital microfluidic device.24.The method of claim 18, wherein receiving the one or more types of reagents including antibodies comprises:receiving a first reagent comprising capture antibodies; andreceiving a second reagent comprising detection antibodies.25.A method performed by a biosensor for detecting protein biomarkers based on proximity extension assays (PEA) , the method comprises:receiving a biological sample for performing the protein biomarkers detection;distributing the biological sample to a first portion of a digital microfluidic device of the biosensor to form a plurality of droplets of the biological sample;performing, by a control sub-system of the biosensor:moving one or more of the plurality of droplets of the biological sample from the first portion to one or more intermediate portions of the digital microfluidic device to enable one or more biochemical reactions based on one or more types of reagents including antibodies conjugated with DNA;moving one or more of the plurality of droplets of the biological sample from the one or more intermediate portions to the last portion of the digital microfluidic device; andsensing, by a semiconductor-based image sensor, fluorescent signals generated by the one or more biochemical reactions, the semiconductor-based image sensor being at least partially vertically stacked with the digital microfluidic device to obtain images of the fluorescent signals for PEA-based protein biomarkers detection.26.The method of claim 25, further comprising:receiving the one or more types of reagents including antibodies conjugated with DNA at the one or more intermediate portions of the digital microfluidic device.27.The method of claim 25, wherein the semiconductor-based image sensor only vertically overlaps with the digital microfluidic device at the last portion of the digital microfluidic device to sense the fluorescent signals generated by the one or more biochemical reactions.28.The method of claim 25, wherein:the semiconductor-based image sensor comprises a plurality of image sensing groups; andone or more groups of the plurality of image sensing groups, but not all groups, sense the fluorescent signals generated by the one or more biochemical reactions to obtain images of the fluorescent signals for PEA-based protein biomarkers detection.29.The method of claim 28, further comprising:monitoring at least one of the following operations performed by the other groups of the plurality of image sensing groups:movements of the droplets from the first portion to the one or more intermediate portions;movement of the droplets among the one or more intermediate portions;movement of the droplets from the one or more intermediate portions to the last portion; orthe biochemical reactions based on the one or more types of reagents.30.The method of claim 25, wherein moving one or more of the plurality of droplets comprising applying a voltage to a droplet of the plurality of droplets by electrodes, a value of the voltage being based on a size of the droplet.31.The method of claim 25, wherein the semiconductor-based image sensor is configured to have a sensitivity for detecting a single photon.32.The method of claim 25, further comprising:performing the protein biomarkers detection and providing diagnostic outputs in an offline model based on one or more neural networks deployed locally at the biosensor.33.A method performed by a biosensor for preparing a library for high-throughput nucleotide sequencing, the method comprises:receiving a biological sample for library preparation;distributing the biological sample to a first portion of a digital microfluidic device of the biosensor to form a plurality of droplets of the biological sample;performing, by a control sub-system of the biosensor:moving one or more of the plurality of droplets of the biological sample from the first portion to one or more intermediate portions to enable biochemical reactions based on at least a library preparation reagent;moving the one or more of the plurality of droplets of the biological sample from the one or more intermediate portions to the last portion of the digital microfluidic device;sensing, by a semiconductor-based image sensor, fluorescent signals generated by at least some of the biochemical reactions, the semiconductor-based image sensor being at least partially vertically stacked with the digital microfluidic device to obtain images of the fluorescent signals for library preparation.34.The method of claim 33, wherein moving one or more of the plurality of droplets of the biological sample from the first portion to one or more intermediate portions to enable biochemical reactions based on at least a library preparation reagent comprises:moving one or more of the plurality of droplets of the biological sample from the first portion to a second portion of the digital microfluidic device to enable biochemical reactions based on the library preparation reagent;moving the one or more of the plurality of droplets of the biological sample from the second portion to a third portion of the digital microfluidic device to enable biochemical reactions based on a purify reagent; andmoving the one or more of the plurality of droplets of the biological sample from the third portion to a fourth portion of the digital microfluidic device to enable biochemical reactions based on a library quality control reagent.

Images