Systems for generating natural text explanations regarding predictions of clinical measurements

Abstract

Systems are provided for generating natural language explanations for predictions of clinical measurements. In one example, an ultrasound imaging system includes an ultrasound probe and a processing circuit having a processor coupled to a memory device. The memory device stores instructions thereon that, when executed, cause the processing circuit to perform operations including receiving image data obtained using the ultrasound probe, analyzing the image data to identify an image characteristic, identifying, using a first artificial intelligence model, a measurement from the image data based on the image characteristic, applying the measurement to a second artificial intelligence model, generating, using the second artificial intelligence model, a natural language explanation for the measurement, and presenting the measurement and the natural language explanation for the measurement via a display of the ultrasound imaging system.

Description

SYSTEMS FOR GENERATING NATURAL TEXT EXPLANATIONS REGARDING PREDICTIONS OF CLINICAL MEASUREMENTSFIELD

[0001] Embodiments of the subject matter disclosed herein relate to medical imaging, and more particularly, to using artificial intelligence to generate natural language explanations of predicted clinical measurements based on medical imaging data.BACKGROUND

[0002] During a medical imaging process, a plurality of medical images of a patient are typically obtained by a technician to measure or detect various aspects of anatomical features present within the medical images. These images and measurements are subsequently analyzed by a clinician, such as a cardiologist or radiologist, to observe a condition or to identify any abnormalities.SUMMARY

[0003] An embodiment relates to an ultrasound imaging system. The ultrasound imaging system includes an ultrasound probe and a processing circuit. The ultrasound probe includes a transducer configured to transmit and receive an ultrasound signal, a matching layer configured to have an acoustic impedance between a tissue to be imaged and a material of the transducer, and a damping block configured to absorb ultrasound energy. The processing circuit includes a processor coupled to a memory device, and the memory device stores instructions thereon that, when executed, cause the processing circuit to perform operations including receiving image data obtained using the ultrasound probe, analyzing the image data to identify an image characteristic, identifying, using a first artificial intelligence model, a measurement from the image data based on the image characteristic, applying the measurement to a second artificial intelligence model, generating, using the second artificial intelligence model, a natural language explanation for the measurement, and presenting the measurement and the natural language explanation for the measurement via a display of the ultrasound imaging system.

[0004] Another embodiment relates to an ultrasound imaging system. The ultrasound imaging system includes an ultrasound probe. The ultrasound probe includes a transducer configured to transmit and receive an ultrasound signal, a matching layer configured to have an acoustic impedance between a tissue to be imaged and a material of the transducer, and a damping block configured to absorb ultrasound energy. The ultrasound imaging system includes an image processing circuit configured to receive image data obtained using the ultrasound probe and analyze the image data to identify an image characteristic. The ultrasound imaging system includes an artificial intelligence model configured to identify a  measurement from the image data based on the image characteristic. The ultrasound imaging system includes a large language model configured to generate a natural language explanation for the measurement. The ultrasound imaging system includes a display configured to present the measurement and the natural language explanation for the measurement to a user of the ultrasound imaging system.

[0005] Another embodiment relates to a method. The method includes receiving, by an image processing circuit, image data obtained using an ultrasound probe of an ultrasound imaging system. The method includes analyzing, by the image processing circuit, the image data to identify an image characteristic. The method includes identifying, by a first artificial intelligence model, a measurement from the image data based on the image characteristic. The method includes receiving, by a second artificial intelligence model, the measurement from the first artificial intelligence model. The method includes generating, by the second artificial intelligence model, a natural language explanation for the measurement. The method includes presenting, via a display of the ultrasound imaging system, the measurement and the natural language explanation for the measurement.

[0006] This summary is illustrative only and is not intended to be in any way limiting. Other aspects, inventive features, and advantages of the devices or processes described herein will become apparent in the detailed description set forth herein, taken in conjunction with the accompanying figures, wherein like reference numerals refer to like elements.BRIEF DESCRIPTION OF THE DRAWINGS

[0007] FIG. 1 is a block diagram of an ultrasound imaging system, according to an example embodiment.

[0008] FIG. 2 is a block diagram of an image processing circuit used in the ultrasound imaging system of FIG. 1, according to an example embodiment.

[0009] FIG. 3 is a block diagram of an artificial intelligence circuit used in the ultrasound imaging system of FIG. 1, according to an example embodiment.

[0010] FIG. 4 is another block diagram of the artificial intelligence circuit of FIG. 3, according to an example embodiment.

[0011] FIG. 5 is a flow chart illustrating a method for generating a natural language explanation of a predicted clinical measurement using the ultrasound imaging system of FIG. 1, according to an example embodiment.

[0012] FIG. 6 is a diagram illustrating a process for generating a natural language explanation of a predicted clinical measurement, according to an example embodiment.

[0013] FIG. 7 is an illustration of an artificial intelligence system used in the process of FIG. 6 to generate the natural language explanation, according to an example embodiment.

[0014] FIG. 8 is an illustration of image characteristics identified during the process of FIG. 6 to generate the natural language explanation, according to an example embodiment.

[0015] FIG. 9 is an illustration of the natural language explanation generated during the process of FIG. 6, according to an example embodiment.

[0016] FIG. 10 is an illustration of a graphical user interface depicting a natural language explanation for a predicted clinical measurement based on ultrasound image data, according to an example embodiment.

[0017] FIG. 11A is an illustration of a natural language explanation of a predicted clinical measurement compared to a corresponding ground truth measurement, according to an example embodiment.

[0018] FIG. 11B is another illustration of a natural language explanation of a predicted clinical measurement compared to a corresponding ground truth measurement, according to an example embodiment.DETAILED DESCRIPTION

[0019] Referring generally to the figures, systems and methods for generating natural text (e.g., natural language) explanations of predicted clinical measurements are disclosed. The systems and methods disclosed herein use various processing circuits, such as an imaging processing circuit and an artificial intelligence (AI) circuit to analyze medical images and provide natural language explanations of predicted measurements based upon the analyzed medical images. While the examples herein focus on ultrasound imaging devices and analyzing ultrasound images and providing natural language explanations based on the same, it will be appreciated that the systems and methods described here can also be used with other medical imaging equipment, such as but not limited to X-ray imaging, computed tomography (CT) imaging, magnetic resonance (MR) imaging, positron emissions tomography (PET) nuclear medicine scans, fluoroscopy, mammography, optical coherence tomography (OCT) , and thermography imaging.

[0020] Beneficially, the implementations described herein provide assistive technology configured to provide natural language explanations of predicted clinical measurements using artificial intelligence  (AI) . The use of AI minimizes inconsistencies across medical imaging systems, and intelligent explanations ensure that a comprehensive reasoning is provided with a predicted clinical measurement. Therefore, the systems and methods described herein assist sonographers, technicians, clinicians, doctors, etc., in understanding predicted measurements identified from medical image data.

[0021] The implementations described herein address a technical problem by providing enhanced data integration and analysis capabilities, which deliver a particular technical solution that streamlines and refines provision of predicted clinical measurements. The systems described herein are implemented to improve how data is synthesized and utilized by AI models during a medical imaging procedure, such as an ultrasound imaging procedure. By integrating intermediate information and processes used by the AI models to identify a predicted clinical measurement from medical imaging data, these systems provide intelligent explanations of the predicted clinical measurements. Accordingly, this approach provides a specific technical improvement to various technical problems, including those set forth herein. The systems described herein may also reduce processing power by performing various processing operations simultaneously to provide intelligent explanations of predicted clinical measurements, rather than performing a plurality of processing operations individually and consuming unnecessary processing power.

[0022] Before turning to the figures, which illustrate certain exemplary embodiments in detail, it should be understood that the present disclosure is not limited to the details or methodology set forth in the description or illustrated in the figures. It should also be understood that the terminology used herein is for the purpose of description only and should not be regarded as limiting.

[0023] Referring to FIG. 1, a schematic diagram of an ultrasound imaging system 100 is shown. The ultrasound imaging system 100 may be used in a medical environment (e.g., hospitals, clinics, etc. ) , for example, by a sonographer, technician, or other clinician certified to collect ultrasound data from a patient.

[0024] An example of a procedure performed using the ultrasound imaging system 100 may be an echocardiogram. Echocardiograms are performed to detect heart abnormalities in a patient by collecting and processing ultrasound data (e.g., using the ultrasound imaging system 100, as described herein) . For example, an echocardiogram may be used to calculate a left ventricle ejection fraction (LVEF) in a patient’s heart. LVEF refers to a percentage of the total amount of blood in the left ventricle (LV) that is pumped out with each contraction of the heart. In other words, a high LVEF indicates that a large percentage (e.g., greater than 70%) of the total amount of blood in the left ventricle is pumped out with each contraction of the heart, while a low LVEF indicates that a small percentage (e.g., less than 30%) of the total amount of blood in the left ventricle is pumped out with each contraction of the heart. The LVEF  is a critical measurement used to detect cardiac conditions such as heart failure, which may be indicated by a low LVEF. Although the systems and methods are described herein with reference to calculating LVEF during an echocardiogram, it should be appreciated that the systems and methods described herein may be used in a wide variety of ultrasound imaging applications (e.g., a lung ultrasound, an abdominal ultrasound, an obstetric ultrasound, etc. ) .

[0025] As shown in FIG. 1, the ultrasound imaging system 100 includes a transmit beamformer 102, a transmitter 104, a probe 106, a receiver 110, and a receive beamformer 112.

[0026] The transmit beamformer 102 may be either a hardware beamformer or a software beamformer. In embodiments where the transmit beamformer 102 is a hardware beamformer, the transmit beamformer 102 may include one or more of a graphics processing unit (GPU) , a microprocessor, a central processing unit (CPU) , a digital signal processor (DSP) , or any other type of processor capable of performing logical operations. The transmit beamformer 102 may be configured to perform conventional beamforming techniques as well as techniques such as retrospective transmit beamforming (RTB) . Alternatively, in embodiments where the transmit beamformer 102 is a software beamformer, a processor (e.g., processor 116, as described below) may be configured to perform some or all of the functions associated with the transmit beamformer 102.

[0027] The probe 106 may be a linear array probe, a curvilinear array probe, a sector probe, or any other type of probe configured to obtain B-mode data and color flow data. Alternatively or additionally, the probe 106 may be any type of probe configured to obtain B-mode data and data corresponding to another ultrasound mode that detects blood flow velocity in the direction of a vessel axis. In some embodiments, the probe 106 may include a position sensor configured to detect a position of the probe 106 relative to one or more reference locations. That is, the position sensor may continuously track movement (e.g., rotation, translation, orientation, etc. ) of the probe 106 relative to the location of the probe 106 when the anatomy being imaged is identified. For example, the anatomy being imaged may be identified as a left ventricle (LV) at a first location of the probe 106. Then, the position sensor may track the movement of the probe 106 relative to the LV in order to identify successive locations of the probe 106. In some embodiments, the position sensor may transmit position data to be stored within the ultrasound imaging system 100 (e.g., in memory 118) .

[0028] The probe 106 is shown to include signal elements 108. The signal elements 108 may be arranged in a transducer array, and in some embodiments may be arranged in a one-dimensional (1D) or 2D array. The transmit beamformer 102 and the transmitter 104 drive the signal elements 108 to emit pulsed ultrasonic signals into a body of a subject (e.g., a patient) . For example, during an echocardiogram, a sonographer or other clinician may navigate the probe 106 over a patient’s chest so  that the signal elements 108 in the probe 106 emit the pulsed ultrasonic signals into the patient’s thoracic cavity. The pulsed ultrasonic signals are then back-scattered from anatomical structures in the body, such as blood cells or muscular tissues, to produce echoes that return to the signal elements 108.

[0029] The receiver 110 receives the echoes from the probe 106 and converts the echoes into electrical signals. The electrical signals are then passed through the receive beamformer 112, which produces the ultrasound data from the electrical signals. As described above with reference to the transmit beamformer 102, the receive beamformer 112 may be either a hardware beamformer or a software beamformer. In embodiments where the receive beamformer 112 is a hardware beamformer, the receive beamformer 112 may include one or more of a GPU, a microprocessor, a CPU, a DSP, or any other type of processor capable of performing logical operations. The receive beamformer 112 may be configured to perform conventional beamforming techniques as well as techniques such as retrospective transmit beamforming (RTB) . Alternatively, in embodiments where the receive beamformer 112 is a software beamformer, a processor (e.g., processor 116, as described below) may be configured to perform some or all of the functions associated with the receive beamformer 112.

[0030] Although the transmit beamformer 102, the transmitter 104, the receiver 110, and the receive beamformer 112 are shown in FIG. 1 as being components of the ultrasound imaging system 100 that are distinct from the probe 106, it should be appreciated that in some embodiments, the probe 106 may include electronic circuitry configured to perform the functions of each of the transmit beamformer 102, the transmitter 104, the receiver 110, and / or the receive beamformer 112. That is, all or part of the transmit beamformer 102, the transmitter 104, the receiver 110, and / or the receive beamformer 112 may be situated within the probe 106.

[0031] Referring still to FIG. 1, the ultrasound imaging system 100 is shown to include a processing circuit 114. As shown, the processing circuit 114 may include at least one processor 116, a memory 118, an image processing circuit 120, and an artificial intelligence (AI) circuit 122. In this way, the processing circuit 114 may be structured or configured to execute or implement the instructions, commands, and / or control processes described herein with respect to the processor 116, the memory 118, the image processing circuit 120, and the AI circuit 122.

[0032] The processor 116 may include a CPU, a GPU, a microprocessor, a DSP, a general-purpose single-or multi-chip processor, a field-programmable gate array (FPGA) , or any other type of processor capable of performing logical operations. A general-purpose processor may be a microprocessor, or, any conventional processor, or state machine. A processor also may be implemented as a combination of computing devices, such as a combination of a DSP and a microprocessor, a plurality of microprocessors, one or more microprocessors in conjunction with a DSP core, or any other such configuration. In some  embodiments, the processor 116 may be shared by multiple circuits (e.g., the circuits of the processor 116 may include or otherwise share the same processor which, in some example embodiments, may execute instructions stored, or otherwise accessed, via different areas of the memory 118) . Alternatively or additionally, the processor 116 may be structured to perform or otherwise execute certain operations independent of one or more co-processors. In some embodiments, two or more processors may be coupled via a bus to enable independent, parallel, pipelined, or multi-threaded instruction execution. All such variations are intended to fall within the scope of the present disclosure.

[0033] The processor 116 may be configured to control the transmit beamformer 102, the transmitter 104, the receiver 110, and the receive beamformer 112. The processor 116 may also be in electronic communication with the probe 106. For purposes of this disclosure, the term “electronic communication” may be defined to include both wired and wireless communications.

[0034] In some embodiments, the processor 116 may be configured to control the probe 106 during data acquisition. That is, the processor 116 may control the data acquisition by controlling which of the signal elements 108 are active and by controlling a shape of the beam emitted from the probe 106. Alternatively or additionally, the processor 116 may include a complex demodulator configured to demodulate radio frequency (RF) data obtained by the probe 106 and generate raw data. According to other embodiments, the demodulation of the RF data may be performed by another component of the ultrasound imaging system 100. The processor 116 may perform the processing operations described herein according to a plurality of selectable ultrasound modalities.

[0035] Depending on a mode of operation of the ultrasound imaging system 100, the processor 116 may process ultrasound data obtained by the probe 106 according to the mode of operation to generate 2D or 3D image data. For example, the mode of operation may include B-mode, color flow Doppler mode, M-mode, color M-mode, spectral Doppler, elastography, TVI, strain, strain rate, and the like. Various of these modes of operation may be configured to, for instance, convert ultrasound data from beam space coordinates (e.g., received from the receive beamformer 112) to display space coordinates (e.g., such that the ultrasound data may be displayed as image data) . In some embodiments, the mode of operation may allow for video processing by the processor 116 such that a series of images (e.g., processed ultrasound data) may be displayed in real-time while a scanning session / procedure is being performed on a patient. An operator of the ultrasound imaging system 100 (e.g., a sonographer) may switch between various modes in order to obtain a variety of ultrasound data and to perform a complete scan of an anatomical region of interest. For example, as described herein, the operator may switch between modes using user interface 130 (e.g., using physical controls, interface inputs representing physical controls, etc. ) .

[0036] The processor 116 performs the processing operations in real-time as the echo signals are received by the receiver 110 from the probe 106. For the purposes of this disclosure, the term “real-time” is defined to include a procedure that is performed without any intentional delay. As an illustrative, non-limiting example, in certain instances, the ultrasound imaging system 100 may obtain images at a real-time volume-rate of 7-20 volumes / sec. It should be appreciated, however, that the real-time volume-rate may be dependent on the length of time that it takes to obtain each volume of data for display. Thus, the ultrasound imaging system 100 may be configured to obtain 2D data of an anatomical region at a faster rate than 3D data of the same anatomical region because it takes longer to obtain a volume of 3D data than the same volume of 2D data. Similarly, when the ultrasound imaging system 100 obtains a relatively large volume of data, the real-time volume-rate may be slower than for a smaller volume of data. For example, during an abdominal scan, the real-time volume-rate may be slower if the patient is an adult versus if the patient is an infant because the volume of data is larger for the adult than for the infant (e.g., due to the abdomen of an adult being larger than the abdomen of an infant) . Therefore, certain implementations of the ultrasound imaging system 100 may have real-time volume-rates that are faster than 20 volumes / sec, while other implementations of the ultrasound imaging system 100 may have real-time volume-rates that are slower than 7 volumes / sec.

[0037] In some embodiments, the ultrasound imaging system 100 may include multiple processors configured to perform the processing operations / functionality described with reference to processor 116. For example, in such embodiments, a first processor of the multiple processors may be configured to demodulate and decimate the RF signal while a second processor of the multiple processors may be configured to further process the RF data prior to displaying an image representative of the data. It should be appreciated that other embodiments may use a different arrangement of processors.

[0038] The processor 116 may also be in electronic communication with the display device 132 such that the processor 116 may process ultrasound data obtained by the probe 106 and generate images to display on the display device 132 (e.g., image data 205, as shown with reference to FIGS. 6 and 9-11B) .

[0039] As shown in FIG. 1, the processing circuit 114 also includes the memory 118. The memory 118 may be configured to, for example, store processed volumes of data obtained by the ultrasound imaging system 100 (e.g., ultrasound data collected by the probe 106) . For example, the memory 118 may be a hospital picture archiving and communication system (PACS) . The memory 118 (e.g., memory, memory unit, storage device, etc. ) may include one or more devices (e.g., RAM, ROM, Flash memory, hard disk storage, etc. ) for storing data and / or computer code for completing or facilitating the processes, layers, and modules described in the present application. The memory 118 may be or include tangible, non-transient volatile memory or non-volatile memory. The memory 118 may also include database  components, object code components, script components, or any other type of information structure for supporting the activities and information structures described in the present application.

[0040] In various embodiments, the memory 118 may have varying capacity (e.g., storage space) across embodiments of the ultrasound imaging system 100. For example, the memory 118 may be configured to store at least 60 minutes worth of ultrasound data. The ultrasound data may be stored in the memory 118 such that the ultrasound data may be retrieved according to an order / time of acquiring the data. That is, the ultrasound data may be stored with a timestamp indicating a time at which the ultrasound data was collected and may be retrieved starting with an oldest time at which the ultrasound data was collected.

[0041] The processing circuit 114 also includes the image processing circuit 120 and the AI circuit 122. The AI circuit 122 may include a plurality of AI models (e.g., a first AI model, a second AI model, etc. ) configured to facilitate the various operations described herein. Similarly, in some embodiments, the image processing circuit 120 may include various AI models (e.g., a convolutional neural network, a graph convolutional network, etc. ) configured to facilitate the various operations described herein. In this way, the image processing circuit 120 may be included in the AI circuit 122 or may be a distinct circuit including various AI models. Both the image processing circuit 120 and the AI circuit 122 are configured to facilitate generating natural language explanations for predicted clinical measurements, and are each described in greater detail below with reference to FIGS. 2-5.

[0042] The ultrasound imaging system 100 may also include an external database 128 and a user interface 130. The external database 128 refers to a database from which the processing circuit 114 (e.g., the image processing circuit 120, the AI circuit 122) retrieves information used to analyze image data, identify measurements from the image data, and generate natural language explanations for the identified measurements. For example, the external database 128 may be a medical information database. The medical information database may store clinical guidelines, standard practices, medical literature, medical textbooks, published research, previous case studies, and so on. Depending on an implementation of the ultrasound imaging system 100 and / or a procedure performed thereby, the AI circuit 122 may retrieve clinical guidelines, standard practices, medical literature, medical textbooks, published research, and previous case studies related to the implementation and / or procedure. For example, if the ultrasound imaging system 100 is being used in a hospital setting to calculate LVEF during an echocardiogram, the AI circuit 122 may retrieve clinical guidelines and standard practices related to the hospital setting and an echocardiogram. Continuing with this example, the AI circuit 122 may also retrieve information from the medical literature, medical textbooks, published research, and previous case studies related to cardiac anatomy and LVEF.

[0043] The user interface 130 may be used by a sonographer or other clinician to control operation of the ultrasound imaging system 100. For example, the sonographer may use the user interface 130 to control the input of patient data, to change a scanning or display parameter, and / or to select various other modes, operations, parameters, etc. of the ultrasound imaging system 100. In some embodiments, the user interface 130 may include an off-the-shelf consumer electronic device such as a smartphone, a tablet, a laptop, and so on. For the purposes of this disclosure, the term “off-the-shelf consumer electronic device” is defined to be an electronic device that was designed and developed for general consumer use and one that was not specifically designed for use in a medical environment. Alternatively, in other embodiments, the user interface 130 may be an electronic device that was designed and developed for use in a medical environment.

[0044] According to some embodiments, the user interface 130 may be physically separate from the rest of the ultrasound imaging system 100 (e.g., the transmit beamformer 102, the transmitter 104, the probe 106, the receiver 110, the receive beamformer 112, the processing circuit 114, and / or the external database 128) . The user interface 130 may communicate with the processor 116 through a wireless protocol, such as Wi-Fi, Bluetooth, wireless local area network (WLAN) , near-field communication, and so on. According to some embodiments, the user interface 130 may communicate with the processor 116 through an application programming interface (API) .

[0045] In some embodiments, the user interface 130 may include physical controls such as one or more of buttons, sliders, a rotary knob, a mouse, a keyboard, a trackball, hard keys linked to specific actions, soft keys that may be configured to control different functions, and so on. As shown in FIG. 1, the user interface 130 may also include a display device 132. In some embodiments, the display device 132 may be configured to display a graphical user interface (GUI) based on an instruction from the memory 118. The GUI may include user interface icons representing commands and instructions relating to the operation of the ultrasound imaging system 100. The user interface icons of the GUI may be configured such that a user (e.g., the sonographer, clinician, etc. ) may select a specific user interface icon in order to initiate a specific function controlled by the GUI. For example, various user interface icons may be used to represent windows, menus, buttons, cursors, scroll bars, and so on. That is, the physical controls of the user interface 130 may be included as individual hardware elements, as user interface icons displayed on the display device 132, or as a combination of hardware elements and user interface icons.

[0046] In some embodiments, the display device 132 may include a touch-sensitive display device or a touch screen. According to such embodiments, the touch screen may be configured to interact with the GUI displayed by the display device 132 such that a user (e.g., the sonographer) can interact with the GUI via the touch screen. The touch screen may be a single-point touch screen that is configured to  detect a single contact point at a time, or the touch screen may be a multi-point touch screen that is configured to detect multiple points of contact at a time. For embodiments where the touch screen is a multi-point touch screen, the touch screen may be configured to detect multi-point gestures involving contact from two or more of a user's fingers at a time. The touch screen may be a resistive touch screen, a capacitive touch screen, or any other type of touch screen that is configured to receive inputs from a stylus or one or more of a user's fingers. According to some embodiments, the touch screen may be an optical touch screen that uses technology such as infrared light or other frequencies of light to detect one or more points of contact initiated by a user. In some embodiments, the touch screen may be incorporated as part of the display device 132 or may be separate from the display device 132. The user interface 130 may also include a proximity sensor configured to detect objects and / or gestures that are within a predetermined distance (e.g., five feet, six inches, ten centimeters, etc. ) of the proximity sensor. In various embodiments, the proximity sensor may be located on the display device 132 or as part of a touch screen that is separate from the display device 132.

[0047] Referring to FIG. 2, the image processing circuit 120 of the ultrasound imaging system 100 is shown in greater detail. As shown, the image processing circuit 120 receives image data 205 from an ultrasound scan. The image data 205 refers to ultrasound data collected by the probe 106 while performing an ultrasound examination on a patient. For example, the image data 205 may be collected during an echocardiogram procedure and may therefore include various images of a patient’s heart.

[0048] The image data 205 is received and processed by the image processing circuit 120 during an image analysis. In some embodiments, the image data 205 may be retrieved by the image processing circuit 120 from the memory 118. The image data 205 may include a set of images from a scanning session (e.g., the echocardiogram procedure) . The set of images may be taken with the ultrasound imaging system 100 in a particular mode of operation (e.g., B-mode, color flow Doppler mode, M-mode, color M-mode, spectral Doppler, elastography, TVI, strain, strain rate, etc. ) . In some embodiments, the set of images may relate to a specific anatomical feature and / or region of the patient (e.g., the left ventricle) .

[0049] The image processing circuit 120 may include multiple deep learning-based models (e.g., a convolutional neural network, a graph convolutional network, etc. ) configured to analyze the image data 205. In some embodiments, analyzing the image data 205 includes identifying an image characteristic 210 from the image data 205. For instance, the image characteristic 210 may include a geometric feature from the image data 205. For example, the geometric feature may be at least one of a bulge, a foreshortening, a sector movement, a basal movement, an apex movement, a sector cut, or a shape within the image data. The image processing circuit 120 may be configured to identify the image characteristic  210 using one or more algorithms (e.g., image processing algorithms such as edge detection, machine learning models, deep neural networks, etc. ) .

[0050] In some embodiments, the image characteristic 210 may include a shape, relative proximity, apparent depth, orientation, etc. of anatomical features such as bones, blood vessels, organs, etc. depicted in the image data 205. During an echocardiogram in which the ultrasound imaging system 100 is being used to capture images of a patient’s heart, the image processing circuit 120 may detect a movement and / or orientation of the left ventricle relative to surrounding structures, such as the left atrium, via a deep learning classification model trained to recognize the movement and / or orientation of the left ventricle, and other anatomical structures. For example, the image processing circuit 120 may detect movement of the left ventricle during ventricular systole and ventricular diastole, which may then be used to predict a LVEF measurement, as described herein. In some embodiments, the image processing circuit 120 may detect movement of structures in the image data 205 by comparing the location, shape, size, etc., of identified structures across image data 205.

[0051] In some embodiments, the image processing circuit 120 may be configured to segment an anatomical region identified in the image data 205 during the image analysis. For example, if the image data 205 includes a four-chamber (4CH) view of a heart, the image processing circuit 120 may be configured to segment the heart into a right atrium, a right ventricle, a left atrium, a left ventricle, etc. In this way, regions of interest (ROIs) may be identified from the segmented anatomical region as each ROI pertains to a measurement taken from the image data 205. For example, when calculating LVEF, the image processing circuit 120 may identify the left ventricle as a ROI relating to the LVEF. As shown in FIG. 10, the ROI may be presented to a user via the display device 132 (e.g., via graphical user interface (GUI) 1000) .

[0052] Referring to FIG. 3, the AI circuit 122 of the ultrasound imaging system 100 is shown in greater detail. The AI circuit 122 is shown to receive the image characteristic 210 (e.g., generated by the image processing circuit 120, as described above with reference to FIG. 2) as an AI model input. For example, the image characteristic 210 received by the AI circuit 122 may include any of a bulge, a foreshortening, a sector movement, a basal movement, an apex movement, a sector cut, or a shape identified within the image data 205. Based on the image characteristic 210, the AI circuit 122 may be configured to identify a measurement 315 from the image data 205 and to output the measurement 315. In another embodiment, the measurement 315 may be an output from a first AI model included in the AI circuit 122, and may thereafter be received by a second AI model (e.g., a LLM) included in the AI circuit 122. In such embodiments, as described with reference to FIG. 4, the measurement 315 may be output from the AI circuit 122 together with a natural language explanation (e.g., natural language explanation 405) of the  measurement 315 after the measurement 315 is received by the second AI model. The measurement 315 refers to a predicted clinical measurement relating to an anatomy being imaged by the ultrasound imaging system 100. For example, the measurement 315 may include a LVEF calculation. Where the image characteristic 210 includes a geometric feature, the measurement 315 may be based on the geometric feature.

[0053] Referring to FIG. 4, the AI circuit 122, the external database 128, and the user interface 130 of the ultrasound imaging system 100 are shown. Information regarding the image data 205 (e.g., the image characteristic 210, additional image processing performed by the image processing circuit 120, etc. ) may be combined with the measurement 315 identified from the image data 205 to generate a template 425. That is, the template 425 may include relevant information from the image data 205 related to the measurement 315. For example, the template 425 may include additional image characteristics (e.g., any of the image characteristics 210 shown in FIG. 8) , additional measurements (e.g., any of the measurements 315 shown in FIG. 7) , ultrasound images (e.g., image data 205 obtained by the ultrasound probe 106) , and so on. In some embodiments, the template 425 only includes the measurement 315, or only includes the image data 205 or the image characteristics 210. Where the template 425 only includes the image data 205 or the image characteristics 210, the measurement 315 may be otherwise received by an AI model within the AI circuit 122 (e.g., as a natural language input to the LLM 415) to generate the natural language explanation 405. In some instances, where the measurement 315 is an output from a first AI model included in the AI circuit 122, the measurement 315 may not be received by the AI circuit 122 (e.g., due to the measurement 315 being in the AI circuit 122 already as an output from the first AI model) , but is received by a second model in the AI circuit 122 (e.g., the LLM 415) to generate the natural language explanation 405. The template 425 may be generated such that the information contained therein may be in a format that is understandable by an AI model within the AI circuit 122. For example, the template 425 may include image characteristics and measurements derived from the image data 205 in a natural language format that may be understood by a LLM. Then, the AI circuit 122 may use the template 425 to generate a natural language explanation 405 for the measurement 315. That is, the measurement 315 may be applied to an AI model (e.g., via the template 425) within the AI circuit 122 configured to generate the natural language explanation 405 of the measurement 315.

[0054] In some embodiments, as shown in FIG. 4, the AI model used to generate the natural language explanation 405 may be a LLM 415. Alternatively or additionally, the AI circuit 122 may include a vision language model (VLM) 420. For example, the VLM 420 may be configured to process ultrasound images included in the template 425. In some embodiments, the LLM 415 may be powered by a retrieval augmented generation (RAG) model 410. The RAG model 410 may be configured to access the external database 128 such that the information contained therein (e.g., clinical guidelines, standard practices,  medical literature, medical textbooks, published research, or previous case studies) may be retrieved as the information relates to the measurement 315. For example, if the measurement 315 includes a LVEF measurement, the RAG model 410 may be configured to retrieve information from the external database 128 relating to heart anatomy, LVEF, echocardiograms, etc. Therefore, with the RAG model 410, the LLM 415 may be configured to generate an output (e.g., the natural language explanation 405) using information relating to a specific procedure (e.g., an echocardiogram) , a specific setting (e.g., a hospital) , a specific anatomy (e.g., a heart) , a specific clinical measurement (e.g., LVEF) , and so on, without requiring a retraining of the LLM 415 for uses relating to each of the specific procedure, the specific setting, the specific anatomy, the specific clinical measurement, and so on.

[0055] From the LLM 415, the AI circuit 122 may be configured to output the natural language explanation 405. Where the input to the LLM 415 is the augmented AI model input, the natural language explanation from the LLM 415 may be based on the augmented AI model input, rather than on the measurement 315 alone. The natural language explanation 405 refers to an explanation regarding how the AI circuit 122 identifies the measurement 315 from the image data 205 (e.g., based on image characteristics 210 identified from the image data 205) . As shown in FIG. 4, the measurement 315 and the natural language explanation 405 may be displayed via the display device 132 of the user interface 130.

[0056] Referring to FIG. 5, a flow chart shows a method 500 for generating natural language explanations of a predicted clinical measurement using an ultrasound imaging system. In at least one embodiment, the ultrasound imaging system referred to by method 500 is the ultrasound imaging system 100 described above with reference to FIGS. 1-4, and method 500 may be implemented by the ultrasound imaging system 100. In some embodiments, method 500 may be implemented as executable instructions in a memory of the ultrasound imaging system 100, such as the memory 118 of FIG. 1.

[0057] As shown in FIG. 5, at step 505, method 500 may include receiving image data from a scan performed by the ultrasound imaging system 100 using the probe 106. The image data may refer to a set of ultrasound images depicting a patient’s anatomy (e.g., image data 205) . The image data may include individual images and / or a cine loop (e.g., a series of five images, ten images, twenty images, etc. ) . The cine loop refers to a series of images relating to an anatomical region captured sequentially by the probe 106. In some embodiments, additional image data may be stored continuously in the memory 118 as a scanning session progresses and new ultrasound data is obtained. Where the memory 118 has a limited capacity (e.g., storage for 100 images) , in some embodiments, older images in the set of ultrasound images may be replaced by new images as new ultrasound data is obtained by the probe 106 and stored in the memory 118.

[0058] At step 510, the image data received at step 505 is analyzed. The image data may be analyzed by the image processing circuit 120, as described above with reference to FIG. 2. That is, analyzing the image data at step 510 may include identifying the image characteristic 210, as shown in FIG. 2.

[0059] The analysis of the image data performed at step 510 may then be used to identify a measurement from the image data at step 515. The measurement is identified from the image data by an AI model based on the image characteristic identified during the analysis at step 510. The AI model used to perform step 515 may be a first AI model included in the AI circuit 122. Alternatively or additionally, the AI model used to perform step 515 may be a same AI model as an AI model used during step 510. In some embodiments, the measurement identified at step 515 refers to the measurement 315 identified by the AI circuit 122 based on the image characteristic 210, as described above with reference to FIG. 3.

[0060] At step 520, the measurement is applied to an AI model. The AI model used to perform step 520 may be a second AI model included in the AI circuit 122. In some embodiments, step 520 may be performed as shown in FIG. 4. That is, the measurement 315 may be applied to the AI circuit 122 via the template 425 (e.g., in combination with various image data 205) and, as shown in FIG. 4, the second AI model may be the LLM 415. Additionally, in some instances, the second AI model may include the RAG model 410, as described above with reference to FIG. 4. In such instances, applying the measurement 315 to the second AI model may include querying a retrieval model (e.g., RAG model 410) configured to search a medical information database (e.g., the external database 128) for data relating to the measurement 315, combining the data from the medical information database with the measurement 315 to create an augmented model input, and applying the augmented model input to the LLM 415.

[0061] After the AI model receives the measurement at step 520, method 500 may proceed when the AI model (e.g., the second AI model) generates a natural language explanation for the measurement based on the image data at step 525. That is, the natural language explanation generated at step 525 may refer to the natural language explanation 405 generated by the LLM 415, as described above with reference to FIG. 4.

[0062] At step 530, the measurement (e.g., identified at step 515) and the natural language explanation (e.g., generated at step 525) may be presented to a user. In some embodiments, the measurement and the natural language explanation may be presented via the display device 132 of the user interface 130. For example, the natural language explanation may be presented to the user as the natural language explanation 405 shown in any one of FIGS. 6 and / or 9-11B.

[0063] Referring to FIG. 6, a diagram illustrates a process for generating a natural language explanation of a predicted clinical measurement. As shown, the ultrasound probe 106 collects ultrasound data (e.g.,  the image data received at step 505 of method 500, image data 205, etc. ) . Then, the image data 205 may be shown via the display device 132 (e.g., of the user interface 130) . The image processing circuit 120 is shown in FIG. 6 as a neural network configured to generate the image characteristics 210 from the image data 205. As shown, the image characteristics 210 identified by the image processing circuit 120 (e.g., the neural network) may include output features such as segmentation masks, landmarks, diagnostic measures, etc. and / or geometrical attributes such as distances, temporal movements, shape metrics, etc.

[0064] In some instances, the output features and geometrical attributes (e.g., the image characteristics 210) may be received by an AI model (e.g., the AI circuit 122) configured to generate an attribute-to-instruction template (e.g., the template 425, as described above with reference to FIG. 4) that translates the image characteristics 210 (e.g., detection of a bulge) and provides context (e.g., a large bulge is identified at this location) . Further, the template 425 may be generated such that the image characteristics 210 are receivable by the LLM 415 (e.g., in a natural language format) . As shown, the LLM 415 may output the measurement 315 and the natural language explanation 405. For example, the measurement 315 may be output as “Diagnostic measurement Y: XX” and the corresponding natural language explanation 405 may be output as “Explanation: The measurement Y of XX is based on several observations like …” .

[0065] Referring to FIG. 7, an illustration of an AI system used in the process of FIG. 6 to generate the natural language explanation 405 is shown. The image processing circuit 120 is shown to include a convolutional neural network (CNN) video regressor and a multi-frame graph neural network (e.g., a graph convolutional network) . Using the image processing circuit as shown in FIG. 7, analyzing the image data to identify the image characteristic 210 may include generating, by the convolutional neural network, a feature representation from the image data 205, receiving, by the graph convolutional network, the feature representation, and identifying, by the graph convolutional network, the image characteristic 210 from the feature representation.

[0066] From the image characteristics 210, the AI circuit 122 may be configured to generate the measurements 315 (e.g., shown as various [kpts] or “key points” in FIG. 7) . For example, as shown in FIG. 7, the measurements 315 may include an EF of 55.0, a bulge of 450, an apex movement of 0.1, a basal movement of 0.4, a shape of 1.5, etc. The EF may be calculated using a variety of methods, for example, using the volume regressor (e.g., method 1) or the EF regressor (e.g., method 2) shown in FIG. 7. That is, the first AI model (e.g., the AI model used to identify the measurement 315 from the image characteristic 210) may include multilayer perceptrons. Therefore, in some embodiments, identifying the measurement 315 from the image data 205 based on the image characteristic 210 includes receiving, by the multilayer perceptrons, the image characteristic 210 from the graph convolutional network and  performing, by the multilayer perceptrons, a regression analysis to identify the measurement 315 from the image data 205 based on the image characteristic 210.

[0067] The measurements 315 are compiled into the template 425, as described above with reference to FIG. 6. The template 425 including the image characteristics 210 and the measurements 315 is then passed through the LLM 415 to generate the natural language explanation 405 (e.g., shown in FIG. 9) . Therefore, using the image processing circuit 120 as shown in FIG. 7, the natural language explanation 405 may include information from at least one of the convolutional neural network, the graph convolutional network, or the multilayer perceptrons.

[0068] Referring to FIG. 8, an illustration of image characteristics 210 identified during the process of FIG. 6 to generate the natural language explanation 405 is shown. As shown, the image characteristics 210 may include the bulge, foreshortening, sector movement, basal movement, apex movement, sector cut, shape, and / or image quality. The AI circuit 122 may be configured to identify measurements (e.g., distances, displacements, geometries, magnitudes, etc. ) relating to each of the image characteristics 210 and thus identify the measurements 315, as shown in FIG. 7.

[0069] FIG. 9 depicts an illustration of the natural language explanation 405 generated during the process of FIG. 6. As shown, FIG. 9 also depicts one of the measurements 315 (e.g., the EF prediction: 55) and the image data 205. The image data 205 is shown to include at least a part of the analysis performed at step 510 and during the process described in FIG 2. That is, the image data 205 depicted in FIG. 9 includes two ultrasound images, each of the two ultrasound images including a ROI regarding the measurement 315 (e.g., a dashed line representing the left ventricle at the end of the diastolic cycle and at the end of the systolic cycle) .

[0070] Referring to FIG. 10, a GUI 1000 configured to present a natural language explanation for a predicted clinical measurement based on ultrasound image data to a user (e.g., an operator of the ultrasound imaging system 100) is shown. In some embodiments the GUI 1000 may be a GUI generated for display on the display device 132. Further, the GUI 1000 may be configured as a touch screen display, such that the user may interact with the GUI 1000 by touching a respective location on the touch screen display.

[0071] As shown, the GUI 1000 includes the image data 205. The image data 205 shown in FIG. 10 may depict an ultrasound image of an anatomical structure taken during an ultrasound examination (e.g., an echocardiogram) . For example, the anatomical structure is shown to be a left ventricle of a patient’s heart. The image data 205 may be obtained by the ultrasound imaging system 100 shown by FIG. 1 and described above. Further, the image data 205 may be obtained by the ultrasound imaging system 100  (e.g., the probe 106) while operating in the B-mode. In some embodiments, the image data 205 may depict one image of a group of images obtained sequentially by probe 106 while operating in the B-mode. The image data 205 may be a static image or may be a series of images (e.g., video feed showing a cine loop) .

[0072] For example, FIG. 10 depicts image data 205 including 4 chamber views (4CH) and 2 chamber views (2CH) of a patient’s heart. As shown, for each of the 2CH and the 4CH, there is an AI-generated outline (e.g., a ROI identified by the image processing circuit 120, as described above) of the left ventricle (e.g., as shown by the dashed line on the lefthand image of the 2CH views and the 4CH views) . Additionally, for each of the 2CH and the 4CH, there are two lines overlaid on the righthand images to depict the position of the left ventricle at the end of the diastolic cycle compared to the position of the left ventricle at the end of the systolic cycle.

[0073] As shown in FIG. 10, the GUI 1000 may include a display of imaging parameters 1005, the measurement 315 (e.g., AI estimated EF: 58%) , and the natural language explanation 405. The imaging parameters 1005 refer to imaging parameters of the ultrasound imaging system 100 applied during acquisition of the image data 205. In some embodiments, the imaging parameters 1005 may be default imaging parameters (e.g., unadjusted imaging parameters) associated with the B-mode. For example, and as shown, the imaging parameters may include a run, a frame, a zoom, and a gain applied during the acquisition of the image data 205.

[0074] Referring to FIGS. 11A and 11B, natural language explanations of predicted clinical measurements (e.g., measurements 315 identified by the AI circuit 122) compared to corresponding ground truth measurements are shown. The predicted clinical measurements are depicted as “PRED EF, ” and the ground truth measurements are depicted as “GT EF. ” Both the predicted clinical measurements and the ground truth clinical measurements may be based on the image data 205 shown in FIGS. 11A and 11B. The image data 205 in FIGS. 11A and 11B depict four chamber views of a heart, with the left ventricle identified as a ROI (e.g., by the image processing circuit 120) . As shown, the ROI is depicted as an image characteristic 210 of the image data 205. The ROI (e.g., the left ventricle) is shown both at the end of the diastolic cycle and at the end of the systolic cycle. FIGS. 11A and 11B also include natural language explanations 405 for the predicted clinical measurement and for the ground truth measurement (e.g., “gt” ) . The explanation for the predicted clinical measurement may be generated by the AI circuit 122, as described herein, while the explanation for the ground truth measurement may be manually written by a clinician.

[0075] The embodiments described herein have been described with reference to drawings. The drawings illustrate certain details of specific embodiments that provide the systems, methods and  programs described herein. However, describing the embodiments with drawings should not be construed as imposing on the disclosure any limitations that may be present in the drawings.

[0076] It should be understood that no claim element herein is to be construed under the provisions of 35 U.S.C. § 112 (f) , unless the element is expressly recited using the phrase “means for. ”

[0077] As utilized herein, terms of degree such as “approximately, ” “about, ” “substantially, ” and similar terms are intended to have a broad meaning in harmony with the common and accepted usage by those of ordinary skill in the art to which the subject matter of this disclosure pertains. It should be understood by those of skill in the art who review this disclosure that these terms are intended to allow a description of certain features described and claimed without restricting the scope of these features to any precise numerical ranges provided. Accordingly, these terms should be interpreted as indicating that insubstantial or inconsequential modifications or alterations of the subject matter described and claimed are considered to be within the scope of the disclosure as recited in the appended claims.

[0078] It should be noted that terms such as “exemplary, ” “example, ” and similar terms, as used herein to describe various embodiments, are intended to indicate that such embodiments are possible examples, representations, or illustrations of possible embodiments, and such terms are not intended to connote that such embodiments are necessarily extraordinary or superlative examples.

[0079] The term “coupled” and variations thereof, as used herein, means the joining of two members directly or indirectly to one another. Such joining may be stationary (e.g., permanent or fixed) or moveable (e.g., removable or releasable) . Such joining may be achieved with the two members coupled directly to each other, with the two members coupled to each other using a separate intervening member and any additional intermediate members coupled with one another, or with the two members coupled to each other using an intervening member that is integrally formed as a single unitary body with one of the two members. If “coupled” or variations thereof are modified by an additional term (e.g., directly coupled) , the generic definition of “coupled” provided above is modified by the plain language meaning of the additional term (e.g., “directly coupled” means the joining of two members without any separate intervening member) , resulting in a narrower definition than the generic definition of “coupled” provided above. Such coupling may be mechanical, electrical, or fluidic.

[0080] The term “or, ” as used herein, is used in its inclusive sense (and not in its exclusive sense) so that when used to connect a list of elements, the term “or” means one, some, or all of the elements in the list. Conjunctive language such as the phrase “at least one of X, Y, and Z, ” unless specifically stated otherwise, is understood to convey that an element may be either X, Y, Z; X and Y; X and Z; Y and Z; or X, Y, and Z (i.e., any element on its own or any combination of X, Y, and Z) . Thus, such conjunctive  language is not generally intended to imply that certain embodiments require at least one of X, at least one of Y, and at least one of Z to each be present, unless otherwise indicated.

[0081] References herein to the positions of elements (e.g., “top, ” “bottom, ” “above, ” “below” ) are merely used to describe the orientation of various elements in the drawings. It should be noted that the orientation of various elements may differ according to other exemplary embodiments, and that such variations are intended to be encompassed by the present disclosure.

[0082] As used herein, terms such as “engine” or “circuit” may include hardware and machine-readable media storing instructions thereon for configuring the hardware to execute the functions described herein. The engine or circuit may be embodied as one or more circuitry components including, but not limited to, processing circuitry, network interfaces, peripheral devices, input devices, output devices, sensors, etc. In some embodiments, the engine or circuit may take the form of one or more analog circuits, electronic circuits (e.g., integrated circuits (IC) , discrete circuits, system on a chip (SOCs) circuits, etc. ) , telecommunication circuits, hybrid circuits, and any other type of circuit. In this regard, the engine or circuit may include any type of component for accomplishing or facilitating achievement of the operations described herein. For example, an engine or circuit as described herein may include one or more transistors, logic gates (e.g., NAND, AND, NOR, OR, XOR, NOT, XNOR, etc. ) , resistors, multiplexers, registers, capacitors, inductors, diodes, wiring, and so on) .

[0083] An engine or circuit may be embodied as one or more processing circuits comprising one or more processors communicatively coupled to one or more memory or memory devices. In this regard, the one or more processors may execute instructions stored in the memory or may execute instructions otherwise accessible to the one or more processors. The one or more processors may be constructed in a manner sufficient to perform at least the operations described herein. In some embodiments, the one or more processors may be shared by multiple engines or circuits (e.g., engine A and engine B, or circuit A and circuit B, may comprise or otherwise share the same processor which, in some example embodiments, may execute instructions stored, or otherwise accessed, via different areas of memory) .

[0084] Alternatively or additionally, the one or more processors may be structured to perform or otherwise execute certain operations independent of one or more co-processors. In other example embodiments, two or more processors may be coupled via a bus to enable independent, parallel, pipelined, or multi-threaded instruction execution. Each processor may be provided as one or more suitable processors, application specific integrated circuits (ASICs) , field programmable gate arrays (FPGAs) , digital signal processors (DSPs) , or other suitable electronic data processing components structured to execute instructions provided by memory. The one or more processors may take the form of a single core processor, multi-core processor (e.g., a dual core processor, triple core processor, quad core  processor, etc. ) , microprocessor, etc. In some embodiments, the one or more processors may be external to the apparatus, for example the one or more processors may be a remote processor (e.g., a cloud based processor) . Alternatively or additionally, the one or more processors may be internal and / or local to the apparatus. In this regard, a given engine or circuit or components thereof may be disposed locally (e.g., as part of a local server, a local computing system, etc. ) or remotely (e.g., as part of a remote server such as a cloud based server) . To that end, engines or circuits as described herein may include components that are distributed across one or more locations.

[0085] An example system for providing the overall system or portions of the embodiments described herein might include one or more computers, including a processing unit, a system memory, and a system bus that couples various system components including the system memory to the processing unit. Each memory device may include non-transient volatile storage media, non-volatile storage media, non-transitory storage media (e.g., one or more volatile and / or non-volatile memories) , etc. In some embodiments, the non-volatile media may take the form of ROM, flash memory (e.g., flash memory such as NAND, 3D NAND, NOR, 3D NOR, etc. ) , EEPROM, MRAM, magnetic storage, hard discs, optical discs, etc. In other embodiments, the volatile storage media may take the form of RAM, TRAM, ZRAM, etc. Combinations of the above are also included within the scope of machine-readable media. In this regard, machine-executable instructions comprise, for example, instructions and data which cause a general purpose computer, special purpose computer, or special purpose processing machines to perform a certain function or group of functions. Each respective memory device may be operable to maintain or otherwise store information relating to the operations performed by one or more associated circuits, including processor instructions and related data (e.g., database components, object code components, script components, etc. ) , in accordance with the example embodiments described herein.

[0086] Although the drawings may show and the description may describe a specific order and composition of method steps, the order of such steps may differ from what is depicted and described. For example, two or more steps may be performed concurrently or with partial concurrence. Also, some method steps that are performed as discrete steps may be combined, steps being performed as a combined step may be separated into discrete steps, the sequence of certain processes may be reversed or otherwise varied, and the nature or number of discrete processes may be altered or varied. The order or sequence of any element or apparatus may be varied or substituted according to alternative embodiments. Accordingly, all such modifications are intended to be included within the scope of the present disclosure as defined in the appended claims. Such variation may depend, for example, on the software and hardware systems chosen and on designer choice. All such variations are within the scope of the disclosure. Likewise, software implementations of the described methods could be accomplished with  standard programming techniques with rule-based logic and other logic to accomplish the various connection steps, processing steps, comparison steps, and decision steps.

[0087] The foregoing description of embodiments has been presented for purposes of illustration and description. It is not intended to be exhaustive or to limit the disclosure to the precise form disclosed, and modifications and variations are possible in light of the above teachings or may be acquired from this disclosure. The embodiments were chosen and described in order to explain the principals of the disclosure and its practical application to enable one skilled in the art to utilize the various embodiments and with various modifications as are suited to the particular use contemplated. Other substitutions, modifications, changes and omissions may be made in the design, operating conditions, and arrangement of the embodiments without departing from the scope of the present disclosure as expressed in the appended claims.

Claims

1.An ultrasound imaging system comprising:an ultrasound probe comprising:a transducer configured to transmit and receive an ultrasound signal;a matching layer configured to have an acoustic impedance between a tissue to be imaged and a material of the transducer; anda damping block configured to absorb ultrasound energy; anda processing circuit having a processor coupled to a memory device storing instructions thereon that, when executed, cause the processing circuit to perform operations comprising:receiving image data obtained using the ultrasound probe;analyzing the image data to identify an image characteristic;identifying, using a first artificial intelligence model, a measurement from the image data based on the image characteristic;applying the measurement to a second artificial intelligence model;generating, using the second artificial intelligence model, a natural language explanation for the measurement; andpresenting the measurement and the natural language explanation for the measurement via a display of the ultrasound imaging system.2.The ultrasound imaging system of claim 1, wherein the image characteristic comprises a geometric feature from the image data, and wherein the measurement is based on the geometric feature.3.The ultrasound imaging system of claim 2, wherein the geometric feature comprises at least one of a bulge, a foreshortening, a sector movement, a basal movement, an apex movement, a sector cut, or a shape within the image data.4.The ultrasound imaging system of claim 1, wherein the second artificial intelligence model is a large language model.5.The ultrasound imaging system of claim 4, wherein the second artificial intelligence model comprises a retrieval-augmented generation model.6.The ultrasound imaging system of claim 5, wherein applying the measurement to the second artificial intelligence model and generating the natural language explanation comprises:querying a retrieval model configured to search a medical information database for data relating to the measurement;combining the data from the medical information database with the measurement to create an augmented model input;applying the augmented model input to the large language model; andgenerating the natural language explanation for the measurement based on the augmented model input.7.The ultrasound imaging system of claim 1, wherein the natural language explanation comprises an explanation regarding how the first artificial intelligence model identifies the measurement from the image data.8.The ultrasound imaging system of claim 1, wherein the image data depicts an anatomical region of a patient, and wherein the operations further comprise:segmenting the anatomical region depicted in the image data;identifying, from among the segmented anatomical region, a region of interest relating to the measurement; andproviding, with the measurement and the natural language explanation for the measurement, the region of interest on the display.9.The ultrasound imaging system of claim 1, wherein analyzing the image data comprises using at least one of a convolutional neural network or a graph convolutional network.10.The ultrasound imaging system of claim 9, wherein analyzing the image data to identify the image characteristic comprises:generating, by the convolutional neural network, a feature representation from the image data;receiving, by the graph convolutional network, the feature representation; andidentifying, by the graph convolutional network, the image characteristic from the feature representation.11.The ultrasound imaging system of claim 10, wherein the first artificial intelligence model comprises multilayer perceptrons, and wherein identifying the measurement from the image data based on the image characteristic comprises:receiving, by the multilayer perceptrons, the image characteristic from the graph convolutional network; andperforming, by the multilayer perceptrons, a regression analysis to identify the measurement from the image data based on the image characteristic.12.The ultrasound imaging system of claim 11, wherein the natural language explanation comprises information from at least one of the convolutional neural network, the graph convolutional network, or the multilayer perceptrons.13.An ultrasound imaging system comprising:an ultrasound probe comprising:a transducer configured to transmit and receive an ultrasound signal;a matching layer configured to have an acoustic impedance between a tissue to be imaged and a material of the transducer; anda damping block configured to absorb ultrasound energy;an image processing circuit configured to receive image data obtained using the ultrasound probe and analyze the image data to identify an image characteristic;an artificial intelligence model configured to identify a measurement from the image data based on the image characteristic;a large language model configured to generate a natural language explanation for the measurement; anda display configured to present the measurement and the natural language explanation for the measurement to a user of the ultrasound imaging system.14.The ultrasound imaging system of claim 13, wherein the image processing circuit comprises a convolutional neural network and a graph convolutional network, and wherein analyzing the image data to identify the image characteristic comprises:generating, by the convolutional neural network, a feature representation from the image data;receiving, by the graph convolutional network, the feature representation; andidentifying, by the graph convolutional network, the image characteristic from the feature representation.15.The ultrasound imaging system of claim 13, wherein the image data depicts an anatomical region of a patient, and wherein the image processing circuit is configured to:segment the anatomical region depicted in the image data;identify, from among the segmented anatomical region, a region of interest relating to the measurement; andprovide, with the measurement and the natural language explanation for the measurement, the region of interest to the user of the ultrasound imaging system.16.A method comprising:receiving, by an image processing circuit, image data obtained using an ultrasound probe of an ultrasound imaging system;analyzing, by the image processing circuit, the image data to identify an image characteristic;identifying, by a first artificial intelligence model, a measurement from the image data based on the image characteristic;receiving, by a second artificial intelligence model, the measurement from the first artificial intelligence model;generating, by the second artificial intelligence model, a natural language explanation for the measurement; andpresenting, via a display of the ultrasound imaging system, the measurement and the natural language explanation for the measurement.17.The method of claim 16, wherein the second artificial intelligence model comprises a large language model.18.The method of claim 16, wherein the natural language explanation comprises an explanation regarding how the first artificial intelligence model identifies the measurement from the image data.19.The method of claim 16, wherein the image data depicts an anatomical region of a patient, and wherein the image processing circuit is configured to:segment the anatomical region depicted in the image data;identify, from among the segmented anatomical region, a region of interest relating to the measurement; anddisplay, via the display of the ultrasound imaging system, the region of interest, the measurement, and the natural language explanation for the measurement.20.The method of claim 16, wherein the image processing circuit comprises a convolutional neural network and a graph convolutional network, and wherein analyzing, by the image processing circuit, the image data to identify the image characteristic comprises:generating, by the convolutional neural network, a feature representation from the image data;receiving, by the graph convolutional network, the feature representation; andidentifying, by the graph convolutional network, the image characteristic from the feature representation.

Images