Two-stage multi-task learning-based method and system for automated lesion response assessment

Abstract

A two-stage multi-task learning based method is disclosed for automated lesion response assessment according to Response Evaluation Criteria in Solid Tumors (RECIST). Pre-processed venous phase CT scans are inputted into a convolutional neural network (CNN) and a transformer to obtain coarse lesion segmentation masks, which are then optimized by a multi-task learning framework that incorporates longitudinal CT correlation and clinical prior knowledge to generate difference maps, and adopts an ordinal regression strategy that encodes the ground truth of response outcome. Sum of the volume (SOV) -based response assessment and new lesion assessment results are combined to obtain the overall RECIST response, i. e., response, stable disease, and progressive disease.

Description

A TWO-STAGE MULTI-TASK LEARNING-BASED METHOD AND SYSTEM FOR AUTOMATED LESION RESPONSE ASSESSMENT

[0001] RELATED APPLICATION

[0002] This application claims priority to Chinese Patent Application No. 202310850165.7, titled “A Two-Stage Multi-Task Learning Based Method for Automated Tumor Response Assessment, ” and filed July 12, 2023, the entirety of which is hereby incorporated by reference herein.

[0003] FIELDS OF THE DISCLOSURE

[0004] The invention relates to the technical field of liver lesion image analysis, and in particular to a method for response assessment of liver lesions using a two-stage multi-task learning based deep learning model according to the Response Evaluation Criteria in Solid Tumors (RECIST) standard.BACKGROUND

[0005] Clinical trials for cancer research significantly relies on precise assessments of treatment outcomes. Objective response rate (ORR) and progression-free survival (PFS) are examples of common measurements used for treatment outcomes in clinical trials for cancer research. Radiological follow-up in oncology can be indispensable for evaluating a treatment response. In clinical practice, oncologists are often required to identify lesions using serial (e.g. longitudinal) imaging, monitor treatment response based on changes in lesion or tumor burden, and make optimal therapeutic decisions. Such processes are labor-intensive and time-consuming. Inaccurate assessments could lead to wrong medical decisions, thereby compromising treatment efficacy and shortening the survival time of patients.

[0006] Although some segmentation and deep learning models are utilized for identifying lesions from image data, such models are prone to various shortcomings. For example, abdominal tumors, particularly advanced liver cancer, is more difficult to identify compared to other cancers, because of the complex anatomical structure of the abdominal cavity, lower image contrast for livers compared to other organs, unclear boundaries of primary liver tumors, as well as the  heterogeneities in liver tumor subtypes (e.g., nodular, massive, and diffuse liver cancer having different radiological characteristics) compared to other tumors.

[0007] Furthermore, conventional segmentation models are prone to producing inconsistent predictions for the same lesion across longitudinal scans. Specifically, inappropriate image acquisition times or ambiguous lesion boundaries can lead to an actual similar-trended lesion being erroneously and inconsistently predicted by the conventional models. For example, although the actual size of a lesion may remain the same, conventional models may often overestimate or underestimate the changes in size, across the longitudinal imaging, thereby causing overestimation or underestimation of the lesion or tumor burden, leading to incorrect objective response evaluations. Therefore, there is a desire and need for deep learning models that more accurately and reliably identify and predict the treatment response for lesions, particularly for liver cancers.

[0008] Furthermore, there is a need for such models to comply with latest standards and / or best practices for lesion assessments. For example. RECIST is a methodology developed by the RECIST working group (including but not limited to representatives of the European Organization for Research and Treatment of Cancer (EORTC) and National Cancer Institute (NCI) of the United States and Canadian Cancer Trials Group (CCTG) ) to evaluate the activity and efficacy of new cancer therapeutics in solid lesions, using validated and consistent criteria to assess changes in lesion burden. Thus, there is a desire and need for an assessment tool for the evaluation of treatment response that is RECIST-compliant, for example, by also considering the overall lesion burden change and identifying new lesions.SUMMARY

[0009] In accordance with various embodiments, an example RECIST-compliant method for a liver lesion response assessment based on a two-stage multi-task learning model is disclosed. The method includes acquiring a plurality of longitudinal image data respectively associated with a plurality of liver cancer patients. Each longitudinal image data may be based on CT scans comprising a baseline scan and a follow-up scan of a respective liver cancer patient. For each longitudinal image data associated with a respective patient: the method may include one or more of the following steps. Using one or both of a convolutional neural network (CNN) -based model  and a transformer-based model, a coarse segmentation image data may be generated from the longitudinal image data. Based on a difference map generated using the longitudinal image data and the coarse segmentation image data, one or more sum of volume (SOV) -based response assessments may be generated. The method may include identifying, via longitudinal graph matching based on the longitudinal image data and the difference map, one or more new lesions. The method may further include integrating the one or more SOV-based response assessments and the identifications of the one or more new lesions to generate an overall response assessment. The overall response assessment is compliant with Response Evaluation Criteria in Solid Tumors (RECIST) .

[0010] In some aspects, which may be combined with any other aspects, acquiring the longitudinal image data includes: annotating one or more 3D lesion boundaries in the CT scans to generate annotated longitudinal image data. In some embodiments, the acquired longitudinal image data associated with each of a plurality of liver cancer patients may be randomly divided into training and validation sets.

[0011] In some aspects, which may be combined with any other aspects, generating the coarse segmentation image data and generating the one or more SOV-based response assessments may be performed via a two-stage multi-task learning model. The method may further include training the two-stage multi-task learning model using the annotated longitudinal image data.

[0012] In some aspects, which may be combined with any other aspects, training the two-stage multi-task learning model includes optimizing the generation of the coarse segmentation image data. The trained two-stage multi-task learning model may be configured to generate, based on the optimized coarse segmentation image data, an SOV-based response assessment. The SOV-based response assessment may comprise a three-class response outcome probability vector (e.g., a probability for each of the RECIST response outcomes of partial response (PR) , stable disease (SD) , and progressive disease (PD) ) .

[0013] In some aspects, which may be combined with any other aspects, the method may further include: applying, to a longitudinal image data of a new liver cancer patient, the trained two-stage multi-task learning model to generate an SOV-based response assessment for the new liver cancer  patient; identifying, via longitudinal graph matching based on the longitudinal image data of the new liver cancer patient and a difference map associated with the longitudinal image data of the new liver cancer patient, one or more new lesions in the new liver cancer patient; and integrating the SOV-based response assessments for the new liver cancer patient and the identifications of the one or more new lesions in the new liver cancer patient to generate an overall response assessment for the new liver cancer patient.

[0014] In some aspects, which may be combined with any other aspects, the method may further include: evaluating a performance of the overall response assessment using one or more of a macro-area under the curve (AUC) , a micro-AUC, an area under the curve for partial response (AUC-PR) , an area under the curve for stable disease (AUC-SD) , an area under the curve for progressive disease (AUC-PD) , a macro-F1 score, a micro-F1 score, or a weighted F1 score.

[0015] In some aspects, which may be combined with any other aspects, the CT scans are CT scans of a venous phase. The method may include: preprocessing the longitudinal image data to construct an image database. Furthermore, generating the coarse segmentation image data comprises generating the coarse segmentation image data from the preprocessed CT scans.

[0016] In some aspects, which may be combined with any other aspects, the acquired longitudinal image data may be in a Digital Imaging and Communications in Medicine (DICOM) format, and may each have a thickness of 5 mm. In some embodiments, the preprocessing comprises: converting the longitudinal image data from a Digital Imaging and Communications in Medicine (DICOM) format to a Neuroimaging Informatics Technology Initiative (NII) format; resampling the longitudinal image data at a section interval of from 5 mm to 2 mm; and normalizing grayscales of the CT scan data to [-200, 200] . In some embodiments, the preprocessing further comprises: applying, to the longitudinal image data, a liver segmentation mask; and adjusting, via linear interpolation, a resolution of the longitudinal image to 205 x 205 pixels.

[0017] In some aspects, which may be combined with any other aspects, the CNN-based model and the transformer-based model comprise a CNN-based nnU-Net model and a transformer-based Swin-Unetr model, respectively. In some embodiments, the CNN-based nnU-Net model selects an optimal batch size and an optimal patch size according to dataset fingerprints of the longitudinal  image data. The transformer-based Swin-Unetr adopts a batch size of 4 and a patch size of 96×96×96.

[0018] In some aspects, which may be combined with any other aspects, generating the one or more sum of volume (SOV) -based response assessments includes one or more of the following steps. A liver segmentation mask may be applied to the longitudinal image data to generate a baseline mask and a follow-up mask corresponding to the baseline scan and the follow-up scan, respectively. Deformable registration may be performed on the baseline mask and the follow-up mask of the longitudinal image data to register the baseline mask and the follow-up mask, respectively. The difference map may be obtained by subtracting the coarse segmentation image data corresponding to the follow-up mask from the baseline mask. The difference map may encode lesion change differences between the baseline mask and the follow-up mask. Generating the one or more sum of volume (SOV) -based response assessments may include concatenating and feeding, into a squeeze and excitation network (Se-Unet) , the baseline mask, the difference map, and the follow-up mask to generate a baseline-follow-up SOV; and transform, using a mapping function, the baseline-follow-up SOV into a three-class response outcome probability vector.

[0019] In some aspects, which may be combined with any other aspects, performing deformable registration on the baseline scan and the follow-up scan comprises: applying, to the coarse segmentation image data, forward and inverse displacement fields, obtained via one or more advanced normalization tools (ANTs) , to register the baseline mask and the follow-up mask.

[0020] In some aspects, which may be combined with any other aspects, obtaining the difference map encoding the lesion change differences further comprises: performing a 3D connect component analysis to identify one or more individual lesions.

[0021] In some aspects, which may be combined with any other aspects, the method further includes: removing, from the identified one or more lesions, one or both of: a lesion having a longitudinal change that is beyond a predetermined threshold; or a lesion outside of the liver.

[0022] In some aspects, which may be combined with any other aspects, transforming the baseline-follow-up SOV into the three-class response outcome probability vector comprises: mapping a change in the baseline mask to the baseline-follow-up SOV.

[0023] In some aspects, which may be combined with any other aspects, identifying the one or more new lesions via longitudinal lesion graph matching comprises: determining Euclidean distances between centers of each of a plurality of pairs of lesions; determining a sum of radii for lesions of each of the plurality of pairs of lesions; determining, for a given pair of lesions, a ratio of the Euclidean distance between the given pair of lesions and the sum of the radii of the given pair of lesions; and designating, based on the ratio being greater than 1, a lesion of the given pair of lesions as a new lesion.

[0024] In some aspects, which may be combined with any other aspects, the overall response assessment comprises an indication of one or more RECIST-compliant response outcomes. The RECIST-compliant response outcomes may include at least a partial response (PR) , stable disease (SD) , or a progressive disease (PD) . If there is an identification of a new lesion, the overall response assessment includes a progressive disease (PD) response outcome. If there is no identification of any new lesion, the overall response assessment is consistent with the one or more SOV-based response assessments.

[0025] In some aspects, which may be combined with any other aspects, the one or more SOV-based response assessments are generated by a two stage multi-task learning model. The two stage multi-task learning model may be trained to generate, after optimizing the coarse segmentation image data, the one or more SOV-based response assessments.

[0026] In some aspects, which may be combined with any other aspects, the two-stage multi-task learning model generates the one or more SOV-based response assessments by: optimizing, via deformable registration, the coarse segmentation image data; generating, using the longitudinal image data, the difference map, wherein the difference map encodes lesion change differences between the baseline scan and the follow-up scan; and encoding a RECIST-compliant response outcome via a three-class response outcome probability vector.

[0027] In accordance with various embodiments, another example RECIST-compliant method for a liver lesion response assessment based on a two-stage multi-task learning model is disclosed. The method includes: (1) dataset acquisition; (2) CT image preprocessing; (3) prediction for coarse segmentation; (4) sum of the volume (SOV) change based response assessment; (5) new lesion  identification and / or assessment; and (6) an overall RECIST-compliant response assessment. In some embodiments, the method may further include (7) model assessment.

[0028] In at least one embodiment, the (1) dataset acquisition step may include acquiring CT images of patients with liver cancer. The acquired CT images may be annotated based on three-dimensional lesion boundaries (e.g., by professional doctors) . The acquired data may be divided into training set samples and test set samples. In at least one embodiment, the (2) CT image preprocessing step may include receiving CT images at venous phase from an image system and preprocessing the images to form a training image database. In at least one embodiment, the (3) prediction for coarse segmentation step may include using the preprocessed CT images to obtain a lesion coarse segmentation result by a convolutional neural network and a transform neural network. In at least one embodiment, the (4) SOV-based response assessment step may include integrating the correlation between longitudinal images and prior clinical information in a multi-task learning framework to generate feature maps. The SOV-based response assessment may include adopting a two-branch structure of segmentation and classification (e.g., for the two stages, respectively, in the two stage multi-task learning model) . The SOV-based response assessment may include performing continuous ordered encoding of various RECIST-compliant response outcomes in a classification branch so as to optimize a coarse segmentation of forward registration and return the result through reverse transformation. In at least one embodiments, the (5) new lesion identification and / or assessment step may include using the feature maps to construct a longitudinal lesion association graph. In at least one embodiment, the (6) generating an overall RECIST-compliant response assessment step may include using the SOV-based response assessments and the new lesion identifications and / or assessments to integrate, obtaining the overall RECIST-compliant response assessment. In at least one embodiments, the (7) the model assessment step may include performing an assessment of the model (e.g., the two-stage multi-task learning model) based on macro-average AUC, micro-average AUC, single-class AUC, as well as macro-F1 scores, micro-F1 scores, and weighted-F1 scores.

[0029] In some aspects, which may be combined with any other aspects, the acquired CT images from the (1) dataset acquisition step may be in in DICOM format, and a section interval may be less than or equal to 5 mm.

[0030] In some aspects, which may be combined with any other aspects, at the (2) CT image preprocessing step, a DICOM format of the acquired images may be converted into a NII format. The images at venous phase of the patients with liver cancer may be re-sampled at a section interval of from 5 mm to 2 mm. The grayscales of the images can be normalized to -200 to 200. In order to reduce the computation amount, a liver segmentation mask can be obtained using a pretrained segmentation tool, such that only a liver region and an upper and lower expanded four section regions thereof are retained. The images may be adjusted from original 512×512 pixels to 205×205 pixels through linear interpolation.

[0031] In some aspects, which may be combined with any other aspects, at the (3) prediction for coarse segmentation step, a coarse segmentation result of a liver lesion may be obtained from the images after the (2) preprocessing step using a convolutional neural network (e.g., nnU-Net) and a transformer neural network (e.g., Swin-Unetr) . In some aspects, the convolutional neural network (e.g., nnU-Net) may select an optimal batch size and an patch size according to dataset fingerprints. The transformer neural network (e.g., Swin-Unetr) may have a batch size of 4 and a patch size of 96×96×96.

[0032] In some aspects, which may be combined with any other aspects, at the (4) SOV-based response assessment step, deformable registration can be performed on baseline images and follow-up images of the acquired data. A difference map can be generated based on the coarse segmentation result from the (3) prediction from coarse segmentation step. The images and the difference map may be concatenated and input into a squeeze-and-excitation network (Se-Unet) for a continuous ordered mapping of a SOV to generate a baseline-follow-up SOV. The baseline-follow-up SOV may be transformed into a three-class response outcome probability vector. Thus, the SOV-based response assessment step may utilize a two-stage multi-task learning model, the two-stages corresponding to segmentation (e.g., optimizing the coarse segmentation result) and classification (e.g., to generate the three-class response outcome probability vector) .

[0033] In some aspects, which may be combined with any other aspects, performing the deformable registration includes generating forward and inverse image deformation fields (e.g., using advanced normalization tools (ANTs) ) , and applying them to the coarse segmentation result obtained in the (3) prediction for coarse segmentation step to obtain registered images.

[0034] In some aspects, which may be combined with any other aspects, generating the difference map may include: after the subtraction of a registered follow-up scan from a baseline scan, performing a three-dimensional connected domain analysis is performed. Lesions with drastic changes in standard deviation in longitudinal follow-up (e.g., based on a predetermined threshold for the standard deviation (e.g., 104 pixels) ) may be removed. Furthermore, extrahepatic lesions may be removed using a liver mask.

[0035] In some aspects, which may be combined with any other aspects, the continuous ordered mapping to generate, from a baseline-follow-up SOV, a three-class response outcome probability vector may include the following process: a ratio [0, +∞] of a followup SOV to a baseline SOV may mapped to a three-way classification probability of [pPR, pSD, pPD] (pPR+pPR+pPD=1) .

[0036] In some aspects, which may be combined with any other aspects, the squeeze-and-excitation network may include three encoder-decoder blocks and four bottleneck blocks. A concatenated image of the baseline scan, difference map, and follow-up scan may be inputted (e.g., as a channel dimension) into the Se-Unet. A model parameter optimization may be performed using the weighted loss of classification (cross entropy) and segmentation (cross entropy and DICE) . A weighting coefficient may be set.

[0037] In some aspects, which may be combined with any other aspects, at the (5) new lesion identification and / or assessment step, a ratio of an Euclidean distance between the center points of the lesions in the baseline and the registered follow-up scans to a sum of the radii of the two lesions is computed. If the ratio is greater than 1, the lesion in the follow-up scan may be designated as a new lesion. Otherwise, the lesion in the follow-up scan may be associated with the corresponding lesion in the baseline scan.

[0038] In some aspects, which may be combined with any other aspects, at the (6) overall RECIST-compliant response assessment step, if there is an identification of a new lesion at step (5) , the overall response assessment includes a progressive disease (PD) response outcome. Otherwise, if there is no identification of any new lesion at step (5) , the overall response assessment is consistent with the one or more SOV-based response assessments from step (4) .

[0039] In various embodiments, a system is provided including a computer readable storage medium having program instructions embodied therewith. The program instructions executable by a processor can cause the processor to perform a method, such as one or more methods described herein. For example, the program instructions, when executed, can cause the processor to perform one or more methods described herein.

[0040] In various embodiments, a computer program product is provided for generating a 3D printed organ system for selective transport across fluid networks. The computer program product includes a computer readable storage medium having program instructions embodied therewith. The program instructions are executable by a processor to cause the processor to perform one or more methods described herein.BRIEF DESCRIPTION OF THE DRAWINGS

[0041] FIG. 1 is a schematic diagram of an example architecture for a two-stage multi-task learning-based liver lesion response assessment following the clinical Response Evaluation Criteria in Solid Tumors (RECIST) , in accordance with non-limiting embodiments of the present disclosure. The example architecture is based on a RECIST-guided Consistent Objective Response evaluation based on Deep learning (referred to herein as “RECORD, ” “RECORD approach” or “RECORD model” ) described herein. Part 100A of FIG. 1 is a schematic diagram of coarse segmentation based on longitudinal image data (e.g., baseline and follow-up CT images) , and part 100B is a schematic diagram of the RECORD model which takes the coarse segmentation result as an input. An upper half branch 120 of part 100B is a sum of volumes (SOV) based response assessment model to generate an automated response assessment (referred to herein as “SOV-based response assessment” ) , and a lower half branch 130 of part 100B is a new lesion identification model to identify new lesions. After integrating the results of the processes illustrated by the two half branches 120 and 130 (e.g., the SOV-based response assessments and the new lesion identifications) , an overall RECIST-compliant response assessment is obtained.

[0042] FIG. 2 is a schematic diagram of example image preprocessing methods in accordance with non-limiting embodiments of the present disclosure. The image preprocessing methods are examples of two different liver mask segmentation models.

[0043] FIG. 3 is a schematic diagram of an example process for generating a difference map based on the RECORD approach, in accordance with non-limiting embodiments of the present disclosure.

[0044] FIG. 4 is a schematic diagram of an example screening process for patient-specific data used in the training of the two-stage multi-task learning model on which the RECORD approach is based, in accordance with non-limiting embodiments of the present disclosure.

[0045] FIG. 5 is a diagram showing an AUC result comparison between RECORD and existing models in accordance with non-limiting embodiments of the present disclosure. Part 500A is an AUC comparison under Response. Part 500B is an AUC comparison under Stable Disease. Part 500C is an AUC comparison under Progressive Disease. A p value is computed using a Delong test method.

[0046] FIG. 6 is a diagram showing a confusion matrix comparison between the presently disclosed RECORD model and conventional models, wherein parts 600A and part 600B respectively compare the effect enhancement of RECORD model on the two existing models.

[0047] FIG. 7 is a diagram showing an accuracy comparison between the RECORD model and the conventional models, wherein the p value is computed using a Mc Nemar mid-p test method.

[0048] It is to be understood that the figures are not necessarily drawn to scale, nor are the objects in the figures necessarily drawn to scale in relationship to one another. The figures are depictions that are intended to bring clarity and understanding to various embodiments of apparatuses, systems, and methods disclosed herein. Wherever possible, the same reference numbers will be used throughout the drawings to refer to the same or like parts. Moreover, it should be appreciated that the drawings are not intended to limit the scope of the present teachings in any way.DETAILED DESCRIPTION

[0049] I. Overview

[0050] The present disclosure describes systems and methods for liver lesion response assessment according to clinical Response Evaluation Criteria in Solid Tumors (RECIST) via a multi-task learning architecture to overcome the above shortcomings. As previously discussed, RECIST is a methodology to evaluate the activity and efficacy of new cancer therapeutics in solid tumors, using validated and consistent criteria to assess changes in lesion or tumor burden. Various embodiments of the present disclosure focus or rely on changes in lesion characteristics from longitudinal CT scans of patients to capture and / or determine image lesion correlations (e.g., the change pattern or growth trend of lesions (e.g., over time for a given patient) ) . Such image lesion correlations may be used to determine a coarse segmentation result (e.g., coarse segmentation image data indicating preliminary lesion response predictions) . Various embodiments of the present disclosure proposes a multi-task learning framework that integrates the image lesion correlations determined from the longitudinal CT scans of the patients with the use of prior medical information of the respective patients to optimize the original coarse segmentation results (e.g., the preliminary lesion response predictions) to obtain more accurate response evaluation results. As used herein, a multi-task learning framework (also referred to herein as a multi-task learning model or a multi-task learning architecture) may refer to the use of one or more machine learning models in which multiple learning tasks are solved at the same time, while exploiting commonalities and differences across tasks. For example, the multi-task learning model may involve a classification head utilizing a squeeze and excitation network (Se-Unet) , and a segmentation head that optimizes the results of CNN-based and transformer based segmentation models (e.g., nnU-Net model and Swin-Unetr models) . The classification head may generate a response assessment, which may indicate a lesion response to a treatment (or absence thereof) over time. In some embodiments, the response assessment may be based on sum of volume (SOV) based measurements of lesions across longitudinal scans (e.g., a baseline scan and one or more follow-up scans of a given patient) , the response assessment referred to herein as “SOV-based response assessment” .

[0051] In some embodiments, lesion graph matching may be utilized to identify or assess new lesions. In some embodiments, the sum of volume (SOV) -based response assessments may also  be used to assess the new lesions. A lesion graph matching refers to a process where structural information for a portion of an image data that may be a candidate for a legion identifies or satisfies a similarity threshold with structural information for a lesion. In various embodiments, the lesion response assessments are performed according to the RECIST, in order to provide a more comprehensive and objective response evaluation. For example, RECIST specifies various response outcomes for a lesion, including but not limited to a complete response (CR) , partial response (PR) , stable disease (SD) , and a progressive disease (PD) . In some aspects, the SOV-based response assessments may be a probability vector that lists, for each response outcome, a probability that a given lesion exhibits the response outcome. In some embodiments, an overall RECIST-compliant response assessment may be provided that integrates the SOV-based response assessments and any identifications and / or assessments of new lesions.

[0052] II. Example Methodology

[0053] In various embodiments of the present disclosure, systems and methods for a RECIST-compliant liver lesion response assessment via a multi-task learning architecture may include but are not limited to one or more of the following processes: dataset preparation; image preprocessing; coarse segmentation; automatic response evaluation (e.g., using a two-stage multi-task learning approach and / or a sum-of-volume (SOV) based progression assessment) ; new lesion identification (e.g., via longitudinal lesion graph matching) ; and generating overall RECIST response (e.g., via integration of the automatic response evaluation and the new lesion identification) .

[0054] In various embodiments, systems and methods are disclosed for the training, validation, and model generalization of the aforementioned two-stage multi-task learning model. Furthermore, in various embodiments, systems and methods are disclosed for the application of the trained two-stage multi-task learning model to generate an overall RECIST-compliant response assessment for a liver cancer patient (referred to herein as “new liver cancer patient” to distinguish from liver cancer patients used in the training process) .

[0055] As previously discussed, the use of the two-stage multi-task learning model in generating an overall RECIST compliant response assessment is part of the RECORD approach. Therefore,  RECORD, RECORD model, RECORD framework, or RECORD approach may be used as shorthand to refer to both the two-stage multi-task learning model, and its use thereof, in generating the overall RECIST compliant response assessment.

[0056] a. Dataset Preparation:

[0057] In at least one embodiment, image data is acquired of patients with one or more liver tumors or lesions. For example, image data may be based on computerized tomography (CT) scans acquired at the venous phase. The image data may be annotated (e.g., by senior physicians) . For example, one or more 3D lesion boundaries in the CT scans may be annotated to generate annotated longitudinal image data. In some embodiments, the image data may be associated with a plurality of patients. The patients may have liver lesions. In some aspects, the patients may be affected with a liver lesion (e.g., liver tumor, liver cancer, etc. ) . In some embodiments, the image data may correspond to images pertaining to patients among three groups: patients with advanced unresectable hepatocellular carcinoma (HCC) treated with a specific immunotherapy (Cohort A) , patients with metastatic HCC (Cohort B) , and patients with HCC treated with combined immunotherapy (Cohort C) . In various embodiments, the image data may be based on CT scans associated with the plurality of liver cancer patients. A given image data for a given patient may comprise at least a baseline scan and one or more follow-up scans (e.g., the follow-up scans occurring later than the baseline scan) of a respective liver lesion patient. As such, in various embodiments, the acquired image data for a given liver lesion patient may be referred to as longitudinal data, as the baseline scan and the one or more follow-up scans provide longitudinal information.

[0058] In some embodiments, the acquired dataset (e.g., of longitudinal image data) from a plurality of liver cancer patients may be used for the training of the two-stage multi-task learning model used for the generation of the overall RECIST-compliant response assessments. For example, in some embodiments, the acquired longitudinal image data associated with each of a plurality of liver cancer patients may be randomly divided into training and validation sets. In some embodiments, as will be discussed herein, the training of the two-stage multi-task learning model may include optimization of coarse segmentation of the longitudinal image data. The trained two-stage multi-task learning model may be configured to generate, based on an optimization of the  coarse segmentation, an SOV-based response assessment. As will be discussed herein, the SOV-based response assessment is a three-class response outcome probability vector.

[0059] After training, and in some aspects, after validation and model generalization, the two-stage multi-task learning model can be used to generate an overall RECIST-compliant response assessment based on longitudinal image data received for a new liver cancer patient. For example, the longitudinal image data of the new liver cancer patient can be applied to the trained two-stage multi-task learning model to generate an SOV-based response assessment for the new liver cancer patient. After identifying (e.g., via longitudinal graph matching based on the longitudinal image data and a difference map associated with the longitudinal image data) one or more new lesions in the new liver cancer patient, the SOV-based response assessments and the identifications of the one or more new lesions can be integrated to generate an overall response assessment for the new liver cancer patient.

[0060] b. Image Preprocessing:

[0061] In some embodiments, the acquired longitudinal image data (e.g., the CT images) may be pre-processed. The pre-processing may include but is not limited to one or more of the following steps: image data format conversion; resampling; grayscale normalization; and image enhancement. For example, in image data format conversion (e.g., CT format conversion) , image data may be converted from one format (e.g., Digital Imaging and Communications in Medicine (DICOM) sequences) to another format (e.g., Neuroimaging Informatics Technology Initiative format (NII) format) . In an example, resampling may involve linearly interpolating the original X, Y, and Z axes of an image data to isotropic (e.g., 2 mm×2 mm) dimensions or the like. In an example, grayscale normalization may include transforming the original image data (e.g., CT image) to grayscale (e.g., [-200, 200] ) to remove possible noise points. For example, window width and window level adjustment, noise point removal and normalization can be sequentially performed on the original CT images. The grayscales of the images may range or may be set to range from -200 to 200. In an example, image enhancement may include randomly flipping and / or rotating the image represented by the image data (e.g., based on a probability (e.g., 0.5) ) . In some aspects, masks associated with the image can also be flipped and rotated synchronously.

[0062] c. Coarse segmentation

[0063] In at least one embodiment, coarse segmentation may be performed on the acquired longitudinal image data. The resulting image data (referred to herein as “coarse segmentation image data” or coarse segmentation results” ) may detect or show initial or preliminary indications of lesions. The indications may be initial or preliminary as the actual size or detection of the lesions may be further confirmed or refined in subsequent steps. Example segmentation models for the coarse segmentation may include but are not limited to nnU-Net and Swin-Unetr models. nnU-Net is a convolutional neural network (CNN) -based segmentation model that can automatically configure itself, including preprocessing, network architecture, training and post-processing for any new task. Swin-Unetr is a Swin transformer based model reformulated as a sequence to sequence prediction problem where multi-modal input data can be projected into a sequence of embedding and used as an input to a hierarchical Swin transformer as the encoder. The Swin transformer encoder may extract features at different resolutions by utilizing shifted windows for computing self-attention. The Swin transformer may be connected to a CNN-based decoder at each resolution via skip connections. In some embodiments, to reduce the computational cost, a liver segmentation mask can be obtained using a pre-trained segmentation model, allowing the coarse segmentation to just focus on the liver region (e.g., with upper and lower 4 slices each) .

[0064] d. Automatic SOV-Based Response Assessment

[0065] In various embodiments, the above described methodology may further include performing an automatic SOC-based response evaluation by applying the two-stage multi-task learning model. For example, the automatic response assessment may include applying a two-stage multi-task learning model to the acquired, pre-processed, and / or coarse segmented image data of the liver lesions for which the response evaluation is being sought.

[0066] In various embodiments, as the acquired image data for a given patient may comprise or may be based on a baseline scan and one or more follow-up scans of a region of interest comprising one or more liver lesions, the two-stage multi-task learning model may be applied to the baseline scan and the one or more follow-up scans. Furthermore, a deformable registration may be performed on the baseline and the one or more follow-up scans. In at least one aspect, a deformable  registration may include an aligning of two or more image data (e.g., a baseline and one or more follow-up CT scans) into a common coordinate frame. The deformable registration may be used to generate a difference map for each lesion between the baseline and the one or more follow-up scans. In some embodiments, the deformable registration may further include applying, to the coarse segmentation image data, forward and inverse displacement fields, obtained via one or more advanced normalization tools (ANTs) , to register the baseline mask and the follow-up mask. In some embodiments, prior medical information (e.g., concerning a patient and / or the lesion) may be used to generate the difference map for the lesion.

[0067] In some embodiments, generating the difference map may involve performing sum of volume (SOV) measurements for lesions in the baseline and the one or more follow-up scans. For example, for any given lesion appearing in a baseline scan and one or more follow-up scans of a given patient, a volume for that lesion as it appears in the baseline scan and volumes for that lesion as they appear in each of the one or more follow-up scans can be determined. The respective volumes of lesions that appear in the baseline scan may be summed up to generate a sum of volume (SOV) -based measurement for the baseline scan. For lesions of the baseline scan that also appear in each of the one or more follow-up scans, the respective volumes of such lesions as it appears each follow-up scan may be summed up to generate a sum of volume (SOV) -based measurement for each follow-up scan. It is contemplated that the follow-up scans may also reveal new lesions that did not otherwise appear in the baseline scan, and methods for assessing such new lesions are described herein further below. Also or alternatively, it is contemplated that the baseline scan (and, in some aspects, earlier follow-up scans) may include lesions that do not appear in follow-up scans (e.g., later follow-up scans) . The SOV-based measurement of such lesions in the follow-up scans may be determined to be zero or insignificant as such lesions would not appear in the follow-up scan. The difference in the SOV-based measurements (i.e., the SOV-based measurement of the baseline scan and the SOV-based measurements for each of the one or more follow-up scans) can thus be used to map changes in the lesions between the baseline and follow-up scans to generate the difference maps.

[0068] In various embodiments, these differences in SOV measurements (also referred to herein as “lesion changes” “SOV change” or “SOV difference” ) may be used to assess a response of the  lesions (e.g., to a treatment or therapy) . In some embodiments, the response may be categorized as one of the following, in accordance with RECIST methodology: a complete response (CR) a partial response (PR) , a stable disease (SD) , or a progressive disease (PD) . In some embodiments, the complete response (CR) and the partial response (PR) categories may be joined as one category. As used herein, a complete response (CR) may indicate a disappearance of target lesions. A partial response (PR) may indicate a predetermined decrease (e.g., at least a 30%decrease) in a size (e.g., the sum of the longest diameter (LD) ) of target lesions. In some embodiments, a response outcome classification referred to herein as “response” may be used to refer to the response outcome of “partial response” (PR) . In some aspects, the size, as measured by the sum of the LD of target lesions, may take as reference the baseline sum LD. As used herein, a progressive disease (PD) condition may refer to a predetermined increase (e.g., at least a 20%increase) in a size (e.g., the sum of the LD) of target lesions. In some aspects, the size, as measured by the sum of the LD of target lesions, may take as reference the smallest sum LD recorded since the treatment started or the appearance of one or more new lesions. As used herein, a stable disease (SD) condition for a lesion or affected region of interest including lesions may refer to neither a sufficient shrinkage to qualify as a partial response (PR) condition, nor a sufficient increase to qualify for progressive disease (PD) , taking as reference the smallest sum LD since the treatment started.

[0069] Also or alternatively, the SOV changes may be mapped to probabilities of attaining each type of response (e.g., a probability for each of CR, PR, SD, or a PD) . In some embodiments, ordinal regression may be used to map the SOV change to the probabilities of obtaining each type of response. In some embodiments, a mask (e.g., a liver mark) may be applied to the baseline scan and the one or more follow-up scans, as previously discussed, to generate a baseline mask and one or more follow-up masks. The baseline mask, the generated difference map, and the follow-up masks may be concatenated to form an input for a machine learning model to obtain the aforementioned response assessments or probabilities for the responses (e.g., CR, PR, SD, PD, etc. ) . The probabilities may thus provide more optimized lesion predictions as compared to the coarse segmentation results. In some embodiments, the final SOV-based response assessment results may comprise an argmax of a three-class probability -the first class being a response (e.g., a complete response (CR) or partial response (PR) ) , the second class being a stable disease (SD) , and the third class being progressive disease (PD) .

[0070] In an example embodiment, the two stage multi-task learning model may be trained to generate, after optimizing the coarse segmentation image data, the one or more SOV-based response assessments. The two-stage multi-task learning model generates the one or more SOV-based response assessments by optimizing, via deformable registration, the coarse segmentation image data. Furthermore, difference maps may be generated using the longitudinal image data. The difference map may encode lesion change differences between the baseline scan and the follow-up scan. The two-stage multi-task learning model may encode a RECIST-compliant response outcome via a three-class response outcome probability vector, as described herein.

[0071] In an example embodiment, generating the one or more sum of volume (SOV) -based response assessments includes one or more of the following steps. A liver segmentation mask may be applied to the longitudinal image data (for a given patient) to generate a baseline mask and a follow-up mask corresponding to the baseline scan and the follow-up scan, respectively. Deformable registration may be performed on the baseline mask and the follow-up mask of the longitudinal image data to register the baseline mask and the follow-up mask, respectively. In some embodiments, performing deformable registration on the baseline scan and the follow-up scan may include applying, to the coarse segmentation image data, forward and inverse displacement fields (e.g., obtained via one or more advanced normalization tools (ANTs) ) , to register the baseline mask and the follow-up mask. The difference map may be obtained by subtracting the coarse segmentation image data corresponding to the follow-up mask from the baseline mask. The difference map may encode lesion change differences between the baseline mask and the follow-up mask. In some embodiments, obtaining the difference map encoding the lesion change differences may involve performing a 3D connect component analysis to identify one or more individual lesions. From the identified one or more lesions, the RECORD approach may involve removing one or both of: a lesion having a longitudinal change that is beyond a predetermined threshold; or a lesion outside of the liver. Generating the one or more sum of volume (SOV) -based response assessments may further include concatenating and feeding, into a squeeze and excitation network (Se-Unet) , the baseline mask, the difference map, and the follow-up mask (as an input comprising a “baseline-follow-up SOV” ) . The Se-Unet may transform (e.g., using a mapping function) , the baseline-follow-up SOV into a three-class response outcome probability vector. For example, transforming the baseline-follow-up SOV into the three-class response outcome  probability vector comprises: mapping a change in the baseline mask to the baseline-follow-up SOV.

[0072] e. New Lesion Identification

[0073] In various embodiments, the above described methodology may further include identifying new lesions. In some embodiments, a longitudinal graph matching may be used to identify lesions in the longitudinal image data (e.g., the baseline and the one or more follow-up scans) of a given patient. As previously discussed, graph matching may involve a process where structural information for a portion of an image data that may be a candidate for a legion identifies or satisfies a similarity threshold with structural information for a lesion. A longitudinal graph matching may refer to graph matching performed in longitudinal image data (e.g., the baseline and the one or more follow-up scans) or the previously discussed difference maps produced from the longitudinal image data to identify lesions. It is contemplated however, that at least a portion of follow-up scans (e.g., more recent follow-up scans) of a longitudinal image data of a given patient may include lesions (new lesions) that may not be present in a corresponding baseline or earlier follow-up scan of the given patient. In various embodiments, a 3D connected component analysis may be performed on the previously discussed difference map in order to identify or determine the new lesions, from among the identified lesions. In some embodiments, one or more masks (e.g., baseline mask, follow-up masks, etc. ) may be applied to the aforementioned difference map, for example, to reduce or eliminate false positives for lesions and other noise, prior to performing the 3D connected component analysis.

[0074] In at least one aspects, the 3D component analysis may involve determining, for each lesion identified in the baseline and follow-up scans (e.g., via longitudinal graph matching) a relative distance ratio. As used herein, a relative distance ratio may refer to a centroid distance between a lesion identified in a baseline scan and a lesion identified in a follow-up scan, divided by the sum of the respective radii of the lesion identified in the baseline scan and the lesion identified in the follow-up scan. The relative distance ratio may thus be determined for each combination of lesions formed from pairing a lesion (of a baseline scan) with every other lesion (for each of the one or more follow-up scans) . A new lesion may be deemed to exist based on the relative distance ratio  satisfying a predetermined threshold. For example, in one embodiment, a new lesion may be deemed to exist if the relative distance ratio is greater than 1.

[0075] f. Generating Overall RECIST response

[0076] In various embodiments, the above described methodology may further include generating an overall response assessment in accordance with RECIST, by integrating the previously discussed automated response evaluations and the new lesion identifications. For example, as previously discussed, the automated response evaluation may include a probability for one or more response outcomes (e.g., a response (e.g., a complete response (CR) , a partial response (PR) ) , a stable disease (SD) , and a progressive disease (PD) ) , and may be determined using SOV-based measurements among the scans for a given patient. In some embodiments, the identified new lesions may be similarly evaluated in accordance with RECIST standards. For example, in some embodiments, the identified new lesions may also be considered as part of the progressive disease (PD) outcome. In some aspects, the size (e.g., volume) of the new lesions may be determined or summed up in order to evaluate the response outcome (e.g., probability of progressive disease (PD) ) . Thus, the example methodology may generate a final drug response assessment in accordance with the RECIST standards.

[0077] Various embodiments described herein, including the aforementioned example methodology, provide at least the following beneficial effects:

[0078] The present disclosure describes various embodiments that utilize a multi-task learning architecture on the coarse segmentation results, for example by applying a CNN-based nnU-Net model and a transformer-based Swin-Unetr model. The models incorporate the correlation between the longitudinal image data (e.g., baseline and follow-up CT scans) and anatomical location of lesions (e.g., based on prior medical knowledge) to guide the generation of the difference maps. Furthermore, the present disclosure describe various embodiments that adopt a specially designed ordinal regression model for automatic response evaluations (e.g., probabilities for response outcomes (e.g., CR, PR, SD, and PD) . Conventional deep learning segmentation models do not consider the correlation of image data with prior medical knowledge, resulting in inconsistent and inaccurate predictions for lesions, thereby leading to erroneous response  evaluations. Compared with conventional methods for lesion identification and response evaluations, various embodiments of the present disclosure may reduce the aforementioned inconsistencies and thus improve the response evaluation accuracy.

[0079] Although the present disclosure describe embodiments for response assessments that are compliant with RECIST, the embodiments consider changes to existing lesions (e.g., using SOV-based measurements) along with identifications of new lesions as part of the overall response assessment. Thus, compared to traditional response assessment methods, which may only consider changes to existing lesions, or may only assess new lesions, the present disclosure describe more comprehensive and standardized embodiments for response assessments for lesions in accordance with RECIST.

[0080] III. Example Descriptions of Terms

[0081] As used herein the specification, “a” or “an” may mean one or more. As used herein in the claim (s) , when used in conjunction with the word “comprising, ” the words “a” or “an” may mean one or more than one. Some embodiments of the disclosure may consist of or consist essentially of one or more elements, method steps, and / or methods of the disclosure. It is contemplated that any method or composition described herein can be implemented with respect to any other method or composition described herein and that different embodiments may be combined.

[0082] The use of the term “or” in the claims is used to mean “and / or” unless explicitly indicated to refer to alternatives only or the alternatives are mutually exclusive, although the disclosure supports a definition that refers to only alternatives and “and / or. ” For example, “x, y, and / or z” can refer to “x” alone, “y” alone, “z” alone, “x, y, and z, ” “ (x and y) or z, ” “x or (y and z) , ” or “x or y or z. ” It is specifically contemplated that x, y, or z may be specifically excluded from an embodiment. As used herein “another” may mean at least a second or more.

[0083] The term “ones” means more than one.

[0084] As used herein, the term “plurality” can be 2, 3, 4, 5, 6, 7, 8, 9, 10, or more.

[0085] As used herein, the term “set of” means one or more. For example, a set of items includes one or more items.

[0086] As used herein, the phrase “at least one of, ” when used with a list of items, means different combinations of one or more of the listed items may be used and only one of the items in the list may be needed. The item may be a particular object, thing, step, operation, process, or category. In other words, “at least one of” means any combination of items or number of items may be used from the list, but not all of the items in the list may be required. For example, without limitation, “at least one of item A, item B, or item C” means item A; item A and item B; item B; item A, item B, and item C; item B and item C; or item A and C. In some cases, “at least one of item A, item B, or item C” means, but is not limited to, two of item A, one of item B, and ten of item C; four of item B and seven of item C; or some other suitable combination.

[0087] As used herein, the term “about” refers to include the usual error range for the respective value readily known. Reference to “about” a value or parameter herein includes (and describes) embodiments that are directed to that value or parameter per se. For example, description referring to “about X” includes description of “X” . In some embodiments, “about” may refer to ±15%, ±10%, ±5%, or ±1%as understood by a person of skill in the art.

[0088] As used herein, the term “lesion” refers to an area of abnormal or damaged tissue, such as an abnormal or damaged tissue in the liver. The term lesion encompasses a tumor or a cancer, but may also encompass an area of abnormal or damaged tissue that has the potential to become a tumor or a cancer but is not classified as a tumor or a cancer yet.

[0089] As used herein, the term RECIST-guided Consistent Objective Response evaluation based on Deep learning or “RECORD” may refer to any embodiment of the presently disclosed systems and methods for overall RECIST-compliant response assessment of liver lesions that use the presently disclosed two-stage multi-task learning model.

[0090] While the present teachings are described in conjunction with various embodiments, it is not intended that the present teachings be limited to such various embodiments. On the contrary, the present teachings encompass various alternatives, modifications, and equivalents, as will be appreciated by those of skill in the art.

[0091] In describing the various embodiments, the specification may have presented a method and / or process as a particular sequence of steps. However, to the extent that the method or process does not rely on the particular order of steps set forth herein, the method or process should not be limited to the particular sequence of steps described, and one skilled in the art can readily appreciate that the sequences may be varied and still remain within the spirit and scope of the various embodiments.

[0092] IV. Example Architecture for Two-Stage Multi-Task Learning-Based Lesion Response Assessment In Accordance With RECIST

[0093] The present disclosure describes systems and methods for response evaluation of liver lesions based on longitudinal image data (e.g.., venous phase CTs) . Various embodiments of the present disclosure involve an architecture that is an automated, two-stage RECIST-compliant, consistent objective response evaluation based on deep learning (referred to herein as “RECORD, ” “RECORD architecture, ” “RECORD approach, ” or “RECORD model” ) .

[0094] FIG. 1 is a schematic diagram of an example RECORD architecture for two-stage multi-task learning-based lesion (e.g., liver tumor) response assessment that is compliant with RECIST, in accordance with non-limiting embodiments of the present disclosure. Part 100A of FIG. 1 is a schematic diagram of an example coarse segmentation based on longitudinal image data (e.g., CT image scans comprising a baseline image scan and one or more follow-up image scans) , generating coarse segmentation results (coarse segmented image data) . Part 100B is a schematic diagram of the RECORD model which takes the coarse segmentation result (from part 100A) as an input. An upper half branch 120 of part 100B is a sum of volumes (SOV) based response assessment model that relies on the coarse segmented result to generate an automated response assessment. A lower half branch 130 of part 100B is a new lesion identification model to identify new lesions. After integrating the results of the processes illustrated by the two half branches 120 and 130 (e.g., response assessments (e.g.. of existing lesions from the baseline scan) and new lesion identifications) , an overall RECIST-compliant response assessment is obtained. In some embodiments, the overall RECIST-compliant response assessment (based on the longitudinal image data of a given patient (e.g., comprising a baseline and one or more follow-up scans of the given patient) ) may indicate probabilities for various response outcomes. In some embodiments,  these response outcomes are complete response (CR) , partial response (PR) , stable disease (SD) , and progressive disease (PD) . In some embodiments, the response outcomes of CR and PR are combined and categorized as a single outcome. In some embodiments, for example, as shown in FIG. 1, the response outcomes are PR, SD, or PD. In such embodiments, the presently disclosed RECORD model improves response evaluation accuracy on all three cohorts.

[0095] As shown in FIG. 1, example aspects of the RECORD architecture may include but are not limited to: dataset preparation, dataset preprocessing, coarse segmentation, lesion response assessment (e.g., using ordinal regression for the ground truth of response outcome) , new lesion identification, and overall RECIST-compliant response assessment.

[0096] In various aspects, the RECORD architecture includes data set preparation. In the example shown in FIG. 1, the dataset comprises venous phase abdominal CT scans of liver lesion patients. In some embodiments, the dataset used, for example, to train machine learning models, may be obtained via a screening process. An example embodiment of the dataset screening process is further illustrated in FIG. 4, as will be described herein. The dataset can be longitudinal as it in includes a baseline scan and a plurality of follow-up scans (e.g., follow-up 1-4) captured at times after the baseline scan. The dataset may be acquired and then annotated (e.g., by experts) .

[0097] In various aspects, the RECORD architecture includes image dataset preprocessing. The pre-processing may occur after acquiring the image data (e.g., the CT images) . The pre-processing may include but is not limited to one or more of the following steps: image data format conversion; resampling; grayscale normalization; and image enhancement. For example, the image data format conversion may comprise converting the acquired image data from one format (e.g., Digital Imaging and Communications in Medicine (DICOM) sequences) to another format (e.g., Neuroimaging Informatics Technology Initiative format (NII) format) . In an example, resampling may involve linearly interpolating the original X, Y, and Z axes of an image data to isotropic (e.g., 2 mm×2 mm×2 mm) dimensions or the like. In an example, grayscale normalization may include transforming the original image data (e.g., CT image) to grayscale (e.g., [-200, 200] ) to remove possible noise points. For example, window width and window level adjustment, noise point removal and normalization can be sequentially performed on the original CT images, and then the grayscales of the images range from -200 to 200. In an example, image enhancement may include  randomly flipping and / or rotating the image represented by the image data (e.g., based on a probability (e.g., 0.5) ) . In some aspects, masks associated with the image can also be flipped and rotated synchronously.

[0098] In various aspects, the example RECORD approach may include coarse segmentation, an embodiment of which is further illustrated in FIG. 2.

[0099] FIG. 2 is a schematic diagram of example image preprocessing methods in accordance with non-limiting embodiments of the present disclosure. The image preprocessing methods are examples of two different liver mask segmentation models –a CNN-based nnU-Net model and a transformer-based Swin-Unetr model. The models may be used to obtain the coarse segmentation results of liver lesions from preprocessed CT scans. Due to the large computational cost of 3D image models, patches may be selected for model training and optimization. The nnU-Net model may select the optimal patch size of 112×160×128 based on dataset fingerprints. The Swin-Unetr may set the patch size to 96×96×96. The training times may be both set to 1000.

[0100] Referring back to FIG. 1, the results of the coarse segmentation (coarse segmented image data corresponding to the baseline and follow-up scans) may be inputted to the processes described in part 100B.

[0101] Part 100B of FIG. 1 shows the overall workflow of RECORD. It can accept coarse segmentation results from any segmentation model (e.g., as shown in part 100A and in FIG. 2) and optimize under a multi-task learning architecture to achieve better response assessment performance. RECORD can be divided into two branches, the upper branch 120 describes SOV-based lesion response outcome assessment, the lower branch 130 is for new lesion assessment. By combining the two assessment results, RECORD can provide overall RECIST response results.

[0102] The upper branch 120 of SOV-based lesion response outcome assessment may include but is not limited to one or more of the following processes: registration of the acquired, pre-processed, and / or coarse segmented image data, generation of difference maps (e.g., using longitudinal correlation information and prior medical knowledge) , optimized coarse segmentation, and lesion response outcome assessment (e.g., using ordinal regression) .

[0103] In various aspects, the RECORD approach may include registration of the baseline and the one or more follow-up scans of the acquired and / or preprocessed image data. In some embodiments, advanced normalization tools (ANTs) may be utilized to generate forward and inverse displacement fields for the registration of the image data. For example, ANTs may comprise a C++ based implementation, which may be re-implemented using medical open network for artificial intelligence (MONAI) to ensure gradient derivability in the deep learning framework.

[0104] In various aspects, the RECORD approach may include generating difference maps based on longitudinal correlation information and prior medical knowledge. An example embodiment for generating a difference map is further illustrated, and described in relation to, FIG. 3.

[0105] FIG. 3 is a schematic diagram of an example process for generating a difference map based on the RECORD approach, in accordance with non-limiting embodiments of the present disclosure. FIG. 3, shows masks (e.g., liver masks) applied to a series of longitudinal image data, each longitudinal image data comprising a baseline scan and a plurality of follow-up scans (resulting in a baseline mask and a plurality of follow-up masks) . FIG. 3 further shows a subtraction of each follow-up mask from the baseline mask (see second column) . FIG. 3 further shows a 3D connected component analysis can be applied to each subtraction. The voxel number of the subtracted mask can be calculated at the single lesion level. If the voxel number is greater than a predetermined amount (e.g., 25000 voxels (i.e., 200 cm3) ) , then the specific lesion may be deemed as being a possible false positive. The specific suspected false positive is then calculated as the longitudinal standard deviation of the voxel count. If the standard deviation is large, it indicates that the lesion has changed drastically in a short period of time, which does not correspond to the conventional and most medical cases. Using the weak supervised information of longitudinal CT scans, lesions with a standard deviation greater than 1000 voxels (i.e., 8 cm3) would be identified as false positives and removed from the difference map. Finally, a predicted liver mask would be applied to the processed difference map to further remove false positive predictions that are outside the liver. The resulting difference maps may thus be used for subsequent processes, as described herein.

[0106] Referring back to FIG. 1, the aforementioned difference map can then be applied to each branch of part 100B, as shown (e.g., upper branch 120 and lower branch 130) .

[0107] In various aspects, the RECORD approach may further include applying ordinal regression to the coarse segmented image data to determine response outcomes. In some embodiments, determining response outcomes may comprise determining a probability or a ground truth for various response outcomes possible under the RECIST standard (e.g., CR, PR, SD, and PD) . As is to be appreciated, disease progression is a continuous process. Thus classifying a response outcome discretely may not accurately characterize a response outcome. For example, one-hot encoding is a technique for discretizing a response outcome, but this technique may not provide all the information or context of a response outcome. Various embodiments of the present disclosure proposes and describes ordinal regression as a method of encoding a response outcome, thus overcoming the shortcomings of conventional techniques based on discretizing response outcomes. In at least one embodiment, sum of volume (SOV) measurements of the lesions of the baseline and follow-up scans (or masks) of the acquired, preprocessed, and / or coarse segmented image data may be determined. Applying ordinal regression may comprise mapping the SOV measurements of the baseline and follow-up scans (or masks) to a multi-class probability, where each class represents a response outcome. For example, as shown in branch 120, the multi-class probability may comprise a three-class probability for the response outcome being partially responsive (PR) , stable condition (SD) , or a progressive disease (PD) . An example equation is shown below (equation 1) :

[0108] where, w can be determined via equation (2) and represents the trade-off between relative and absolute volume (equation (2) is used to bring equation (1) in line with the RECIST guidelines, which a lack of change in diameter is deemed as a stable disease (SD) response outcome) ;

[0109] V1 is the baseline SOV, V2 is the follow-up SOV;

[0110] Ci is a constant, which can be empirically set (e.g., C1=15, C2=5, C3=0.1) ;

[0111] rPR, rPD is extrapolated from 1D RECIST and empirically adjusted to best fit immunotherapy situations with advice from senior physicians, where we set rPR=0.65, rPD=1.44 to best match the results of clinical record forms;

[0112] σ is the Sigmoid function, which maps [-∞, +∞] to [0, 1] ; and

[0113] V is the absolute volume required for unequivocal progression, where V can be set to V=400 based on an extrapolation of RECIST.

[0114] In various aspects, the response outcome assessment (e.g., via the application or ordinal regression) may be based on an optimization of the coarse segmentation results of the acquired and / or preprocessed image data. Thus, in various embodiments, the RECORD approach may include the optimization. The optimized coarse segmentation may then be applied to the previously described response outcome assessment. The optimization may include, for a given channel, concatenating: a baseline mask, a difference map, and registered follow-up masks. As used herein, a channel may refer to a given patient and / or a given patient anatomy to which the baseline scan (or mask) , difference map, or follow-up scans (or masks) are associated with. The concatenated ‘baseline mask-difference map-registered follow-up mask’ may be inputted into a Se-Unet (squeeze and excitation network) model. A classification head may be used to optimize the accuracy of the aforementioned multi-class response outcome result (e.g., the three-class response outcome results for PR, SD, and PD, respectively) , while a segmentation head may be used to ensure the accuracy of lesion identification. The two-stage multi-task learning model may thus comprise the combination of the classification head and segmentation head in the squeeze and excitation network model. The loss function of the optimization process can be written as: L=Lseg+w ·Lcls, w=0.55    (3) Lseg=Lseg_baseline+Lseg_followup    (4)

[0115] where, Lseg is the segmentation loss, which is the weighting of DICE and cross entropy loss, with the DICE loss consists of two items, i.e., the baseline segmentation loss Lseg_baseline and the follow-up segmentation loss Lseg_followup; Lcls is the classification loss which depicts the classification accuracy of response evaluations with the cross-entropy loss. The ground truth label y is designed to be continuous in our model, without taking argmax that is usually done in traditional classification problems.

[0116] The lower branch 130 of part 100B may be used to identify new lesions, and then generate an overall RECIST-compliant response that integrates the response outcome assessments of upper branch 120 with the new lesion identifications. In at least one embodiment, the new lesion identification may include but is not limited to one or more of the following processes.

[0117] In various aspects, the new lesion identification may include performing a 3D connected component analysis of the baseline and the follow-up lesion masks to obtain single lesion level predictions.

[0118] In various aspects, the new lesion identification may include generating a longitudinal lesion matching graph. In at least one aspect, the longitudinal lesion matching graph may be represented as G= (LB, LF, E) , where and represent two sets of vertices corresponding to the baseline (B) and follow-up (F) lesions associated with the lesion segmentation masks. If the relative lesion Euclidean distance is smaller than 1, then an edge from to can be added to E. Otherwise, the lesion would be labeled as a new lesion, for which dij may represent the center distance between two lesions, and and may represent the radii of two baseline and follow-up lesions.

[0119] In an example embodiment, one or more new lesions can be identified via the aforementioned longitudinal lesion graph matching by determining Euclidean distances between centers of each of a plurality of pairs of lesions, and then determining a sum of radii for lesions of each of the plurality of pairs of lesions. For any given pair of lesions, a ratio of the Euclidean distance between the given pair of lesions and the sum of the radii of the given pair of lesions may  be determined. If the ratio is greater than a predetermined threshold (e.g., 1) , a lesion of the given pair of lesions may be designated as a new lesion.

[0120] The lower branch 120 may further include generating an overall RECIST-compliant response ( “overall RECIST response” ) . In at least one embodiment, the overall RECIST response may be a combination of the response outcome assessment result (e.g., using SOV-based measurements as previously described in relation to upper branch 120) and the new lesion identification to get the overall RECIST response outcomes.

[0121] V. Example Experimental Demonstration of the Presently Disclosed RECORD Approach

[0122] FIGS. 4-7 show figures illustrating example implementations via an experimental demonstration of the techniques disclosed herein (e.g., the RECORD approach) for a RECIST-compliant response assessment of liver lesions using a two-stage multi-task learning based deep learning method. The implementations began with screening for and acquiring datasets for the training, and validation of machine learning models used for the techniques disclosed herein.

[0123] FIG. 4 is a schematic diagram of an example screening process for patient-specific data, in accordance with non-limiting embodiments of the present disclosure. The patient-specific data involved CT image data of patients (N) from multiple centers having various forms of liver cancer, forming (e.g., after subsequent screening and filtering) , the basis for three cohorts –Cohort A, Cohort B, and Cohort C. Specifically, as shown in FIG. 4, prior to further screening, CT image data were obtained from: 249 patients having hepatocellular carcinoma (N=249) , forming the basis for Cohort A; 113 patients having metastatic liver cancer (N=113) , forming the basis for Cohort B; and 51 patients having mixed types of liver cancer (N=51) , forming the basis for Cohort C. The liver cancer patients were treated with immunotherapy in clinical trials and hospitalization between 2017 and 2022. The CT image data samples were screened for and filtered based on various inclusion and exclusion criteria. Inclusion criteria are: (1) at least one RECIST measurable lesion; (2) at least one follow-up visit. Exclusion criteria are: (1) absence of venous phase on abdominal CT scans; (2) time interval between two consecutive scans greater than 18 weeks; (3) insufficient image quality (with snowflake-shaped artifacts on CT scans) . Thus, for example as shown in FIG.  4, image data samples were removed for having insufficient CT scan image quality, having only baseline CT scan available (i.e., not having at least one follow-up visit or scan) , missing complete abdomen venous phase C scans, or not having measurable liver lesion as defined by RECIST standards (version 1.1) .

[0124] As shown in FIG. 4, the resulting dataset after applying the aforementioned inclusion and exclusion criteria comprised of a total of 891 CT scans associated with 206 liver cancer patients, split among three longitudinal multi-center cohorts (Cohorts A, B and C) . Cohort A was divided into two sub-cohorts by center, with cohort A1 used for internal five-fold cross validation, and cohort A2, B, and C for external validation. As shown in FIG. 4, the number of liver cancer patients (N) split among these cohorts were N=111, N=39, N=22, and N=34 for Cohort A1, Cohort A2, Cohort B, and Cohort C, respectively, totaling to the 206 liver cancer patients) . This dataset was then used for the training and validation of the two-stage multi-class learning model, as described herein. The training dataset was organized (e.g., associating the baseline scan of a given patient with corresponding follow-up scans, associating the scans with basic patient information concerning the patient, etc. ) and labeled for training. The labels included identification and information about paired lesions in the baseline and follow-up scans, identification of new lesions, RECIST response characteristics (e.g., percentages or probabilities for PR, SD, and PD) , as well as lesion statistics (e.g., tumor volume, lesion number, single lesion volume, etc. ) . Additional details of the dataset and its labeling are shown in Table 1. The labels were based on known information concerning the datasets.

[0125] Abbreviation: NA, not available.

[0126] a Cohort C was excluded for new lesion assessment.

[0127] RECORD model training

[0128] The labeled dataset was used for training the two-stage multi-class learning model described herein. The training was performed using PyTorch (torch==1.11.0, torchvision==0.12.0) on Siyuan high performance computers (HPCs) at Shanghai Jiao Tong University, using 4×NVIDIA A100 with 40GB memory per GPU. In order to address the large computational resource needs involved with training a dataset of three-dimensional image data from a large plurality of patients, data parallelization was utilized via distributed computation. The image dataset was divided into a plurality of patches. The patches were distributed across a plurality of compute nodes for the training. The image datasets were then restored to their complete full resolution after the training.

[0129] RECORD Model Performance Evaluation

[0130] In order to verify and test the robustness of the trained model, the trained model had to be validated, and the ability of the trained model to generalize (e.g., adapt properly to new, previously unseen data, drawn from the same distribution as the one used to train the model) had to be verified. Specifically, Cohort A was divided based on the center into subset A1 (referred to herein as  “Cohort A1” ) subset A2 (referred to herein as “Cohort A2” ) . While Cohort A1 was used for a five-fold validation of the trained model, Cohort A2 was used to verify the model generalization of the trained model.

[0131] For the internal five-fold cross validation, the image datasets of Cohort A1 was used to train conventional coarse segmentation models (i.e., nnU-Net and Swin-Unetr models) and obtain coarse segmentation results. Response assessments based on the coarse segmentation results were obtained by adding the coarse segmented lesion pixels in the image data of Cohort 1 to obtain the sum of volumes (SOV) for each scan. The SOV measurements were compared with the response assessments provided by the two-stage multi-task learning of the presently disclosed RECORD approach. A comparison of results is performed from the perspective of the areas under the curve (AUC) for the probabilities for the three types of response outcomes (e.g., Partial Response (PR) , Stable Disease (SD) , and Progressive Disease (PD) ) as well as macro F1 score, micro F1 score, and weighted F1 score.

[0132] FIG. 5 is a diagram showing the AUC result comparison between the presently disclosed RECORD approach with existing coarse segmentation models (e.g., nnU-Net and Swin-Unetr) in accordance with non-limiting embodiments of the present disclosure. As shown in FIG. 5, graph 500A is an AUC comparison under the response outcome of Partial Response (PR) ; graph 500B is an AUC comparison under the response outcome of Stable Disease (SD) ; and graph 500C is an AUC comparison under the response outcome of Progressive Disease (PD) . A P value was computed using a Delong test method.

[0133] Based on the AUC for the three-way response outcome classifications, the presently disclosed RECORD approach shows an improvement from conventional coarse segmentation results provided by the nnU-Net model. For example, as shown in FIG. 5, AUC for PR response outcome improved from 0.961 to 0.976, the AUC for the SD response outcome is improved from 0.859 to 0.904, and the AUC for the PD response outcome is improved from 0.917 to 0.933. The presently disclosed RECORD approach also showed similar improvement trends, when compared with conventional coarse segmentation results provided by the Swin-Unetr model. By comparing the two dark and shallow curves in FIG. 5 and by comparing the two AUC curves using the Delong test, it was found that the presently disclosed RECORD approach provided a significant  improvement on AUC compared to conventional coarse segmentation models (e.g., of nnU-Net and Swin-Unetr) .

[0134] A comparison between conventional models (e.g., nnU-Net and Swin-Unetr models) and the presently disclosed RECORD model was also performed to determine F1 scores. The results of this comparison are shown in Table 2 below (e.g., Row 1, Cohort A1) . As will be discussed further below, Table 2 also shows the F1 scores for the external validation of the trained model (using Cohorts A2, B, and C) In terms of macro F1 scores, micro F1 scores and weighted F1 scores, the presently disclosed RECORD model showed improvements compared to the conventional models of nnU-Net and Swin-Unetr.

[0135] Table 2:

[0136] A comparison between the presently disclosed RECORD model and conventional models was also performed to determine accuracy. FIG. 6 is a diagram showing the accuracy comparison between the RECORD model and the conventional models (e.g., nnU-Net and Swin-Unetr models) , where the P value is computed using a Mc Nemar mid-p test method. As shown in FIG. 6, under the presently disclosed RECORD model, response scoring accuracy improved by 0.030 and 0.032 compared to the original predictions of the nnU-Net and Swin-Unetr models, respectively.

[0137] In the multi-class response outcome assessment, the use of the RECORD model significantly reduced confusions between the various response outcomes. FIG. 7 is a diagram showing a confusion matrix comparison between the presently disclosed RECORD model and the  conventional models of nnU-Net and Swin-Unetr. Parts 700A and 700B respectively compare the improvements in reducing confusion through the use of RECORD model to the use of the nnU-Net and Swin-Unetr models, respectively. FIG. 7 shows enhancements in reducing confusion through the use of the RECORD model in predicting Stable Disease (SD) and Partial Response (PR) as well as Progressive Disease (PD) .

[0138] As previously discussed, in addition to validating the trained model based on internal data (e.g., using Cohort A1) , the trained model was also validated using external data (e.g., for model generalization) . The datasets used for the external validation of the trained model (e.g., trained using labeled data from cohort A1) were from cohorts A2, B, and C.

[0139] Table 3 shows the comparison results of the AUC between CONVENTIONAL models and RECORD on the external validation dataset, which includes cohorts A2, B, and C. Prediction and optimization are performed respectively based on a five-fold model trained using the dataset of Cohort A1, and the results are the five-fold average and its 95%confidence interval. Table 2 (above) shows the F1 scores on the external validation dataset (in Rows 2-4, Cohorts A2, B, and C) . The comparison of the F1 scores between the presently disclosed RECORD model and the conventional models (e.g., nnU-Net and Swin-Unetr models) shows that the RECORD model performs better than the conventional models on the external validation dataset, indicating that the trained RECORD model has great model generalization ability.

[0140] Table 3 AUC of the external validation datasets

[0141] It was also found that RECORD optimization on coarse segmentation results improved new lesion identification accuracy. New lesions were identified from the acquired datasets using the presently disclosed longitudinal lesion graph matching technique. A comparison for precision, recall, and accuracy in new lesion identification was performed between the presently disclosed RECORD model, which utilizes longitudinal graph matching techniques, and the conventional models (e.g., nnU-Net and Swin-Unetr models) for each baseline-follow-up pairs in the image datasets of cohorts A1, A2, and B. In Cohort C, most patients were in a terminal stage of liver cancer (e.g., having a liver damage exceeding 50%) . Since this made new lesions difficult to unequivocally define, cohort C was therefore excluded from this experiment of new lesion identification. The RECORD model superimposed the previously discussed difference maps on the coarse segmentation results of the conventional models to remove extrahepatic false positive lesions and unreasonable lesions.

[0142] Table 4 thus shows the results of the comparison for new lesion identification between the presently disclosed RECORD model, which utilizes longitudinal lesion graph matching, and the conventional models. Although the conventional models identified new lesions with high recall, the identifications had relatively low precision, suggesting that the conventional models were prone to making false positive predictions outside the liver. The RECORD models, which utilized difference maps, resulted in higher precision. Thus, it can be seen from Table 4 that the use of difference maps incorporating anatomical location information in the RECORD model improved precision in identifying new lesions while maintaining the recall rate.

[0143] For example, after the difference map was added, the prediction accuracy of the nnU-Net for new lesions in Cohort A1 increased from 0.730 to 0.880, and the recall rate remained at 0.844. The accuracy improved from 0.904 to 0.945. A similar pattern of improvement was seen in the conventional model predictions for Cohort A2 after the difference map was added. Cohort B shows lesions with clear boundaries and high contrasts. Therefore, the RECORD model is superior to conventional segmentation models in identifying new lesions. Furthermore, in most cohorts in which lesion boundaries were unclear, the effect of the conventional segmentation model significantly improved with the use of difference maps.

[0144] The experiments also demonstrated that the RECORD model improves accuracy of the overall RECIST-compliant response assessment.

[0145] By integrating the SOV-based response assessments (also referred to herein as “SOV-based results” ) and the new lesion identifications based on the presently disclosed RECORD approach, an overall RECIST-compliant drug response assessment result was generated, as shown in Table 5.

[0146] Table 5:

[0147] Table 6 shows a comparison of the performance between the presently disclosed RECORD models and the conventional models in the overall RECIST-compliant response assessments. Cohorts A1, A2, and B represent the combined response assessment results for SOV-based lesion change assessments and new lesion identifications. In cohort C, only SOV-based lesion change assessments were considered in the overall RECIST-compliant response assessment due to difficulties in distinguishing new lesions as previously discussed. For the nnU-Net model, the use of longitudinal lesion graph matching based on the RECORD approach led to an average improvement in overall accuracy of 3.3±2.0%. Similarly, for the Swin-Unetr model, the use of longitudinal lesion graph matching based on the RECORD approach resulted in an average improvement of 3.0±2.1%in overall accuracy. This indicates that by integrating longitudinal lesion graph matching and medical prior information within a multi-task learning framework, as proposed by the presently disclosed RECORD approach, more accurate progression evaluations can be made.

[0148] Table 6:

[0149] VI. Conclusion

[0150] Aspects of the present embodiment are described herein with reference to flowchart illustrations and / or block diagrams of methods, apparatus (systems) , and computer program products according to the embodiment. It will be understood that each block of the flowchart illustrations and / or block diagrams, and combinations of blocks in the flowchart illustrations and / or block diagrams, can be implemented by computer readable program instructions.

[0151] These computer readable program instructions may be provided to a processor of a general purpose computer, special purpose computer, or other programmable data processing apparatus to produce a machine, such that the instructions, which execute via the processor of the computer or other programmable data processing apparatus, create means for implementing the functions / acts specified in the flowchart and / or block diagram block or blocks. These computer readable program instructions may also be stored in a computer readable storage medium that can direct a computer, a programmable data processing apparatus, and / or other devices to function in a particular manner, such that the computer readable storage medium having instructions stored therein comprises an article of manufacture including instructions which implement aspects of the function / act specified in the flowchart and / or block diagram block or blocks.

[0152] The computer readable program instructions may also be loaded onto a computer, other programmable data processing apparatus, or other device to cause a series of operational steps to be performed on the computer, other programmable apparatus or other device to produce a computer implemented process, such that the instructions which execute on the computer, other programmable apparatus, or other device implement the functions / acts specified in the flowchart and / or block diagram block or blocks.

[0153] The flowchart and block diagrams in the Figures illustrate the architecture, functionality, and operation of possible implementations of systems, methods, and computer program products according to various embodiments. In this regard, each block in the flowchart or block diagrams may represent a module, segment, or portion of instructions, which comprises one or more executable instructions for implementing the specified logical function (s) . In some alternative implementations, the functions noted in the block may occur out of the order noted in the figures.  For example, two blocks shown in succession may, in fact, be executed substantially concurrently, or the blocks may sometimes be executed in the reverse order, depending upon the functionality involved. It will also be noted that each block of the block diagrams and / or flowchart illustration, and combinations of blocks in the block diagrams and / or flowchart illustration, can be implemented by special purpose hardware-based systems that perform the specified functions or acts or carry out combinations of special purpose hardware and computer instructions.

[0154] The descriptions of the various embodiments of the present embodiment have been presented for purposes of illustration but are not intended to be exhaustive or limited to the embodiments disclosed. Many modifications and variations will be apparent to those of ordinary skill in the art without departing from the scope and spirit of the described embodiments. The terminology used herein was chosen to best explain the principles of the embodiments, the practical application or technical improvement over technologies found in the marketplace, or to enable others of ordinary skill in the art to understand the embodiments disclosed herein.

Claims

1.A two-stage multi-task learning-based method for automated lesion response assessment, the method comprising:acquiring a plurality of longitudinal image data respectively associated with a plurality of liver cancer patients, wherein each longitudinal image data is based on CT scans comprising a baseline scan and a follow-up scan of a respective liver cancer patient; andfor each longitudinal image data associated with a respective patient:generating, using one or both of a convolutional neural network (CNN) -based model and a transformer-based model, a coarse segmentation image data from the longitudinal image data;generating, based on a difference map generated using the longitudinal image data and the coarse segmentation image data, one or more sum of volume (SOV) -based response assessments;identifying, via longitudinal lesion graph matching based on the longitudinal image data and the difference map, one or more new lesions; andintegrating the one or more SOV-based response assessments and the identifications of the one or more new lesions to generate an overall response assessment, wherein the overall response assessment is compliant with Response Evaluation Criteria in Solid Tumors (RECIST) .2.The method of claim 1, wherein acquiring the longitudinal image data comprises:annotating one or more 3D lesion boundaries in the CT scans to generate annotated longitudinal image data; andrandomly dividing the acquired longitudinal image data associated with each of a plurality of liver cancer patients into training and validation sets.3.The method of any one of claims 1 or 2, wherein generating the coarse segmentation image data and generating the one or more SOV-based response assessments are performed via a two-stage multi-task learning model, the method further comprising:training the two-stage multi-task learning model using the annotated longitudinal image data.4.The method of claim 3,wherein training the two-stage multi-task learning model comprises optimizing the generation of the coarse segmentation image data;wherein the trained two-stage multi-task learning model is configured to generate, based on the optimized coarse segmentation image data, an SOV-based response assessment; andwherein the SOV-based response assessment is a three-class response outcome probability vector.5.The method of any one of claims 3-4, further comprising:applying, to a longitudinal image data of a new liver cancer patient, the trained two-stage multi-task learning model to generate an SOV-based response assessment for the new liver cancer patient;identifying, via longitudinal graph matching based on the longitudinal image data of the new liver cancer patient and a difference map associated with the longitudinal image data of the new liver cancer patient, one or more new lesions in the new liver cancer patient; andintegrating the SOV-based response assessments for the new liver cancer patient and the identifications of the one or more new lesions in the new liver cancer patient to generate an overall response assessment for the new liver cancer patient.6.The method of any one of claims 1-5, further comprising: evaluating a performance of the overall response assessment using one or more of a macro-area under the curve (AUC) , a micro-AUC, an area under the curve for partial response (AUC-PR) , an area under the curve for stable disease (AUC-SD) , an area under the curve for progressive disease (AUC-PD) , a macro-F1 score, a micro-F1 score, or a weighted F1 score.7.The method of any one of claims 1-6, wherein the CT scans are CT scans of a venous phase, the method further comprising:preprocessing the longitudinal image data to construct an image database, wherein the generating the coarse segmentation image data comprises generating the coarse segmentation image data from the preprocessed CT scans.8.The method of any one of claims 1-7, wherein the acquired longitudinal image data are in a Digital Imaging and Communications in Medicine (DICOM) format, and each have a thickness of 5 mm.9.The method of any one of claims 6-8, wherein the preprocessing comprises:converting the longitudinal image data from a Digital Imaging and Communications in Medicine (DICOM) format to a Neuroimaging Informatics Technology Initiative (NII) format;resampling the longitudinal image data at a section interval of from 5 mm to 2 mm; andnormalizing grayscales of the CT scan data to [-200, 200] .10.The method of claim 9, wherein the preprocessing further comprises:applying, to the longitudinal image data, a liver segmentation mask; andadjusting, via linear interpolation, a resolution of the longitudinal image to 205 x 205 pixels.11.The method of any one of claims 1-10, wherein the CNN-based model and the transformer-based model comprise a CNN-based nnU-Net model and a transformer-based Swin-Unetr model, respectively.12.The method of claim 11, wherein the CNN-based nnU-Net model selects an optimal batch size and an optimal patch size according to dataset fingerprints of the longitudinal image data, wherein the transformer-based Swin-Unetr adopts a batch size of 4 and a patch size of 96×96×96.13.The method of any one of claims 1-12, wherein generating the one or more sum of volume (SOV) -based response assessments comprises:applying, to the longitudinal image data, a liver segmentation mask to generate a baseline mask and a follow-up mask corresponding to the baseline scan and the follow-up scan, respectively;performing deformable registration on the baseline mask and the follow-up mask of the longitudinal image data to register the baseline mask and the follow-up mask, respectively;obtaining the difference map by subtracting the coarse segmentation image data corresponding to the follow-up mask from the baseline mask, wherein the difference map encodes lesion change differences between the baseline mask and the follow-up mask;concatenating and feeding, into a squeeze and excitation network (Se-Unet) , the baseline mask, the difference map, and the follow-up mask, as a baseline-follow-up SOV; andtransforming, using a mapping function, the baseline-follow-up SOV into a three-class response outcome probability vector.14.The method of claim 13, wherein performing deformable registration on the baseline scan and the follow-up scan comprises:applying, to the coarse segmentation image data, forward and inverse displacement fields, obtained via one or more advanced normalization tools (ANTs) , to register the baseline mask and the follow-up mask.15.The method of any one of claims 13-14, wherein obtaining the difference map encoding the lesion change differences further comprises:performing a 3D connect component analysis to identify one or more individual lesions.16.The method of claim 15, further comprising:removing, from the identified one or more lesions, one or both of:a lesion having a longitudinal change that is beyond a predetermined threshold; ora lesion outside of the liver.17.The method of any one of claims 13-16, wherein transforming the baseline-follow-up SOV into the three-class response outcome probability vector comprises:mapping a change in the baseline mask to the baseline-follow-up SOV.18.The method of any one of claims 1-17, wherein identifying the one or more new lesions via longitudinal lesion graph matching comprises:determining Euclidean distances between centers of each of a plurality of pairs of lesions;determining a sum of radii for lesions of each of the plurality of pairs of lesions;determining, for a given pair of lesions, a ratio of the Euclidean distance between the given pair of lesions and the sum of the radii of the given pair of lesions; anddesignating, based on the ratio being greater than 1, a lesion of the given pair of lesions as a new lesion.19.The method of any one of claims 1-18,wherein the overall response assessment comprises an indication of one or more RECIST-compliant response outcomes, the RECIST-compliant response outcomes including at least a partial response (PR) , stable disease (SD) , or a progressive disease (PD) ;wherein, if there is an identification of a new lesion, the overall response assessment includes a progressive disease (PD) response outcome; andwherein, if there is no identification of any new lesion, the overall response assessment is consistent with the one or more SOV-based response assessments.20.The method of any one of claims 1-19,wherein the one or more SOV-based response assessments are generated by a two stage multi-task learning model; andwherein the two stage multi-task learning model is trained to generate, after optimizing the coarse segmentation image data, the one or more SOV-based response assessments.21.The method of claim 20, wherein two-stage multi-task learning model generates the one or more SOV-based response assessments by:optimizing, via deformable registration, the coarse segmentation image data;generating, using the longitudinal image data, the difference map, wherein the difference map encodes lesion change differences between the baseline scan and the follow-up scan; andencoding a RECIST-compliant response outcome via a three-class response outcome probability vector.22.A system comprising:a processor; andmemory storing instructions that, when executed by the processor, cause the processor to: acquiring a plurality of longitudinal image data respectively associated with a plurality of liver cancer patients, wherein each longitudinal image data is based on CT scans comprising a baseline scan and a follow-up scan of a respective liver cancer patient; andfor each longitudinal image data associated with a respective patient:generating, using one or both of a convolutional neural network (CNN) -based model and a transformer-based model, a coarse segmentation image data from the longitudinal image data;generating, based on a difference map generated using the longitudinal image data and the coarse segmentation image data, one or more sum of volume (SOV) -based response assessments;identifying, via longitudinal lesion graph matching based on the longitudinal image data and the difference map, one or more new lesions; andintegrating the one or more SOV-based response assessments and the identifications of the one or more new lesions to generate an overall response assessment, wherein the overall response assessment is compliant with Response Evaluation Criteria in Solid Tumors (RECIST) .23.The system of claim 22, wherein the instructions, when executed, cause the processor to acquire the longitudinal image data by:annotating one or more 3D lesion boundaries in the CT scans to generate annotated longitudinal image data; andrandomly dividing the acquired longitudinal image data associated with each of a plurality of liver cancer patients into training and validation sets.24.The system of any one of claims 22 or 23, wherein the instructions, when executed, cause the processor to generate the coarse segmentation image data and generate the one or more SOV-based response assessments via a two-stage multi-task learning model,wherein the instructions, when executed, further cause the processor to:train the two-stage multi-task learning model using the annotated longitudinal image data.25.The system of claim 24,wherein the instructions, when executed, cause the processor to train the two-stage multi-task learning model by optimizing the generation of the coarse segmentation image data;wherein the trained two-stage multi-task learning model is configured to generate, based on the optimized coarse segmentation image data, an SOV-based response assessment; andwherein the SOV-based response assessment is a three-class response outcome probability vector.26.The system of any one of claims 24-25, wherein the instructions, when executed, further cause the processor to:apply, to a longitudinal image data of a new liver cancer patient, the trained two-stage multi-task learning model to generate an SOV-based response assessment for the new liver cancer patient;identify, via longitudinal graph matching based on the longitudinal image data of the new liver cancer patient and a difference map associated with the longitudinal image data of the new liver cancer patient, one or more new lesions in the new liver cancer patient; andintegrate the SOV-based response assessments for the new liver cancer patient and the identifications of the one or more new lesions in the new liver cancer patient to generate an overall response assessment for the new liver cancer patient.27.The system of any one of claims 22-26, wherein the instructions, when executed, further cause the processor to:evaluate a performance of the overall response assessment using one or more of a macro-area under the curve (AUC) , a micro-AUC, an area under the curve for partial response (AUC-PR) , an area under the curve for stable disease (AUC-SD) , an area under the curve for progressive disease (AUC-PD) , a macro-F1 score, a micro-F1 score, or a weighted F1 score.28.The system of any one of claims 22-27, wherein the CT scans are CT scans of a venous phase, wherein the instructions, when executed, further cause the processor to:preprocess the longitudinal image data to construct an image database, wherein the wherein the instructions, when executed, cause the processor to generate the coarse segmentation image data by generating the coarse segmentation image data from the preprocessed CT scans.29.The system of any one of claims 22-28, wherein the acquired longitudinal image data are in a Digital Imaging and Communications in Medicine (DICOM) format, and each have a thickness of 5 mm.30.The system of any one of claims 28-29, wherein the instructions, when executed, cause the processor to preprocess by:converting the longitudinal image data from a Digital Imaging and Communications in Medicine (DICOM) format to a Neuroimaging Informatics Technology Initiative (NII) format;resampling the longitudinal image data at a section interval of from 5 mm to 2 mm; andnormalizing grayscales of the CT scan data to [-200, 200] .31.The system of claim 30, wherein the instructions, when executed, further cause the processor to preprocess by:applying, to the longitudinal image data, a liver segmentation mask; andadjusting, via linear interpolation, a resolution of the longitudinal image to 205 x 205 pixels.32.The system of any one of claims 22-31, wherein the CNN-based model and the transformer-based model comprise a CNN-based nnU-Net model and a transformer-based Swin-Unetr model, respectively.33.The system of claim 32, wherein the CNN-based nnU-Net model selects an optimal batch size and an optimal patch size according to dataset fingerprints of the longitudinal image data, wherein the transformer-based Swin-Unetr adopts a batch size of 4 and a patch size of 96×96×96.34.The system of any one of claims 22-33, wherein the instructions, when executed, cause the processor to generate the one or more sum of volume (SOV) -based response assessments by:applying, to the longitudinal image data, a liver segmentation mask to generate a baseline mask and a follow-up mask corresponding to the baseline scan and the follow-up scan, respectively;performing deformable registration on the baseline mask and the follow-up mask of the longitudinal image data to register the baseline mask and the follow-up mask, respectively;obtaining the difference map by subtracting the coarse segmentation image data corresponding to the follow-up mask from the baseline mask, wherein the difference map encodes lesion change differences between the baseline mask and the follow-up mask;concatenating and feeding, into a squeeze and excitation network (Se-Unet) , the baseline mask, the difference map, and the follow-up mask, as a baseline-follow-up SOV; andtransforming, using a mapping function, the baseline-follow-up SOV into a three-class response outcome probability vector.35.The system of claim 34, wherein the instructions, when executed, cause the processor to perform deformable registration on the baseline scan and the follow-up scan by:applying, to the coarse segmentation image data, forward and inverse displacement fields, obtained via one or more advanced normalization tools (ANTs) , to register the baseline mask and the follow-up mask.36.The system of any one of claims 34-35, wherein the instructions, when executed, cause the processor to obtain the difference map encoding the lesion change differences by:performing a 3D connect component analysis to identify one or more individual lesions.37.The system of claim 36, wherein the instructions, when executed, further cause the processor to:remove, from the identified one or more lesions, one or both of:a lesion having a longitudinal change that is beyond a predetermined threshold; ora lesion outside of the liver.38.The system of any one of claims 34-37, wherein the instructions, when executed, cause the processor to transform the baseline-follow-up SOV into the three-class response outcome probability vector by:mapping a change in the baseline mask to the baseline-follow-up SOV.39.The system of any one of claims 22-38, wherein the instructions, when executed, cause the processor to identify the one or more new lesions via longitudinal lesion graph matching by:determining Euclidean distances between centers of each of a plurality of pairs of lesions;determining a sum of radii for lesions of each of the plurality of pairs of lesions;determining, for a given pair of lesions, a ratio of the Euclidean distance between the given pair of lesions and the sum of the radii of the given pair of lesions; anddesignating, based on the ratio being greater than 1, a lesion of the given pair of lesions as a new lesion.40.The system of any one of claims 22-39,wherein the overall response assessment comprises an indication of one or more RECIST-compliant response outcomes, the RECIST-compliant response outcomes including at least a partial response (PR) , stable disease (SD) , or a progressive disease (PD) ;wherein, if there is an identification of a new lesion, the overall response assessment includes a progressive disease (PD) response outcome; andwherein, if there is no identification of any new lesion, the overall response assessment is consistent with the one or more SOV-based response assessments.41.The system of any one of claims 22-40,wherein the one or more SOV-based response assessments are generated by a two stage multi-task learning model; andwherein the two stage multi-task learning model is trained to generate, after optimizing the coarse segmentation image data, the one or more SOV-based response assessments.42.The system of claim 41, wherein two-stage multi-task learning model generates the one or more SOV-based response assessments by:optimizing, via deformable registration, the coarse segmentation image data;generating, using the longitudinal image data, the difference map, wherein the difference map encodes lesion change differences between the baseline scan and the follow-up scan; andencoding a RECIST-compliant response outcome via a three-class response outcome probability vector.

Images