Computer-implemented method, apparatus, and computer-program product

Abstract

A computer-implemented method is provided. The computer-implemented method includes constructing a feature hypergraph; performing feature selection and combination; and performing predictive analysis. Performing feature selection and combination includes updating representation of a hyperedge in the feature hypergraph by aggregating information from vertices connected to the hyperedge and selected by a gating function; and updating representation of a vertex in the feature hypergraph by aggregating information from hyperedges to which the vertex belongs, and which are selected by a gating function.

Description

COMPUTER-IMPLEMENTED METHOD, APPARATUS, AND COMPUTER-PROGRAM PRODUCTTECHNICAL FIELD

[0001] The present invention relates to predictive analysis technology, more particularly, to a computer-implemented method, an apparatus, and a computer-program product.BACKGROUND

[0002] Predictive analysis is a fundamental task in the field of artificial intelligence. It involves using given features as inputs to infer prediction targets (such as regression values or classification labels) . Predictive analysis plays a crucial role in medical research, for instance, in predicting the efficacy and side effects of drugs on diseases, assessing the impact of a certain treatment plan on patients, and estimating patients's urvival times.SUMMARY

[0003] In one aspect, the present disclosure provides a computer-implemented method, comprising constructing a feature hypergraph; performing feature selection and combination; and performing predictive analysis; wherein performing feature selection and combination comprises updating representation of a hyperedge in the feature hypergraph by aggregating information from vertices connected to the hyperedge and selected by a gating function; and updating representation of a vertex in the feature hypergraph by aggregating information from hyperedges to which the vertex belongs, and which are selected by a gating function.

[0004] Optionally, updating representation of the hyperedge in the feature hypergraph comprises performing aggregating information according to:

[0005] wherein W (l) f and W (l) x are model parameters;  stands for a vector of a hyperedge xi at layer l; Nx (xi) stands for a set of vertices connected to the hyperedge xi; σ stands for an activation function; and δ stands for a gating function.

[0006] Optionally, updating representation of the vertex in the feature hypergraph comprises performing aggregating information according to:

[0007] wherein W (l) f stands for a model parameter; fj (l) stands for a vector of a vertex fj at layer l; Nf (fj) stands for a set of hyperedges to which the vertex fj belongs; σ stands for an activation function; and δ stands for a gating function.

[0008] Optionally, the computer-implemented method further comprises reiterating updating representation of the hyperedge in the feature hypergraph and updating representation of the  vertex in the feature hypergraph, thereby enabling combination of features through successive layers.

[0009] Optionally, constructing the feature hypergraph comprises providing a plurality of instances and a plurality of features; defining a respective feature of the plurality of features as a vertex in a hypergraph; and defining a respective instance of the plurality of instances as a hyperedge in the hypergraph, the hyperedge connecting at least two vertices in the respective instance.

[0010] Optionally, constructing the feature hypergraph comprises providing a plurality of instances and a plurality of features; representing the plurality of features as a plurality of vectors, a respective vector of the plurality of vectors having corresponding values across the plurality of instances; calculating similarities among the plurality of vectors; identifying nearest neighbors of a respective feature of the plurality of features based on the similarities; and forming a respective hyperedge by grouping the respective feature with the nearest neighbors.

[0011] Optionally, calculating similarities among feature vectors is performed using a Gaussian kernel function:

[0012] wherein fk stands a nearest neighbor of the fj feature.

[0013] Optionally, calculating similarities among feature vectors is performed using a cosine similarity function:

[0014] wherein fk stands a nearest neighbor of the fj feature.

[0015] Optionally, performing predictive analysis comprises obtaining updated representation of the hyperedge in the feature hypergraph and updated representation of the vertex in the feature hypergraph; passing a final layer representation of a hyperedge through a first fully connected layer following by an activation function; and passing a result from passing the final layer representation of the hyperedge through the first fully connected layer following by the activation function through a second fully connected layer to produce a predicted outcome.

[0016] Optionally, the predicted outcome is represented by:

[0017] wherein yi, stands for the predicted outcome; FC1 stands for a first fully connected layer; FC2 stands for a second fully connected layer; σ stands for a ReLU activation function; and stands for a vector of a hyperedge xi at layer l.

[0018] Optionally, the computer-implemented method further comprises optimizing model parameters by minimizing a loss function:

[0019] loss=∑i||y’i-yi||2;

[0020] wherein y’i stands for a predict outcome for an instance, and yi stands for a target outcome for the instance.

[0021] Optionally, the computer-implemented method further comprises preprocessing data of a patient by at least one of extracting medical codes from the patient’s clinical records; or obtaining information about differentially expressed markers from the patient’s omics data.

[0022] Optionally, the patient is a respective hyperedge of a plurality of hyperedges in the feature hypergraph; and the plurality of features comprise the medical codes and the differentially expressed markers.

[0023] Optionally, the feature hypergraph may be represented as G = (V, E) ; wherein G stands for the feature hypergraph; V stands for the plurality of vertices; and E stands for the plurality of hyperedges; wherein a neural network is used to learn feature representations; representations of vertices in the feature hypergraph is expressed as:

[0024] wherein stands for representation vector of vertex v at layer l; fE→V stands for a message-passing function from hyperedges to vertices; and stands for representation of the hyperedges containing vertex v.

[0025] Optionally, representations of hyperedges in the feature hypergraph is expressed as:

[0026] wherein stands for representation vector of hyperedge e at layer l; fV→E stands for a message-passing function from vertices to hyperedges; and stands for representation of the vertices contained in hyperedge e.

[0027] Optionally, performing predictive analysis comprises obtaining a final representation vector after L number of iterations; passing the final representation vector through a first multi-layer perceptron followed by an activation function; and passing a result from the passing the final representation vector through the first multi-layer perceptron followed by the activation function through a second multi-layer perceptron, thereby obtaining a predicted outcome.

[0028] Optionally, the computer-implemented method further comprises mapping text data into a first vector representation; mapping image data into a second vector representation; and integrating the first vector representation and the second vector representation to form a combined vector representation.

[0029] Optionally, the computer-implemented method further comprises training a model using a training dataset D= {d1, …, dN} , wherein di stands for an n-th patient, features associated with the n-th patient, a survival time of the n-th patient, and a maximum tumor diameter of the n-th patient; n and N being positive integers, 1 ≤ n ≤ N; minimizing a loss function to learn the parameters of the model, wherein the loss function is expressed as

[0030] wherein stands for the survival time of the n-th patient,  stands for the maximum tumor diameter of the n-th patient, y1, i stands for a predicted survival time of the n-th patient, y2, i stands for a predicted maximum tumor diameter of the n-th patient, β stands for a harmonization parameter; and generating a second image based on a predicted outcome from the model and a first image by inputting the predicted outcome and the first image into the model to generate the second image.

[0031] In another aspect, the present disclosure provides an apparatus, comprising a memory; and one or more processors; wherein the memory and the one or more processors are connected with each other; and the memory stores computer-executable instructions for controlling the one or more processors to construct a feature hypergraph; perform feature selection and combination; and perform predictive analysis; wherein, to perform feature selection and combination, the memory stores computer-executable instructions for controlling the one or more processors to update representation of a hyperedge in the feature hypergraph by aggregating information from vertices connected to the hyperedge and selected by a gating function; and update representation of a vertex in the feature hypergraph by aggregating information from hyperedges to which the vertex belongs, and which are selected by a gating function.

[0032] In another aspect, the present disclosure provides a computer-program product, comprising a non-transitory tangible computer-readable medium having computer-readable instructions thereon, the computer-readable instructions being executable by a processor to cause the processor to perform constructing a feature hypergraph; performing feature selection and combination; and performing predictive analysis; wherein performing feature selection and combination comprises updating representation of a hyperedge in the feature hypergraph by aggregating information from vertices connected to the hyperedge and selected by a gating function; and updating representation of a vertex in the feature hypergraph by aggregating information from hyperedges to which the vertex belongs, and which are selected by a gating function.

[0033] BRIEF DESCRIPTION OF THE FIGURES

[0034] The following drawings are merely examples for illustrative purposes according to various disclosed embodiments and are not intended to limit the scope of the present invention.

[0035] FIG. 1 is a flow chart illustrating a predictive analysis method in some embodiments according to the present disclosure.

[0036] FIG. 2 is a flow chart illustrating a predictive analysis method in some embodiments according to the present disclosure.

[0037] FIG. 3 shows a hypergraph constructed using a method in some embodiments according to the present disclosure.

[0038] FIG. 4 is a flow chart illustrating a predictive analysis method in some embodiments according to the present disclosure.

[0039] FIG. 5 is a flow chart illustrating a predictive analysis method in some embodiments according to the present disclosure.

[0040] FIG. 6 is a flow chart illustrating a predictive analysis method in some embodiments according to the present disclosure.

[0041] FIG. 7 is a flow chart illustrating a predictive analysis method in some embodiments according to the present disclosure.

[0042] FIG. 8 is a flow chart illustrating a predictive analysis method in some embodiments according to the present disclosure.

[0043] FIG. 9 is a flow chart illustrating a predictive analysis method in some embodiments according to the present disclosure.

[0044] FIG. 10 is a flow chart illustrating a predictive analysis method in some embodiments according to the present disclosure.DETAILED DESCRIPTION

[0045] The disclosure will now be described more specifically with reference to the following embodiments. It is to be noted that the following descriptions of some embodiments are presented herein for purpose of illustration and description only. It is not intended to be exhaustive or to be limited to the precise form disclosed.

[0046] In predictive analysis, a large number of discrete features are often used. For example, when predicting a patient's survival time, factors such as types of gene mutations, presence of specific methylation, family history, and smoking habits are typically considered. These features are mostly sparse, and a single feature alone may not provide effective predictive information. Instead, they need to be combined with other features to provide valuable information. Therefore, when using these features for predictive analysis, it is essential to consider their interactions.

[0047] In predictive analysis, combining features is an effective way to improve accuracy. However, when the number of features is large, feature combination faces the problem of  combinatorial explosion. For example, if there are N features, there are (2N –1) potential feature combinations. Related feature combination methods have limitations. They either consider only low-order feature interactions (for instance, Factorization Machines only consider single features and combinations of two features) or use deep learning methods to represent N features as N vectors, then concatenate these vectors and use a multilayer perceptron for feature combination. These methods have certain drawbacks. The first approach considers only low-order feature combinations, ignoring high-order combinations. The second approach implicitly combines all features without considering their relevance to the final task, which may introduce noise.

[0048] Accordingly, the present disclosure provides, inter alia, a computer-implemented method, an apparatus, and a computer-program product that substantially obviate one or more of the problems due to limitations and disadvantages of the related art. In one aspect, the present disclosure provides a predictive analysis method. In some embodiments, the computer-implemented method includes constructing a feature hypergraph; performing feature selection and combination; and performing predictive analysis. Optionally, performing feature selection and combination comprises updating representation of a hyperedge in the feature hypergraph by aggregating information from vertices connected to the hyperedge and selected by a gating function; and updating representation of a vertex in the feature hypergraph by aggregating information from hyperedges to which the vertex belongs, and which are selected by a gating function.

[0049] FIG. 1 is a flow chart illustrating a predictive analysis method in some embodiments according to the present disclosure. Referring to FIG. 1, the predictive analysis method in some embodiments includes constructing a feature hypergraph; performing feature selection and combination; and performing predictive analysis.

[0050] FIG. 2 is a flow chart illustrating a predictive analysis method in some embodiments according to the present disclosure. Referring to FIG. 2, in some embodiments, constructing the feature hypergraph comprises providing a plurality of instances and a plurality of features; defining a respective feature of the plurality of features as a vertex in a hypergraph; and defining a respective instance of the plurality of instances as a hyperedge in the hypergraph, the hyperedge connecting at least two vertices in the respective instance. Optionally, the at least two vertices in the respective instance have non-zero values.

[0051] In one particular example, constructing the feature hypergraph comprises providing a data set { (x1, y1) , …, (xM, yM) } , wherein xi = <f1, …, fN> (i=1, …, M) ; xi stands for an i-th instance (e.g., an i-th patient) ; fj stands for a j-th feature corresponding to a specific characteristic of xi; yi is a prediction target corresponding to xi; M, N, i, j are positive integers; 1 ≤ i ≤ M; and 1 ≤ j ≤ N. In another particular example, an instance can be a patient; a feature can be, for example, smoking status, tumor grade; and a prediction target can be the patient’s survival time. The present disclosure considers features f1, …, fN as the vertices of the  hypergraph; and x1, …, xM as the hyperedges. Specifically, a hyperedge xi includes features in <f1, …, fN> that have non-zero values. Table 1 shows an exemplary data set including a plurality of instances and a plurality of features.

[0052] Table 1: An exemplary data set including a plurality of instances and a plurality of features.

[0053] As shown in Table 1, x1, x2, x3 are three instances; f1, f2, f3, f4, f5 are five features. With respect to the instance x1, features f1 and f3 have non-zero values, and features f2, f4, and f5 have zero value. With respect to the instance x2, features f1 and f2 have non-zero values, and features f3, f4, and f5 have zero value. With respect to the instance x3, features f3, f4, and f5 have non-zero values, and features f1 and f2 have zero value.

[0054] FIG. 3 shows a hypergraph constructed using a method in some embodiments according to the present disclosure. Referring to FIG. 3, vertices of the hypergraph are the features f1, f2, f3, f4, f5; hyperedges are the instances x1, x2, x3. Each hyperedge includes the features with non-zero values in the corresponding instance. For example, hyperedge x1 includes vertices f1 and f3; hyperedge x2 includes vertices f1 and f2; and hyperedge x3 includes vertices f3, f4, and f5.

[0055] FIG. 4 is a flow chart illustrating a predictive analysis method in some embodiments according to the present disclosure. Referring to FIG. 4, in alternative embodiments, constructing the feature hypergraph comprises providing a plurality of instances and a plurality of features; representing the plurality of features as a plurality of vectors, a respective vector of the plurality of vectors having corresponding values across the plurality of instances; calculating similarities among the plurality of vectors; identifying nearest neighbors of a respective feature of the plurality of features based on the similarities; and forming a respective hyperedge by grouping the respective feature with the nearest neighbors.

[0056] In one particular example, constructing the feature hypergraph comprises providing a data set { (x1, y1) , …, (xM, yM) } , wherein xi = <f1, …, fN> (i=1, …, M) ; xi stands for an i-th instance (e.g., an i-th patient) ; fj stands for a j-th feature corresponding to a specific characteristic of xi; yi is a target outcome corresponding to xi; M, N, i, j are positive integers; 1 ≤ i ≤ M; and 1 ≤ j ≤ N. Constructing the feature hypergraph further comprises representing the plurality of features as a plurality of vectors, a respective vector fj of the plurality of vectors  having corresponding values across the plurality of instances. For example, f1 is represented as <1, 1, 0>; f2 is represented as <0, 1, 0>; and so on. Constructing the feature hypergraph further comprises calculating similarities among feature vectors using a similarity function such as a Gaussian kernel, cosine similarity, or a neural network-based function. Constructing the feature hypergraph further comprises, for the respective feature fj, identifying K number of nearest neighbors based on the calculated similarities. Constructing the feature hypergraph further comprises forming a hyperedge ej by grouping the respective feature fj with the K number of nearest neighbors.

[0057] In one example, calculating similarities among feature vectors is performed using a Gaussian kernel function:  wherein fk stands a nearest neighbor of the fj feature.

[0058] In another example, calculating similarities among feature vectors is performed using a cosine similarity function:  wherein fk stands a nearest neighbor of the fj feature.

[0059] FIG. 5 is a flow chart illustrating a predictive analysis method in some embodiments according to the present disclosure. Referring to FIG. 5, in some embodiments, performing feature selection and combination comprises updating representation of a hyperedge in the feature hypergraph by aggregating information from vertices connected to the hyperedge; and updating representation of a vertex in the feature hypergraph by aggregating information from hyperedges to which the vertex belongs.

[0060] In some embodiments, updating representation of the hyperedge in the feature hypergraph comprises performing aggregating information from vertices connected to the hyperedge according to Equation (1) :

[0061] wherein W (l) f and W (l) x are model parameters;  stands for a vector of a hyperedge xi at layer l; Nx (xi) stands for a set of vertices connected to the hyperedge xi; and σ stands for a ReLU activation function.

[0062] In some embodiments, updating representation of the vertex in the feature hypergraph comprises performing aggregating information from hyperedges to which the vertex belongs according to Equation (2) :

[0063] wherein W (l) f stands for a model parameter; fj (l) stands for a vector of a vertex fj at layer l; Nf (fj) stands for a set of hyperedges to which the vertex fj belongs; and σ stands for a ReLU activation function.

[0064] In some embodiments, performing feature selection and combination comprises reiterating updating representation of the hyperedge in the feature hypergraph and updating representation of the vertex in the feature hypergraph, thereby enabling combination of features through successive layers.

[0065] In one example, referring to FIG. 3, the method includes updating representation of hyperedge x1 by aggregating information from vertices f1 and f3 connected to the hyperedge x1. The updated vector representation of x1 now includes information from f3. Referring to Equation (1) , the vertex f1 then indirectly obtains information from f2 and f3 by aggregating information from x1 and x2. At this point, the representation of f1 contains the combined information from f1, f2, and f3.

[0066] The inventors of the present disclosure discover that, the above method described in Equation (1) and Equation (2) can achieve feature combination through multiple iterations; however, it cannot distinguish effective feature combinations from ineffective feature combinations, which may introduce a lot of noise. Manually determining which features to combine requires domain knowledge and significant resources. The inventors of the present disclosure discover an automatic feature selection method, which automatically selects and combines features beneficial for the target task, determining which hyperedges and vertices to aggregate during the process.

[0067] In some embodiments, updating representation of the hyperedge in the feature hypergraph comprises performing aggregating information from vertices connected to the hyperedge according to Equation (3) :

[0068] wherein W (l) f and W (l) x are model parameters;  stands for a vector of a hyperedge xi at layer l; Nx (xi) stands for a set of vertices connected to the hyperedge xi; σ stands for an activation function (e.g., a ReLU activation function) ; and δ stands for a gating function. Optionally, the gating function δ determines relevance of each vertex, where δ returns 1 if a vertex is selected and 0 if not. In one example, the gating function δ is implemented using a sigmoid function to facilitate backpropagation and automatic parameter updates.

[0069] In some embodiments, updating representation of the vertex in the feature hypergraph comprises performing aggregating information from hyperedges to which the vertex belongs according to Equation (4) :

[0070] wherein W (l) f stands for a model parameter; fj (l) stands for a vector of a vertex fj at layer l; Nf (fj) stands for a set of hyperedges to which the vertex fj belongs; σ stands for an activation function (e.g., a ReLU activation function) ; and δ stands for a gating function. Optionally, the gating function δ determines relevance of each hyperedge, where δ returns 1 if a hyperedge is selected and 0 if not. In one example, the gating function δ is implemented using a sigmoid function to facilitate backpropagation and automatic parameter updates.

[0071] In some embodiments, performing feature selection and combination comprises reiterating updating representation of the hyperedge in the feature hypergraph and updating representation of the vertex in the feature hypergraph, thereby enabling combination of features through successive layers.

[0072] FIG. 6 is a flow chart illustrating a predictive analysis method in some embodiments according to the present disclosure. Referring to FIG. 6, in some embodiments, performing predictive analysis comprises obtaining updated representation of the hyperedge in the feature hypergraph and updated representation of the vertex in the feature hypergraph; passing a final layer representation of a hyperedge through a first fully connected layer following by an activation function; and passing a result from passing the final layer representation of the hyperedge through the first fully connected layer following by the activation function through a second fully connected layer to produce a predicted outcome.

[0073] In some embodiments, performing predictive analysis comprises obtaining updated representation of the hyperedge in the feature hypergraph and updated representation of the vertex in the feature hypergraph, wherein representation of each hyperedge contains information about relevant vertices connected to the hyperedge selected by a gating function, and the representation of each vertex contains information about relevant hyperedges to which the vertex belongs, and which are selected by a gating function; passing a final layer representation of a hyperedge xi through a first fully connected layer FC1 following by a ReLU activation function σ; and passing a result from passing the final layer representation of the hyperedge xi through the first fully connected layer FC1 following by the ReLU activation function σ through a second fully connected layer FC2 to produce a predicted outcome.

[0074] In some embodiments, the predicted outcome is represented by:

[0075] wherein y’i stands for the predicted outcome; FC1 stands for a first fully connected layer; FC2 stands for a second fully connected layer; σ stands for a ReLU activation function; and stands for a vector of a hyperedge xi at layer l.

[0076] In one particular example, the predicted outcome is a survival time of a patient.

[0077] In some embodiments, the method further includes optimizing model parameters using a loss function. Optionally, the loss function is represented by Equation (6) :

[0078] loss=∑i||y’i-yi||2  (6) ;

[0079] wherein y’i stands for a predict outcome for an instance, and yi stands for a target outcome for the instance.

[0080] In some embodiments, optimizing model parameters is performed using a stochastic gradient descent process to minimize the loss function according to Equation (6) .

[0081] In some embodiments, optimizing model parameters is performed using a data set {(x1, y1) , …, (xM, yM) } , wherein xi = <f1, …, fN> (i=1, …, M) ; xi stands for an i-th instance (e.g., an i-th patient) ; fj stands for a j-th feature corresponding to a specific characteristic of xi; yi is a target outcome corresponding to xi; M, N, i, j are positive integers; 1 ≤ i ≤ M; and 1 ≤ j ≤N.

[0082] The predictive analysis method, the apparatus for predictive analysis, and the computer-program product may be implemented in various applications. In one example, the predictive analysis method, the apparatus for predictive analysis, and the computer-program product may be implemented in predicting cancer progression, e.g., lung cancer progression. Lung cancer is one of the most common malignant tumors worldwide and a leading cause of cancer-related deaths. Predicting the progression of lung cancer is crucial for providing personalized treatment plans and improving the prognosis of lung cancer patients. The inventors of the present disclosure discover that related methods have certain limitations, such as high costs and the inability to monitor in real-time. The inventors of the present disclosure discover a method for predicting lung cancer progression by combining clinical data, omics data, and imaging data. The method according to the present disclosure predicts the progression of lung cancer and uses a diffusion model to visually display the disease progression, achieving a visual representation of the disease development.

[0083] In some embodiments, the predictive analysis method further includes preprocessing data of a patient. In some embodiments, preprocessing data of the patient comprises extracting medical codes from the patient’s clinical records.

[0084] An exemplary clinical record of a patient is provided below:

[0085] Patient Name: John Doe

[0086] Gender: Male

[0087] Age: 62 years

[0088] Symptoms: Coughing, sputum with blood for 2 months, right chest pain for 1 week.

[0089] Present Illness History: The patient developed a cough and sputum with occasional blood streaks 2 months ago without obvious cause and did not pay attention to it. One week  ago, right chest pain appeared, so the patient came to our hospital. The amount of blood in the sputum gradually increased, and the color of the sputum changed from white to red.

[0090] Past Medical History: 5-year history of hypertension, controlled with nifedipine sustained-release tablets (10mg qd) . Denies diabetes, coronary heart disease, and other chronic diseases. Has been smoking for over 30 years, with a daily amount of 20 cigarettes.

[0091] Physical Examination: Temperature: 36.8℃; Pulse: 92 beats / min; Respiration: 20 breaths / min; Blood Pressure: 135 / 85 mmHg; Conscious and cooperative during the examination. Percussion of the right lung shows dullness, with decreased breath sounds in the right lung.

[0092] Auxiliary Examinations:

[0093] March 1, 2023, Chest CT: A soft tissue mass in the right upper lung lobe, approximately 4.2×3.6 cm in size, with unclear boundaries and surrounding spiculations. Multiple mediastinal lymph nodes, the largest with a diameter of 1.5 cm.

[0094] March 3, 2023, Bronchoscopy: Congestion of the right upper lobe bronchial mucosa, lumen narrowing, and new growth observed. Biopsy sent for pathology.

[0095] March 5, 2023, Pathology Report: Under the microscope, abnormal alveolar structures were observed, with immunohistochemistry indicating TTF-1 (+) , Napsin A (+) , Ki-67 positive rate 55%, consistent with primary lung adenocarcinoma, moderately to poorly differentiated.

[0096] March 6, 2023, PET-CT: Mass in the right upper lung lobe, SUVmax=7.2; increased metabolism in mediastinal lymph nodes, SUVmax=5.4, suggestive of lung cancer with mediastinal lymph node metastasis.

[0097] Diagnosis: Right upper lung lobe adenocarcinoma, cT3N2M0, clinical stage IIIA.

[0098] Treatment Plan:

[0099] 1. After multidisciplinary discussion, considering the patient's general condition is acceptable, plan for right upper lobectomy and mediastinal lymph node dissection.

[0100] 2. Postoperative pathological staging to discuss the need for adjuvant chemotherapy.

[0101] 3. Assess genetic mutation status to determine the indication for targeted therapy.

[0102] 4. Regular follow-up to monitor tumor recurrence and metastasis.

[0103] Exemplary medical codes extracted from the patient’s clinical record is provided below.

[0104] ICD-10 Codes:

[0105] R05 -Cough

[0106] R04.2 -Hemoptysis

[0107] R07.1 -Chest pain

[0108] I10 -Essential hypertension

[0109] Z72.0 -Tobacco use

[0110] C34.11 -Malignant neoplasm of upper lobe, right bronchus or lung

[0111] SNOMED CT Codes:

[0112] 254637007 -Non-small cell lung cancer

[0113] 53741008 -Adenocarcinoma

[0114] 23583003 -Spiculation

[0115] 25990002 -Lymph node metastasis

[0116] 703842006 -Lung cancer stage IIIA

[0117] LOINC Codes:

[0118] 8480-6 -Systolic blood pressure

[0119] 8462-4 -Diastolic blood pressure

[0120] 8867-4 -Heart rate

[0121] 9279-1 -Respiratory rate

[0122] 8310-5 -Body temperature

[0123] RxNorm Code:

[0124] 6918 -Nifedipine sustained-release tablets

[0125] CPT Codes:

[0126] 71250 -Chest CT without contrast

[0127] 31622 -Diagnostic bronchoscopy

[0128] 88305 -Tissue pathology examination, including gross and microscopic examination

[0129] 78815 -PET-CT imaging, whole body

[0130] 32480 -Removal of a single lobe of the lung

[0131] In some embodiments, preprocessing data of the patient comprises obtaining information about differentially expressed markers from the patient’s omics data. The omics data includes proteomics data (protein expression) and transriptomics data (mRNA expression) . Table 2 shows expression levels of various markers in a patient’s omics data  obtained from RNA sequencing and proteomics analysis of tumor tissue and adjacent normal tissue.

[0132] Table 2. Expression levels of various markers in a patient’s omics data

[0133] As shown in Table 2, differentially expressed markers from the patient’s omics data include EGFR (mRNA expression) , KRAS (mRNA expression) , TP53 (mRNA expression) , STK11 (mRNA expression) , EGFR (protein expression) , and TP53 (protein expression) .

[0134] In some embodiments, the predictive analysis method further comprises constructing a feature hypergraph. Referring to FIG. 2, constructing the feature hypergraph in some embodiments includes providing a plurality of instances and a plurality of features; defining a respective feature of the plurality of features as a vertex in a hypergraph; and defining a respective instance of the plurality of instances as a hyperedge in the hypergraph, the hyperedge connecting at least two vertices in the respective instance. In some embodiments, the patient is a respective hyperedge of a plurality of hyperedges in the feature hypergraph. In some embodiments, the plurality of features include the medical codes and the differentially expressed markers.

[0135] In some embodiments, the feature hypergraph may be represented as G = (V, E) , wherein G stands for the feature hypergraph; V stands for the plurality of vertices; and E stands for the plurality of hyperedges.

[0136] In some embodiments, a neural network is used to learn feature representations. In some embodiments, representations of vertices in the feature hypergraph is expressed as:

[0137] wherein stands for representation vector of vertex v at layer l; fE→V stands for a message-passing function from hyperedges to vertices; and stands for representation of the hyperedges containing vertex v. Optionally, the message-passing function from hyperedges to vertices fE→V utilizes a multi-head self-attention mechanism for information propagation. In one example, the representation vector of vertex v at layer l has a dimensionality of 512. In some embodiments, the message-passing function is reiterated up to L layers, l and L being positive integers, 1 ≤ l ≤ L, to obtain a final representation vector

[0138] In some embodiments, representations of hyperedges in the feature hypergraph is expressed as:

[0139] wherein stands for representation vector of hyperedge e at layer l; fV→E stands for a message-passing function from vertices to hyperedges; and stands for representation of the vertices contained in hyperedge e. Optionally, the message-passing function from vertices to hyperedges fV→E utilizes a multi-head self-attention mechanism for information propagation. In one example, the representation vector of hyperedge e at layer l has a dimensionality of 512. In some embodiments, the message-passing function is reiterated up to L layers, l and L being positive integers, 1 ≤ l ≤ L, to obtain a final representation vector The final representation vector obtained after L number of iterations is used for predictive analysis tasks.

[0140] In some embodiments, the predictive analysis method further comprises integrating text data and image data. FIG. 7 is a flow chart illustrating a predictive analysis method in some embodiments according to the present disclosure. Referring to FIG. 7, in some embodiments, integrating text data and image data comprises mapping text data into a first vector representation; mapping image data into a second vector representation; and integrating the first vector representation and the second vector representation to form a combined vector representation.

[0141] In some embodiments, mapping the text data into the first vector representation comprises mapping the text data into the first vector representation using a vector model. In one example, the vector model is a M3E vector model. In another example, the first vector representation has a dimensionality of 768.

[0142] In some embodiments, mapping the image data into the second vector representation comprises mapping the image data into the second vector representation using an image model encoder. In one example, the image model encoder is a Vision Transformer (ViT) model encoder. In another example, the second vector representation has a dimensionality of 1024.

[0143] In some embodiments, integrating the first vector representation and the second vector representation to form the combined vector representation is performed according to:

[0144] VP=αM1VT+ (1-α) M2VI  (9) ;

[0145] wherein VP stands for the combined vector representation; VT stands for the first vector representation; VI stands for the second vector representation; M1 and M2 are parameter matrices; and α is calculated according to:

[0146] wherein M3 and M4 are parameter matrices; p is a parameter column vector; and T denotes a transposition operation.

[0147] In one example, M1 and M2 are parameter matrices of sizes 512x768 and 512x1024, respectively. In another example, M3 and M4 are parameter matrices of sizes 512x768 and 512x1024, respectively. In another example, p is a parameter column vector of dimensionality 512.

[0148] In some embodiments, the predictive analysis method further comprises using the combined vector representation as an initial vector representation (e.g.,  ) of hyperedges in the feature hypergraph in the neural network for learning feature representations. In some embodiments, the predictive analysis method further comprises iteratively updating the vector representation of hyperedges in the feature hypergraph according to the Equations (7) and (8) up to L number of layers, thereby obtaining the final representation vector The final representation vector obtained after L number of iterations is used for predictive analysis tasks.

[0149] FIG. 8 is a flow chart illustrating a predictive analysis method in some embodiments according to the present disclosure. Referring to FIG. 8, in some embodiments, performing predictive analysis comprises obtaining the final representation vector after L number of iterations; passing the final representation vector through a first multi-layer perceptron followed by an activation function; passing a result from the passing the final representation vector through the first multi-layer perceptron followed by the activation function through a second multi-layer perceptron, thereby obtaining a first predicted outcome. Optionally, the activation function is a sigma activation function. In one particular example, the first predicted outcome is a predicted patient survival time.

[0150] In some embodiments, the first predicted outcome is obtained according to Equation (11) :

[0151] wherein y1 stands for the first predicted outcome;  stands for final representation vector; MLP1 stands for the first multi-layer perceptron; MLP2 stands for the second multi-layer perceptron; and σ stands for the activation function, e.g., a sigma activation function.

[0152] FIG. 9 is a flow chart illustrating a predictive analysis method in some embodiments according to the present disclosure. Referring to FIG. 9, in some embodiments, performing predictive analysis comprises obtaining the final representation vector after L number of iterations; passing the final representation vector through a third multi-layer perceptron followed by an activation function; passing a result from the passing the final representation vector through the third multi-layer perceptron followed by the activation function through a fourth multi-layer perceptron, thereby obtaining a second predicted outcome. Optionally, the activation function is a sigma activation function. In one particular example, the second predicted outcome is a predicted maximum tumor diameter.

[0153] In some embodiments, the second predicted outcome is obtained according to Equation (12) :

[0154] wherein y2 stands for the second predicted outcome;  stands for final representation vector; MLP3 stands for the third multi-layer perceptron; MLP4 stands for the fourth multi-layer perceptron; and σ stands for the activation function, e.g., a sigma activation function.

[0155] In some embodiments, the predictive analysis method further includes generating a second image (e.g., a predicted tumor image) based on the second predicted outcome (e.g., the predicted maximum tumor diameter) and a first image (e.g., a present tumor image) . The first image is an image taken recently or at the present time. The first image may be a computer tomography scan image or a magnetic resonance image.

[0156] In some embodiments, generating the second image based on the second predicted outcome and the first image comprises inputting the second predicted outcome and the first image into a stable diffusion model to generate the second image.

[0157] In some embodiments, the predictive analysis method further includes training the stable diffusion model using a training dataset D= {d1, …, dN} , wherein di stands for an n-th patient, features associated with the n-th patient (e.g., image data, text data including medical codes extracted from the patient’s clinical records and differentially expressed markers extracted from the patient’s omics data) , a survival time of the n-th patient, and a maximum tumor diameter of the n-th patient; n and N being positive integers, 1 ≤ n ≤ N.

[0158] In some embodiments, training the stable diffusion model includes minimizing a loss function to learn the parameters of the model, wherein the loss function is expressed as:

[0159] wherein stands for the survival time of the n-th patient,  stands for the maximum tumor diameter of the n-th patient, y1, i stands for a predicted survival time of the n-th patient, y2, i stands for a predicted maximum tumor diameter of the n-th patient, β stands for a harmonization parameter. Optionally, β∈ (0, 1) . In one particular example, β = 0.4.

[0160] In some embodiments, the predictive analysis method further includes collecting image data from patients with survival times greater than one year, including an image I1 at a first time point, an image I2 at a second time point, and a corresponding maximum diameter  Optionally, the second time point is later than the first time point, e.g., one year later.

[0161] In some embodiments, training the stable diffusion model includes training the stable diffusion model by inputting the image I1 at the first time point and the maximum tumor diameter of the n-th patient into a stable diffusion model; and using the image I2 at the second time point as a target output. Optionally, the stable diffusion model is trained using a Low-Rank Adaptation method. In one particular example, the stable diffusion model is a SDXL model.

[0162] FIG. 10 is a flow chart illustrating a predictive analysis method in some embodiments according to the present disclosure. Referring to FIG. 10, in one particular example, the predictive analysis method includes preprocessing data such as extracting medical codes from clinical medical records data and extracting differentially expressed markers from omics data. The predictive analysis method further includes integrating text data and image data to form combined data. The predictive analysis method further includes constructing a feature hypergraph based on the medical codes extracted from clinical medical records data and differentially expressed markers extracted from omics data. The predictive analysis method further includes learning feature representations based on the feature hypergraph and the combined data. The predictive analysis method further includes predicting a first predicted outcome (e.g., a predicted patient survival time) and a second predicted outcome (e.g., a predicted maximum tumor diameter) , using the learned feature representations. The predictive analysis method further includes generating the second image based on the second predicted outcome and the first image.

[0163] In another aspect, the present disclosure further provides an apparatus. In some embodiments, the apparatus includes a memory, and one or more processors. In some embodiments, the memory and the one or more processors are connected with each other. In some embodiments, the memory stores computer-executable instructions for controlling the one or more processors to construct a feature hypergraph; perform feature selection and combination; and perform predictive analysis. In some embodiments, to perform feature selection and combination, the memory stores computer-executable instructions for controlling the one or more processors to update representation of a hyperedge in the feature hypergraph by aggregating information from vertices connected to the hyperedge and selected by a gating  function; and update representation of a vertex in the feature hypergraph by aggregating information from hyperedges to which the vertex belongs, and which are selected by a gating function.

[0164] In some embodiments, to update representation of the hyperedge in the feature hypergraph, the memory stores computer-executable instructions for controlling the one or more processors to perform aggregating information according to:

[0165] wherein W (l) f and W (l) x are model parameters;  stands for a vector of a hyperedge xi at layer l; Nx (xi) stands for a set of vertices connected to the hyperedge xi; σ stands for an activation function; and δ stands for a gating function.

[0166] In some embodiments, to update representation of the vertex in the feature hypergraph, the memory stores computer-executable instructions for controlling the one or more processors to perform aggregating information according to:

[0167] wherein W (l) f stands for a model parameter; fj (l) stands for a vector of a vertex fj at layer l; Nf (fj) stands for a set of hyperedges to which the vertex fj belongs; σ stands for an activation function; and δ stands for a gating function.

[0168] In some embodiments, the memory stores computer-executable instructions for controlling the one or more processors to reiterate updating representation of the hyperedge in the feature hypergraph and updating representation of the vertex in the feature hypergraph, thereby enabling combination of features through successive layers.

[0169] In some embodiments, to construct the feature hypergraph, the memory stores computer-executable instructions for controlling the one or more processors to provide a plurality of instances and a plurality of features; define a respective feature of the plurality of features as a vertex in a hypergraph; and define a respective instance of the plurality of instances as a hyperedge in the hypergraph, the hyperedge connecting at least two vertices in the respective instance.

[0170] In some embodiments, to construct the feature hypergraph, the memory stores computer-executable instructions for controlling the one or more processors to provide a plurality of instances and a plurality of features; represent the plurality of features as a plurality of vectors, a respective vector of the plurality of vectors having corresponding values across the plurality of instances; calculate similarities among the plurality of vectors; identifying nearest neighbors of a respective feature of the plurality of features based on the similarities; and form a respective hyperedge by grouping the respective feature with the nearest neighbors.

[0171] In some embodiments, to calculate similarities among feature vectors, the memory stores computer-executable instructions for controlling the one or more processors to calculate similarities among feature vectors using a Gaussian kernel function:

[0172] wherein fk stands a nearest neighbor of the fj feature.

[0173] In some embodiments, to calculate similarities among feature vectors, the memory stores computer-executable instructions for controlling the one or more processors to calculate similarities among feature vectors using a cosine similarity function:

[0174] wherein fk stands a nearest neighbor of the fj feature.

[0175] In some embodiments, to perform predictive analysis, the memory stores computer-executable instructions for controlling the one or more processors to obtain updated representation of the hyperedge in the feature hypergraph and updated representation of the vertex in the feature hypergraph; pass a final layer representation of a hyperedge through a first fully connected layer following by an activation function; and pass a result from passing the final layer representation of the hyperedge through the first fully connected layer following by the activation function through a second fully connected layer to produce a predicted outcome.

[0176] In some embodiments, the predicted outcome is represented by:

[0177] wherein yi, stands for the predicted outcome; FC1 stands for a first fully connected layer; FC2 stands for a second fully connected layer; σ stands for a ReLU activation function; and stands for a vector of a hyperedge xi at layer l.

[0178] In some embodiments, the memory stores computer-executable instructions for controlling the one or more processors to optimize model parameters by minimizing a loss function:

[0179] loss=∑i||y’i-yi||2;

[0180] wherein y’i stands for a predict outcome for an instance, and yi stands for a target outcome for the instance.

[0181] In some embodiments, the memory stores computer-executable instructions for controlling the one or more processors to preprocess data of a patient by at least one of extracting medical codes from the patient’s clinical records, or obtaining information about differentially expressed markers from the patient’s omics data.

[0182] In some embodiments, the patient is a respective hyperedge of a plurality of hyperedges in the feature hypergraph; and the plurality of features comprise the medical codes and the differentially expressed markers.

[0183] In some embodiments, the feature hypergraph may be represented as G = (V, E) ; wherein G stands for the feature hypergraph; V stands for the plurality of vertices; and E stands for the plurality of hyperedges. In some embodiments, a neural network is used to learn feature representations; representations of vertices in the feature hypergraph is expressed as:

[0184] wherein stands for representation vector of vertex v at layer l; fE→V stands for a message-passing function from hyperedges to vertices; and stands for representation of the hyperedges containing vertex v.

[0185] In some embodiments, representations of hyperedges in the feature hypergraph is expressed as:

[0186] wherein stands for representation vector of hyperedge e at layer l; fV→E stands for a message-passing function from vertices to hyperedges; and stands for representation of the vertices contained in hyperedge e.

[0187] In some embodiments, to perform predictive analysis, the memory stores computer-executable instructions for controlling the one or more processors to obtain a final representation vector after L number of iterations; pass the final representation vector through a first multi-layer perceptron followed by an activation function; and pass a result from the passing the final representation vector through the first multi-layer perceptron followed by the activation function through a second multi-layer perceptron, thereby obtaining a predicted outcome.

[0188] In some embodiments, the memory stores computer-executable instructions for controlling the one or more processors to map text data into a first vector representation; map image data into a second vector representation; and integrate the first vector representation and the second vector representation to form a combined vector representation.

[0189] In some embodiments, the memory stores computer-executable instructions for controlling the one or more processors to train a model using a training dataset D= {d1, …, dN} , wherein di stands for an n-th patient, features associated with the n-th patient, a survival time of the n-th patient, and a maximum tumor diameter of the n-th patient; n and N being positive integers, 1 ≤ n ≤ N; minimize a loss function to learn the parameters of the model, wherein the loss function is expressed as wherein stands for the survival time of the n-th patient,  stands for the maximum tumor diameter of the n-th patient, y1, i stands for a predicted survival time of the n-th patient, y2,i stands for a predicted maximum tumor diameter of the n-th patient, β stands for a harmonization parameter; and generate a second image based on a predicted outcome from the model and a first image by inputting the predicted outcome and the first image into the model to generate the second image.

[0190] In another aspect, the present disclosure further provides a computer-program product. In some embodiments, the computer-program product includes a non-transitory tangible computer-readable medium having computer-readable instructions thereon, the computer-readable instructions being executable by a processor to cause the processor to perform constructing a feature hypergraph; performing feature selection and combination; and performing predictive analysis. In some embodiments, for performing feature selection and combination, the computer-readable instructions is executable by a processor to cause the processor to perform updating representation of a hyperedge in the feature hypergraph by aggregating information from vertices connected to the hyperedge and selected by a gating function; and updating representation of a vertex in the feature hypergraph by aggregating information from hyperedges to which the vertex belongs, and which are selected by a gating function.

[0191] In some embodiments, for updating representation of the hyperedge in the feature hypergraph, the computer-readable instructions is executable by a processor to cause the processor to perform aggregating information according to:

[0192] wherein W (l) f and W (l) x are model parameters;  stands for a vector of a hyperedge xi at layer l; Nx (xi) stands for a set of vertices connected to the hyperedge xi; σ stands for an activation function; and δ stands for a gating function.

[0193] In some embodiments, for updating representation of the vertex in the feature hypergraph, the computer-readable instructions is executable by a processor to cause the processor to perform aggregating information according to:

[0194] wherein W (l) f stands for a model parameter; fj (l) stands for a vector of a vertex fj at layer l; Nf (fj) stands for a set of hyperedges to which the vertex fj belongs; σ stands for an activation function; and δ stands for a gating function.

[0195] In some embodiments, the computer-readable instructions is executable by a processor to cause the processor to perform reiterating updating representation of the  hyperedge in the feature hypergraph and updating representation of the vertex in the feature hypergraph, thereby enabling combination of features through successive layers.

[0196] In some embodiments, for constructing the feature hypergraph, the computer-readable instructions is executable by a processor to cause the processor to perform providing a plurality of instances and a plurality of features; defining a respective feature of the plurality of features as a vertex in a hypergraph; and defining a respective instance of the plurality of instances as a hyperedge in the hypergraph, the hyperedge connecting at least two vertices in the respective instance.

[0197] In some embodiments, for constructing the feature hypergraph, the computer-readable instructions is executable by a processor to cause the processor to perform providing a plurality of instances and a plurality of features; representing the plurality of features as a plurality of vectors, a respective vector of the plurality of vectors having corresponding values across the plurality of instances; calculating similarities among the plurality of vectors; identifying nearest neighbors of a respective feature of the plurality of features based on the similarities; and forming a respective hyperedge by grouping the respective feature with the nearest neighbors.

[0198] In some embodiments, for calculating similarities among feature vectors, the computer-readable instructions is executable by a processor to cause the processor to perform calculating similarities among feature vectors using a Gaussian kernel function:

[0199] wherein fk stands a nearest neighbor of the fj feature.

[0200] In some embodiments, for calculating similarities among feature vectors, the computer-readable instructions is executable by a processor to cause the processor to perform calculating similarities among feature vectors using a cosine similarity function:

[0201] wherein fk stands a nearest neighbor of the fj feature.

[0202] In some embodiments, for performing predictive analysis, the computer-readable instructions is executable by a processor to cause the processor to perform obtaining updated representation of the hyperedge in the feature hypergraph and updated representation of the vertex in the feature hypergraph; passing a final layer representation of a hyperedge through a first fully connected layer following by an activation function; and passing a result from passing the final layer representation of the hyperedge through the first fully connected layer following by the activation function through a second fully connected layer to produce a predicted outcome.

[0203] In some embodiments, the predicted outcome is represented by:

[0204] wherein y’i stands for the predicted outcome; FC1 stands for a first fully connected layer; FC2 stands for a second fully connected layer; σ stands for a ReLU activation function; and stands for a vector of a hyperedge xi at layer l.

[0205] In some embodiments, the computer-readable instructions is executable by a processor to cause the processor to perform optimizing model parameters by minimizing a loss function:

[0206] loss=∑i||y’i-yi||2;

[0207] wherein y’i stands for a predict outcome for an instance, and yi stands for a target outcome for the instance.

[0208] In some embodiments, the computer-readable instructions is executable by a processor to cause the processor to perform preprocessing data of a patient by at least one of extracting medical codes from the patient’s clinical records, or obtaining information about differentially expressed markers from the patient’s omics data.

[0209] In some embodiments, the patient is a respective hyperedge of a plurality of hyperedges in the feature hypergraph; and the plurality of features comprise the medical codes and the differentially expressed markers.

[0210] In some embodiments, the feature hypergraph may be represented as G = (V, E) ; wherein G stands for the feature hypergraph; V stands for the plurality of vertices; and E stands for the plurality of hyperedges; wherein a neural network is used to learn feature representations; representations of vertices in the feature hypergraph is expressed as:

[0211] wherein stands for representation vector of vertex v at layer l; fE→V stands for a message-passing function from hyperedges to vertices; and stands for representation of the hyperedges containing vertex v.

[0212] In some embodiments, representations of hyperedges in the feature hypergraph is expressed as:

[0213] wherein stands for representation vector of hyperedge e at layer l; fV→E stands for a message-passing function from vertices to hyperedges; and stands for representation of the vertices contained in hyperedge e.

[0214] In some embodiments, for performing predictive analysis, the computer-readable instructions is executable by a processor to cause the processor to perform obtaining a final  representation vector after L number of iterations; passing the final representation vector  through a first multi-layer perceptron followed by an activation function; and passing a result from the passing the final representation vector through the first multi-layer perceptron followed by the activation function through a second multi-layer perceptron, thereby obtaining a predicted outcome.

[0215] In some embodiments, the computer-readable instructions is executable by a processor to cause the processor to perform mapping text data into a first vector representation; mapping image data into a second vector representation; and integrating the first vector representation and the second vector representation to form a combined vector representation.

[0216] In some embodiments, the computer-readable instructions is executable by a processor to cause the processor to perform training a model using a training dataset D={d1, …, dN} , wherein di stands for an n-th patient, features associated with the n-th patient, a survival time of the n-th patient, and a maximum tumor diameter of the n-th patient; n and N being positive integers, 1 ≤ n ≤ N; minimizing a loss function to learn the parameters of the model, wherein the loss function is expressed as wherein stands for the survival time of the n-th patient,  stands for the maximum tumor diameter of the n-th patient, y1, i stands for a predicted survival time of the n-th patient, y2, i stands for a predicted maximum tumor diameter of the n-th patient, β stands for a harmonization parameter; and generating a second image based on a predicted outcome from the model and a first image by inputting the predicted outcome and the first image into the model to generate the second image.

[0217] All or some of steps of the method, functional modules / units in the system and the device disclosed above may be implemented as software, firmware, hardware, or suitable combinations thereof. In a hardware implementation, a division among functional modules / units mentioned in the above description does not necessarily correspond to the division among physical components. For example, one physical component may have a plurality of functions, or one function or step may be performed by several physical components in cooperation. Some or all of the physical components may be implemented as software executed by a processor, such as a central processing unit, a digital signal processor, or a microprocessor, or as hardware, or as an integrated circuit, such as an application specific integrated circuit. Such software may be distributed on a computer-readable storage medium, which may include a computer storage medium (or a non-transitory medium) and a communication medium (or a transitory medium) . The term computer storage medium includes volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information, such as computer readable instructions, data structures,  program modules or other data, as is well known to one of ordinary skill in the art. A computer storage medium includes, but is not limited to, RAM, ROM, EEPROM, flash memory or other memory technology, CD-ROM, Digital Versatile Disk (DVD) or other optical disk storage, magnetic cassette, magnetic tape, magnetic disk storage or other magnetic storage device, or any other medium which may be used to store desired information, and which may be accessed by a computer. In addition, a communication medium typically embodies computer readable instructions, data structures, program modules or other data in a modulated data signal such as a carrier wave or other transport mechanism, and includes any information delivery medium, as is well known to one of ordinary skill in the art.

[0218] The foregoing description of the embodiments of the invention has been presented for purposes of illustration and description. It is not intended to be exhaustive or to limit the invention to the precise form or to exemplary embodiments disclosed. Accordingly, the foregoing description should be regarded as illustrative rather than restrictive. Obviously, many modifications and variations will be apparent to practitioners skilled in this art. The embodiments are chosen and described in order to explain the principles of the invention and its best mode practical application, thereby to enable persons skilled in the art to understand the invention for various embodiments and with various modifications as are suited to the particular use or implementation contemplated. It is intended that the scope of the invention be defined by the claims appended hereto and their equivalents in which all terms are meant in their broadest reasonable sense unless otherwise indicated. Therefore, the term “the invention” , “the present invention” or the like does not necessarily limit the claim scope to a specific embodiment, and the reference to exemplary embodiments of the invention does not imply a limitation on the invention, and no such limitation is to be inferred. The invention is limited only by the spirit and scope of the appended claims. Moreover, these claims may refer to use “first” , “second” , etc. following with noun or element. Such terms should be understood as a nomenclature and should not be construed as giving the limitation on the number of the elements modified by such nomenclature unless specific number has been given. Any advantages and benefits described may not apply to all embodiments of the invention. It should be appreciated that variations may be made in the embodiments described by persons skilled in the art without departing from the scope of the present invention as defined by the following claims. Moreover, no element and component in the present disclosure is intended to be dedicated to the public regardless of whether the element or component is explicitly recited in the following claims.

Claims

1.A computer-implemented method, comprising:constructing a feature hypergraph;performing feature selection and combination; andperforming predictive analysis;wherein performing feature selection and combination comprises:updating representation of a hyperedge in the feature hypergraph by aggregating information from vertices connected to the hyperedge and selected by a gating function; andupdating representation of a vertex in the feature hypergraph by aggregating information from hyperedges to which the vertex belongs, and which are selected by a gating function.2.The computer-implemented method of claim 1, wherein updating representation of the hyperedge in the feature hypergraph comprises performing aggregating information according to: wherein W (l) f and W (l) x are model parameters; stands for a vector of a hyperedge xi at layer l; Nx (xi) stands for a set of vertices connected to the hyperedge xi; σ stands for an activation function; and δ stands for a gating function.3.The computer-implemented method of claim 1, wherein updating representation of the vertex in the feature hypergraph comprises performing aggregating information according to: wherein W (l) f stands for a model parameter; fj (l) stands for a vector of a vertex fj at layer l; Nf (fj) stands for a set of hyperedges to which the vertex fj belongs; σ stands for an activation function; and δ stands for a gating function.4.The computer-implemented method of any one of claims 1 to 3, further comprising reiterating updating representation of the hyperedge in the feature hypergraph and updating representation of the vertex in the feature hypergraph, thereby enabling combination of features through successive layers.5.The computer-implemented method of any one of claims 1 to 4, wherein constructing the feature hypergraph comprises:providing a plurality of instances and a plurality of features;defining a respective feature of the plurality of features as a vertex in a hypergraph; anddefining a respective instance of the plurality of instances as a hyperedge in the hypergraph, the hyperedge connecting at least two vertices in the respective instance.6.The computer-implemented method of any one of claims 1 to 4, wherein constructing the feature hypergraph comprises:providing a plurality of instances and a plurality of features;representing the plurality of features as a plurality of vectors, a respective vector of the plurality of vectors having corresponding values across the plurality of instances;calculating similarities among the plurality of vectors;identifying nearest neighbors of a respective feature of the plurality of features based on the similarities; andforming a respective hyperedge by grouping the respective feature with the nearest neighbors.7.The computer-implemented method of claim 6, wherein calculating similarities among feature vectors is performed using a Gaussian kernel function: wherein fk stands a nearest neighbor of the fj feature.8.The computer-implemented method of claim 6, wherein calculating similarities among feature vectors is performed using a cosine similarity function: wherein fk stands a nearest neighbor of the fj feature.9.The computer-implemented method of any one of claims 1 to 8, wherein performing predictive analysis comprises:obtaining updated representation of the hyperedge in the feature hypergraph and updated representation of the vertex in the feature hypergraph;passing a final layer representation of a hyperedge through a first fully connected layer following by an activation function; andpassing a result from passing the final layer representation of the hyperedge through the first fully connected layer following by the activation function through a second fully connected layer to produce a predicted outcome.10.The computer-implemented method of claim 9, wherein the predicted outcome is represented by: wherein y’i stands for the predicted outcome; FC1 stands for a first fully connected layer; FC2 stands for a second fully connected layer; σ stands for a ReLU activation function; andstands for a vector of a hyperedge xi at layer l.11.The computer-implemented method of claim 9, further comprising optimizing model parameters by minimizing a loss function: loss=∑i||y’i-yi||2;wherein y’i stands for a predict outcome for an instance, and yi stands for a target outcome for the instance.12.The computer-implemented method of any one of claims 1 to 8, further comprising preprocessing data of a patient by at least one of:extracting medical codes from the patient’s clinical records; orobtaining information about differentially expressed markers from the patient’s omics data.13.The computer-implemented method of claim 12, wherein the patient is a respective hyperedge of a plurality of hyperedges in the feature hypergraph; andthe plurality of features comprise the medical codes and the differentially expressed markers.14.The computer-implemented method of claim 12, wherein the feature hypergraph may be represented as G = (V, E) ;wherein G stands for the feature hypergraph; V stands for the plurality of vertices; and E stands for the plurality of hyperedges;wherein a neural network is used to learn feature representations;representations of vertices in the feature hypergraph is expressed as:whereinstands for representation vector of vertex v at layer l; fE→V stands for a message-passing function from hyperedges to vertices; andstands for representation of the hyperedges containing vertex v.15.The computer-implemented method of claim 14, wherein representations of hyperedges in the feature hypergraph is expressed as: whereinstands for representation vector of hyperedge e at layer l; fV→E stands for a message-passing function from vertices to hyperedges; andstands for representation of the vertices contained in hyperedge e.16.The computer-implemented method of claim 15, wherein performing predictive analysis comprises:obtaining a final representation vectorafter L number of iterations;passing the final representation vectorthrough a first multi-layer perceptron followed by an activation function; andpassing a result from the passing the final representation vectorthrough the first multi-layer perceptron followed by the activation function through a second multi-layer perceptron, thereby obtaining a predicted outcome.17.The computer-implemented method of any one of claims 12 to 16, further comprising:mapping text data into a first vector representation;mapping image data into a second vector representation; andintegrating the first vector representation and the second vector representation to form a combined vector representation.18.The computer-implemented method of any one of claims 12 to 17, further comprising:training a model using a training dataset D= {d1, …, dN} , wherein di stands for an n-th patient, features associated with the n-th patient, a survival time of the n-th patient, and a maximum tumor diameter of the n-th patient; n and N being positive integers, 1 ≤ n ≤N;minimizing a loss function to learn the parameters of the model, wherein the loss function is expressed as:whereinstands for the survival time of the n-th patient, stands for the maximum tumor diameter of the n-th patient, y1, i stands for a predicted survival time of the n-th patient, y2, i stands for a predicted maximum tumor diameter of the n-th patient, β stands for a harmonization parameter; andgenerating a second image based on a predicted outcome from the model and a first image by inputting the predicted outcome and the first image into the model to generate the second image.19.An apparatus, comprising:a memory; andone or more processors;wherein the memory and the one or more processors are connected with each other; andthe memory stores computer-executable instructions for controlling the one or more processors to:construct a feature hypergraph;perform feature selection and combination; andperform predictive analysis;wherein, to perform feature selection and combination, the memory stores computer-executable instructions for controlling the one or more processors to:update representation of a hyperedge in the feature hypergraph by aggregating information from vertices connected to the hyperedge and selected by a gating function; andupdate representation of a vertex in the feature hypergraph by aggregating information from hyperedges to which the vertex belongs, and which are selected by a gating function.20.A computer-program product, comprising a non-transitory tangible computer-readable medium having computer-readable instructions thereon, the computer-readable instructions being executable by a processor to cause the processor to perform:constructing a feature hypergraph;performing feature selection and combination; andperforming predictive analysis;wherein performing feature selection and combination comprises:updating representation of a hyperedge in the feature hypergraph by aggregating information from vertices connected to the hyperedge and selected by a gating function; andupdating representation of a vertex in the feature hypergraph by aggregating information from hyperedges to which the vertex belongs, and which are selected by a gating function.

Images