Segmentation of medical images

Abstract

Systems, methods, and computer programs disclosed herein relate to segmentation of medical images.

Description

Segmentation of medical images

[0001] FIELD OF THE DISCLOSURE

[0002] Systems, methods, and computer programs disclosed herein relate to segmentation of medical images.BACKGROUND

[0003] Medical image segmentation is the process of partitioning a medical image into meaningful regions, typically corresponding to different tissue types, organs, and / or pathological areas. The segmentation is crucial for various clinical applications, including diagnosis, treatment planning, and monitoring of disease progression.

[0004] Nowadays, trained machine learning models are often used for automated segmentation. Automated segmentation can significantly reduce the time and effort required for manual image analysis, allowing for faster diagnosis and treatment planning. Automated segmentation can streamline the radiology workflow, allowing radiologists and clinicians to focus on interpretation and decision-making rather than manual segmentation tasks.

[0005] Machine learning models can offer consistent segmentation results, reducing variability between different radiologists or clinicians. Automated segmentation reduces the potential for subjective interpretation, providing more objective and standardized results.

[0006] Machine learning models enable quantitative analysis of medical images, allowing for precise measurements of anatomical structures and pathological regions.

[0007] In addition to automatic segmentation, it would be beneficial if a machine learning model could automatically classify the segments so that radiologists and clinicians can recognize what the segment represents. Such a classification is not only informative but can help radiologists and clinicians to understand the segmentation performed by the machine learning model.SUMMARY

[0008] These tasks are addressed by the subject matter of the independent claims of the present disclosure. Preferred embodiments are defined in the dependent claims, the description, and the drawings.

[0009] In a first aspect, the present disclosure relates to a computer-implemented method comprising:

[0010] - providing a trained machine learning model, wherein the trained machine learning model comprises:

[0011] ○ an encoder,

[0012] ○ a conditional generative model, wherein the conditional generative model is configured to reconstruct an image based on a condition,

[0013] ○ a mask generator, and

[0014] ○ a classifier,

[0015] - receiving a medical image,

[0016] - generating an embedding based on the medical image using the encoder,

[0017] - reconstructing the medical image using the conditional generative model, wherein the embedding is used as condition,

[0018] - extracting reconstruction features from the conditional generative model,

[0019] - determining at least one mask and a mask embedding based on the reconstruction features using the mask generator,

[0020] - assigning the at least one mask to one of at least two classes based on the mask embedding using the classifier,

[0021] - outputting the medical image comprising the at least one mask and information about the class to which the at least one mask has been assigned.

[0022] In another aspect, the present disclosure provides a computer system comprising:

[0023] a processor; and

[0024] a memory storing an application program configured to perform, when executed by the processor, an operation, the operation comprising:

[0025] - providing a trained machine learning model, wherein the trained machine learning model comprises:

[0026] ○ an encoder,

[0027] ○ a conditional generative model, wherein the conditional generative model is configured to reconstruct an image based on a condition,

[0028] ○ a mask generator, and

[0029] ○ a classifier,

[0030] - receiving a medical image,

[0031] - generating an embedding based on the medical image using the encoder,

[0032] - reconstructing the medical image using the conditional generative model, wherein the embedding is used as condition,

[0033] - extracting reconstruction features from the conditional generative model,

[0034] - determining at least one mask and a mask embedding based on the reconstruction features using the mask generator,

[0035] - assigning the at least one mask to one of at least two classes based on the mask embedding using the classifier,

[0036] - outputting the medical image comprising the at least one mask and information about the class to which the at least one mask has been assigned.

[0037] In another aspect, the present disclosure provides a non-transitory computer readable storage medium having stored thereon software instructions that, when executed by a processor of a computer system, cause the computer system to execute the following steps:

[0038] - providing a trained machine learning model, wherein the trained machine learning model comprises:

[0039] ○ an encoder,

[0040] ○ a conditional generative model, wherein the conditional generative model is configured to reconstruct an image based on a condition,

[0041] ○ a mask generator, and

[0042] ○ a classifier,

[0043] - receiving a medical image,

[0044] - generating an embedding based on the medical image using the encoder,

[0045] - reconstructing the medical image using the conditional generative model, wherein the embedding is used as condition,

[0046] - extracting reconstruction features from the conditional generative model,

[0047] - determining at least one mask and a mask embedding based on the reconstruction features using the mask generator,

[0048] - assigning the at least one mask to one of at least two classes based on the mask embedding using the classifier,

[0049] - outputting the medical image comprising the at least one mask and information about the class to which the at least one mask has been assigned.BRIEF DESCRIPTION OF THE DRAWINGS

[0050] Fig. 1 shows a schematic and exemplary embodiment of the machine learning model of the present disclosure.

[0051] Fig. 2 shows a schematic example of a classification of a mask.

[0052] Fig. 3 shows schematically an embodiment of the computer-implemented method of the present disclosure in form of a flow chart.

[0053] Fig. 4 illustrates a computer system according to some example implementations of the present disclosure.DETAILED DESCRIPTION

[0054] Various example embodiments will be more particularly elucidated below without distinguishing between the aspects of the disclosure (method, computer system, computer-readable storage medium) . On the contrary, the following elucidations are intended to apply analogously to all the aspects of the disclosure, irrespective of in which context (method, computer system, computer-readable storage medium) they occur.

[0055] If steps are stated in an order in the present description or in the claims, this does not necessarily mean that the disclosure is restricted to the stated order. On the contrary, it is conceivable that the steps can also be executed in a different order or else in parallel to one another, unless, for example one step builds upon another step, this requiring that the building step be executed subsequently (this being, however, clear in the individual case) . The stated orders may thus be exemplary embodiments of the present disclosure.

[0056] As used herein, the articles “a” and “an” are intended to include one or more items and may be used interchangeably with “one or more” and “at least one” . As used in the specification and the claims, the singular form of “a” , “an” , and “the” include plural referents, unless the context clearly dictates otherwise. Where only one item is intended, the term “one” or similar language is used. Also, as used herein, the terms “has” , “have” , “having” , or the like are intended to be open-ended terms. Further, the phrase “based on” is intended to mean “based at least partially on” unless explicitly stated otherwise.

[0057] Some implementations of the present disclosure will be described more fully hereinafter with reference to the accompanying drawings, in which some, but not all implementations of the disclosure are shown. Indeed, various implementations of the disclosure may be embodied in many different forms and should not be construed as limited to the implementations set forth herein; rather, these example  implementations are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the disclosure to those skilled in the art.

[0058] The terms used in this disclosure have the meaning that these terms have in the prior art, in particular in the prior art cited in this disclosure, unless otherwise indicated.

[0059] The present disclosure discloses means for automatically segmenting a medical image and classifying the identified segments.

[0060] “Automatically” means without human intervention.

[0061] The term “segmentation” refers to the process of dividing an image into several segments, also known as image segments, image regions or image objects. Segmentation is typically used to locate objects and / or boundaries (lines, curves, etc. ) in images. From a segmented image, the localized objects can be separated from the background, visually highlighted (e.g., colored) , measured, counted, and / or otherwise quantified.

[0062] The term “image” as used herein means a data structure that represents a spatial distribution of a physical signal. The spatial distribution may be of any dimension, for example 2D, 3D, 4D or any higher dimension. The spatial distribution may be of any shape, for example forming a grid and thereby defining pixels or voxels, the grid being possibly irregular or regular. The physical signal may be any signal, for example proton density, tissue echogenicity, tissue radiolucency, measurements related to blood flow, information of rotating hydrogen nuclei in a magnetic field, color, level of gray, depth, surface or volume occupancy, such that the image may be a 2D or 3D RGB / grayscale / depth image, or a 3D surface / volume occupancy model. An image is usually composed of discrete image elements (e.g., pixels for 2D images, voxels for 3D images, doxels for 4D images) .

[0063] Embodiments of the present disclosure are described herein predominantly using the example of images representing an examination region of an examination object in real space. However, it should be noted that the present disclosure can also be applied to representations of an examination region in other spaces, for example, representations of the examination region in frequency space or projection space. In this respect, the term “image” is to be interpreted broadly.

[0064] A “medical image” is a representation of the human body or a part thereof or a representation of the body of an animal or a part thereof. Medical images can be used, e.g., for diagnostic and / or treatment purposes.

[0065] Techniques for generating medical images include X-ray radiography, computerized tomography, fluoroscopy, magnetic resonance imaging, ultrasonography, endoscopy, elastography, tactile imaging, thermography, microscopy, positron emission tomography, optical coherence tomography, fundus photography, and others.

[0066] Examples of medical images include CT (computer tomography) scans, X-ray images, MRI (magnetic resonance imaging) scans, PET (positron emission tomography) scans, fluorescein angiography images, OCT (optical coherence tomography) scans, microscopic images, histological images, ultrasound images, fundus images and / or others.

[0067] In an embodiment of the present disclosure, the medical image is a radiologic image. “Radiology” is the branch of medicine concerned with the application of electromagnetic radiation and mechanical waves (including, for example, ultrasound diagnostics) for diagnostic, therapeutic and / or scientific purposes. In addition to X-rays, other ionizing radiation such as gamma rays or electrons are also used. Since a primary purpose is imaging, other imaging procedures such as sonography and magnetic resonance imaging (MRI) are also included in radiology, although no ionizing radiation is used in these procedures. Thus, the term “radiology” as used in the present disclosure includes, in particular, the following examination procedures: computed tomography, magnetic resonance imaging, sonography, positron emission tomography.

[0068] The radiologic image may be a representation of an examination region generated with or without a contrast agent.

[0069] “Contrast agents” are substances or mixtures of substances that improve the depiction of structures and functions of the body in radiological examinations.

[0070] In computed tomography, iodine-containing solutions are usually used as contrast agents. In magnetic resonance imaging (MRI) , superparamagnetic substances (for example iron oxide nanoparticles, superparamagnetic iron-platinum particles (SIPPs) ) or paramagnetic substances (for example gadolinium chelates, manganese chelates, hafnium chelates) are usually used as contrast agents. In the case of sonography, liquids containing gas-filled microbubbles are usually administered intravenously. In positron emission tomography (PET) radiotracers are used as contrast agents. Contrast in PET images is caused by the differential uptake of the radiotracer in different tissues or organs. A radiotracer is a radioactive substance that is injected into the examination object. The radiotracer emits positrons. When a positron collides with an electron within the examination region of the examination object, both particles are annihilated, producing two gamma rays that are emitted in opposite directions. These gamma rays are then detected by a PET scanner, allowing the creation of detailed images of the body's internal functioning.

[0071] In an embodiment of the present disclosure, the medical image is an MRI image.

[0072] In another embodiment of the present disclosure, the medical image is a CT image.

[0073] In an embodiment of the present disclosure, the medical image is a PET image.

[0074] In an embodiment of the present disclosure, the medical image is an ultrasound image.

[0075] The medical image represents an examination area of an examination object. The “examination object” is a living being, e.g. a mammal, e.g. a human.

[0076] The “examination region” is a part of the examination object, for example an organ or part of an organ or a plurality of organs or another part of the examination object.

[0077] For example, the examination region may be a liver, kidney, heart, lung, brain, stomach, bladder, prostate, intestine, thyroid, eye, breast, skin or a part of said parts or another part of the body of a mammal (for example a human) .

[0078] In one embodiment, the examination region includes a liver or part of a liver or the examination region is a liver or part of a liver of a mammal, e.g. a human.

[0079] In a further embodiment, the examination region includes a brain or part of a brain or the examination region is a brain or part of a brain of a mammal, e.g. a human.

[0080] In a further embodiment, the examination region includes a heart or part of a heart or the examination region is a heart or part of a heart of a mammal, e.g. a human.

[0081] In a further embodiment, the examination region includes a thorax or part of a thorax or the examination region is a thorax or part of a thorax of a mammal, e.g. a human.

[0082] In a further embodiment, the examination region includes a stomach or part of a stomach or the examination region is a stomach or part of a stomach of a mammal, e.g. a human.

[0083] In a further embodiment, the examination region includes a pancreas or part of a pancreas or the examination region is a pancreas or part of a pancreas of a mammal, e.g. a human.

[0084] In a further embodiment, the examination region includes a kidney or part of a kidney or the examination region is a kidney or part of a kidney of a mammal, e.g. a human.

[0085] In a further embodiment, the examination region includes one or both lungs or part of a lung of a mammal, e.g. a human.

[0086] In a further embodiment, the examination region includes a thyroid or part of a thyroid of a mammal, e.g. a human.

[0087] In a further embodiment, the examination region includes an eye or part of an eye of a mammal, e.g. a human.

[0088] In a further embodiment, the examination region includes a breast or part of a breast or the examination region is a breast or part of a breast of a female mammal, e.g. a female human.

[0089] In a further embodiment, the examination region includes a prostate or part of a prostate or the examination region is a prostate or part of a prostate of a male mammal, e.g. a male human.

[0090] In a further embodiment, the examination region includes the skin or part of the skin of a mammal, e.g. a human.

[0091] The segmentation of the medical image is carried out with the help of a trained machine learning model. Such a “machine learning model” , as used herein, may be understood as a computer implemented data processing architecture. The machine learning model can receive input data and provide output data based on that input data and on parameters of the machine learning model (model parameters) . The machine learning model can learn a relation between input data and output data through training. In training, parameters of the machine learning model may be adjusted in order to provide a desired output for a given input.

[0092] The process of training a machine learning model involves providing a machine learning algorithm (that is the learning algorithm) with training data to learn from. The term “trained machine learning model” refers to the model artifact that is created by the training process. The training data usually contains the correct answer, which is referred to as the target. The learning algorithm finds patterns in the training data that map input data to the target, and it outputs a trained machine learning model that captures these patterns.

[0093] In the training process, input data are inputted into the machine learning model and the machine learning model generates an output. The output may be compared with the (known) target. Parameters of the machine learning model may be modified in order to reduce the deviations between the output and the (known) target to a (defined) minimum.

[0094] In general, a loss function can be used for training, where the loss function can quantify the deviations between the output and the target. The aim of the training process can be to modify (adjust) parameters of the machine learning model in order to reduce the loss to a (defined) minimum.

[0095] The machine learning model of the present disclosure can comprise several machine learning models, which are also referred to as sub-models.

[0096] The machine learning model of the present disclosure comprises:

[0097] - an encoder,

[0098] - a conditional generative model,

[0099] - a mask generator, and

[0100] - a classifier.

[0101] The machine learning model of the present disclosure may comprise further components and / or sub-models.

[0102] The machine learning model is explained in more detail with reference to Fig. 1, without the intention to limit the disclosure to the machine learning model shown in Fig. 1.

[0103] Fig. 1 shows a schematic and exemplary embodiment of the machine learning model of the present disclosure.

[0104] Starting point is a medical image I. In the example shown in Fig. 1, the medical image I is an MRI image of a female breast.

[0105] There may be more than one medical image, e.g. two or three or more than three. It is possible that there are medical images of different modalities and / or medical images with and without contrast agent and / or with different amounts of contrast agent and / or medical images representing the examination area of the examination object at different points in time and / or from different perspectives.

[0106] An embedding E is generated based on the medical image I with the help of the encoder EN. The embedding E is a semantic representation of the medical image I.

[0107] The embedding E can be generated based on the medical image I itself and / or based on an annotation that can be part of the medical image I and / or attached to the medical image I.

[0108] Such annotation may include what the medical image shows, what kind of medical image it is, how the medical image was generated and / or other / additional information about the medical image and / or its content.

[0109] The encoder can be an image encoder and / or a text encoder.

[0110] It is possible that more than one encoder is present.

[0111] It is possible that more than one embedding is generated, e.g. two or three or more than three. If more than one embedding is generated, the multiple embeddings can be combined into one embedding, e.g. by concatenation, average pooling, attention-weighted pooling and / or other combination methods.

[0112] In an embodiment of the present disclosure, the encoder is or comprises an image encoder.

[0113] An image encoder is configured to transform an input image into a compact and meaningful representation, known as an embedding. This embedding serves as a condition for reconstructing the original image using a conditional generative model.

[0114] The image encoder may be implemented using various techniques, including convolutional neural networks (CNNs) , autoencoders, or other deep learning architectures. The architecture of the image encoder can comprise multiple layers such as convolutional layers, pooling layers, and non-linear activation functions, to effectively capture and encode the salient features of the input image.

[0115] Furthermore, the image encoder may incorporate mechanisms for regularization, attention, and feature fusion to enhance the robustness and discriminative power of the generated embeddings, thereby improving the overall performance of the conditional generative model.

[0116] In an embodiment of the present disclosure, the image encoder is or comprises an encoder of a pre-trained autoencoder.

[0117] An “autoencoder” is a type of neural network architecture that is primarily used for unsupervised learning and dimensionality reduction. It may be designed to learn a compressed representation of the input data and then reconstruct the original data from this compressed representation (the embedding) . An autoencoder usually comprises two main components: an encoder and a decoder. The encoder takes the input data and maps it to a lower-dimensional latent space representation, also known as the embedding. The decoder then takes this embedding and reconstructs the original input data from it. The objective of an autoencoder is to minimize the reconstruction error, which encourages the model to learn a compressed representation that captures the most salient features of the input data.

[0118] An autoencoder is often implemented as an artificial neural network that comprises a convolutional neural network (CNN) to extract features from medical images as input data. An example of such an autoencoder is the U-Net (see, e.g., O. Ronneberger et al.: U-net: Convolutional networks for biomedical image segmentation, International Conference on Medical image computing and computer-assisted intervention, 234–241, Springer, 2015, DOI: 10.1007 / 978-3-319-24574-4_28) . Further examples of  autoencoders are sparse autoencoders, denoising autoencoders, variational autoencoders (VAEs) , and generative adversarial networks (GANs) . The autoencoder can be (pre-) trained based on (non-annotated) images. The images used for pre-training can be medical images, but they can also be other images or include other images.

[0119] Autoencoders can be (pre-) trained using a self-supervised learning approach, meaning they do not require labeled data for training.

[0120] The term “pre-trained” refers to a model that has been trained on a large dataset in advance. Pre-training involves training a model on a task or dataset that is typically different from the specific task for which the model will be used later. The pre-training process involves exposing the model to a vast amount of data and allowing it to learn general patterns and representations from that data. This enables the model to capture common features and structures that are useful across various related tasks. The model is typically trained using unsupervised or self-supervised learning methods, where the labels or annotations are generated automatically or do not require human intervention. Once the pre-training phase is complete, the model’s weights and parameters can be saved and made publicly available.

[0121] In another embodiment of the present disclosure, the image encoder is or comprises an encoder of a pre-trained vision transformer.

[0122] At the core of the vision transformer is the transformer architecture, which relies heavily on attention mechanisms to process sequential data efficiently. Unlike traditional recurrent neural networks (RNNs) or convolutional neural networks (CNNs) , transformers do not employ recurrent or convolutional operations. Instead, they use attention mechanisms to capture contextual relationships between image elements and / or patches of an input image.

[0123] The transformer architecture consists of two main components: the encoder and the decoder. The encoder processes the input sequence, modeling its contextual relationships, while the decoder generates the output sequence based on the encoded information. Both the encoder and decoder are composed of multiple layers of attention mechanisms and feed-forward neural networks. The attention mechanism allows the model to focus on different parts of the input sequence while considering the dependencies between tokens.

[0124] In a vision transformer, the input image may be divided into a sequence of patches, which may then be flattened and fed into a series of transformer layers. These transformer layers may comprise attention modules and feed-forward neural networks. The attention mechanism allows the model to capture the relationships between different patches and learn global context information, while the feed-forward networks enable non-linear transformations (see, e.g., S. Khan et al.: Transformers in Vision: A Survey, arXiv: 2101.01169v5) .

[0125] Like the autoencoder, the vision transformer may be pre-trained. The vision transformer may have been pre-trained in a supervised, self-supervised or unsupervised approach.

[0126] The vision transformer may have been pre-trained in a DINO approach. DINO (self-DIstillation with NO labels) is a self-supervised learning method specifically designed to improve the performance of vision transformers in image classification tasks (see, e.g., M. Caron et al.: Emerging Properties in Self-Supervised Vision Transformers, arXiv: 2104.14294v2) .

[0127] “Self-supervised learning” is a type of machine learning paradigm where a model is trained to learn from the data itself, without the need for human-labeled annotations. Instead of relying on external labels provided by humans, the model generates its own supervisory signals from the input data, making it a form of unsupervised learning.

[0128] In traditional self-supervised learning, a model is trained on a pretext task, where the labels are generated from the input data itself without requiring human annotations. The model learns to predict certain properties or relationships within the data, which in turn helps it to learn meaningful representations. These representations can then be transferred to downstream tasks.

[0129] DINO introduces a novel approach to self-supervised learning for vision transformers by leveraging two main components: clustering and distillation. Initially, the model is trained to cluster the augmented views of the input data. This clustering helps the model to discover semantically similar instances within the dataset. Then, a distillation process is performed, where the model learns to transfer knowledge from a teacher network to a student network. The teacher network provides soft targets, or guidance, to the student network, which helps improve the student's performance. By combining clustering and distillation, DINO enables the model to learn more robust and discriminative representations, leading to better generalization and performance on downstream tasks such as image classification.

[0130] In another embodiment of the present disclosure, the vision transformer is pre-trained using a DiNOv2 approach. DiNOv2 (DIscriminative NOise Contrastive Learning V2) is another self-supervised approach for training vision transformers (see, e.g., M. Oquab et al.: DINOv2: Learning Robust Visual Features without Supervision, arXiv: 2304.07193v1) .

[0131] In another embodiment of the present disclosure, the image encoder is or comprises an image encoder of a pre-trained CLIP model.

[0132] CLIP (Contrastive Language-Image Pretraining) is a framework in the field of machine learning that combines natural language processing and computer vision to understand and generate multimodal representations of images and text. CLIP encodes text and image in same embedding space (see, e.g., A. Radford et al.: Learning Transferable Visual Models From Natural Language Supervision, arXiv: 2103.00020v1) .

[0133] CLIP is (pre-) trained in a self-supervised manner, where large-scale datasets of images and their associated text are used to learn joint representations. The model is trained to associate images and their textual descriptions by maximizing their similarity in the learned embedding space. This allows CLIP to understand and reason about images and text in a shared semantic space. The base model uses a ViT-L / 14 transformer architecture as an image encoder and uses a masked self-attention transformer as a text encoder. These encoders are trained to maximize the similarity of (image, text) pairs via a contrastive loss.

[0134] The key innovation of CLIP is its ability to generalize across different domains and tasks. By training on a diverse range of image and text pairs, CLIP can perform a variety of tasks without task-specific fine-tuning. For example, CLIP can perform zero-shot image classification, where it can classify images into categories it has never seen during training, solely based on textual descriptions.

[0135] In an embodiment of the present disclosure, the image encoder of a pre-trained CLIP model is used which was pre-trained on medical images, such as BiomedCLIP (see, e.g., S. Zhang et al.: Large-Scale Domain-Specific Pretraining for Biomedical Vision-Language Processing, arXiv: 2303.00915v1) .

[0136] If the conditional generative model requires a text embedding as conditional input, it is possible to convert the image embedding into an implicit text embedding. In other words, the embedding generated by the encoder E based on the medical image I can also be an implicit text embedding. For example, a learned multi-layer perceptron can be used, which projects the image embedding into an implicit text embedding (see, e.g., J. Xu et al.: Open-Vocabulary Panoptic Segmentation with Text-to-Image Diffusion Models, arXiv: 2303.04803v4) .

[0137] The conditional generative model CGM is configured to reconstruct the medical image I, using the embedding E as a condition.

[0138] A “conditional generative model” is a type of generative model that generates data (in this case, a reconstructed medical image) given certain conditions or constraints. Conditional generative models take additional input in the form of a condition that guides the process of image generation. In general, this condition can be anything that provides some sort of context for the generation process, such as a class label, a text description, another image, or any other piece of information. In the case of the present disclosure, one or more embeddings are used as condition.

[0139] In an embodiment of the present disclosure, the conditional generative model is or comprises a diffusion model.

[0140] Diffusion models focus on modeling the step-by-step evolution of a data distribution from a “simple” starting point to a “more complex” distribution. The underlying concept of diffusion models is to transform a simple and easily sampleable distribution, typically a Gaussian distribution, into a more complex data distribution of interest. This transformation is achieved through a series of invertible operations. Once the model learns the transformation process, it can generate new samples by starting from a point in the simple distribution and gradually “diffusing” it to the desired complex data distribution.

[0141] A diffusion model usually comprises a noising model and a denoising model.

[0142] The noising model usually comprises a plurality of noising stages. The noising model is configured to receive input data (e.g., an image) and produce noisy data in response to receipt of the input data. The noising model introduces noise to the input data to obfuscate the input data after a number of stages, or “timesteps” T. The noising model can be or can include a finite number of steps T or an infinite number of steps (T→ ∞) . The noising model may have the same weights / architectures for all timesteps or different weights / architectures for each timestep. The number of timesteps can be global (i.e., timesteps are the same for all pixels of an image) or local (e.g., each pixel in an image might have a different timestep) .

[0143] The denoising model is configured to reconstruct the input data from noisy data. The denoising model is configured to produce samples matching the input data after a number of stages.

[0144] For example, the diffusion model may include Markov chains at the noising model and / or denoising model. The diffusion models may be implemented in discrete time, e.g., where each layer corresponds to a timestep. The diffusion model may also be implemented in arbitrarily deep (e.g., continuous) time.

[0145] Diffusion models can be conceptually similar to a variational autoencoder (VAE) whose structure and loss function provides for efficient training of arbitrarily deep (e.g., infinitely deep) models. The diffusion model can be trained using variational inference, for example.

[0146] The diffusion model can be a Latent Diffusion Model (LDM) . In such a model, the diffusion approach in the case of an image is not performed in real space (e.g., pixel space or voxel space or doxel space, as the case may be) , but in so-called latent space based on a representation of the image, usually a compressed representation (see, e.g., R. Rombach et al.: High-Resolution Image Synthesis with Latent Diffusion Models, arXiv: 2112.10752v2) .

[0147] The diffusion model may be a Denoising Diffusion Probabilistic Model (DDPM) . DDPMs are a class of generative models that work by iteratively adding noise to input data (e.g., an image or a compressed representation) and then learning to denoise from the noisy signal to generate new samples (see, e.g., J. Ho et al.: Denoising Diffusion Probabilistic Models, arXiv: 2006.11239v2) .

[0148] The diffusion model may be a Score-based Generative Model (SGM) . In SGMs the data is perturbed with random Gaussian noise of various magnitudes. With the gradient of log probability density as score function, samples are generated towards decreasing noise levels and the model is trained by estimating the score functions for noisy data distribution (see, e.g., Y. Song et al.: Score-Based Generative Modeling through Stochastic Differential Equations, arXiv: 2011.13456v2) .

[0149] The diffusion model may be a Denoising Diffusion Implicit Model (DDIM) (see, e.g.: J. Song et al.: Denoising Diffusion Implicit Models, arXiv: 2010.02502v4) . A critical drawback of DDPMs is that they require many iterations to produce a high-quality sample. For DDPMs, this is because the generative process (from noise to data) approximates the reverse of the forward diffusion process (from data to noise) , which could have thousands of steps; iterating over all the steps is required to produce a single sample. DDIMs are implicit probabilistic models that are closely related to DDPMs, in the sense that they are trained with the same objective function. DDIMs allow for much faster sampling while keeping an equivalent training objective. They do this by estimating the addition of multiple Markov chain steps  and adding them all at once. DDIMs construct a class of non-Markovian diffusion processes which makes sampling from reverse process much faster. This modification in the forward process preserves the goal of DDPM and allows for deterministically encoding an image to the noise map.

[0150] Unlike DDPMs, DDIMs enable control over image synthesis owing to the latent space flexibility (attribute manipulation) (see, e.g., K. Preechakul et al.: Diffusion autoencoders: Toward a meaningful and decodable representation, arXiv: 2111.15640v3) . With DDIM, it is possible to run the generative process backward deterministically to obtain the noise map xT, which represents the latent variable or encoding of a given image x0. In this context, DDIM can be thought of as an image decoder that decodes the latent code xT back to the input image. This process can yield a very accurate reconstruction; however, xT still does not contain high-level semantics as would be expected from a meaningful representation.

[0151] The conditional generative model CGM shown schematically and as an example in Fig. 1 has the architecture of a U-Net. Such a U-Net usually comprises convolution blocks, up-sampling and down-sampling blocks, skip connections and attention blocks, which perform cross-attention between the embedding E and U-Net features. The feature maps output by the U-Net blocks are generally referred to here as “reconstruction features” .

[0152] The reconstruction features are extracted from the conditional generative model CGM and fed to the mask generator MG.

[0153] A “mask” refers to a binary or multi-class image that delineates the shape and location of one or more objects or regions of interest within the medical image. The mask may overlay the medical image to highlight specific features or areas, effectively “masking” out the regions that are not of interest. Each image element (e.g., pixel or voxel) in the mask usually corresponds to an image element in the medical image and may indicate whether that image element belongs to an object or a background, for example.

[0154] The mask generator MG is configured to take the medical image I or the reconstructed medical image and the reconstruction features of the conditional generative model CGM as an input, and to output one or more masks and their corresponding mask embeddings ME.

[0155] For example, the mask generator can be based on a MaskFormer or Mask2Former, where the feature extraction backbone is not necessary as masks are predicted based on the reconstruction features of the conditional generative model CGM.

[0156] MaskFormer (Mask Transformer) is designed to bridge the gap between pixel-level prediction tasks and the powerful capabilities of transformers (see, e.g., B. Cheng et al.: Per-Pixel Classification is Not All You Need for Semantic Segmentation, arXiv: 2107.06278v2) . It extends the standard Transformer architecture to handle segmentation tasks effectively by predicting per-pixel classification and segmentation masks simultaneously.

[0157] The MaskFormer model uses a CNN backbone (such as ResNet) to extract feature maps from the input image. These feature maps serve as a rich representation of the visual content, capturing various levels of detail and context. The extracted feature maps are then fed into a transformer encoder.

[0158] This encoder processes the features, applying self-attention mechanisms to model the global dependencies within the image, enhancing the contextual understanding of the scene.

[0159] The decoder part of the transformer is adapted to predict a fixed number of queries, each corresponding to a potential object or segment in the image. For each query, the decoder outputs both a class label and a mask embedding. The class label predicts what object or category the query represents, while the mask embedding captures spatial information about the object's location and shape.

[0160] The mask embeddings are combined with the feature maps through a dot product operation, generating a set of mask logits for each query. These logits are then passed through a sigmoid activation function to produce the final binary masks, indicating the presence or absence of the predicted class in each pixel.

[0161] Alongside mask prediction, the MaskFormer model also performs per-pixel classification by assigning each pixel in the image to the class of the highest-scoring mask that includes it.

[0162] Mask2Former builds upon and extends the principles of MaskFormer, offering improvements that further enhance its applicability and performance across various segmentation tasks, including semantic, instance, and panoptic segmentation (see, e.g., B. Cheng et al.: Masked-attention Mask Transformer for Universal Image Segmentation, arXiv: 2112.01527v3) .

[0163] Similar to MaskFormer, Mask2Former utilizes a CNN backbone for feature extraction, followed by a transformer encoder to process the feature maps. This setup captures detailed visual content and contextual information. A significant innovation in Mask2Former is its per-pixel prediction module, which operates on the output of the transformer encoder. This module generates predictions for every pixel in the image, considering both semantic and instance information, making it highly effective for panoptic segmentation. Mask2Former employs learnable queries in its transformer decoder, which are iteratively refined through self-attention and cross-attention mechanisms. These queries are designed to capture the essence of different segments or objects within the image, with each query associated with a specific segment. For each query, the model predicts a mask by combining the query’s representation with the per-pixel predictions. This approach allows for precise and flexible segmentation, as the model can dynamically adjust the masks based on the learned queries and global image context.

[0164] For example, the model shown in Fig. 1 can be trained to recognize and segment lesions in the female breast of a human. For example, the model shown in Fig. 1 can be trained to assign each detected lesion to a class.

[0165] As shown in Fig. 1, the mask embedding ME is used to assign the mask to one of at least two classes with the help of the classifier. As described, the mask generator can generate more than one mask. Usually there is one mask embedding corresponding to each mask.

[0166] For example, the classes can denote tissue types, i.e. each class can denote a specific tissue type such as bone tissue, muscle tissue, fat tissue, liver tissue, etc.

[0167] In an embodiment of the present disclosure, a class denotes a lesion or a particular type of lesion.

[0168] In an embodiment of the present disclosure, a class indicates whether a lesion is benign or malignant.

[0169] In an embodiment of the present disclosure, a class indicates whether a lesion in a female breast is a fibroadenoma, cysts, ductal carcinoma, lobular carcinoma, breast abscess, inflammatory breast cancer, lymphoma, phyllodes tumor, or papilloma.

[0170] In an embodiment of the present disclosure, a class indicates whether a liver lesion is a hepatocellular carcinoma, liver metastasis from a primary cancer such as colorectal cancer, breast cancer, lung cancer, and / or others, hemangioma, focal nodular hyperplasia, hepatic adenoma, liver abscess, cyst, cholangiocarcinoma, intrahepatic cholangiocarcinoma, or focal fatty infiltration.

[0171] In an embodiment of the present disclosure, a class indicates whether a pancreatic lesion is a pancreatic adenocarcinoma, pancreatic neuroendocrine tumor, pancreatic pseudocyst, pancreatic cystic neoplasm such as serous cystadenoma, mucinous cystic neoplasm, and intraductal papillary mucinous neoplasm, pancreatic abscess, pancreatic ductal dilatation, pancreatitis-associated change including parenchymal atrophy and calcification, solid pseudopapillary neoplasm, pancreatic lymphoma, or metastatic lesion to the pancreas.

[0172] In an embodiment of the present disclosure, a class indicates whether a lesion in a prostate is a prostate cancer, benign prostatic hyperplasia, prostatitis, prostate abscess, prostate calcification, prostate cysts, prostate nodule, prostate inflammation, prostate hemorrhage, or prostate sarcoma.

[0173] Fig. 2 shows a schematic example of a classification of a mask. The example shown in Fig. 2 largely corresponds to the example shown in Fig. 1. The encoder labelled EN in Fig. 1 is labelled EN1 in Fig. 2. In the example shown in Fig. 2, there is an additional encoder EN2.

[0174] The encoder EN2 is configured to generate a class embedding based on a class label. In the example shown in Fig. 2 there are two classes, labelled C1 and C2. The classes can indicate, for example, whether a lesion in the medical image I is benign or malignant.

[0175] The class labels C1 and C2 are encoded using the encoder EN2. The class embeddings are referred to as EC1 and EC2.

[0176] The encoder EN2 may be a text encoder, e.g., the text encoder of a pre-trained CLIP model. In an embodiment of the present invention, the encoder EN2 is the text encoder of a pre-trained CLIP model pre-trained on medical images, such as BiomedCLIP (see, e.g., S. Zhang et al.: Large-Scale Domain-Specific Pretraining for Biomedical Vision-Language Processing, arXiv: 2303.00915v1) .

[0177] The dot product between the class embeddings EC1 and EC2 and the mask embedding ME is computed and applied to a softmax function. The result is class C, to which the mask has been assigned. If there is more than one mask and therefore more than one mask embedding, a class can be determined for each mask by calculating the dot product and using the softmax function for each mask embedding. As described, more than two classes are also possible.

[0178] Training data is required to train the model shown in Figs. 1 and 2. The training data usually comprises a plurality of medical images in which areas of interest are masked and labelled. The training of such a model is described, e.g., in J. Xu et al.: Open-Vocabulary Panoptic Segmentation with Text-to-Image Diffusion Models, arXiv: 2303.04803v4.

[0179] Fig. 3 shows schematically an embodiment of the computer-implemented method of the present disclosure in form of a flow chart.

[0180] The method (100) comprises the steps:

[0181] (110) providing a trained machine learning model, wherein the trained machine learning model comprises:

[0182] ○ an encoder,

[0183] ○ a conditional generative model, wherein the conditional generative model is configured to reconstruct an image based on a condition,

[0184] ○ a mask generator, and

[0185] ○ a classifier,

[0186] (120) receiving a medical image,

[0187] (130) generating an embedding based on the medical image using the encoder,

[0188] (140) reconstructing the medical image using the conditional generative model, wherein the embedding is used as condition,

[0189] (150) extracting reconstruction features from the conditional generative model,

[0190] (160) determining at least one mask and a mask embedding based on the reconstruction features using the mask generator,

[0191] (170) assigning the at least one mask to one of at least two classes based on the mask embedding using the classifier,

[0192] (180) outputting the medical image comprising the at least one mask and information about the class to which the at least one mask has been assigned.

[0193] The operations in accordance with the teachings herein may be performed by at least one computer system specially constructed for the desired purposes or general-purpose computer system specially configured for the desired purpose by at least one computer program stored in a typically non-transitory computer readable storage medium.

[0194] A “computer system” is a system for electronic data processing that processes data by means of programmable calculation rules. Such a system usually comprises a “computer” , that unit which comprises a processor for carrying out logical operations, and also peripherals.

[0195] In computer technology, “peripherals” refer to all devices which are connected to the computer and serve for the control of the computer and / or as input and output devices. Examples thereof are monitor (screen) , printer, scanner, mouse, keyboard, drives, camera, microphone, loudspeaker, etc. Internal ports and expansion cards are, too, considered to be peripherals in computer technology.

[0196] Computer systems of today are frequently divided into desktop PCs, portable PCs, laptops, notebooks, netbooks and tablet PCs and so-called handhelds (e.g. smartphone) ; all these systems can be utilized for carrying out the invention.

[0197] The term “non-transitory” is used herein to exclude transitory, propagating signals or waves, but to otherwise include any volatile or non-volatile computer memory technology suitable to the application. The term “computer” should be broadly construed to cover any kind of electronic device with data processing capabilities, including, by way of non-limiting example, personal computers, servers, embedded cores, computing system, communication devices, processors (e.g., digital signal processor (DSP) ) , microcontrollers, field programmable gate array (FPGA) , application specific integrated circuit (ASIC) , etc. ) and other electronic computing devices.

[0198] The term “process” as used above is intended to include any type of computation or manipulation or transformation of data represented as physical, e.g., electronic, phenomena which may occur or reside e.g., within registers and / or memories of at least one computer or processor. The term processor includes a single processing unit or a plurality of distributed or remote such units.

[0199] Fig. 4 illustrates a computer system (1) according to some example implementations of the present disclosure in more detail.

[0200] Generally, a computer system of exemplary implementations of the present disclosure may be referred to as a computer and may comprise, include, or be embodied in one or more fixed or portable electronic devices. The computer may include one or more of each of a number of components such as, for example, a processing unit (20) connected to a memory (50) (e.g., storage device) .

[0201] The processing unit (20) may be composed of one or more processors alone or in combination with one or more memories. The processing unit (20) is generally any piece of computer hardware that is capable of processing information such as, for example, data, computer programs and / or other suitable electronic information. The processing unit (20) is composed of a collection of electronic circuits some of which may be packaged as an integrated circuit or multiple interconnected integrated circuits (an integrated circuit at times more commonly referred to as a “chip” ) . The processing unit (20) may be configured to execute computer programs, which may be stored onboard the processing unit (20) or otherwise stored in the memory (50) of the same or another computer.

[0202] The processing unit (20) may be a number of processors, a multi-core processor or some other type of processor, depending on the particular implementation. For example, it may be a central processing unit (CPU) , a field programmable gate array (FPGA) , a graphics processing unit (GPU) and / or a tensor processing unit (TPU) . Further, the processing unit (20) may be implemented using a number of heterogeneous processor systems in which a main processor is present with one or more secondary processors on a single chip. As another illustrative example, the processing unit (20) may be a symmetric multi-processor system containing multiple processors of the same type. In yet another example, the  processing unit (20) may be embodied as or otherwise include one or more ASICs, FPGAs or the like. Thus, although the processing unit (20) may be capable of executing a computer program to perform one or more functions, the processing unit (20) of various examples may be capable of performing one or more functions without the aid of a computer program. In either instance, the processing unit (20) may be appropriately programmed to perform functions or operations according to example implementations of the present disclosure.

[0203] The memory (50) is generally any piece of computer hardware that is capable of storing information such as, for example, data, computer programs (e.g., computer-readable program code (60) ) and / or other suitable information either on a temporary basis and / or a permanent basis. The memory (50) may include volatile and / or non-volatile memory, and may be fixed or removable. Examples of suitable memory include random access memory (RAM) , read-only memory (ROM) , a hard drive, a flash memory, a thumb drive, a removable computer diskette, an optical disk, a magnetic tape or some combination of the above. Optical disks may include compact disk –read only memory (CD-ROM) , compact disk –read / write (CD-R / W) , DVD, Blu-ray disk or the like. In various instances, the memory may be referred to as a computer-readable storage medium or data memory. The computer-readable storage medium is a non-transitory device capable of storing information, and is distinguishable from computer-readable transmission media such as electronic transitory signals capable of carrying information from one location to another. Computer-readable medium as described herein may generally refer to a computer-readable storage medium or computer-readable transmission medium.

[0204] In addition to the memory (50) , the processing unit (20) may also be connected to one or more interfaces for displaying, transmitting and / or receiving information. The interfaces may include one or more communications interfaces and / or one or more user interfaces. The communications interface (s) may be configured to transmit and / or receive information, such as to and / or from other computer (s) , network (s) , database (s) or the like. The communications interface may be configured to transmit and / or receive information by physical (wired) and / or wireless communications links. The communications interface (s) may include interface (s) (41) to connect to a network, such as using technologies such as cellular telephone, Wi-Fi, satellite, cable, digital subscriber line (DSL) , fiber optics and the like. In some examples, the communications interface (s) may include one or more short-range communications interfaces (42) configured to connect devices using short-range communications technologies such as NFC, RFID, Bluetooth, Bluetooth LE, ZigBee, infrared (e.g., IrDA) or the like.

[0205] The user interfaces may include a display (30) . The display (screen) may be configured to present or otherwise display information to a user, suitable examples of which include a liquid crystal display (LCD) , light-emitting diode display (LED) , plasma display panel (PDP) or the like. The user input interface (s) (11) may be wired or wireless, and may be configured to receive information from a user into the computer system (1) , such as for processing, storage and / or display. Suitable examples of user input interfaces include a microphone, image or video capture device, keyboard or keypad, joystick, touch-sensitive surface (separate from or integrated into a touchscreen) or the like. In some examples, the user interfaces may include automatic identification and data capture (AIDC) technology (12) for machine-readable information. This may include barcode, radio frequency identification (RFID) , magnetic stripes, optical character recognition (OCR) , integrated circuit card (ICC) , and the like. The user interfaces may further include one or more interfaces for communicating with peripherals such as printers and the like.

[0206] As indicated above, program code instructions (60) may be stored in memory (50) , and executed by processing unit (20) that is thereby programmed, to implement functions of the systems, subsystems, tools and their respective elements described herein. As will be appreciated, any suitable program code instructions (60) may be loaded onto a computer or other programmable apparatus from a computer-readable storage medium to produce a particular machine, such that the particular machine becomes a means for implementing the functions specified herein. These program code instructions (60) may also be stored in a computer-readable storage medium that can direct a computer, processing unit or other  programmable apparatus to function in a particular manner to thereby generate a particular machine or particular article of manufacture. The instructions stored in the computer-readable storage medium may produce an article of manufacture, where the article of manufacture becomes a means for implementing functions described herein. The program code instructions (60) may be retrieved from a computer-readable storage medium and loaded into a computer, processing unit or other programmable apparatus to configure the computer, processing unit or other programmable apparatus to execute operations to be performed on or by the computer, processing unit or other programmable apparatus.

[0207] Retrieval, loading and execution of the program code instructions (60) may be performed sequentially such that one instruction is retrieved, loaded and executed at a time. In some example implementations, retrieval, loading and / or execution may be performed in parallel such that multiple instructions are retrieved, loaded, and / or executed together. Execution of the program code instructions (60) may produce a computer-implemented process such that the instructions executed by the computer, processing circuitry or other programmable apparatus provide operations for implementing functions described herein.

[0208] Execution of instructions by processing unit, or storage of instructions in a computer-readable storage medium, supports combinations of operations for performing the specified functions. In this manner, a computer system (1) may include processing unit (20) and a computer-readable storage medium or memory (50) coupled to the processing circuitry, where the processing circuitry is configured to execute computer-readable program code instructions (60) stored in the memory (50) . It will also be understood that one or more functions, and combinations of functions, may be implemented by special purpose hardware-based computer systems and / or processing circuitry which perform the specified functions, or combinations of special purpose hardware and program code instructions.

[0209] The computer system of the present disclosure may be in the form of a laptop, notebook, netbook, and / or tablet PC; it may also be a component of an MRI scanner, a CT scanner, an ultrasound diagnostic machine, or a PET scanner.

Claims

1.A computer-implemented method comprising:- providing a trained machine learning model, wherein the trained machine learning model comprises:ο a first encoder,ο a conditional generative model, wherein the conditional generative model is configured to reconstruct an image based on a condition,ο a mask generator, andο a classifier,- receiving a medical image,- generating a first embedding based on the medical image using the first encoder,- reconstructing the medical image using the conditional generative model, wherein the first embedding is used as condition,- extracting reconstruction features from the conditional generative model,- determining at least one mask and a mask embedding based on the reconstruction features using the mask generator,- assigning the at least one mask to one of at least two classes based on the mask embedding using the classifier,- outputting the medical image comprising the at least one mask and information about the class to which the at least one mask has been assigned.2.The method of claim 1, wherein the first embedding is a semantic representation of the medical image.3.The method of claim 1 or 2, wherein the first embedding is an implicit text embedding.4.The method of any one of claims 1 to 3, wherein the first encoder is or comprises an image encoder.5.The method of any one of claims 1 to 4, wherein the first encoder is an image encoder of a model that generates embeddings for both text and images in a shared embedding space.6.The method of any one of claims 1 to 5, wherein the first encoder is or comprises an image encoder pre-trained with medical images.7.The method of any one of claims 1 to 6, wherein the first encoder is or comprises an image encoder and a multi-layer perceptron, wherein the first embedding is an image embedding, and the multi-layer perceptron is configured to project the image embedding into an implicit text embedding.8.The method of any one of claims 1 to 7, wherein the conditional generative model is or comprise a diffusion model.9.The method of any one of claims 1 to 8, wherein the trained machine learning model further comprises a second encoder, wherein the second encoder is a text encoder of a model that generates embeddings for both text and images in a shared embedding space.10.The method of any one of claims 1 to 9, wherein the second encoder was pre-trained with medical images and classes to which the medical images were assigned.11.The method of claim 9 or 10, wherein assigning the at least one mask to one of at least two classes based on the mask embedding using the classifier comprises:- generating at least two second embeddings based on the at least two class embeddings using the second encoder,- computing dot products between each of the at least two second embeddings and the mask embedding, and- applying a softmax function to the dot products.12.The method of any one of claims 1 to 11, wherein the at least two classes indicate- a lesion or a particular type of lesion, or- whether a lesion is benign or malignant,- whether a lesion in a female breast is a fibroadenoma, cysts, ductal carcinoma, lobular carcinoma, breast abscess, inflammatory breast cancer, lymphoma, phyllodes tumor, or papilloma, or- whether a liver lesion is a hepatocellular carcinoma, liver metastasis from a primary cancer such as colorectal cancer, breast cancer, lung cancer, and / or others, hemangioma, focal nodular hyperplasia, hepatic adenoma, liver abscess, cyst, cholangiocarcinoma, intrahepatic cholangiocarcinoma, or focal fatty infiltration, or- whether a pancreatic lesion is a pancreatic adenocarcinoma, pancreatic neuroendocrine tumor, pancreatic pseudocyst, pancreatic cystic neoplasm such as serous cystadenoma, mucinous cystic neoplasm, and intraductal papillary mucinous neoplasm, pancreatic abscess, pancreatic ductal dilatation, pancreatitis-associated change including parenchymal atrophy and calcification, solid pseudopapillary neoplasm, pancreatic lymphoma, or metastatic lesion to the pancreas, or- whether a lesion in a prostate is a prostate cancer, benign prostatic hyperplasia, prostatitis, prostate abscess, prostate calcification, prostate cysts, prostate nodule, prostate inflammation, prostate hemorrhage, or prostate sarcoma.13.The method of any one of claims 1 to 12, wherein the medical image represents an examination area of an examination object, wherein the examination object is a living being and the examination area is part of the living being.14.The method of any one of claims 1 to 13, wherein the examination area is or comprises a liver, kidney, heart, lung, brain, stomach, bladder, prostate, intestine, thyroid, eye, breast, skin or a part of said parts or another part of the body of a mammal.15.The method of any one of claims 1 to 14, wherein the medical image is or comprises a radiologic image.16.A computer system comprising:a processor; anda memory storing an application program configured to perform, when executed by the processor, an operation, the operation comprising:- providing a trained machine learning model, wherein the trained machine learning model comprises:ο a first encoder,ο a conditional generative model, wherein the conditional generative model is configured to reconstruct an image based on a condition,ο a mask generator, andο a classifier,- receiving a medical image,- generating a first embedding based on the medical image using the first encoder,- reconstructing the medical image using the conditional generative model, wherein the first embedding is used as condition,- extracting reconstruction features from the conditional generative model,- determining at least one mask and a mask embedding based on the reconstruction features using the mask generator,- assigning the at least one mask to one of at least two classes based on the mask embedding using the classifier,- outputting the medical image comprising the at least one mask and information about the class to which the at least one mask has been assigned.17.A non-transitory computer readable storage medium having stored thereon software instructions that, when executed by a processor of a computer system, cause the computer system to execute the following steps:- providing a trained machine learning model, wherein the trained machine learning model comprises:ο a first encoder,ο a conditional generative model, wherein the conditional generative model is configured to reconstruct an image based on a condition,ο a mask generator, andο a classifier,- receiving a medical image,- generating a first embedding based on the medical image using the first encoder,- reconstructing the medical image using the conditional generative model, wherein the first embedding is used as condition,- extracting reconstruction features from the conditional generative model,- determining at least one mask and a mask embedding based on the reconstruction features using the mask generator,- assigning the at least one mask to one of at least two classes based on the mask embedding using the classifier,- outputting the medical image comprising the at least one mask and information about the class to which the at least one mask has been assigned.

Images