Method and apparatus for predicting physical field based on generative model in temporal manner

Abstract

A computer implemented method for predicting at least one physical field frame by a generative model. The method comprises receiving at least one physical field frame observed at one or more timesteps, wherein each physical field frame is observed for one type of physical field at one timestep; encoding the received at least one physical field frame from a first spatial representation into a first latent representation; generating a second latent representation corresponding to at least one physical field frame for a timestep subsequent to the one or more timesteps by the generative model, starting from a Gaussian noise and based partially on the first latent representation; and decoding the second latent representation back to a second spatial representation to predict the at least one physical field frame for the subsequent timestep. Several other aspects are disclosed.

Description

METHOD AND APPARATUS FOR PREDICTING PHYSICAL FIELD BASED ON GENERATIVE MODEL IN TEMPORAL MANNERFIELD

[0001] Aspects of the present disclosure relate generally to artificial intelligence, and more particularly, to method and apparatus provided for predicting a physical field based on a generative model in a temporal manner.BACKGROUND

[0002] Partial differential equations (PDEs) play indispensable roles in characterizing physical behaviors in engineering systems. PDE constrained optimization aims at optimizing the performance of a physical system constrained by PDEs with desired properties. It is an important task in many areas of engineering, with a wide range of applications such as electric motor design involving electric and magnetic field controlling, motor design associated with oil cooling, compressor scroll design involving pressure and velocity field controlling, etc.

[0003] In order to solve PDEs, significant breakthrough has been achieved in predictive modeling of static physical field through various neural operator techniques. To name a few, DeepONet learns a mapping from control (decision) variables to solutions of PDEs and further replaces PDE constraints with the operator network; Fourier neural operator (FNO) learns the operator in the spectral space; and general neural operator transformer (GNOT) is a scalable and flexible transformer framework for learning operators.

[0004] However, existing frameworks focus mainly on static or deterministic prediction, they may be able to learn an operator mapping from the input functions to the solutions of PDEs, but appear to lack data efficiency when it comes to temporal predicting problems which are often indeterminate. Additionally, deterministic prediction requires well-defined problem formulations, which are themselves challenging in industrial applications. Besides, current models can hardly generalize well over versatile physics datasets.SUMMARY

[0005] The following presents a simplified summary of one or more aspects to provide a basic understanding of such aspects. This summary is not an extensive overview of all contemplated aspects, and is intended to neither identify key or critical elements of all aspects nor delineate the scope of any or all aspects. Its sole purpose is to present some concepts of one or more aspects in a simplified form as a prelude to the more detailed description that is presented later.

[0006] Partial Differential Equations (PDEs) are ubiquitously used in characterizing systems in many domains like physics and chemistry, and are widely used in a variety of industrial applications. Based on a fact that efficient solution of PDEs is very challenging, learning PDEs’ solutions becomes an essential problem in machine learning.

[0007] Many approaches are proposed to accelerate solving PDEs by learning an operator mapping from the input functions to the solutions of PDEs. By leveraging the expressivity of neural networks, such neural operators could be pre-trained on a dataset and then generalize to unseen inputs. Much work has been done on investigating different neural architectures for learning operators. DeepONet learns a mapping from control (decision) variables to solutions of PDEs and further replaces PDE constraints with the operator network. Fourier neural operator (FNO) learns the operator in the spectral space. General neural operator transformer (GNOT) is a scalable and flexible transformer framework for learning operators.

[0008] Nevertheless, existing models are aimed at mapping the input functions to the solutions of PDEs, which could be deterministic prediction problems. For a deterministic prediction, it requires well-defined problem formulations, which are themselves challenging in industrial applications. For example, if the oil temperature evolution in a motor is to be predicted, the heat conduction equation itself, boundary conditions and / or initial conditions (if any) need to be defined correctly, but it may be difficult to achieve in reality. Additionally, existing trained models are capable of predicting one or more physical fields based on a problem formulation and corresponding conditions, but are unable to predict one or more future physical fields based on a series of temporally previous physical fields. Moreover, as a temporal predicting problem is usually considered to be indeterministic, current models may not fit well. Besides, current models can hardly generalize well over versatile physics datasets. Therefore, an efficient and flexible model for spatial-temporal physics field prediction is expected.

[0009] The disclosure aims to address the aforementioned issues by developing a method for predicting a physical field by a trained generative model in a temporal manner. To be specific, instead of pure predictive modeling, generative modeling for spatial-temporal physics field solutions is proposed herein. Technically, one or more previous observed physical field frames may be encoded into a latent space and fed to a trained generative model, which is able to infer potential field solution in a subsequent time slot based on the latent representation of the previous physical field frames. Further, if some boundary conditions exist, they can also be input to the generative model as a basis of potential field solution generation. More details may be discussed hereinafter combined with several embodiments.

[0010] The disclosed method could predict future physical field solution from partially observed solution or initial conditions and / or boundary conditions. In addition, carrying  out the physical field solution generation in a latent space may be more efficient and flexible, as predictive physical field modeling on original feature space is data inefficient and poses many restrictions on problem formulation.

[0011] In an aspect, a computer implemented method for predicting at least one physical field frame by a generative model is disclosed. The computer implemented method comprises receiving at least one physical field frame observed at one or more timesteps, wherein each physical field frame is observed for one type of physical field at one timestep; encoding the received at least one physical field frame from a first spatial representation into a first latent representation; generating a second latent representation corresponding to at least one physical field frame for a timestep subsequent to the one or more timesteps by the generative model, starting from a Gaussian noise and based partially on the first latent representation; and decoding the second latent representation back to a second spatial representation to predict the at least one physical field frame for the subsequent timestep.

[0012] In an aspect, a computer implemented method for training a generative model for predicting at least one physical field frame is disclosed. The computer implemented method comprises receiving at least one physical field frame observed at one or more timesteps and at least one physical field frame observed at a timestep subsequent to the one or more timesteps, wherein each physical field frame is observed for one type of physical field at one timestep; encoding the received at least one physical field frame observed at the one or more timesteps from a first spatial representation into a first latent representation, and encoding the received at least one physical field frame observed at the subsequent timestep from a second spatial representation into a second latent representation; inputting the first latent representation and the second latent representation to the generative model, adding a noise to the second latent representation, and predicting the noise added to the second latent representation based partially on the first latent representation and the noised second latent representation by the generative model; and updating the generative model based partially on minimizing a loss between the added noise and the predicted noise.

[0013] In an aspect, a computer system is disclosed. The computer system comprises one or more processors; and one or more storage devices storing computer-executable instructions that, when executed, cause the one or more processors to perform the operations of one of the methods disclosed herein.

[0014] In an aspect, one or more computer readable storage media storing computer-executable instructions that, when executed, cause one or more processors to perform the operations of one of the methods disclosed herein is disclosed.

[0015] In an aspect, a computer program product comprising computer-executable instructions that, when executed, cause one or more processors to perform the operations of one of the methods disclosed herein is disclosed.

[0016] In an aspect, an apparatus comprising one or more means for performing the operations of one of the methods disclosed herein is disclosed.BRIEF DESCRIPTION OF THE DRAWINGS

[0017] The disclosed aspects will be described in connection with the appended drawings that are provided to illustrate and not to limit the disclosed aspects. The same reference numbers in different drawings may identify the same or similar elements.

[0018] Fig. 1 illustrates an example architecture 100 for predicting a physical field by a generative model, in accordance with various aspects of the present disclosure.

[0019] Fig. 2 illustrates an example process 200 of a Diffusion Model (DM) , in accordance with various aspects of the present disclosure.

[0020] Fig. 3 illustrates an example architecture 300 for predicting a physical field by a generative model, in accordance with various aspects of the present disclosure.

[0021] Fig. 4 illustrates an example implementation 400 of a cross-attention block, in accordance with various aspects of the present disclosure.

[0022] Fig. 5 illustrates an example architecture 500 for training a generative model for predicting a physical field, in accordance with various aspects of the present disclosure.

[0023] Fig. 6 illustrates an example method 600 for predicting a physical field by a generative model, in accordance with various aspects of the present disclosure.

[0024] Fig. 7 illustrates an example method 700 for training a generative model for predicting a physical field, in accordance with various aspects of the present disclosure.

[0025] Fig. 8 illustrates an example computer system 800, in accordance with various aspects of the present disclosure.DETAILED DESCRIPTION

[0026] The present disclosure will now be discussed with reference to several example implementations. It is to be understood that these implementations are discussed only for enabling those skilled in the art to better understand and thus implement the embodiments of the present disclosure, rather than suggesting any limitations on the scope of the present disclosure.

[0027] Various embodiments will be described in detail with reference to the accompanying drawings. Wherever possible, the same reference numbers will be used throughout the drawings to refer to the same or like parts. References made to examples and embodiments are for illustrative purposes, and are not intended to limit the scope of the disclosure. It is noted that “based on” used in the disclosure should be understood as “based at least on” , rather than “solely based on” or “merely based on” .

[0028] It is anticipated that applying the disclosed method herein may involve the use of data from a variety of sources for training and / or sampling, such as images, texts, etc. It  should be noted that the use of data requires copyright holder or user authorization and may not exceed the scope of authorization.

[0029] For many industrial systems described with PDEs, it may be expected to infer the variation of related physical fields over time, rather than predicting numerical solutions based on specific initial or boundary conditions. As mentioned above, existing models for learning an operator mapping from the input functions to the solutions of PDEs are designed for deterministic prediction problems, and may not fit for predicting a physical field in a temporal way, which may be an indeterministic issue. To this end, a method for predicting a physical field by a generative model in a temporal manner is disclosed herein.

[0030] Fig. 1 illustrates an example architecture 100 for predicting a physical field by a generative model, in accordance with various aspects of the present disclosure. As described below, some or all illustrated features may be omitted in an implementation within the scope of the present disclosure, and some illustrated features may not be required for implementation of all embodiments, optional blocks are illustrated with dash lines.

[0031] As shown in block 101, one or more physical field frames may be input to block 103, wherein each physical field frame may refer to an observed state of a spatial-temporal physical field. Specifically, each physical field frame may be observed for a certain type of physical field at a time point, and the one or more physical field frames may be observed for a time period including a plurality of time points. Additionally, the one or more physical field frames may belong to the same type or different types of physical fields, such as one or more of magnetic field, electric field, temperature field, velocity field, pressure field, density field, etc.

[0032] As will be discussed with more details hereinafter, block 103 may comprise a generative model, which can be used to generate one or more potential physical field frames for a time slot subsequent to the observed time period, as shown in block 104, based on the input one or more physical field frames, for example, the one or more physical field frames may be generated for one subsequent time slot at a time. In an aspect, the generated physical field frames may be of the same type (s) corresponding to the one or more input field frames. Additionally or alternatively, the generated physical field frames may comprise more types of physical field compared with the one or more input field frames.

[0033] In an example, the generative model may be implemented based on a conditional diffusion model. Diffusion model (DM) has presented impressive results on many generative tasks, especially for video generation. Since spatial-temporal physical fields show high similarity to videos, it may be beneficial to apply a DM-based framework to predict the physical field.

[0034] Fig. 2 illustrates an example process 200 of a Diffusion Model (DM) , in accordance with various aspects of the present disclosure. As shown in Fig. 2, for training, an image may be fed into the DM, and the DM can gradually inject noise into the clean representation x of the image from an unknown distribution q (x0) by a fixed forward process, illustrated with solid arrows, and for N timesteps, the noisy data xN would be or at least approximate to a pure Gaussian noise. Then a reverse process illustrated with dashed arrows may be learned, which is to gradually remove noise from the noisy data xN to generate samples.

[0035] The training of a DM to learn the reverse process can be described as learning a noise prediction network ∈θ, with learnable parameters θ. After the image is fed, a Gaussian noise ∈ may be generated, and a timestep n may be uniformly sampled from {0, 1, …, N} , noise ∈ and timestep n may be input to the noise prediction network together with the clean data x0 of the image. As xn at time step n can be viewed as a linear combination of x0 and the Gaussian noise ∈. The noise prediction network is to be trained to predict the noise ∈ based on xn at timestep n, the parameters θ can be learned by minimizing the MSE loss between the input noise ∈ and the predicted noise. After the DM is trained, it may be able to generate an unseen image based on a stochastically sampled Gaussian noise. Besides, a class label c can be also input to the diffusion model during training and inference to condition the image generation on a specific class.

[0036] Turning back to Fig. 1, the observed physical field frames may be input to the generative model comprised in block 103 through an encoder 105. For example, the encoder 105 may be a pretrained variational autoencoder (VAE) which parameters could stay frozen, it encodes the observed physical field frames from a high-resolution feature representation into a low-resolution feature representation in a latent space. Then the observed physical field frames can be processed and new physical field frames may be generated by the generative model based on feature representations in the latent space. The generated physical field frames may be decoded from the latent representation back to a high-resolution feature representation by a decoder 106 and subsequently output at block 104.

[0037] Compared with processing physical field frames directly in high-resolution feature space like pixel space, which could be very computationally prohibitive, compressing the observed physical field frames into smaller spatial representations in a latent space with a pretrained encoder may be more efficient.

[0038] Optionally, as shown in block 102, one or more boundary conditions correspond to the physical field (s) may be input to block 103, to name a few, Dirichlet boundary condition, Neumann boundary conditions and combinations thereof, such as Cauchy boundary condition, mixed boundary condition or Robin boundary condition, etc. It is to be noted that the boundary condition may be set according to the implementation, and thus not  limiting the scope of the invention. As a result, the subsequent physical field frames may be generated based further on the input boundary conditions.

[0039] Since the subsequent physical field frames may be generated for one time step at a time, the generated physical field frames along with the observed ones may be used as input at block 101 again to infer physical field frames for a next time step.

[0040] In an example, for the purpose of designing an electric motor with better performance, it may be needed to predict the electromagnetic field evolution within the electric motor with time. It is possible to observe the electric field and / or the magnetic field change over time during a period, and several frames of the electric field and / or the magnetic field may be collected. Also, one or more boundary conditions for electric field and / or the magnetic field may be characterized. By the generative model disclosed herein, the electric field and / or the magnetic field for a follow-up timestep may be inferred conditioned on the observed field frames and boundary conditions (if any) . Turning back to Fig. 1, one or more observed electric and / or magnetic field frames at block 101, and boundary conditions (if any) at block 102 may be input to the block 103, then a physical field frame for a subsequent timestep of the same type as input may be generated at block 103 and output at block 104. In another example, one or more observed field frames for one of electric field or magnetic field as well as boundary conditions (if any) may be input to the block 103, then field frames for both electric field and magnetic field for a subsequent timestep may be generated at block 103 and output at block 104. It is to be noted that the associated physical field types are merely used as examples and thus not limiting the scope of the invention.

[0041] In another example, in order to control the oil cooling of a motor, to predict the temperature field evolution within the motor over time is expected. It is possible to observe the temperature field change over time during a period, and several frames of the temperature field may be collected. Also, one or more boundary conditions may be characterized. By the generative model disclosed herein, the temperature field for a follow-up timestep may be inferred based on the observed field frames and boundary conditions (if any) . Turning back to Fig. 1, one or more observed temperature field frames at block 101, and boundary conditions (if any) at block 102 may be input to the block 103, then a temperature field frame or additional frame for other type of physical field for a subsequent timestep may be generated at block 103 and output at block 104. It is to be noted that the associated physical field types are merely used as examples and thus not limiting the scope of the invention.

[0042] In another example, for compressor scroll involving intracavity flow field design, learning the evolution of velocity field, pressure field and / or density field are anticipated. Similar as examples discussed above, one or more observed field frames of one or more of velocity field, pressure field and / or density field at block 101, along with boundary conditions (if any) at block 102 may be input to the block 103, then a  field frame of the same type of input field frames for a subsequent timestep may be generated at block 103 and output at block 104. Additionally or alternatively, one or more observed field frames of some of velocity field, pressure field or density field, along with boundary conditions (if any) may be input to the block 103, then a field frame of all of velocity field, pressure field and density field for a subsequent timestep may be generated at block 103 and output at block 104. It is to be noted that the associated physical field types are merely used as examples and thus not limiting the scope of the invention.

[0043] In view of the fact that in industrial applications, it may be difficult to acquire well-defined problem formulations, inferring the subsequent field frame based on observed field frames and boundary conditions allows more flexibility and efficiency.

[0044] The variant embodiments would be discussed with more details hereinafter. It is to be noted that the embodiments may be described with a specific application scenario that merely used for an example but not limiting, and other applications may be possible in a similar way. Fig. 3 illustrates another example architecture 300 for predicting a physical field by a generative model, in accordance with various aspects of the present disclosure. As described below, some or all illustrated features may be omitted in an implementation within the scope of the present disclosure, and some illustrated features may not be required for implementation of all embodiments, optional blocks are illustrated with dash lines.

[0045] Taking the compressor scroll involving intracavity flow field design as a non-limiting example. As shown in block 301, the related one or more physical fields can be observed for a time period comprising T timesteps, such as velocity field in x-axis and y-axis, pressure field and / or density field, the quantity of observed physical field type can be represented as d, resulting in T×d observed physical field frames, wherein each frame corresponds to one physical field observed at one timestep.

[0046] Similar to description with Fig. 1 above, the observed physical field frames may be input to the generative model comprised in block 303 through an encoder 305. As shown in Fig. 3, the T×d observed physical field frames may be encoded to a latent representation wherein H represents the height of the physical field and W represents the width of the physical field.

[0047] In an example, the latent representation Z may be processed by a generative model then. For instance, the generative model may be implemented based on a conditional diffusion model, with the latent representation Z of the observed physical field frames acts as the condition. In a further example, the generative model may be a Diffusion Transformer (DiT) model comprising multiple DiT blocks, illustrated as N blocks 307 in Fig. 3. The trained DM or DiT model could generate a latent representation Zge for at least one subsequent field frame for timestep T+1, starting from a stochastically sampled Gaussian noise and conditioned on the latent representation Z.

[0048] In the case of the generative model is implemented with a DiT model which operates on sequences of patches, the latent representation Z needs to be patchified before processed by the N DiT blocks. The operation of patchify is illustrated as block 306, it converts the latent representation Z into a sequence of tokens by linearly embedding each patch in the input. Following patchify, positional embeddings like frequency-based positional embeddings can be applied to all the input tokens. The sequence of tokens may be further processed by the N DiT blocks 307 afterwards.

[0049] After the latent representation Zge for at least one subsequent field frame for timestep T+1 is generated, it may be decoded from the latent representation back to a high-resolution feature representation by a decoder 308 and subsequently output at block 304. In an aspect, the generated physical field frames may be of the same type (s) of the one or more input field frames. For example, if velocity field in x-axis and y-axis and pressure field for T timesteps are observed at block 301, then velocity field in x-axis and y-axis and pressure field for timestep T+1 may be generated and output at block 304. Additionally or alternatively, the generated physical field frames may comprise more types of physical fields compared with the one or more input field frames. For example, if velocity field in x-axis and y-axis and pressure field for T timesteps are observed at block 301, then velocity field in x-axis and y-axis and pressure field, and also density field for timestep T+1 may be generated and output at block 304. Since the subsequent physical field frames may be generated for one time step at a time, the generated physical field frames for timestep T+1 along with the observed ones for T timesteps may be used as input at block 301 again to infer physical field frames for a timestep T+2.

[0050] Optionally, similar to description with Fig. 1 above, as shown in block 302, one or more boundary conditions correspond to the physical field (s) may be input to block 303. For instance, if velocity field in x-axis and y-axis and pressure field for T timesteps are observed at block 301, boundary conditions for any or all of velocity field in x-axis and y-axis and pressure field may be input to block 303.

[0051] Additionally, in the case of the generative model is implemented with a DiT model, the one or more boundary conditions may be embedded into a sequence of tokens at block 309 and the sequence of tokens may be further processed by the N DiT blocks 307 afterwards. In an aspect, the block 309 may be implemented by a Multilayer Perceptron (MLP) . As a result, the subsequent physical field frames may be generated further conditioned on the input boundary conditions.

[0052] Following patchify and tokenization, the input sequences of tokens corresponding to observed physical field frames and boundary conditions may be processed by a series of DiT blocks. The physical field frames for the subsequent timestep may be generated through the series of DiT blocks, with a stochastically sampled Gaussian noise used for a starting query. The generation procedure may be considered as a denoising process,  starting from a Gaussian noise and a predicted representation could be generated after N times denoising steps.

[0053] In an example, DiT model disclosed herein may utilize a cross attention mechanism, to be specific, each DiT block may be configured with a cross attention block to condition the generated latent representation on the observations and boundary conditions. In an additional aspect, each cross attention block may follow a self attention block and be followed by an adaptive layer norm, wherein the adaptive layer norm may be used to add the diffusion timestep information.

[0054] Fig. 4 illustrates an example implementation 400 of a cross-attention block, in accordance with various aspects of the present disclosure.

[0055] As in the example illustrated in Fig. 4, one subsequent physical field frame is to be generated conditioned on boundary conditions and the observed physical field frame. In this example, boundary conditions may be tokenized into 2 tokens, shown as T1 and T2. Then only one observed physical field frame is illustrated, which is shown to be patchified into 4 tokens, illustrated as T3 to T6. The number of observed physical field frames can be flexible, if two frames are observed, then 8 tokens may be occupied. Similarly, the one subsequent physical field frame to be predicted may be represented by 4 tokens, shown as T7 to T10, with the remaining condition sequence padded with masked tokens, shown as T11 to T14. It is to be noted that the number of tokens is merely used as a non-limiting example.

[0056] In the example shown in Fig. 4, a starting query sequence may be generated from the Gaussian noise for the first DiT block, and a starting key sequence and a value sequence may be generated from the sequence of tokens including boundary condition tokens, observed physical field frame tokens, prediction tokens and padded masked ones. A cross attention mechanism can be carried out based on any suitable implementation in the art.

[0057] Turning back to Fig. 3, since the physical field frames may possess various range of magnitudes, such as for a temperature field and a pressure field, their magnitudes would fall into different ranges with numerical differences of many times. In order to deal with inputs of different numerical ranges, additional operations may be considered.

[0058] To best utilize the encoder 305, each physical field frame may be normalized at block 310 before encoding. In an example, the magnitude of each physical field frame may be normalized to [-1, 1] , resulting in all the physical field frames fed to the encoder would fall into a same numerical range regardless of its field type.

[0059] Correspondingly, in order to recover the real magnitude for different types of physical field at the output end, in addition to the physical field frame itself, the scale of the generated physical field frame may be also predicted. In an example, the predicted magnitude of a certain type of physical field may be input to the decoder, to fully reconstruct the physical field frame. Also, the predicted magnitude of a certain type of  physical field may be input to the generative model, to further condition the generated feature representation.

[0060] As illustrated at block 311, if a velocity field frame and a pressure field frame is to be generated, the magnitudes for velocity field and pressure field can be predicted by a pretrained model over time, the predicted magnitudes may be fed to the decoder 308 to fully reconstruct the generated physical field frames. In an aspect, the magnitudes for velocity field and pressure field can be multiplied onto the decoded latent field frames to recover them to actual scale. Additionally, the predicted magnitudes may be fed to the DiT blocks to further condition the latent representation generation on the actual scale for various types of physical field frames, so as to better recover the subsequent physical field at the decoder. In an example, an autoregressive model may be trained to predict frame magnitude for each type of physical field.

[0061] With the disclosed method herein, it enables the subsequent field frame to be inferred based on observed field frames and boundary conditions, with more flexibility and efficiency. To this end, the generative model may be trained. Fig. 5 illustrates an example architecture 500 for training a generative model for predicting a physical field, in accordance with various aspects of the present disclosure. As described below, some or all illustrated features may be omitted in an implementation within the scope of the present disclosure, and some illustrated features may not be required for implementation of all embodiments, optional blocks are illustrated with dash lines.

[0062] As shown in Fig. 5, similar to description with Fig. 1 and Fig. 3, one or more physical fields for T timesteps may be observed at block 501. The observed physical field frames may belong to a same type or of different types, wherein each physical field frame corresponding to an observed physical field of a certain type at one time step. Still taking the compressor scroll involving intracavity flow field design as an example, one or more frames of the velocity field in x-axis and y-axis and also pressure field may be observed at block 501.

[0063] In an example, the one or more observed physical field frames may be encoded from a high-resolution feature representation into a low-resolution latent feature representation by the encoder 505, represented as In an aspect, the encoder may be implemented as a pretrained variational autoencoder (VAE) which parameters could stay frozen during training. Optionally, the magnitude of the one or more observed physical field frames may be normalized to [-1, 1] respectively at block 513 before encoding.

[0064] In an example, the latent representation Z may be input to the generative model 507 for processing.

[0065] In a further example, the latent representation Z may be patchified into a sequence of tokens at block 506. Specifically, the latent representation Z may be converted into a sequence of tokens by linearly embedding each patch in the input, followed by applying  positional embeddings to all the tokens. Then, the sequence of tokens may be input to the generative model 507.

[0066] In a further example, one or more boundary conditions correspond to the observed physical fields may be input to block 503. For example, boundary conditions for any or all of velocity field in x-axis and y-axis and pressure field may be input to block 503. Additionally, the boundary conditions may be embedded into a sequence of tokens at block 509, and then the sequence of tokens may be input to the block 503. In an aspect, the block 509 may be implemented by a Multilayer Perceptron (MLP) .

[0067] As described above with Fig. 1 and Fig. 3, the generative model 507 may be trained to generate a series of physical field frames for timestep T+1 based on the observed field frames for T timesteps and boundary conditions (if any) . To this end, a series of actual observed physical field frames for timestep T+1, as shown at block 504, may also be input to the model and used as ground-truth label during training.

[0068] In the above example of the compressor scroll, at block 504 the observed velocity field in x-axis and y-axis and pressure field for timestep T+1 may be input to block 503 for training the generative model 507. Additionally, in the case of more types of physical field frames are to be generated than the observed ones, at block 504 the observed density field for timestep T+1 can also be input to block 503 for training the generative model 507.

[0069] In an example, the observed physical field frames for timestep T+1 at block 504 may be processed in a similar way with the observed physical field frames for T timesteps at block 501. First, the magnitude of the one or more observed physical field frames for timestep T+1 may be normalized to [-1, 1] before encoding, optionally at block 513. The one or more observed physical field frames for timestep T+1 may be encoded into a latent feature representation by the encoder 508. After encoding, the latent feature representation Z′ may be patchfied into a sequence of tokens at block 510, and then the sequence of tokens may be input to the generative model 507 as a ground-truth label.

[0070] In an example, the generative model may be implemented by a Diffusional Model (DM) . The learning of a DM may be considered as learning a noise prediction network which architecture and parameters may be represented as ∈θ. By predicting the noise correctly, the trained DM may be able to generate the physical field frame during inference starting from the pure noise, by multiple denoising steps reverse to the noise predicting.

[0071] In order to train such a noise prediction network ∈θ, the latent feature representation Z′ may be firstly noised. The generative model 507 can predict the noise added to the latent feature representation Z′ starting from the noised Z′ via trying to recover it to the original Z′, based on the latent feature representation Z and boundary conditions. The parameters of the noise prediction network ∈θ can be updated by minimizing a loss between the actual added noise and the predicted noise afterwards. In an aspect,  the latent feature representation Z and boundary conditions corresponding to the observed frames for T timesteps may act as condition used in DM.

[0072] In an example, the generative model may be implemented by a Diffusional Transformer (DiT) Model. Like the DM, to learn a DiT model can also be seen as learning a noise prediction network ∈θ.

[0073] In order to train such a noise prediction network ∈θ, the sequence of tokens corresponding to the patchfied latent feature representation Z′ may be firstly noised. The generative model 507 can predict the noise added to the tokens of latent feature representation Z′ starting from the noised Z′ via trying to recover it to the original tokens of Z′, based on the sequences of tokens corresponding to the latent feature representation Z and boundary conditions. In an aspect, the original tokens of Z′ may be generated via multiple DiT blocks, similar as DiT block 307 described with Fig. 3. Each DiT block may comprise a self-attention layer, a cross-attention layer and an adaptive layer norm, etc. For the cross-attention layer, a starting query may be generated from the noised tokens of latent feature representation Z′, which is different than the stochastically sampled Gaussian noise for inference. And a starting key sequence and a value sequence may be generated from the sequence of tokens including boundary condition tokens, observed physical field frame tokens, prediction tokens and padded masked ones, similar to keys and values described with Fig. 4. In this example, the parameters of the noise prediction network ∈θ can be updated by minimizing a loss between the actual added noise and the predicted noise afterwards. In an aspect, the latent feature representation Z and boundary conditions corresponding to the observed frames for T timesteps may act as condition used in DiT model.

[0074] Additionally, when the normalization is configured at block 512 and 513, in order to recover the real magnitude for different types of physical field at the output end during inference, the scale of the generated physical field frame may be also predicted, as shown at block 511. In an aspect, the predicted magnitude of a certain type of physical field may be input to the generative model 507, to further condition the recovery of the original tokens of Z′, and thus condition the noise prediction during training.

[0075] As illustrated at block 511, if a velocity field frame and a pressure field frame is to be generated, the magnitudes for velocity field and pressure field can be predicted by a pretrained model over time. In an example, an autoregressive model may be trained to predict frame magnitude for each type of physical field. In an aspect, the predicted magnitudes may be fed to the DiT blocks to further condition the recovery of the original tokens of Z′ and the noise prediction on the actual scale for various types of physical field frames, so as to better recover the subsequent physical field at the decoder during inference.

[0076] By training a generative model with the disclosed method herein, the generative model would be enabled to infer one or more subsequent field frames based on one or more  observed field frames and boundary conditions (if any) , with more flexibility and efficiency.

[0077] Fig. 6 illustrates an example method 600 for predicting a physical field by a generative model, in accordance with various aspects of the present disclosure. As described below, some or all illustrated features may be omitted in an implementation within the scope of the present disclosure, and some illustrated features may not be required for implementation of all embodiments. Further, some of the blocks may be performed parallel or in a different order. In some examples, the method may be carried out by any suitable apparatus or means for carrying out the functions or algorithm described below. The method of Fig. 6 may be implemented by the architectures of Fig. 1 and Fig. 3.

[0078] The method begins at block 610, with receiving at least one physical field frame observed at one or more timesteps, wherein each physical field frame is observed for one type of physical field at one timestep.

[0079] In an example, the operation of block 610 may be implemented by operations described with block 101 and 301.

[0080] In an example, the at least one physical field frame may belong to a same type. In another example, the at least one physical field frame may belong to different types. In an example, the at least one physical field frame may comprise one or more of magnetic field, electric field, temperature field, velocity field, pressure field, density field.

[0081] The method then proceeds to block 620, with encoding the received at least one physical field frame from a first spatial representation into a first latent representation.

[0082] In an example, the operation of block 620 may be implemented by operations described with block 105 and 305.

[0083] In an example, the received at least one physical field frame may be encoded via a pretrained variational autoencoder (VAE) .

[0084] In an example, optionally, each one of the received at least one physical field frame may be normalized before encoding, such as the magnitude of each observed physical field frame may be normalized to [-1, 1] . The operation may be implemented by operations described with block 310.

[0085] The method then proceeds to block 630, with generating a second latent representation corresponding to at least one physical field frame for a timestep subsequent to the one or more timesteps by the generative model, starting from a Gaussian noise and based partially on the first latent representation.

[0086] In an example, the operation of block 630 may be implemented by operations described with block 103, 303 and 307.

[0087] In an example, the generative model may be a Diffusion Model.

[0088] In an aspect, the second latent representation may be generated with the first latent representation acting as a condition.

[0089] In another example, the generative model may be a Diffusion Transformer (DiT) model.

[0090] In an aspect, the first latent representation may be patchfied into a sequence of tokens, and then input the sequence of tokens to the generative model, the second latent representation thus may be generated based on the sequence of tokens of the first latent representation. The operation may be implemented by operations described with block 306.

[0091] In an aspect, the Diffusion Transformer (DiT) model may comprise multiple DiT blocks, wherein each DiT block may comprise a cross-attention block which realizes the cross-attention mechanism. A starting query sequence for the cross-attention block may be generated from the Gaussian noise, and a key sequence and a value sequence may be generated based at least partially from the sequence of tokens of the first latent representation respectively. The operation may be implemented by operations described with block 307 and Fig. 4.

[0092] In an aspect, each DiT block may further comprise a self-attention block and an adaptive layer norm, wherein the diffusion timestep information may be added by the adaptive layer norm.

[0093] In an example, at least one boundary condition corresponding to a type of physical field associated with the received at least one physical field frame may be received, wherein the second latent representation may be generated further based on the received at least one boundary condition. The operation may be implemented by operations described with block 302.

[0094] In an aspect, the at least one boundary condition may be tokenized into a third latent representation, wherein the second latent representation may be generated further based on the third latent representation. The operation may be implemented by operations described with block 309.

[0095] In an aspect, the at least one boundary condition may be tokenized by a Multilayer Perceptron (MLP) .

[0096] In an example, optionally, a corresponding magnitude for each type of physical field associated with the received at least one physical field frame may be predicted. The operation may be implemented by operations described with block 311.

[0097] In an aspect, the corresponding magnitude for each type of physical field may be predicted by an autoregressive model.

[0098] In an aspect, the second latent representation may be generated further based on the predicted corresponding magnitude for each type of physical field.

[0099] The method then proceeds to block 640, with decoding the second latent representation back to a second spatial representation to predict the at least one physical field frame for the subsequent timestep.

[0100] In an example, the operation of block 640 may be implemented by operations described with block 104, 106, 304 and 308.

[0101] In an example, the generated at least one physical field frame may be of the same one or more types as the received at least one physical field frame. In another example, the generated at least one physical field frame may comprise more types than the received at least one physical field frame.

[0102] In an example, optionally, the second latent representation may be decoded back to the second spatial representation based partially on the predicted corresponding magnitude for each type of physical field.

[0103] In an example, the generated at least one physical field frame for the subsequent timestep may be used as an input for generating at least one physical field frame for a next timestep of the subsequent timestep.

[0104] In an example, the at least one physical field frame may be generated for tasks of one of electric motor design, motor oil temperature controlling, compressor scroll design.

[0105] Fig. 7 illustrates an example method 700 for training a generative model for predicting a physical field, in accordance with various aspects of the present disclosure. As described below, some or all illustrated features may be omitted in an implementation within the scope of the present disclosure, and some illustrated features may not be required for implementation of all embodiments. Further, some of the blocks may be performed parallel or in a different order. In some examples, the method may be carried out by any suitable apparatus or means for carrying out the functions or algorithm described below. The method of Fig. 7 may be implemented by the architectures of Fig. 5.

[0106] The method begins at block 710, with receiving at least one physical field frame observed at one or more timesteps and at least one physical field frame observed at a timestep subsequent to the one or more timesteps, wherein each physical field frame is observed for one type of physical field at one timestep.

[0107] In an example, the operation of block 710 may be implemented by operations described with block 501 and 504.

[0108] In an example, the at least one physical field frame observed at one or more timesteps may belong to a same type. In another example, the at least one physical field frame observed at one or more timesteps may belong to different types.

[0109] In an example, the received at least one physical field frame observed at a timestep subsequent to the one or more timesteps may be of the same one or more types as the received at least one physical field frame observed at one or more timesteps. In another example, the received at least one physical field frame observed at a timestep subsequent to the one or more timesteps may comprise more types than the received at least one physical field frame observed at one or more timesteps.

[0110] In an example, the at least one physical field frame may comprise one or more of magnetic field, electric field, temperature field, velocity field, pressure field, density field.

[0111] The method then proceeds to block 720, with encoding the received at least one physical field frame observed at the one or more timesteps from a first spatial representation into a first latent representation, and encoding the received at least one physical field frame observed at the subsequent timestep from a second spatial representation into a second latent representation.

[0112] In an example, the operation of block 720 may be implemented by operations described with block 505 and 508.

[0113] In an example, the received at least one physical field frame observed at the one or more timesteps and the subsequent timestep may be encoded via a pretrained variational autoencoder (VAE) .

[0114] In an example, optionally, each one of the received at least one physical field frame may be normalized before encoding, such as the magnitude of each observed physical field frame may be normalized to [-1, 1] . The operation may be implemented by operations described with block 512 and 513.

[0115] The method then proceeds to block 730, with inputting the first latent representation and the second latent representation to the generative model, adding a noise to the second latent representation, and predicting the noise added to the second latent representation based partially on the first latent representation and the noised second latent representation by the generative model.

[0116] In an example, the operation of block 730 may be implemented by operations described with block 503 and 507.

[0117] In an example, the generative model may be a Diffusion Model.

[0118] In an aspect, the noise added to the second latent representation may be predicted with the first latent representation acting as a condition.

[0119] In another example, the generative model may be a Diffusion Transformer (DiT) model.

[0120] In an aspect, the first latent representation and the second latent representation may be patchfied into a sequence of tokens respectively, and then the sequences of tokens may be input to the generative model, the noise may be added to the sequence of tokens corresponding to the second latent representation. The operation may be implemented by operations described with block 506 and 510.

[0121] In an aspect, the Diffusion Transformer (DiT) model may comprise multiple DiT blocks, wherein each DiT block may comprise a cross-attention block which realizes the cross-attention mechanism. A starting query sequence for the cross-attention block may be generated from the noised second latent representation, and a key sequence and a value sequence may be generated based at least partially from the sequence of tokens of the first latent representation respectively. The operation may be implemented by operations described with block 507 and Fig. 4.

[0122] In an aspect, each DiT block may further comprise a self-attention block and an adaptive layer norm, wherein the diffusion timestep information may be added by the adaptive layer norm.

[0123] In an example, at least one boundary condition corresponding to a type of physical field associated with the received at least one physical field frame may be received, wherein the noise added to the second latent representation may be predicted further based on the received at least one boundary condition. The operation may be implemented by operations described with block 502.

[0124] In an aspect, the at least one boundary condition may be tokenized into a third latent representation, wherein the noise added to the second latent representation may be predicted further based on the third latent representation. The operation may be implemented by operations described with block 509.

[0125] In an aspect, the at least one boundary condition may be tokenized by a Multilayer Perceptron (MLP) .

[0126] In an example, optionally, a corresponding magnitude for each type of physical field associated with the received at least one physical field frame may be predicted. The operation may be implemented by operations described with block 511.

[0127] In an aspect, the corresponding magnitude for each type of physical field may be predicted by an autoregressive model.

[0128] In an aspect, the noise added to the second latent representation may be predicted further based on the predicted corresponding magnitude for each type of physical field.

[0129] The method then proceeds to block 640, with updating the generative model based partially on minimizing a loss between the added noise and the predicted noise.

[0130] Fig. 8 illustrates an exemplary computer system 800, in accordance with various aspects of the present disclosure.

[0131] The computer system may comprise at least one processor 810. The computer system may further comprise at least one storage device 820. It should be appreciated that the storage device 820 may store computer-executable instructions that, when executed, cause the processor 810 to perform a method for predicting at least one physical field frame by a generative model according to the embodiments of the present disclosure as described in connection with Figs. 1-7.

[0132] The method for predicting at least one physical field frame by a generative model comprises receiving at least one physical field frame observed at one or more timesteps, wherein each physical field frame is observed for one type of physical field at one timestep; encoding the received at least one physical field frame from a first spatial representation into a first latent representation; generating a second latent representation corresponding to at least one physical field frame for a timestep subsequent to the one or more timesteps by the generative model, starting from a Gaussian noise and based partially on the first latent representation; and decoding the  second latent representation back to a second spatial representation to predict the at least one physical field frame for the subsequent timestep.

[0133] Further, it should be appreciated that the storage device 820 may store computer-executable instructions that, when executed, cause the processor 810 to perform a method for training a generative model for predicting at least one physical field frame according to the embodiments of the present disclosure as described in connection with Figs. 1-7.

[0134] The method for training a generative model for predicting at least one physical field frame comprises receiving at least one physical field frame observed at one or more timesteps and at least one physical field frame observed at a timestep subsequent to the one or more timesteps, wherein each physical field frame is observed for one type of physical field at one timestep; encoding the received at least one physical field frame observed at the one or more timesteps from a first spatial representation into a first latent representation, and encoding the received at least one physical field frame observed at the subsequent timestep from a second spatial representation into a second latent representation; inputting the first latent representation and the second latent representation to the generative model, adding a noise to the second latent representation, and predicting the noise added to the second latent representation based partially on the first latent representation and the noised second latent representation by the generative model; and updating the generative model based partially on minimizing a loss between the added noise and the predicted noise.

[0135] It should be appreciated that the storage device 820 may store computer-executable instructions that, when executed, cause the processor 810 to perform any operations according to the embodiments of the present disclosure as described in connection with Figs. 1-7.

[0136] The embodiments of the present disclosure may be embodied in one or more computer-readable medium such as non-transitory computer-readable medium. The non-transitory computer-readable medium may store instructions that, when executed, cause one or more processors to perform any operations according to the embodiments of the present disclosure as described in connection with Figs. 1-7.

[0137] The embodiments of the present disclosure may be embodied in a computer program product comprising computer-executable instructions that, when executed, cause one or more processors to perform any operations according to the embodiments of the present disclosure as described in connection with Figs. 1-7.

[0138] It should be appreciated that all the operations in the methods described above are merely exemplary, and the present disclosure is not limited to any operations in the methods or sequence orders of these operations, and should cover all other equivalents under the same or similar concepts.

[0139] It should also be appreciated that all the modules in the apparatuses described above may be implemented in various approaches. These modules may be implemented as hardware, software, or a combination thereof. Moreover, any of these modules may be further functionally divided into sub-modules or combined together.

[0140] The previous description is provided to enable any person skilled in the art to practice the various aspects described herein. Various modifications to these aspects will be readily apparent to those skilled in the art, and the generic principles defined herein may be applied to other aspects. Thus, the claims are not intended to be limited to the aspects shown herein. All structural and functional equivalents to the elements of the various aspects described throughout the present disclosure that are known or later come to be known to those of ordinary skill in the art are expressly incorporated herein by reference and are intended to be encompassed by the claims.

Claims

1.A computer implemented method for predicting at least one physical field frame by a generative model, comprising:receiving at least one physical field frame observed at one or more timesteps, wherein each physical field frame is observed for one type of physical field at one timestep;encoding the received at least one physical field frame from a first spatial representation into a first latent representation;generating a second latent representation corresponding to at least one physical field frame for a timestep subsequent to the one or more timesteps by the generative model, starting from a Gaussian noise and based partially on the first latent representation; anddecoding the second latent representation back to a second spatial representation to predict the at least one physical field frame for the subsequent timestep.2.The computer implemented method of claim 1, wherein the received at least one physical field frame and the to-be-predicted physical field frame comprise the same type of physical field.3.The computer implemented method of claim 1, further comprising:patchifying the first latent representation into a sequence of tokens, andwherein the second latent representation is generated based partially on the sequence of tokens of the first latent representation.4.The computer implemented method of claim 3, wherein the second latent representation is generated via a cross attention mechanism, andwherein a starting query sequence is generated from the Gaussian noise, and a key sequence and a value sequence are generated based at least partially from the sequence of tokens of the first latent representation respectively.5.The computer implemented method of claim 1, wherein the received at least one physical field frame is encoded via a pretrained variational autoencoder (VAE) .6.The computer implemented method of claim 1, further comprising:receiving at least one boundary condition corresponding to a type of physical field associated with the received at least one physical field frame, wherein the second latent representation is generated further based on the received at least one boundary condition.7.The computer implemented method of claim 6, wherein the second latent representation is generated further based on the received at least one boundary condition further comprising:tokenizing the received at least one boundary condition into a third latent representation, wherein the second latent representation is generated further based on the third latent representation.8.The computer implemented method of claim 1, wherein each of the received at least one physical field frame is normalized before encoding.9.The computer implemented method of claim 8, further comprising:predicting a corresponding magnitude of each type of physical field associated with the received at least one physical field frame.10.The computer implemented method of claim 9, wherein decoding the second latent representation back to the second spatial representation is based partially on the predicted corresponding magnitude of the each type of physical field; and / or wherein the second latent representation is generated further based on the predicted corresponding magnitude of the each type of physical field.11.The computer implemented method of claim 9, wherein the corresponding magnitude of the each type of physical field is predicted by an autoregressive model.12.The computer implemented method of claim 1, wherein the received at least one physical field frame comprises one or more types of: magnetic field, electric field, temperature field, velocity field, pressure field, density field.13.The computer implemented method of claim 1, wherein the generative model is a diffusion model or a diffusion transformer model.14.A computer implemented method for training a generative model for predicting at least one physical field frame, comprising:receiving at least one physical field frame observed at one or more timesteps and at least one physical field frame observed at a timestep subsequent to the one or more timesteps, wherein each physical field frame is observed for one type of physical field at one timestep;encoding the received at least one physical field frame observed at the one or more timesteps from a first spatial representation into a first latent representation, and encoding the received at least one physical field frame observed at the subsequent timestep from a second spatial representation into a second latent representation;inputting the first latent representation and the second latent representation to the generative model, adding a noise to the second latent representation, and predicting the noise added to the second latent representation based partially on the first latent representation and the noised second latent representation by the generative model; andupdating the generative model based partially on minimizing a loss between the added noise and the predicted noise.15.The computer implemented method of claim 14, wherein the received at least one physical field frame observed at the one or more timesteps and observed at the subsequent timestep comprise the same type of physical field.16.The computer implemented method of claim 14, further comprising:patchifying the first latent representation and the second latent representation into a sequence of tokens respectively, andwherein the noise is added to the sequence of tokens corresponding to the second latent representation.17.The computer implemented method of claim 16, wherein the noise added to the second latent representation is predicted via a cross attention mechanism, andwherein a query sequence is generated from the noised second latent representation, and a key sequence and a value sequence are generated from the sequence of tokens of the first latent representation respectively.18.The computer implemented method of claim 14, wherein the received at least one frame at the one or more timesteps and the received at least one frame at the subsequent timestep are encoded via a pretrained variational autoencoder (VAE) .19.The computer implemented method of claim 14, further comprising:receiving at least one boundary condition corresponding to a type of physical field associated with the received at least one physical field frame, wherein the noise added to the second latent representation is predicted further based on the received at least one boundary condition.20.The computer implemented method of claim 19, further comprising:tokenizing the received at least one boundary condition into a third latent representation, wherein the noise added to the second latent representation is predicted further based on the third latent representation.21.The computer implemented method of claim 14, wherein each one of the received at least one physical field frame at the one or more timesteps and at the subsequent timestep is normalized before encoding.22.The computer implemented method of claim 21, further comprising:predicting a corresponding magnitude of each type of physical field associated with the received at least one physical field frame.23.The computer implemented method of claim 22, wherein the noise added to the second latent representation is predicted further based on the predicted corresponding magnitude of the each type of physical field.24.The computer implemented method of claim 22, wherein the corresponding magnitude of the each type of physical field is predicted by an autoregressive model.25.The computer implemented method of claim 14, wherein the received at least one physical field frame comprises one or more types of: magnetic field, electric field, temperature field, velocity field, pressure field, density field.26.The computer implemented method of claim 14, wherein the generative model is a diffusion model or diffusion transformer model.27.A computer system, comprising:one or more processors; andone or more storage devices coupled to the one or more processors having computer-executable instructions therein that, when executed, cause the one or more processors to perform the operations of the method of one of claims 1-26.28.One or more computer readable storage medium having computer-executable instructions thereon that, when executed, cause one or more processors to perform the operations of the method of one of claims 1-26.29.A computer program product comprising computer-executable instructions that, when executed, cause one or more processors to perform the operations of the method of one of claims 1-26.30.An apparatus, comprising one or more means for performing the operations of the method of one of claims 1-26.

Images