Training machine learning force fields model via active learning with substructure uncertainty minimization

Abstract

A computing system including one or more processing devices configured to compute a simulation of a chemical system. Computing the simulation includes, at a machine learning force fields (MLFF) model, computing local label sets of respective local regions. Each local label set includes MLFF labels. Computing the simulation further includes computing local uncertainty values and identifying local regions based on the uncertainty values. For each identified local region, computing the simulation further includes computing a substructure that surrounds that region. The substructure is selected by computing a substructure boundary that approximately minimizes a substructure uncertainty. Computing the simulation further includes selecting atomic positions within the substructure that approximately minimize the substructure uncertainty. Computing the simulation further includes computing substructure labels via quantum chemical simulation, training the MLFF model using the substructure labels, and outputting a potential energy surface (PES) specified by the MLFF labels and the substructure labels.

Description

TRAINING MACHINE LEARNING FORCE FIELDS MODEL VIA ACTIVE LEARNING WITH SUBSTRUCTURE UNCERTAINTY MINIMIZATIONBACKGROUND

[0001] Atomic simulations play a pivotal role in advancing understanding of the fundamental mechanisms governing physicochemical processes in disciplines such as materials science, chemistry, and physics. Molecular Dynamics (MD) simulations, in particular, offer valuable insights into material properties and chemical reactions by modeling the interactions and movements of atoms. These simulations use the energy, force, and sometimes stress properties of each of a plurality of atomic configurations during the evolution of the simulated system. Such sets of properties are also known as the potential energy surfaces (PES) .SUMMARY

[0002] According to one aspect of the present disclosure, a computing system is provided, including one or more processing devices configured to compute a molecular dynamics simulation of a chemical system that includes a plurality of atoms. Computing the molecular dynamics simulation includes, at a machine learning force fields (MLFF) model, computing a respective plurality of local label sets of respective local regions surrounding the plurality of atoms. Each of the local label sets includes a respective plurality of MLFF labels. Computing the molecular dynamics simulation further includes computing respective local uncertainty values associated with the local regions. Computing the molecular dynamics simulation further includes identifying a plurality of the local regions based at least in part on the respective local uncertainty values associated with the local regions. For each of the identified local regions, computing the molecular dynamics simulation further includes computing a  substructure of the chemical system that surrounds the identified local region. The substructure is selected at least in part by computing a substructure boundary that approximately minimizes a substructure uncertainty value relative to a training distribution of the MLFF model. Computing the molecular dynamics simulation further includes selecting respective atomic positions of each of the atoms located within the substructure that approximately minimize the substructure uncertainty value. Based at least in part on the substructure with the selected atomic positions, computing the molecular dynamics simulation further includes computing a plurality of substructure labels via quantum chemical simulation. Computing the molecular dynamics simulation further includes further training the MLFF model using the substructure labels. Computing the molecular dynamics simulation further includes outputting a potential energy surface (PES) specified by the MLFF labels and the substructure labels.

[0003] This Summary is provided to introduce a selection of concepts in a simplified form that are further described below in the Detailed Description. This Summary is not intended to identify key features or essential features of the claimed subject matter, nor is it intended to be used to limit the scope of the claimed subject matter. Furthermore, the claimed subject matter is not limited to implementations that solve any or all disadvantages noted in any part of this disclosure.BRIEF DESCRIPTION OF THE DRAWINGS

[0004] FIGS. 1A-1C schematically show a computing system including one or more processing devices configured to compute molecular dynamics simulation data at least in part by training a machine learning force fields (MLFF) model, according to one example embodiment.

[0005] FIG. 2 schematically shows an example chemical system including a substructure, according to the example of FIGS. 1A-1C.

[0006] FIGS. 3A-3B schematically show an example computation of a substructure boundary during a first minimization loop, according to the example of FIGS. 1A-1C.

[0007] FIG. 4 schematically shows the computing system when a plurality of substructures are computed in parallel at respective processing devices, according to the example of FIGS. 1A-1C.

[0008] FIG. 5 schematically shows the computing system during a pretraining phase in which the MLFF model is pretrained using a plurality of training label sets, according to the example of FIGS. 1A-1C.

[0009] FIG. 6A shows a flowchart of a method for use with a computing system to compute a molecular dynamics simulation of a chemical system that includes a plurality of atoms, according to the example of FIGS. 1A-1C.

[0010] FIG. 6B shows additional steps of the method of FIG. 6A that are performed in some examples.

[0011] FIG. 6C shows additional steps of the method of FIG. 6A that are performed in some examples during a pretraining phase.

[0012] FIG. 6D shows additional steps of the method of FIG. 6A that are performed in some examples in which the steps of FIG. 6C are performed.

[0013] FIG. 7A shows a radial density function (RDF) plot computed for a simulated Li512 nanocrystal, according to the example of FIGS. 1A-1C.

[0014] FIG. 7B shows a DFT call and mean square displacement (MSD) plot for a 100-ps simulation of the Li512 nanocrystal melting, according to the example of FIG. 7A.

[0015] FIG. 8A shows a DFT call and MSD plot computed for a simulated Al324O486 nanocrystal, according to the example of FIGS. 1A-1C.

[0016] FIGS. 8B-8D show example RDF plots computed for the simulated Al324O486 nanocrystal, according to the example of FIG. 8A.

[0017] FIG. 9 shows a schematic view of an example computing environment in which the computing system of FIGS. 1A-1C may be instantiated.DETAILED DESCRIPTION

[0018] Quantum chemical methods such as density functional theory (DFT) provide robust calculations of properties such as forces, energies, and stresses that are included in the potential energy surfaces of chemical systems. MD simulations driven by quantum chemical computations are known as ab-initio molecular dynamics (AIMD) methods. However, AIMD methods suffer from high computational costs and undesirable scaling with system size. Machine learning force fields (MLFF) offer techniques to accelerate MD simulations without loss of accuracy by training a machine learning model to reproduce the PES.

[0019] Nevertheless, a significant challenge in conducting MLFF-based MD simulations lies in the construction of a training set that accurately reflects the full spectrum of atomic environments likely to be encountered during the simulations. If, during the course of the simulation, the simulator encounters an out-of-distribution (OOD) atomic environment that is not included in the training set, the molecular dynamics trajectory may diverge and explore structures that are not present in the original dataset used for training the MLFF model. Consequently, the MLFF predictions for these unexplored structures may be unreliable and may impact the accuracy of the simulation results.

[0020] The issue of OOD atomic environments may be ameliorated by using an active learner with an uncertainty module. This uncertainty module may be configured to assess the reliability of the MLFF model at each step of the MD simulation. When the MLFF is deemed unreliable on some atomic configurations, as computed by the uncertainty module, additional quantum chemical computation is invoked, and new data is incorporated into the training set to update the MLFF model. Thus, the accuracy of the molecular dynamics simulation trajectories may be checked at each of the simulation timesteps.

[0021] Simulations of complex systems with large numbers of atoms are necessary to reproduce realistic conditions for some systems and reactions (e.g., catalysis, composite materials, and multi-phase reactions) . In such examples, conventional active learning methods usually fail to produce accurate results in practical amounts of time. The system size simulated by conventional active learning workflows is constrained by the high time complexity of quantum chemical calculations, since those conventional techniques require performing direct ab-initio computations on large complex structures derived from molecular dynamics simulation trajectories. Quantum chemical calculations with sufficient accuracy are often highly time-consuming; for instance, Density Functional Theory (DFT) scales as  where N represents the size of the simulated structure. When the system size reaches several hundred or thousand atoms, a single DFT calculation can take several days or even weeks to complete. This time cost is prohibitively expensive and thereby prevents conventional active learning workflows from being used to conduct molecular dynamics simulations of large complex systems.

[0022] In order to address the above shortcomings of conventional active learning approaches to molecular dynamics simulation, a process referred to as an In- Distribution substructure Embedding Active Learner (IDEAL) is provided below. A computing system configured to implement the IDEAL process is also provided. The IDEAL process enables efficient on-the-fly learning and simulation of complex atomic systems that include large numbers of atoms.

[0023] FIGS. 1A-C schematically show a computing system 10 configured to perform the IDEAL approach to molecular dynamics simulation, according to one example embodiment. The computing system 10 includes one or more processing devices 12, which may, for example, include one or more central processing units (CPUs) 13, one or more graphics processing units (GPUs) 14, and / or one or more other hardware accelerators. The computing system 10 further includes one or more memory devices 16 that are communicatively coupled to the one or more processing devices 12. The one or more memory devices 16, may include one or more volatile memory devices and / or one or more non-volatile memory devices. The computing system 10 may be instantiated at a single physical computing device or may alternatively be a virtual computing system instantiated across a plurality of interconnected physical computing devices. In some examples, the computing system 10 is instantiated at a plurality of physical computing devices located in a data center.

[0024] FIGS. 1A-1C show the computing system 10 when the one or more processing devices 12 are configured to compute a molecular dynamics simulation of a chemical system 20. As shown in FIG. 1A, the one or more processing devices 12 are configured to receive a specification of the chemical system 20. This specification indicates a plurality of atoms 22 included in the chemical system 20. In some examples, the chemical system 20 is a molecular system in which the atoms 22 are bound into molecules, whereas in other examples, the chemical system 20 additionally or alternatively includes one or more atoms 22 that are not included in molecules. For  example, such unbound atoms 22 may be included in the chemical system 20 in a monatomic gas or liquid or as dissolved ions. Each of the atoms 22 included in the chemical system 20 is defined by its respective element and position.

[0025] The one or more processing devices 12 are further configured to compute a respective plurality of local regions 24 surrounding the plurality of atoms 22. Each of the local regions 24 has a respective local region boundary 26, which may, for example, be located at a predetermined radius from the respective center of each atom 22. Thus, the local regions 24 may be spherical. In some examples, the local regions 24 of the atoms 22 overlap, such that an atom 22 may have one or more other atoms 22 located within its local region 24.

[0026] The specification of each of the local regions 24 further indicates one or more respective atomic positions 25 of the one or more atoms 22 located within the local region boundary 26 of that local region 24. For each of the local regions 24, the one or more processing devices 12 are further configured to compute a corresponding atomic position vector 27 of the atomic positions 25 of the atoms 22 included in that local region 24. For example, the atomic position vector 27 may be a Smooth Overlap of Atomic Positions (SOAP) representation 27A of the atomic positions 25. In other examples, some other vector representation may be used.

[0027] The one or more processing devices 12 are further configured to input the atomic position vectors 27 into a machine learning force fields (MLFF) model 30. Thus, the MLFF model 30 is configured to receive indications of respective atomic structures within the local regions 24. At the MLFF model 30, the one or more processing devices 12 are configured to compute a respective plurality of local label sets 32 associated with the local regions 24. Each of the local label sets 32 includes a plurality of MLFF labels 33, which may be energy values 33A, force values 33B, and / or  stress values 33C at respective points within the local region 24. The local label set 32 models the propagation of the state of the corresponding local region 24 forward in time by a simulation timestep. Thus, the local label set 32 may be used to predict the time-evolution of the local region 24.

[0028] As depicted in FIG. 1B, the one or more processing devices 12 are configured to compute respective local uncertainty values 38 associated with the local regions 24. The local uncertainty values 38 are computed based on the atomic position vectors 27, as well as on a plurality of training position vectors 48. Although the atomic position vectors 27 are shown in FIG. 1A as the inputs to the MLFF model 30 rather than the outputs, the MLFF labels 33 are used to update the atomic positions 25 at each of the simulation timesteps. Thus, the atomic position vectors 27 associated with the local regions 24 indicate the positions of the one or more atoms 22 included in the local region 24 as updated at the previous simulation timestep.

[0029] FIG. 1A shows the computation of the training position vectors 48 in additional detail. The training position vectors 48 each encode one or more training atomic positions 42. Each of the training position vectors 48 is associated with a respective training local region 44 in which the one or more atoms indicated by those one or more training atomic positions 42 are located. The training position vectors 48 may, for example, be SOAP representations 48A of the training atomic positions 42.

[0030] For each of the local regions 24, the one or more processing devices 12 are configured to compute each of the local uncertainty values 38 at least in part by computing a respective Mahalanobis distance 36 between the atomic positions 25 of the atoms 22 included in that local region 24 and the training atomic positions 42. Other distance functions may alternatively be utilized. The atomic positions 25 are indicated in the atomic position vector 27, as discussed above, and the training atomic positions  42 are aggregated into a mean training position vector 49. Thus, in such examples, the local uncertainty value 38 of a local region ai is computed as follows:

[0031] In the above equation, vi is the atomic position vector 27 for the local region ai.  is the mean training position vector 49, which is computed as:

[0032] N is the number of training local regions 44 in the above equation. In addition, Σ is the variance matrix of the training vector representations 49, and is computed as:

[0033] The uncertainty Unc (ai) is accordingly computed as the Mahalanobis distance 36 between an atomic position vector 27 and the training distribution 40.

[0034] The one or more processing devices 12 are further configured to identify a plurality of the local regions 24 based at least in part on the respective local uncertainty values 38 associated with the local regions 24. For example, the identified local regions 28 may be local regions 24 that have respective local uncertainty values 38 above a predefined uncertainty threshold 39. Thus, the one or more processing devices 12 are configured to select one or more of the local regions 24 as identified local regions 28 for which the atomic position vectors 27 have large differences from the training distribution 48, thereby indicating that the atomic positions 25 computed for those identified local regions 28 are likely to be inaccurate due to distributional shift.

[0035] As depicted in FIG. 1B, for each of the identified local regions 28, the one or more processing devices 12 are further configured to compute a substructure 50 of the chemical system 20 that surrounds the identified local region 28. FIG. 2  schematically shows an example chemical system 20 in which a substructure 50 is indicated. As shown in the example of FIG. 2, the substructure 50 surrounds an identified local region 28 that is centered on an atom 22. The substructure 50 is defined by a substructure boundary 51 and encloses a portion of the chemical system 20 that includes additional atoms 22 compared to the identified local region 40.

[0036] In the example of FIG. 1B, the substructure boundary 51 is iteratively computed in a first minimization loop 60 that includes a plurality of first uncertainty minimizing iterations 62. This first minimization loop 60 is executed for each of the identified local regions 28 to compute the corresponding substructure 50. Each first uncertainty minimizing iteration 62 includes recomputing the substructure boundary 51. Each of the first uncertainty minimizing iterations 62 includes computing a substructure uncertainty value 56. The one or more processing devices 12 may be configured to compute each of the substructure uncertainty values 56 at least in part by computing a mean of the local uncertainty values 38 of the local regions 24 included in the substructure 50. Over the plurality of first uncertainty minimizing iterations 62, the one or more processing devices 12 are configured to compute the substructure boundary 51 that approximately minimizes the substructure uncertainty value 56. For example, the one or more processing devices 12 may be configured to perform gradient descent to approximately minimize the substructure uncertainty value 56. Approximate minimization of the substructure uncertainty value 56 may, for example, be reached when the one or more processing devices 12 identify an uncertainty valley within which, for a predetermined number of first uncertainty minimizing iterations 62, the gradient descent process remains stable up to a predetermined value of the change in the uncertainty.

[0037] The approximate minimization of the substructure uncertainty value 56 during the first minimization loop 60 is shown in additional detail in FIGS. 3A-3B. In the example of FIG. 3A, the substructure 50 is a hexahedral unit cell included in the chemical system 20. Computing the substructure 50 according to the example of FIGS. 3A-3B includes computing a minimum-size hexahedral unit cell 90 that encloses the corresponding identified local region 40. In addition, computing the hexahedral unit cell further includes computing respective extension distances 92 of sides of the hexahedral cell beyond the minimum-size hexahedral unit cell 90. The extension distances 92 may, for example, be indicated in a lattice vector 93 that specifies the extension distances 92 in three different directions. Angles 95 between those directions may also be included in the lattice vector 93 in some examples. The one or more processing devices 12 may be configured to perform a stochastic search over the extension distances 92 to thereby identify the extension distances 92 that approximately minimize the substructure uncertainty value 56. One or more of the extension distances 92 is stochastically selected in each of the first uncertainty minimizing iterations 62.

[0038] The one or more processing devices 12 are further configured to execute a second minimization loop 64, as shown in the example of FIG. 1C. Over a plurality of second uncertainty minimizing iterations 66 included in the second minimization loop 64, the one or more processing devices 12 are further configured to select respective atomic positions 25 of each of the atoms 22 located within the substructure 50 that approximately minimize the substructure uncertainty value 56. During the plurality of second uncertainty minimizing iterations 66, the atomic positions 25 of the atoms 22 included in the identified local region 28 associated with the substructure 50 are held constant. Thus, the one or more processing devices 12 are configured to vary the atomic positions 25 of the atoms located outside the identified local region 28 but  within the substructure 50. The one or more processing devices 12 may, for example, be configured to perform gradient descent to approximately minimize the substructure uncertainty value 56.

[0039] Varying the atomic positions 25 within the substructure 50 allows the one or more processing devices 12 to adjust potentially unphysical configurations within the substructure 50, such as dangling bonds, to match the training distribution 40 more closely. By selecting the substructure boundary 51 and atomic positions 25 within the substructure 50 that approximately minimize the substructure uncertainty value 56, the one or more processing devices 12 are configured to match the substructure 50 more closely to the training distribution 40.

[0040] The one or more processing devices 12 are further configured to execute a quantum chemical simulation module 70. At the quantum chemical simulation module 70, the one or more processing devices 12 are configured to implement a quantum chemical algorithm such as a Density Functional Theory (DFT) , Hartree-Fock (HF) , Coupled Cluster (CCSD or CCSDT) , Multi-Configuration Self-Consistent Field (MCSCF) , Configuration Interaction (CI) , Complete Active Space Self-Consistent Field (CASSCF) , Multi-Reference Configuration Interaction (MRCI) ,  Perturbation Theory (MP2, MP3, or MP4) , Quantum Monte Carlo (QMC) , or Time-Dependent Density Functional Theory (TD-DFT) algorithm. Other quantum chemical algorithms may alternatively be used in some examples. At the quantum chemical simulation module 70, the one or more processing devices 12 are further configured to compute a substructure label set 72 including a plurality of substructure labels 73. These substructure labels 73 are computed based at least in part on the atomic positions 25 within the substructure 50 that approximately minimizes the substructure uncertainty value 56. The substructure labels 73 may include one or more energy values 73A, force  values 73B, and / or stress values 73C associated with points within the substructure 50. The substructure labels 73 computed at the quantum chemical simulation module 70 model the propagation of the state of the substructure 50 forward in time by a simulation timestep. Since the substructures 50 are typically small portions of the entire chemical system 20, the one or more processing devices 12 are configured to avoid incurring the high computational costs, scaling as  of performing DFT simulations of the entire chemical system 20.

[0041] The one or more processing devices 12 are further configured to further train the MLFF model 30 using the substructure labels 73. In the example of FIG. 1C, the MLFF model 30 is further trained via supervised learning, with the values indicated in the substructure labels 73 acting as ground truth labels. In some examples, the substructure labels 73 computed at a most recent simulation timestep are batched with substructure labels 73 computed at one or more previous simulation timesteps in each minibatch of substructure labels 73 with which the MLFF model 30 is updated. This mixing may increase the stability of the training by decreasing the likelihood of catastrophic forgetting.

[0042] As shown in the example of FIG. 1A-1C, the one or more processing devices 12 are configured to compute the local label sets 32, compute the local uncertainty values 38, identify the plurality of local regions 28, compute the substructures 50, select the atomic positions 25 within the substructures 50, compute the substructure labels 73, and further train the MLFF model 30 in each of a plurality of loop iterations 35 of a training loop 34. The loop iterations 35 may correspond to respective simulation timesteps, as discussed above. In the example of FIGS. 1A-1C, the MLFF model 30 is trained via active learning, such that training and inferencing are performed in a combined loop rather than in separate phases. Over the course of the  plurality of loop iterations 35, the number of local regions 24 that exhibit out-of-distribution behavior, as indicated by the local uncertainty values 38, typically trends downward as the MLFF model 30 learns to accurately model a wider range of configurations of atoms 22 within local regions 24. The MLFF model 30 accordingly converges on accurate modeling of the behavior of the chemical system 20 as a whole.

[0043] At the further trained MLFF model 30, the one or more processing devices 12 are further configured to compute a PES 80 of the chemical system 20, as shown in FIG. 1C. The PES 80 includes the respective MLFF labels 33 associated with a plurality of the local regions 24, as computed by the further trained MLFF model 30. In some examples, the PES 80 includes the MLFF labels 33 computed in a final loop iteration 35 of the training loop 34. In addition, the PES 80 includes the plurality of substructure labels 73 computed for the identified local regions 28. Thus, the MLFF labels 33 and substructure labels 73 included in the PES 80 are configured to cover the entire chemical system 20. The one or more processing devices 12 are further configured to output the PES 80. The one or more processing devices 12 may also be configured to output the plurality of atomic positions 25 computed during the training loop 34.

[0044] The structure of the training loop 34 allows for parallelization of many computing processes performed at the computing system 10 when training the MLFF model 30 and computing the PES 80. FIG. 4 schematically shows the computing system 10, including a plurality of CPUs 13 and a plurality of GPUs 14. The CPUs 13 and GPUs 14 may, for example, be located at different compute nodes in a data center. The following discussion of parallelization focuses on a first CPU 13A and a second CPU 13B, although more than two CPUs 13 may be used to parallelize CPU-side computations in some examples.

[0045] In the example of FIG. 4, the MLFF model 30 is executed at the plurality of GPUs 14 to compute the local label sets 32 associated with the plurality of local regions 24. FIG. 4 shows the computation of a first local label set 32A and a second local label set 32B, which are computed in parallel. The local label sets 32A and 32B are respectively associated with a first local region 24A and a second local region 24B. In addition, the plurality of GPUs 14 are further configured to propagate the local label sets 32A and 32B forward in time to compute first atomic positions 25A and second atomic positions 25B within the corresponding local regions 24A and 24B. Although not shown in FIG. 4, the first atomic positions 25A and the second atomic positions 25B may be encoded in respective atomic position vectors 27 computed at the GPUs 14.

[0046] A first CPU 13A and a second CPU 13B are shown in the example of FIG. 4. The first CPU 13A and the second CPU 13B are respectively configured to receive the indications of the first atomic positions 25A and the second atomic positions 25B. The CPUs 13A and 13B are configured to compute a first local uncertainty value 38A associated with the first atomic positions 25A and a second local uncertainty value 38B associated with the second atomic positions 25B. Based at least in part on these local uncertainty values 38A and 38B, the CPUs 13A and 13B are further configured to select the first local region 24A and the second local region 24B as a first identified local region 28A and a second identified local region 28B.

[0047] The CPUs 13A and 13B are further configured to compute a first substructure 50A associated with the first identified local region 28A and a second substructure 50B associated with the second identified local region 28B. Respective instances of the first minimization loop 60 and the second minimization loop 64 may  be performed at the first CPU 13A and the second CPU 13B when the substructures 50A and 50B are computed.

[0048] The quantum chemical simulation module 70 is also parallelized over the plurality of CPUs 13 in the example of FIG. 4. The first CPU 13A is configured to compute a first substructure label set 72A based at least in part on the first substructure 50A, and the second CPU 13B is configured to compute a second substructure label set 72B based at least in part on the second substructure 50B. The CPUs 13A and 13B are further configured to transmit the first substructure label set 72A and the second substructure label set 72B to the plurality of GPUs 14 to be used when training the MLFF model 30.

[0049] By computing a plurality of quantum chemical simulations at respective substructures 50, as discussed above, the computing system 10 is configured to utilize a higher degree of parallelization than is achievable using previous molecular dynamics simulation techniques. In addition, by computing respective substructure labels 73 of a plurality of substructures 50 instead of computing a PES of the entire chemical system 20 via DFT simulation, the amount of time spent on quantum chemical simulation may be reduced.

[0050] FIG. 5 schematically shows the computing system 10 during a pretraining phase 150 in which the MLFF model 30 is pretrained prior to execution of the training loop 34 shown in FIGS. 1A-1C. In the example of FIG. 5, this pretraining is performed prior to computing the plurality of local regions 24. As inputs to the pretraining phase 150, the one or more processing devices 12 are configured to receive respective specifications of one or more training chemical systems 120. Each of these specifications indicates a plurality of atoms 22 included in a training chemical system 120. The one or more processing devices 12 are further configured to compute  respective the training atomic positions 42 of the atoms 22 within the training local regions 44 of the one or more training chemical systems 120.

[0051] At the quantum chemical simulation module 70, the one or more processing devices 12 are further configured to compute a plurality of training label sets 122. Each of the training label sets 122 includes a plurality of training labels 130, which may include energy values 130A, force values 130B, and / or stress values 130C associated with respective points within the corresponding training chemical system 120. The training label sets 122 may be computed for the entire training chemical system 120. The one or more processing devices 12 are further configured to train the MLFF model 30 using the plurality of the training label sets 122. Accordingly, the MLFF model 30 is initialized in the pretraining phase 150 prior to performing active learning.

[0052] The one or more processing devices 12 are further configured to compute the training position vectors 48 for the training local regions 44 based at least in part on the training labels 130 included in the training label sets 122. As discussed above, the training position vectors 48 may be used to compute the Mahalanobis distances 36 that are used in uncertainty value computation.

[0053] In some examples, one or more of the training chemical systems 120 may be the same as the chemical system 20 shown in FIGS. 1A-1B. In such examples, the one or more processing devices 12 may be configured to obtain respective training label sets 122 by performing quantum chemical simulation of the entire chemical system 20. In other examples, such as examples in which the chemical system 20 is too large for quantum chemical simulation of the entire chemical system 20 to be practical, one or more of the training chemical systems 120 may be a smaller version of the chemical system 20. The smaller version of the chemical system 20 may include the  same types of atoms or molecules as the chemical system 20, but fewer in number. Accordingly, the one or more processing devices 12 may be configured to perform quantum chemical simulations that are less computationally expensive than simulations of the entire chemical system 20 but that produce a similar training distribution 40.

[0054] In some examples, subsequently to further training the MLFF model 30 with the substructure labels 73, the one or more processing devices 12 are configured to add the corresponding atomic positions 25 of the atoms 22 located within the substructure 50 to the training distribution 40. Thus, when computing the Mahalanobis distances 36, the one or more processing devices 12 are configured to account for the expansion of the training distribution 40 to cover structures that were out of distribution during the pretraining phase 150. Adding the atomic positions 25 within the substructures 50 to the training distribution 40 allows the one or more processing devices 12 to more accurately determine which of the local regions 24 and which of the substructures 50 have high uncertainty during later loop iterations 35 of the training loop 34.

[0055] FIG. 6A shows a flowchart of a method 200 for use with a computing system to compute a molecular dynamics simulation of a chemical system that includes a plurality of atoms. A plurality of the atoms may be included in one or more molecules. At step 202, the method includes computing a respective plurality of local label sets at an MLFF model. The local label sets are computed for respective local regions surrounding the plurality of atoms. In some examples, the local regions are spherical. The local label sets may each indicate respective energy values, force values, and / or stress values for each of a plurality of points within the corresponding local region. Each of the local label sets indicates a propagation of the state of the corresponding local region forward in time by a simulation timestep.

[0056] At step 204, the method 200 further includes computing respective local uncertainty values associated with the local regions. These uncertainty values each indicate the extent to which the atomic positions of the atoms included in the corresponding local region deviate from a training distribution of the MLFF model. At step 206, the method 200 further includes identifying a plurality of the local regions based at least in part on the respective local uncertainty values associated with the local regions. In some examples, step 206 includes identifying a plurality of the local regions that have respective local uncertainty values above a predefined uncertainty threshold. The identified local regions are accordingly identified as regions that are likely to have high error in the values of their atomic positions.

[0057] At step 208, for each of the identified local regions, the method 200 further includes computing a substructure of the chemical system that surrounds that identified local region. Step 208 includes step 210, at which the method further includes computing a substructure boundary that approximately minimizes a substructure uncertainty value relative to a training distribution of the MLFF model. The substructure boundary may be computed over a plurality of first uncertainty minimizing iterations. During these first uncertainty minimizing iterations, the substructure boundary may be computed at least in part by performing gradient descent.

[0058] At step 212, the method 200 further includes selecting respective atomic positions of each of the atoms located within the substructure that approximately minimize the substructure uncertainty value. The atomic positions may be selected over a plurality of second uncertainty minimizing iterations. As when computing the substructure boundary, the atomic positions within the substructure may also be computed via gradient descent. Thus, the computing system may correct for potentially unphysical configurations within the substructure. During the plurality of second  uncertainty minimizing iterations, the atomic positions of the atoms included in the identified local region associated with the substructure are held constant.

[0059] At step 214, based at least in part on the substructure with the selected atomic positions, the method 200 further includes computing a plurality of substructure labels via quantum chemical simulation. A quantum chemical simulation algorithm such as a DFT, HF, CCSD, CCSDT, MCSCF, CI, CASSCF, MRCI, MP2, MP3, MP4, QMC, or TD-DFT algorithm may be used to compute the substructure labels. The substructure labels indicate a plurality of energy values, force values, and / or stress values associated with points within the substructure. Performing quantum chemical simulation for substructures rather than for the entire chemical system reduces the duration of the quantum chemical simulation step. The quantum chemical simulation data is generated for the regions of the chemical structure at which the outputs of the MLFF model are most likely to be inaccurate, as indicated by the local region uncertainty values. In some examples, when the substructure labels are computed, respective substructure labels of a plurality of different substructures are computed in parallel by performing quantum chemical simulation at multiple different processing devices.

[0060] At step 216, the method 200 further includes further training the MLFF model using the substructure labels. The energy, force, and / or stress values indicated in the substructure labels are used to perform supervised learning at the MLFF model. In some examples, the local label sets are computed, the local uncertainty values are computed, the plurality of local regions are identified, the substructures are computed, the atomic positions within the substructures are selected, the substructure labels are computed, and the MLFF model is further trained in each of a plurality of loop iterations of a training loop. Each of the loop iterations may correspond to a simulation timestep.  Thus, the MLFF model is iteratively updated as further quantum chemical simulation results are obtained for the substructures. In some examples, the substructure labels computed in a plurality of different simulation timesteps are batched together during training in order to avoid catastrophic forgetting.

[0061] At step 218, the method 200 further includes outputting a potential energy surface (PES) specified by the MLFF labels and the substructure labels. Thus, the computing system generates and outputs molecular dynamics simulation data of the entire chemical system. In some examples, the MLFF model is trained via active learning in which training and inferencing are performed in a combined phase instead of in separate phases. In some such examples, the PES may be output at each of a plurality of loop iterations of the training loop to thereby provide a time series of labels associated with points in the chemical system. Alternatively, subsequently to training of the MLFF model, the molecular dynamics simulation data may be generated using the PES computed in a final loop iteration.

[0062] FIG. 6B shows additional steps of the method 200 that are performed in some examples. At step 220, the method 200 may further include computing the substructure as a hexahedral unit cell included in the chemical system. Step 220 may include, at step 222, computing a minimum-size hexahedral unit cell that encloses the corresponding identified local region. In addition, at step 224, step 220 may further include performing a stochastic search over respective extension distances of sides of the hexahedral cell beyond the minimum-size hexahedral unit cell. This stochastic search is performed to identify the extension distances that approximately minimize the substructure uncertainty value. A substructure is accordingly computed around the identified local region such that the atomic positions of the atoms included in the  substructure approximately match the training atomic positions included in the training distribution.

[0063] FIG. 6C shows additional steps of the method that are performed in some examples during a pretraining phase. At step 226, the method 200 may further include pretraining the MLFF model prior to computing the plurality of local regions. Step 226 may include, at step 228, computing a plurality of training label sets associated with one or more training chemical systems. The training label sets are computed via quantum chemical simulation, and each include a respective plurality of training labels. For example, the training labels may be energy values, force values, or stress values associated with points within the one or more training chemical systems. The one or more training chemical systems may, in some examples, include the chemical system on which the MLFF model is subsequently trained. The one or more training chemical systems may additionally or alternatively include a smaller version of the chemical system. At step 230, step 224 further includes training the MLFF model using the plurality of training label sets. Accordingly, the MLFF model is pretrained prior to execution of the training loop.

[0064] FIG. 6D shows additional steps of the method 200 that are performed in some examples in which the steps of FIG. 6C are performed. Steps 232 and 234 are performed in such examples when computing the local uncertainty values and the substructure uncertainty values. At step 232, computing each of the local uncertainty values may include computing a respective Mahalanobis distance between the atomic positions of the atoms included in that local region and a training distribution including a plurality of training atomic positions. The training atomic positions are computed for the one or more training chemical systems discussed above. At step 234, computing  each of the substructure uncertainty values may further include computing a mean of the local uncertainty values of the local regions included in the substructure.

[0065] Step 236 may also be performed in examples in which the steps of FIG. 6C are performed. At step 236, the method 200 may further include adding the atomic positions of the atoms located within the substructure to the training distribution. Thus, as the substructure labels are used to perform further training at the MLFF model, the atomic positions within those substructures are incorporated into the training distribution such that the computation of the Mahalanobis distances accounts for the further training. The local uncertainty values may accordingly be computed more accurately in subsequent loop iterations of the training loop.

[0066] Experimental results obtained using the IDEAL method discussed above are now provided. In a first experiment, the melting of bulk-phase lithium was simulated. The bulk-phase lithium was simulated as a nanocrystal including 512 lithium atoms (indicated as Li512) . The Li512 nanocrystal was initially set to a temperature of 200K. After a duration of 50 picoseconds, a controlled temperature increase to 800K was performed on the simulated Li512 nanocrystal. Since the melting point of lithium is 453.69K, this temperature increase raised the Li512 nanocrystal to above its melting point. The temperature of 800K was maintained until the Li512 nanocrystal had undergone complete liquefaction.

[0067] In the Li512 nanocrystal melting simulation experiment, the MLFF model was pretrained on a DFT training corpus computed with AIMD data of an Li30 nanocrystal melting. However, during melting of the Li512 nanocrystal, rare events outside the scope of the Li30 AIMD data sometimes occurred. Thus, some of the local atomic structures in the Li512 nanocrystal exhibited high uncertainty values.

[0068] FIG. 7A shows a radial density function (RDF) plot 300 computed for the simulated Li512 nanocrystal. The radial density function plot 300 shows the RDF of the lithium as a function of radius in angstroms The RDF is shown when the lithium is in the solid phase at the beginning of the simulated time window, as well as when the lithium is in the liquid phase at the end of the time window.

[0069] FIG. 7B shows a DFT call and mean square displacement (MSD) plot 310 for a 100-ps simulation of the Li512 nanocrystal melting. The DFT call plot 310 shows both the cumulative number of DFT calls during the 100-ps simulation, as well as the MSD in In the simulation for which the DFT call and MSD plot 310 was generated, the temperature of the Li512 nanocrystal was increased from 300K to 800K after 50 ps. As seen from the MSD of the Li512, the nanocrystal undergoes a transition from a solid state to a liquid state. In addition, the cumulative number of DFT calls plateaus around 1000, thereby indicating that the training of the MLFF model has converged.

[0070] In order to assess the accuracy of the MLFF model trained during the bulk-phase lithium melting experiment, 600 structures within the Li512 nanocrystal were randomly selected from the trajectory of molecular dynamics simulation data computed as outputs of the IDEAL method. DFT simulations of these structures were computed to thereby generate an evaluation benchmark. Using this test set, the accuracy of the MLFF model trained with the IDEAL method was compared to the accuracy of the initial pretrained MLFF model that did not receive further on-the-fly training. The following table shows the mean absolute error of energy (MAE_E) and the mean absolute error of forces (MAE_F) for these two models:

[0071] As shown in the above table, the MLFF model trained with the IDEAL method achieves higher accuracy in both energy and force computations.

[0072] In another experiment, the IDEAL method was used to simulate the melting of bulk-phase alumina (Al2O3) . An Al324O486 nanocrystal was simulated for 100 ps, the first 50 ps of which were at a temperature of 300K and the last 50 ps of which were at a temperature of 9000K. FIG. 8A shows a DFT call and MSD plot 320 of the Al324O486 nanocrystal during this simulation. As shown in the example of FIG. 8A, the Al324O486 nanocrystal undergoes a transition from solid to liquid. The training of the MLFF model also converges, such that fewer DFT calls are performed at later timesteps of the simulation.

[0073] FIGS. 8B-8D show RDF plots 330, 340, and 350 computed for the Al324O486 nanocrystal. The RDF plot 330 of FIG. 8B shows the RDFs between pairs of Al atoms as a function of radius in These RDFs are shown for both the solid state and the molten state. The RDF plot 340 of FIG. 8C shows the RDFs between Al atoms and O atoms as a function of radius for both the solid state and the molten state. The RDF plot 350 of FIG. 8D shows the RDFs between pairs of O atoms as a function of radius for both the solid state and the molten state. The RDF plots 330, 340, and 350 show that the Al324O486 nanocrystal undergoes complete melting over the 100 ps time window.

[0074] 600 structures within the Al324O486 nanocrystal were randomly chosen from the molecular dynamics trajectory. DFT simulations of those structures were performed to thereby generate a test data set that was used to test the accuracy of the initial pretrained MLFF model and the MLFF model trained with the IDEAL method.  The accuracy tests compared the MAE_E and the MAE_F of the initial MLFF model and the IDEAL MLFF model. Results of these accuracy tests are shown in the following table:

[0075] The above table shows that the accuracy of the IDEAL MLFF model is higher than that of the initial MLFF model in both the energy and force computations.

[0076] An experiment was also performed in which the IDEAL approach to substructure computation was compared to two simpler methods of simulating substructures of the Al324O486 nanocrystal. In the first of these simpler approaches, substructures ρi were constructed by simulating local structures as being surrounded by vacuum. In the second of these approaches, substructures si were cut out of the nanocrystal and simulated as being surrounded by vacuum. The substructures simulated with the IDEAL method are denoted as MLFF models trained using the substructures ρi, the substructures si, and the substructures were compared using the test set of 600 structures within the Al1620O2430 nanocrystal discussed above. The following table shows the MAE_E and the MAE_F for each of the three approaches:

[0077] As shown in the above table, the MLFF model trained using the IDEAL method has higher accuracy in both energy and force prediction than the MLFF models trained with the substructures ρi and si.

[0078] As discussed above, the IDEAL method provides speedups over previous methods of molecular dynamics simulation. These speedups are quantified below. The time cost of a DFT computation is given by tCPU=cN3, where c is a constant prefactor and N is the number of atoms within the simulated structure. Due to the cubic scaling of the above equation, DFT computations have significantly lower time costs for small substructures than for the entire complex structure. For a K-step MD simulation of a complex structure that includes N atoms, a DFT computation for an ith frame of the complex structure is given by In a direct AIMD simulation, DFT computation is performed at each timestep. Thus, the total DFT time cost of the AIMD simulation is given by:

[0079] In previous active learning approaches, DFT simulation is performed for the entire complex structure when configurations with high uncertainty are detected. If the active learning computation has K′ frames with high uncertainty, the total DFT time cost is given by:

[0080] As discussed above, the IDEAL method includes DFT computations on selected substructures that are significantly smaller than the entire chemical system. For an IDEAL molecular dynamics simulation with an average substructure size of m atoms, the total DFT time cost of the IDEAL method is given by:

[0081] where and where L (i) is the number of substructures generated using in-distribution substructures within each high-uncertainty complete structure. A high-uncertainty complete structure is a complete structure that includes at least one local region with an uncertainty value above the predefined uncertainty threshold. Consequently, the acceleration ratios achieved by IDEAL compared to AIMD and traditional active learning, denoted as RIDEAL-AIMD and RIDEAL-AL respectively, are given by:

[0082] The following table shows the acceleration ratios achieved by the IDEAL algorithm in the Li512 and Al324O486 melting experiments. In these experiments, |K′| represents the size of the K′ set. In addition,  is the average value of L (i) for i∈K′.

[0083] The above table shows large speedups over the prior approaches in both the Li512 experiment and the Al324O486 experiment. In the above experiments, the scaling of L (i) as a function of substructure size was approximately Therefore, in contrast to the  cubic scaling of DFT as system size increases, the IDEAL method exhibits near-constant time complexity.

[0084] In another set of experiments, the IDEAL method was used to simulate the Haber-Bosch reaction. The Haber-Bosch reaction is an industrial process used to convert nitrogen (N2) and hydrogen (H2) into ammonia (NH3) . Using conventional AIMD or active learning techniques, simulating the Haber-Bosch reaction on a large-scale catalyst interface would be too slow to be practical. The IDEAL method, however, allowed such an experiment to be performed for the first time. Simulating the Haber-Bosch process on a large-scale interface allows for comprehensive consideration of non-uniformity and local effects on the surface of the catalyst, as well as interactions between the atoms. The Haber-Bosch process simulation accordingly provides more accurate and realistic information about reaction mechanisms and catalytic performance.

[0085] In the simulation of the Haber-Bosch reaction, the catalyst was an iridium nanoparticle including 1415 atoms. The nanoparticle was situated in a gaseous atmosphere of H2 and N2 molecules. The MLFF model was pretrained with AIMD trajectories of the Haber-Bosch reaction on a simulated iridium plane including 36 atoms. Multiple parallel experiments were performed using different initial structures of the iridium nanoparticle, as well as different temperature and pressure conditions. The surfaces of the iridium nanoparticles, together with the gas molecules, included approximately 1600 to 2400 atoms undergoing simulation in each of these experiments. The dissociation of H2 and N2 and the formation of NH3 were simulated within 100 ps time windows in each experiment.

[0086] Values of the adsorption energies of N2, N, H2, H, NH2, and NH3 were computed using the MLFF model trained via the IDEAL method. In the following table, the adsorption energies output by the MLFF model are compared to the adsorption  energies computed at substructures using DFT. The adsorption energies are each computed using the following equation:

[0087] In the above equation, X is an N2, N, H2, H, NH, NH2, or NH3 structure;  is the average energy of the corresponding structure placed on the iridium catalytic surface;  is the average energy of the N2, N, H2, H, NH, NH2, or NH3 structure; and is the average energy of the iridium surface. The adsorption energy computed via DFT is indicated as Eabs in the following table, and the adsorption energy computed with the MLFF model is indicated as

[0088] In the Haber-Bosch reaction simulation experiments, the MLFF model trained with the substructure data was used to perform further offline simulations of the Haber-Bosch reaction. Under the conditions of N2 partial pressure of 292 atm, H2 partial pressure of 320 atm, and a temperature of 5400K, the complete Haber-Bosch reaction was simulated. This simulated Haber-Bosch reaction included adsorption and dissociation of H2 and N2 on the surface of the Ir1415 nanoparticle, as well as the formation and desorption of NH3.

[0089] In some embodiments, the methods and processes described herein may be tied to a computing system of one or more computing devices. In particular, such methods and processes may be implemented as a computer-application program or service, an application-programming interface (API) , a library, and / or other computer-program product.

[0090] FIG. 9 schematically shows a non-limiting embodiment of a computing system 400 that can enact one or more of the methods and processes described above. Computing system 400 is shown in simplified form. Computing system 400 may embody the computing system 10 described above and illustrated in FIGS. 1A-1C. Components of computing system 400 may be included in one or more personal computers, server computers, tablet computers, home-entertainment computers, network computing devices, video game devices, mobile computing devices, mobile communication devices (e.g., smartphone) , and / or other computing devices, and wearable computing devices such as smart wristwatches and head mounted augmented reality devices.

[0091] Computing system 400 includes a logic processor 402 volatile memory 404, and a non-volatile storage device 406. Computing system 400 may optionally include a display subsystem 408, input subsystem 410, communication subsystem 412, and / or other components not shown in FIG. 9.

[0092] Logic processor 402 includes one or more physical devices configured to execute instructions. For example, the logic processor may be configured to execute instructions that are part of one or more applications, programs, routines, libraries, objects, components, data structures, or other logical constructs. Such instructions may be implemented to perform a task, implement a data type, transform the state of one or more components, achieve a technical effect, or otherwise arrive at a desired result.

[0093] The logic processor may include one or more physical processors configured to execute software instructions. Additionally or alternatively, the logic processor may include one or more hardware logic circuits or firmware devices configured to execute hardware-implemented logic or firmware instructions. Processors of the logic processor 402 may be single-core or multi-core, and the instructions executed thereon may be configured for sequential, parallel, and / or distributed processing. Individual components of the logic processor optionally may be distributed among two or more separate devices, which may be remotely located and / or configured for coordinated processing. Aspects of the logic processor may be virtualized and executed by remotely accessible, networked computing devices configured in a cloud-computing configuration. In such a case, these virtualized aspects are run on different physical logic processors of various different machines, it will be understood.

[0094] Non-volatile storage device 406 includes one or more physical devices configured to hold instructions executable by the logic processors to implement the methods and processes described herein. When such methods and processes are implemented, the state of non-volatile storage device 406 may be transformed-e.g., to hold different data.

[0095] Non-volatile storage device 406 may include physical devices that are removable and / or built in. Non-volatile storage device 406 may include optical memory, semiconductor memory, and / or magnetic memory, or other mass storage device technology. Non-volatile storage device 406 may include nonvolatile, dynamic, static, read / write, read-only, sequential-access, location-addressable, file-addressable, and / or content-addressable devices. It will be appreciated that non-volatile storage device 406  is configured to hold instructions even when power is cut to the non-volatile storage device 406.

[0096] Volatile memory 404 may include physical devices that include random access memory. Volatile memory 404 is typically utilized by logic processor 402 to temporarily store information during processing of software instructions. It will be appreciated that volatile memory 404 typically does not continue to store instructions when power is cut to the volatile memory 404.

[0097] Aspects of logic processor 402, volatile memory 404, and non-volatile storage device 406 may be integrated together into one or more hardware-logic components. Such hardware-logic components may include field-programmable gate arrays (FPGAs) , program-and application-specific integrated circuits (PASIC  / ASICs) , program-and application-specific standard products (PSSP  / ASSPs) , system-on-a-chip (SOC) , and complex programmable logic devices (CPLDs) , for example.

[0098] The terms “module, ” “program, ” and “engine” may be used to describe an aspect of computing system 400 typically implemented in software by a processor to perform a particular function using portions of volatile memory, which function involves transformative processing that specially configures the processor to perform the function. Thus, a module, program, or engine may be instantiated via logic processor 402 executing instructions held by non-volatile storage device 406, using portions of volatile memory 404. It will be understood that different modules, programs, and / or engines may be instantiated from the same application, service, code block, object, library, routine, API, function, etc. Likewise, the same module, program, and / or engine may be instantiated by different applications, services, code blocks, objects, routines, APIs, functions, etc. The terms “module, ” “program, ” and “engine” may  encompass individual or groups of executable files, data files, libraries, drivers, scripts, database records, etc.

[0099] When included, display subsystem 408 may be used to present a visual representation of data held by non-volatile storage device 406. The visual representation may take the form of a graphical user interface (GUI) . As the herein described methods and processes change the data held by the non-volatile storage device, and thus transform the state of the non-volatile storage device, the state of display subsystem 408 may likewise be transformed to visually represent changes in the underlying data. Display subsystem 408 may include one or more display devices utilizing virtually any type of technology. Such display devices may be combined with logic processor 402, volatile memory 404, and / or non-volatile storage device 406 in a shared enclosure, or such display devices may be peripheral display devices.

[0100] When included, input subsystem 410 may comprise or interface with one or more user-input devices such as a keyboard, mouse, touch screen, camera, or microphone.

[0101] When included, communication subsystem 412 may be configured to communicatively couple various computing devices described herein with each other, and with other devices. Communication subsystem 412 may include wired and / or wireless communication devices compatible with one or more different communication protocols. As non-limiting examples, the communication subsystem may be configured for communication via a wired or wireless local-or wide-area network, broadband cellular network, etc. In some embodiments, the communication subsystem may allow computing system 400 to send and / or receive messages to and / or from other devices via a network such as the Internet.

[0102] The following paragraphs discuss several aspects of the present disclosure. According to one aspect of the present disclosure, a computing system is provided, including one or more processing devices configured to compute a molecular dynamics simulation of a chemical system that includes a plurality of atoms. Computing the molecular dynamics simulation includes, at a machine learning force fields (MLFF) model, computing a respective plurality of local label sets of respective local regions surrounding the plurality of atoms. Each of the local label sets includes a respective plurality of MLFF labels. Computing the molecular dynamics simulation further includes computing respective local uncertainty values associated with the local regions. Computing the molecular dynamics simulation further includes identifying a plurality of the local regions based at least in part on the respective local uncertainty values associated with the local regions. For each of the identified local regions, computing the molecular dynamics simulation further includes computing a substructure of the chemical system that surrounds the identified local region. The substructure is selected at least in part by computing a substructure boundary that approximately minimizes a substructure uncertainty value relative to a training distribution of the MLFF model. Computing the molecular dynamics simulation further includes selecting respective atomic positions of each of the atoms located within the substructure that approximately minimize the substructure uncertainty value. Computing the molecular dynamics simulation further includes, based at least in part on the substructure with the selected atomic positions, computing a plurality of substructure labels via quantum chemical simulation. Computing the molecular dynamics simulation further includes further training the MLFF model using the substructure labels. Computing the molecular dynamics simulation further includes outputting a potential energy surface (PES) specified by the MLFF labels and the substructure labels. The above features may have  the technical effect of computing the PES of the chemical system in a manner that has a lower computational complexity than previous approaches while also avoiding unphysical configurations of atoms.

[0103] According to this aspect, the substructure boundary may be computed over a plurality of first uncertainty minimizing iterations, and the atomic positions of each of the atoms located within the substructure may be computed over a plurality of second uncertainty minimizing iterations. During the plurality of second uncertainty minimizing iterations, the atomic positions of the atoms included in the identified local region associated with the substructure may be held constant. The above features may have the technical effect of matching, to the training distribution, the positions of the atoms located within the substructure but outside the local region, thereby resulting in more physically accurate modeling of the positions of those atoms.

[0104] According to this aspect, the one or more processing devices may be configured to compute the local label sets, compute the local uncertainty values, identify the plurality of local regions, compute the substructures, select the atomic positions within the substructures, compute the substructure labels, and further train the MLFF model in each of a plurality of loop iterations of a training loop. The above features may have the technical effect of iteratively training the MLFF model with additional configurations of the chemical system to thereby increase the accuracy of the MLFF model.

[0105] According to this aspect, the substructure may be a hexahedral unit cell included in the chemical system. The above features may have the technical effect of specifying the size and shape of the substructure when the substructure is computed.

[0106] According to this aspect, the one or more processing devices may be configured to compute the hexahedral unit cell at least in part by computing a minimum- size hexahedral unit cell that encloses the corresponding identified local region. Computing the hexahedral unit cell may further include performing a stochastic search over respective extension distances of sides of the hexahedral cell beyond the minimum-size hexahedral unit cell to thereby identify the extension distances that approximately minimize the substructure uncertainty value. The above features may have the technical effect of selecting the size and shape of the substructure in a manner that results in more physically accurate simulations of the atoms located within the substructure.

[0107] According to this aspect, the one or more processing devices may include a plurality of processing devices configured to compute respective substructure boundaries of a plurality of different substructures in parallel. The above features may have the technical effect of allowing the molecular dynamics simulation to be computed more quickly.

[0108] According to this aspect, the local regions may be spherical. The above feature may have the technical effect of simulating the local regions around the atoms up to a specified radius.

[0109] According to this aspect, the MLFF model may be a pretrained MLFF model that, prior to computing the plurality of local regions, is pretrained at least in part by via quantum chemical simulation, computing a plurality of training label sets associated with one or more training chemical systems. The training label sets may each include a respective plurality of training labels. Pretraining the MLFF model may further include training the MLFF model using the plurality of training label sets. The above features may have the technical effect of generating initial versions of the MLFF model and the training distribution that are iteratively made more accurate during the training loop.

[0110] According to this aspect, the one or more processing devices may be configured to compute the local uncertainty values at least in part by, for each of the local regions, computing a respective Mahalanobis distance between the atomic positions of the atoms included in that local region and the training distribution. The training distribution may include a plurality of training atomic positions computed for the one or more training chemical systems. The above features may have the technical effect of determining the levels of similarity between the local regions and the training distribution, thereby providing an estimate of how physically accurate the simulations of the local regions are.

[0111] According to this aspect, the one or more processing devices may be configured to compute each of the substructure uncertainty values at least in part by computing a mean of the local uncertainty values of the local regions included in the substructure. The above features may have the technical effect of efficiently computing an estimate of how physically accurate the simulation of the substructure is.

[0112] According to this aspect, subsequently to further training the MLFF model with the substructure labels, the one or more processing devices may be further configured to add the atomic positions of the atoms located within the substructure to the training distribution. The above features may have the technical effect of iteratively expanding the training distribution during training to thereby provide more accurate estimates of the physical accuracy of the outputs of the MLFF model.

[0113] According to this aspect, the atomic positions and the training atomic positions may be encoded as Smooth Overlap of Atomic Positions (SOAP) representations. The above feature may have the technical effect of encoding the atomic positions and training atomic positions in vector form.

[0114] According to this aspect, the identified local regions may be a plurality of the local regions that have respective local uncertainty values above a predefined uncertainty threshold. The above feature may have the technical effect of identifying the local regions that are likely to exhibit unphysical behavior.

[0115] According to another aspect of the present disclosure, a method is provided for use with a computing system to compute a molecular dynamics simulation of a chemical system that includes a plurality of atoms. The method includes, at a machine learning force fields (MLFF) model, computing a respective plurality of local label sets of respective local regions surrounding the plurality of atoms. Each of the local label sets includes a respective plurality of MLFF labels. The method further includes computing respective local uncertainty values associated with the local regions. The method further includes identifying a plurality of the local regions based at least in part on the respective local uncertainty values associated with the local regions. The method further includes, for each of the identified local regions, computing a substructure of the chemical system that surrounds the identified local region. The substructure is selected at least in part by computing a substructure boundary that approximately minimizes a substructure uncertainty value relative to a training distribution of the MLFF model. The method further includes selecting respective atomic positions of each of the atoms located within the substructure that approximately minimize the substructure uncertainty value. Based at least in part on the substructure with the selected atomic positions, the method further includes computing a plurality of substructure labels via quantum chemical simulation. The method further includes further training the MLFF model using the substructure labels. The method further includes outputting a potential energy surface (PES) specified by the MLFF labels and the substructure labels. The above features may have the technical effect of computing  the PES of the chemical system in a manner that has a lower computational complexity than previous approaches while also avoiding unphysical configurations of atoms.

[0116] According to this aspect, the substructure boundary may be computed over a plurality of first uncertainty minimizing iterations, and the atomic positions of each of the atoms located within the substructure may be computed over a plurality of second uncertainty minimizing iterations. During the plurality of second uncertainty minimizing iterations, the atomic positions of the atoms included in the identified local region associated with the substructure may be held constant. The above features may have the technical effect of matching, to the training distribution, the positions of the atoms located within the substructure but outside the local region, thereby resulting in more physically accurate modeling of the positions of those atoms.

[0117] According to this aspect, the substructure may be a hexahedral unit cell included in the chemical system. Computing the hexahedral unit cell may include computing a minimum-size hexahedral unit cell that encloses the corresponding identified local region. Computing the hexahedral unit cell may further include performing a stochastic search over respective extension distances of sides of the hexahedral cell beyond the minimum-size hexahedral unit cell to thereby identify the extension distances that approximately minimize the substructure uncertainty value. The above features may have the technical effect of selecting the size and shape of the substructure in a manner that results in more physically accurate simulations of the atoms located within the substructure.

[0118] According to this aspect, respective substructure boundaries of a plurality of different substructures may be computed in parallel. The above features may have the technical effect of allowing the molecular dynamics simulation to be computed more quickly.

[0119] According to this aspect, the MLFF model may be a pretrained MLFF model that, prior to computing the plurality of local regions, is pretrained at least in part by, via quantum chemical simulation, computing a plurality of training label sets associated with one or more training chemical systems. The training label sets may each include a respective plurality of training labels. Pretraining the MLFF model may further include training the MLFF model using the plurality of training label sets. The above features may have the technical effect of generating initial versions of the MLFF model and the training distribution that are iteratively made more accurate during the training loop.

[0120] According to this aspect, computing each of the local uncertainty values may include computing a respective Mahalanobis distance between the atomic positions of the atoms included in that local region and the training distribution. The training distribution may include a plurality of training atomic positions computed for the one or more training chemical systems. Computing each of the substructure uncertainty values may include computing a mean of the local uncertainty values of the local regions included in the substructure. The above features may have the technical effect of determining the levels of similarity between the local regions and the training distribution, thereby providing an estimate of how physically accurate the simulations of the local regions are. The above features may have the additional technical effect of efficiently computing an estimate of how physically accurate the simulation of the substructure is.

[0121] According to another aspect of the present disclosure, a computing system is provided, including one or more processing devices configured to compute a molecular dynamics simulation of a chemical system that includes a plurality of atoms. Computing the molecular dynamics simulation includes, in each of a plurality of loop  iterations of a training loop, at a machine learning force fields (MLFF) model, computing a respective plurality of local label sets of respective local regions surrounding the plurality of atoms. Each of the local label sets includes a respective plurality of MLFF labels. Computing the molecular dynamics simulation further includes computing respective local uncertainty values associated with the local regions. Computing the molecular dynamics simulation further includes identifying a plurality of the local regions based at least in part on the respective local uncertainty values associated with the local regions. For each of the identified local regions, computing the molecular dynamics simulation further includes computing a substructure of the chemical system that surrounds the identified local region. The substructure is selected at least in part by computing a substructure boundary that approximately minimizes a substructure uncertainty value relative to a training distribution of the MLFF model. The substructure uncertainty value is computed as a mean of the local uncertainty values of the local regions included in the substructure. Computing the molecular dynamics simulation further includes selecting respective atomic positions of each of the atoms located within the substructure that approximately minimize the substructure uncertainty value. Computing the molecular dynamics simulation further includes, based at least in part on the substructure with the selected atomic positions, computing a plurality of substructure labels via quantum chemical simulation. Computing the molecular dynamics simulation further includes further training the MLFF model using the substructure labels. Computing the molecular dynamics simulation further includes adding the atomic positions of the atoms located within the substructure to the training distribution. Computing the molecular dynamics simulation further includes outputting a potential energy surface (PES) specified by the MLFF labels and the substructure labels. The above features may have the technical effect of computing the PES of the  chemical system in a manner that has a lower computational complexity than previous approaches while also avoiding unphysical configurations of atoms.

[0122] “And / or” as used herein is defined as the inclusive or ∨, as specified by the following truth table:

[0123] It will be understood that the configurations and / or approaches described herein are exemplary in nature, and that these specific embodiments or examples are not to be considered in a limiting sense, because numerous variations are possible. The specific routines or methods described herein may represent one or more of any number of processing strategies. As such, various acts illustrated and / or described may be performed in the sequence illustrated and / or described, in other sequences, in parallel, or omitted. Likewise, the order of the above-described processes may be changed.

[0124] The subject matter of the present disclosure includes all novel and non-obvious combinations and sub-combinations of the various processes, systems and configurations, and other features, functions, acts, and / or properties disclosed herein, as well as any and all equivalents thereof.

Claims

A computing system comprising:one or more processing devices configured to compute a molecular dynamics simulation of a chemical system that includes a plurality of atoms, wherein computing the molecular dynamics simulation includes:at a machine learning force fields (MLFF) model, computing a respective plurality of local label sets of respective local regions surrounding the plurality of atoms, wherein each of the local label sets includes a respective plurality of MLFF labels;computing respective local uncertainty values associated with the local regions;identifying a plurality of the local regions based at least in part on the respective local uncertainty values associated with the local regions;for each of the identified local regions, computing a substructure of the chemical system that surrounds the identified local region, wherein the substructure is selected at least in part by computing a substructure boundary that approximately minimizes a substructure uncertainty value relative to a training distribution of the MLFF model;selecting respective atomic positions of each of the atoms located within the substructure that approximately minimize the substructure uncertainty value;based at least in part on the substructure with the selected atomic positions, computing a plurality of substructure labels via quantum chemical simulation;further training the MLFF model using the substructure labels; andoutputting a potential energy surface (PES) specified by the MLFF labels and the substructure labels.The computing system of claim 1, wherein:the substructure boundary is computed over a plurality of first uncertainty minimizing iterations;the atomic positions of each of the atoms located within the substructure are computed over a plurality of second uncertainty minimizing iterations; andduring the plurality of second uncertainty minimizing iterations, the atomic positions of the atoms included in the identified local region associated with the substructure are held constant.The computing system of claim 1, wherein the one or more processing devices are configured to compute the local label sets, compute the local uncertainty values, identify the plurality of local regions, compute the substructures, select the atomic positions within the substructures, compute the substructure labels, and further train the MLFF model in each of a plurality of loop iterations of a training loop.The computing system of claim 1, wherein the substructure is a hexahedral unit cell included in the chemical system.The computing system of claim 4, wherein the one or more processing devices are configured to compute the hexahedral unit cell at least in part by:computing a minimum-size hexahedral unit cell that encloses the corresponding identified local region; andperforming a stochastic search over respective extension distances of sides of the hexahedral cell beyond the minimum-size hexahedral unit cell to thereby identify the extension distances that approximately minimize the substructure uncertainty value.The computing system of claim 1, wherein the one or more processing devices include a plurality of processing devices configured to compute respective substructure boundaries of a plurality of different substructures in parallel.The computing system of claim 1, wherein the local regions are spherical.The computing system of claim 1, wherein the MLFF model is a pretrained MLFF model that, prior to computing the plurality of local regions, is pretrained at least in part by:via quantum chemical simulation, computing a plurality of training label sets associated with one or more training chemical systems, wherein the training label sets each include a respective plurality of training labels; andtraining the MLFF model using the plurality of training label sets.The computing system of claim 8, wherein the one or more processing devices are configured to compute the local uncertainty values at least in part by, for each of the local regions, computing a respective Mahalanobis distance between:the atomic positions of the atoms included in that local region; andthe training distribution, wherein the training distribution includes a plurality of training atomic positions computed for the one or more training chemical systems.The computing system of claim 9, wherein the one or more processing devices are configured to compute each of the substructure uncertainty values at least in part by computing a mean of the local uncertainty values of the local regions included in the substructure.The computing system of claim 9, wherein, subsequently to further training the MLFF model with the substructure labels, the one or more processing devices are further configured to add the atomic positions of the atoms located within the substructure to the training distribution.The computing system of claim 8, wherein the atomic positions and the training atomic positions are encoded as Smooth Overlap of Atomic Positions (SOAP) representations.The computing system of claim 1, wherein the identified local regions are a plurality of the local regions that have respective local uncertainty values above a predefined uncertainty threshold.A method for use with a computing system to compute a molecular dynamics simulation of a chemical system that includes a plurality of atoms, the method comprising:at a machine learning force fields (MLFF) model, computing a respective plurality of local label sets of respective local regions surrounding the plurality of atoms, wherein each of the local label sets includes a respective plurality of MLFF labels;computing respective local uncertainty values associated with the local regions;identifying a plurality of the local regions based at least in part on the respective local uncertainty values associated with the local regions;for each of the identified local regions, computing a substructure of the chemical system that surrounds the identified local region, wherein the substructure is selected at least in part by computing a substructure boundary that approximately minimizes a substructure uncertainty value relative to a training distribution of the MLFF model;selecting respective atomic positions of each of the atoms located within the substructure that approximately minimize the substructure uncertainty value;based at least in part on the substructure with the selected atomic positions, computing a plurality of substructure labels via quantum chemical simulation;further training the MLFF model using the substructure labels; andoutputting a potential energy surface (PES) specified by the MLFF labels and the substructure labels.The method of claim 14, wherein:the substructure boundary is computed over a plurality of first uncertainty minimizing iterations;the atomic positions of each of the atoms located within the substructure are computed over a plurality of second uncertainty minimizing iterations; andduring the plurality of second uncertainty minimizing iterations, the atomic positions of the atoms included in the identified local region associated with the substructure are held constant.The method of claim 14, wherein:the substructure is a hexahedral unit cell included in the chemical system; andcomputing the hexahedral unit cell includes:computing a minimum-size hexahedral unit cell that encloses the corresponding identified local region; andperforming a stochastic search over respective extension distances of sides of the hexahedral cell beyond the minimum-size hexahedral unit cell to thereby identify the extension distances that approximately minimize the substructure uncertainty value.The method of claim 14, wherein respective substructure boundaries of a plurality of different substructures are computed in parallel.The method of claim 14, wherein the MLFF model is a pretrained MLFF model that, prior to computing the plurality of local regions, is pretrained at least in part by:via quantum chemical simulation, computing a plurality of training label sets associated with one or more training chemical systems, wherein the training label sets each include a respective plurality of training labels; andtraining the MLFF model using the plurality of training label sets.The method of claim 18, wherein:computing each of the local uncertainty values includes computing a respective Mahalanobis distance between:the atomic positions of the atoms included in that local region; andthe training distribution, wherein the training distribution includes a plurality of training atomic positions computed for the one or more training chemical systems; andcomputing each of the substructure uncertainty values includes computing a mean of the local uncertainty values of the local regions included in the substructure.A computing system comprising:one or more processing devices configured to compute a molecular dynamics simulation of a chemical system that includes a plurality of atoms, wherein computing the molecular dynamics simulation includes, in each of a plurality of loop iterations of a training loop:at a machine learning force fields (MLFF) model, computing a respective plurality of local label sets of respective local regions surrounding the plurality of atoms, wherein each of the local label sets includes a respective plurality of MLFF labels;computing respective local uncertainty values associated with the local regions;identifying a plurality of the local regions based at least in part on the respective local uncertainty values associated with the local regions;for each of the identified local regions, computing a substructure of the chemical system that surrounds the identified local region, wherein the substructure is selected at least in part by computing a substructure boundary that approximately minimizes a substructure uncertainty value relative to a training distribution of the MLFF model,wherein the substructure uncertainty value is computed as a mean of the local uncertainty values of the local regions included in the substructure;selecting respective atomic positions of each of the atoms located within the substructure that approximately minimize the substructure uncertainty value;based at least in part on the substructure with the selected atomic positions, computing a plurality of substructure labels via quantum chemical simulation;further training the MLFF model using the substructure labels;adding the atomic positions of the atoms located within the substructure to the training distribution; andoutputting a potential energy surface (PES) specified by the MLFF labels and the substructure labels.

Images