Method and apparatus for generating training data for generative system, and electronic device

Abstract

The present disclosure relates to a method and apparatus for generating training data for a generative system, and an electronic device. A method for generating training data for a generative system of automation engineering includes: determining a desired requirement; generating an engineering artifact based on the desired requirement; running the engineering artifact to generate an execution result; tuning the engineering artifact based on the execution result; generating a simulation environment based on the desired requirement, and running the tuned engineering artifact in the simulation environment to obtain an actual performance; and recording a data pair of the corresponding actual performance and the tuned engineering artifact as first training data of the generative system.

Description

METHOD AND APPARATUS FOR GENERATING TRAINING DATA FOR GENERATIVE SYSTEM, AND ELECTRONIC DEVICETECHNICAL FIELD

[0001] The present disclosure generally relates to the technical field of artificial intelligence, and more specifically, relates to a method and apparatus for generating training data for a generative system, and an electronic device.BACKGROUND

[0002] A generative artificial intelligence system with a large language model (LLM) enables a user to do work in the field of automation engineering by chat, which thus can greatly simplify the engineering work. However, automation engineering cannot afford training of LLM, because of the lack of corpora with high quality. There are several reasons:

[0003] 1. Data privacy: There are only few sample engineering data available publicly.

[0004] 2. Data sparsity: Each physical automation system only generates one collection of engineering artifacts, and they cannot work totally the same on another different system.SUMMARY

[0005] A brief overview of the present disclosure is given below to provide a basic understanding of certain aspects of the present disclosure. It should be understood that this summary is not an exhaustive overview of the present disclosure. It is not intended to determine key or important parts of the present disclosure, nor is it intended to limit the scope of the present disclosure. The purpose is merely to present some concepts in a simplified form as a prelude to the more detailed description that is discussed later.

[0006] In view of this, the present disclosure provides a method for generating bulk corpora for a generative artificial intelligence system with a large language model in the field of automation engineering.

[0007] According to an aspect of the present disclosure, provided is a method for generating training data for a generative system of automation engineering, including:

[0008] determining a desired requirement;

[0009] generating an engineering artifact based on the desired requirement;

[0010] running the engineering artifact to generate an execution result;

[0011] tuning the engineering artifact based on the execution result;

[0012] generating a simulation environment based on the desired requirement, and running the tuned engineering artifact in the simulation environment to obtain an actual performance; and

[0013] recording a data pair of the corresponding actual performance and the tuned engineering artifact as first training data of the generative system.

[0014] In this way, the training data for the generative system of the automation engineering may be generated from the requirement.

[0015] Upon running the engineering artifact to generate an execution result, the method further includes: in a case that the execution result has an error, recording a data pair of a current engineering artifact and corresponding error description information as second training data of the generative system.

[0016] In this way, the training data for error learning may be generated.

[0017] Determining the desired requirement includes: determining the desired requirement by receiving a user input or by utilizing product lifecycle software based on an engineering requirement.

[0018] The desired requirement is described by a natural language or a formal language.

[0019] The engineering artifact is an automation code or a design drawing.

[0020] In this way, a scalable corpus for the generative system of the automation engineering can be simply and easily obtained.

[0021] According to another aspect of the present disclosure, provided is an apparatus for generating training data for a generative system of automation engineering, including:

[0022] a desired requirement determination unit, configured to determine a desired requirement;

[0023] an engineering artifact generation unit, configured to generate an engineering artifact based on the desired requirement;

[0024] a test unit, configured to run the engineering artifact to generate an execution result;

[0025] a tuning unit, configured to tune the engineering artifact based on the execution result;

[0026] a simulation unit, configured to, generate a simulation environment based on the desired requirement, and to run the tuned engineering artifact in the simulation environment to obtain an actual performance; and

[0027] a first training data generation unit, configured to record a data pair of the corresponding actual performance and the tuned engineering artifact as first training data of the generative system.

[0028] According to another aspect of the present disclosure, provided is a computing device, including: at least one processor; and a memory, coupled to the at least one processor, the  memory being configured to store instructions, the instructions, when executed by the at least one processor, causing the at least one processor to perform the method described above.

[0029] According to another aspect of the present disclosure, provided is a non-transitory machine-readable storage medium storing executable instructions, the instructions, when executed, causing the machine to perform the method described above.

[0030] According to another aspect of the present disclosure, provided is a computer program product tangibly stored on a computer-readable medium and including computer-executable instructions, the computer-executable instructions, when executed, causing at least processor to perform the method described above.

[0031] According to another aspect of the present disclosure, provided is a computer program product tangibly stored on a computer-readable medium and including computer-executable instructions, the computer-executable instructions, when executed, causing at least one processor to perform the method described above.

[0032] According to the embodiments of the present disclosure, provided is the method for generating training data for a generative system of automation engineering, so that the scalable corpus for the generative system of the automation engineering can be simply and easily obtained.

[0033] According to the method in the embodiments of the present disclosure, the problem of lack of models in different industrial fields is solved, and the generative AI system may be used for various industrial products.

[0034] By using the method for generating the training data according to the embodiments of the present disclosure, it is unnecessary to collect data from a physical / true resource for a long time to generate the corpus, so that the cost of generating the corpus is greatly reduced.BRIEF DESCRIPTION OF THE DRAWINGS

[0035] Referring to the descriptions of embodiments of the present disclosure in combination with the accompanying drawings, the foregoing and other objectives, features, and advantages of the present disclosure can be more easily understood. Components in the accompanying drawings are merely used for demonstrating the principle of the present disclosure. In the accompanying drawings, the same or similar technical features or components may be represented by using the same or similar reference numerals. In the accompanying drawings:

[0036] FIG. 1 is a flowchart of an exemplary process of a method 100 for generating training  data for a generative system of automation engineering according to an embodiment of the present disclosure.

[0037] FIG. 2 is a block diagram of an exemplary configuration of an apparatus 200 for generating training data for a generative system of automation engineering according to another embodiment of the present disclosure.

[0038] FIG. 3 is a block diagram of a computer device for generating training data for a generative system of automation engineering according to an embodiment of the present disclosure.

[0039] Reference numerals are as follows:

[0040] 100: Method for generating training data   S102, S104, S106, S108, S110, S112,

[0041] for a generative system of automation      S114: Steps

[0042] engineering

[0043] 200: Apparatus for generating training     202: Desired requirement determination

[0044] data for a generative system of automation unit

[0045] engineering

[0046] 204: Engineering artifact generation unit  208: Second training data generation unit

[0047] 206: Test unit                             210: Tuning unit

[0048] 212: Simulation unit                       214: First training data generation unit

[0049] 300: Computing device                      302: Processor

[0050] 304: MemoryDETAILED DESCRIPTION

[0051] A subject described in this specification is discussed now with reference to exemplary implementations. It should be understood that, discussion of the implementations is merely intended to make a person skilled in the art better understand and implement the subject described in this specification, and is not intended to limit the protection scope of the claims, the applicability, or examples. Changes may be made to the functions and arrangements of the discussed elements without departing from the protection scope of the present disclosure. Various processes or components may be omitted, replaced, or added in each example according to requirements. For example, the described method may be performed according to a sequence different from that described herein, and steps may be added, omitted, or combined. In addition, features described in some examples may also be combined in other examples.

[0052] As used in this specification, the term "include" and variants thereof represent open terms, and means "include but is not limited to" . The term "based on" represents "at least  partially based on" . The terms "one embodiment" and "an embodiment" represent "at least one embodiment" . The term "another embodiment" represents "at least one another embodiment" . The terms "first" , "second" , and the like may represent different objects or the same object. Other definitions may be included explicitly or implicitly in the following. Unless otherwise clearly specified, the definition of one term is consistent in the entire specification.

[0053] In view of this, to use the generative artificial intelligence system with LLM in a scaled manner in the automation engineering, it needs to scale a corpus.

[0054] The present disclosure provides a method for generating bulk corpora for a generative artificial intelligence system with a large language model in the field of automation engineering.

[0055] Usually, a user requires that the generative system outputs the engineering artifact exactly matching the desired engineering requirement. The engineering artifact is an automation control code, a design drawings, and the like generated by the generative system based on the user’s requirement in the field of automation engineering. For the case of generating the control code, it is desired that an actual performance of the control code is consistent with an execution result desired by the user. The generated engineering artifact is represented as EAGen herein.

[0056] However, many generative systems cannot realize this. The generated engineering artifacts are actually biased. That is, in a case that the generative system has not been tuned, the actual performance Pfmactual is inconsistent with the desired requirement Rqmdesired.

[0057] However, if the actual performance in historical data is taken as the desired requirement {Rqmdesired} ’ to replace the original desired requirement {Rqmdesired} , in this case, {Rqmdesired} ’ will match the generated engineering artifact EAGen. Therefore, the data pair {{Rqmdesired} ’ , EAGen} may be taken as valid training data of the corpus to tune the generative system. By this method, the training data may be massively generated.

[0058] Description will be made below by giving a simple example.

[0059] For example, the desired requirement {Rqmdesired} = {Motor 1 and 3 turn on and Motor 2 and 4 turn off if Valve 1 pressure greater than 100 Mpa} .

[0060] The engineering artifact EAGen generated based on the desired requirement {Rqmdesired} is an automation code {Code} . The actual performance of the {Code} is:

[0061] {Pfmactual} = {Motor 2 and 3 turn on and Motor 1 and 4 turn off if Value 2 pressure less than 100 Mpa} .

[0062] Obviously, for the desired requirement, the {Code} is wrong. But for the actual  performance Pfmactual, the {Code} is correct. If {Pfmactual, Code} is recorded instead of {Rqmdesired, Code} , then a valid record will be obtained as training data of the generative system.

[0063] The method and apparatus for generating training data for a generative system of automation engineering according to the embodiments of the present disclosure will be described below in conjunction with accompanying drawings.

[0064] FIG. 1 is a flowchart of an exemplary process of a method 100 for generating training data for a generative system of automation engineering according to an embodiment of the present disclosure.

[0065] First, in Step S102, a desired requirement is determined.

[0066] Specifically, for example, a desired requirement may be received from a user input, and may also be a desired requirement determined by utilizing product lifecycle software based on an engineering requirement.

[0067] The desired requirement may be described by a natural language or a formal language.

[0068] For example, {Pumping system with 4 Motors and 2 Valves, Motor 1 and 3 turn on and Mortor 2 and 4 turn off if Valve 1 pressure greater than 100 Mpa} describes a desired requirement for a pumping system.

[0069] Then, in Step S104, an engineering artifact EAGen is generated based on the desired requirement.

[0070] Specifically, the engineering artifact may be generated based on the desired requirement by using the generative system or existing engineering software.

[0071] The engineering artifact here may be, for example, an automation code, a design drawing, and the like. The automation code is, for example, IEC 61131, IEC61499 or any other programming language. The design drawing may include related documents of different designs such as a production process design and an electric design.

[0072] Description will be mainly made hereinafter by taking the automation code as an example. A person skilled in the art may appreciate that in the field of automation engineering, a required engineering artifact, not limited to the automation code, the design drawing, and the like, may be generated by using the generative system as required.

[0073] In Step S106, the engineering artifact generated is run and the execution result is generated.

[0074] Specifically, in a case that the engineering artifact is the automation code, the automation code is executed for test and the execution result is generated.

[0075] The execution result may include error description information, trace information, and  the like.

[0076] In Step S110, the engineering artifact is tuned based on the execution result.

[0077] Specifically, for example, completion of code automation, default value allocation, and the like may be further carried out, so that the engineering artifact is deployable and executable.

[0078] In Step S112, the simulation environment is generated based on the desired requirement determined in Step S102, and the tuned engineering artifact is run in the simulation environment to obtain the actual performance.

[0079] In the simulation environment, libraries of default automation systems including apparatuses and devices are available.

[0080] For example, when the desired requirement {Pumping system with 4 Motors and 2 Valves, Motor 1 and 3 turn on and Motor 2 and 4 turn off if Valve 1 pressure greater than 100 Mpa} is received, a default pumping system with 4 Motors and 2 valves will be generated in the simulation environment.

[0081] The actual performance of the tuned engineering artifact may be obtained in the simulation environment. Therefore, the actual performance is taken as the desired requirement of the tuned engineering artifact.

[0082] In Step S114, the data pair {Pfmactual, EARef} of the corresponding actual performance Pfmactual and the tuned engineering artifact EARef is recorded as first training data of the generative system.

[0083] The first training data here refers to first type training data, which generates the corpus of the generative system by taking the data pair of the matched actual performance and engineering artifact as the training data. Second type training data will also be described below.

[0084] In a specific embodiment, upon Step S106, the method 100 may further include Step S108. In Step S106, in a case that the execution result has an error, a data pair {EAGen, ErrorCode} of the current engineering artifact EAGen and the corresponding error description information ErrorCode is recorded as the second training data of the generative system.

[0085] In this case, although the actual performance is inconsistent with the desired requirement, the data pair of the engineering artifact and description information of the corresponding error execution result may be taken as the second training data of the generative system for error learning, for example, “what code can cause which errors” may be learned. The second training data here refers to the second type training data, i.e., the data pair for error learning.

[0086] According to the embodiments of the present disclosure, provided is the method for  generating training data for a generative system of automation engineering, so that the scalable corpus for the generative system of the automation engineering may be simply and easily obtained.

[0087] According to the method in the embodiments of the present disclosure, the problem of lack of models in different industrial fields is solved, and the generative AI system may be used for various industrial products.

[0088] By using the method for generating the training data according to the embodiments of the present disclosure, it is unnecessary to collect data from a physical / true resource for a long time to generate the corpus, so that the cost of generating the corpus is greatly reduced.

[0089] FIG. 2 is a block diagram of an exemplary configuration of an apparatus 200 for generating training data for a generative system of automation engineering according to another embodiment of the present disclosure. The apparatus 200 is configured to execute the method for generating training data for a generative system of automation engineering shown in FIG. 1.

[0090] As shown in FIG. 2, the apparatus 200 for generating training data for a generative system of automation engineering includes: a desired requirement determination unit 202, an engineering artifact generation unit 204, a test unit 206, a tuning unit 210, a simulation unit 212, and a first training data generation unit 214.

[0091] The desired requirement determination unit 202 is configured to determine a desired requirement.

[0092] The engineering artifact generation unit 204 is configured to generate an engineering artifact based on the desired requirement.

[0093] The test unit 206 is configured to run the engineering artifact to generate an execution result.

[0094] The tuning unit 210 is configured to tune the engineering artifact based on the execution result.

[0095] The simulation unit 212 is configured to generate a simulation environment based on the desired requirement, and to run the tuned engineering artifact in the simulation environment to obtain an actual performance.

[0096] The first training data generation unit 214 is configured to record a data pair of the corresponding actual performance and the tuned engineering artifact as first training data of the generative system.

[0097] In a specific embodiment, the apparatus 200 for generating training data for a generative system of automation engineering further includes: a second training data generation unit 208,  configured to, in a case that the execution result has an error, record a data pair of a current engineering artifact and corresponding error description information as second training data of the generative system.

[0098] The desired requirement determination unit 202 is further configured to: determine the desired requirement by receiving a user input or by utilizing product lifecycle software based on an engineering requirement.

[0099] The desired requirement is described by a natural language or a formal language.

[0100] The engineering artifact is an automation code or a design drawing.

[0101] Details of operations and functions of various parts of the apparatus 200 for generating training data for a generative system of automation engineering may be, for example, identical to or similar with related parts of the embodiment of the method for generating training data for a generative system of automation engineering described with reference to FIG. 1 according to an embodiment of the present disclosure, which is not described in detail here.

[0102] It should be noted that structures of the apparatus 200 for generating training data for a generative system of automation engineering and constitutional unit thereof shown in FIG. 2 are merely exemplary, and a person skilled in the art may modify the structure diagram shown in FIG. 2 as required.

[0103] The method and apparatus according to the embodiments of the present disclosure are described with reference to FIG. 1 to FIG. 2 above. Each unit of the apparatus for generating training data for a generative system of automation engineering described above may be implemented by hardware or may be implemented by software or a combination of hardware and software.

[0104] FIG. 3 is a block diagram of an electronic device 300 according to an embodiment of the present disclosure. According to an embodiment, the electronic device 300 may include at least one processor 302, and the processor 302 executes at least one computer-readable instruction stored or encoded in a computer-readable storage medium (i.e., a memory 304) .

[0105] It should be understood that the computer-executable instructions stored in the memory 304, when executed, cause at least one processor 302 to perform the various operations and functions described in the foregoing embodiments of this specification in conjunction with FIG. 1 to FIG. 2.

[0106] According to an embodiment, provided is a non-transitory machine-readable medium. The non-transitory machine-readable medium may be provided with a machine-executable instruction (i.e., the foregoing element implemented in the form of software) . The instruction,  when executed by a machine, causes the machine to perform various operations and functions described in the foregoing embodiments of the present disclosure in conjunction with FIG. 1 to FIG. 2.

[0107] According to an embodiment, provided is a computer program, including computer-executable instructions. The computer-executable instructions, when executed, causes at least one processor to perform various operations and functions described in the foregoing embodiments of the present disclosure in conjunction with FIG. 1 to FIG. 2.

[0108] According to an embodiment, provided is a computer program product, including computer-executable instructions. The computer-executable instructions, when executed, causes at least one processor to perform various operations and functions described in the foregoing embodiments of the present disclosure in conjunction with FIG. 1 to FIG. 2.

[0109] Not all units in the structural diagrams are necessary, and some of them may be omitted according to an actual requirement. The apparatus structure described in the embodiments may be a physical structure or a logical structure. That is, some units may be implemented by the same physical entity, or some units may be implemented by a plurality of physical entities, or may be implemented by some components in a plurality of independent devices together.

[0110] The descriptions of the present disclosure are provided to allow any person of ordinary skill in the art to implement or use the present disclosure. For a person of ordinary skill in the art, various modifications on the present disclosure are obvious. In addition, a general principle defined in this specification may be applied to other variants without departing from the protection scope of the present disclosure. Therefore, the present disclosure is not limited to the examples and designs described in this specification, but is consistent with the widest range conforming to the principle and novelty disclosed in this specification.

[0111] The foregoing descriptions are merely preferred embodiments of the present disclosure, but are not intended to limit the present disclosure. Any modification, equivalent replacement, or improvement made within the spirit and principle of the present disclosure shall fall within the protection scope of the present disclosure.

[0112] Nouns and pronouns with respect to persons in the patent application are not limited to specific genders.

Claims

1.A method (100) for generating training data for a generative system of automation engineering, comprising:determining a desired requirement (S102) ;generating an engineering artifact based on the desired requirement (S104) ;running the engineering artifact to generate an execution result (S106) ;tuning the engineering artifact based on the execution result (S110) ;generating a simulation environment based on the desired requirement, and running the tuned engineering artifact in the simulation environment to obtain an actual performance (S112) ; andrecording a data pair of the corresponding actual performance and the tuned engineering artifact as first training data of the generative system (S114) .2.The method (100) according to claim 1, wherein upon running the engineering artifact to generate an execution result (S106) , the method (100) further comprises: in a case that the execution result has an error, recording a data pair of a current engineering artifact and corresponding error description information as second training data of the generative system (S108) .3.The method (100) according to claim 1 or 2, wherein determining the desired requirement comprises: determining the desired requirement by receiving a user input or by utilizing product lifecycle software based on an engineering requirement.4.The method (100) according to claim 1 or 2, wherein the desired requirement is described by a natural language or a formal language.5.The method (100) according to claim 1 or 2, wherein the engineering artifact is an automation code or a design drawing.6.An apparatus (200) for generating training data for a generative system of automation engineering, comprising:a desired requirement determination unit (202) , configured to determine a desired requirement;an engineering artifact generation unit (204) , configured to generate an engineering artifact based on the desired requirement;a test unit (206) , configured to run the engineering artifact to generate an execution result;a tuning unit (210) , configured to tune the engineering artifact based on the execution result;a simulation unit (212) , configured to, generate a simulation environment based on the desired requirement, and to run the tuned engineering artifact in the simulation environment to obtain an actual performance; anda first training data generation unit (214) , configured to record a data pair of the corresponding actual performance and the tuned engineering artifact as first training data of the generative system.7.The apparatus (200) according to claim 6, further comprising: a second training data generation unit (208) , configured to, in a case that the execution result has an error, record a data pair of a current engineering artifact and corresponding error description information as second training data of the generative system.8.The apparatus (200) according to claim 6 or 7, wherein the desired requirement determination unit (202) is further configured to: determine the desired requirement by receiving a user input or by utilizing product lifecycle software based on an engineering requirement.9.The apparatus (200) according to claim 6 or 7, wherein the desired requirement is described by a natural language or a formal language.10.The apparatus (200) according to claim 6 or 7, wherein the engineering artifact is an automation code or a design drawing.11.A computing device (300) , comprising:at least one processor (302) ; anda memory (304) , coupled to the at least one processor (302) , the memory being configured to store instructions, the instructions, when executed by the at least one processor (302) , causing the at least one processor (302) to perform the method according to any one of claims 1 to 5.12.A non-transitory machine-readable storage medium storing executable instructions, the instructions, when executed, causing the machine to perform the method of any one of claims 1 to 5.13.A computer program product tangibly stored on a computer-readable medium and comprising computer-executable instructions, the computer-executable instructions, when executed, causing at least one processor to perform the method according to any one of claims 1 to 5.

Images