Method and apparatus for training neural network model for behavior imitation

Abstract

A computer implemented method for training a neural network model for behavior imitation using Generative Adversarial Imitation Learning (GAIL) is disclosed. The method comprises obtaining, demonstration data representing a demonstrator's behavior for a task, wherein the demonstration data comprises a sequence of state-action pairs, wherein a state corresponds to a condition for decision making and an action corresponds to the decision made by the demonstrator; updating, a discriminator of the neural network towards maximizing a first objective function, wherein the first objective function is modified with a first term for pushing the discriminator to become indistinguishable between the demonstrator's behavior and state-action pairs generated by a policy generator of the neural network; and updating, the policy generator towards minimizing a second objective function, wherein the second objective function is modified with a second term for pushing the policy generator to converge to the demonstrator's behavior. Several additional aspects are disclosed.

Description

METHOD AND APPARATUS FOR TRAINING NEURAL NETWORK MODEL FOR BEHAVIOR IMITATIONFIELD

[0001] Aspects of the present disclosure relate generally to artificial intelligence, and more particularly, to method and apparatus provided for training a neural network model for behavior imitation.BACKGROUND

[0002] Imitation learning (IL) , the problem of learning to perform a task from expert demonstrations, has drawn a lot attention in many real-world applications as it may be able to effectively address sequential decision-making issue, to name a few, chess playing, eSports game playing, autonomous driving, intelligent robot and the alike. There are two main approaches for IL, Behavioral cloning (BC) which learns a policy as a supervised learning problem over state-action pairs from expert trajectories, and Inverse reinforcement learning (IRL) which finds a cost function under which the expert is uniquely optimal.

[0003] However, BC only tends to succeed with large amounts of data, and IRL learns a cost function, which explains expert behavior but does not directly tell the learner how to act. Given that learner’s true goal often is to take actions imitating the expert, a framework named Generative Adversarial Imitation Learning (GAIL) utilizing the skeleton of Generative Adversarial Networks (GANs) is proposed to tell the agent how to act by directly learning a policy from the expert.

[0004] Unfortunately, as GAIL also alternatively trains a discriminator and a policy generator, it inherits the unstable nature of GANs, the training process of GAIL has oscillating behaviors and is unable to reach the optimal equilibrium. Therefore, it is desired a method for training a neural network for behavior imitation with GAIL that can push GAIL to equilibrium and achieve stability.SUMMARY

[0005] The following presents a simplified summary of one or more aspects to provide a basic understanding of such aspects. This summary is not an extensive overview of all contemplated aspects, and is intended to neither identify key or critical elements of all aspects nor delineate the scope of any or all aspects. Its sole purpose is to present some concepts of one or more aspects in a simplified form as a prelude to the more detailed description that is presented later.

[0006] Generative Adversarial Imitation Learning (GAIL) is a framework targeting explicitly learn how to act by directly learning a policy from the expert demonstrations, instead  of recovering an expert’s cost function with IRL first and then extract a policy from the cost function with RL. GAIL is a powerful method to learn sequential decision-making policies such that it is widely used in many real-world applications, for example but not limiting, chess playing, eSports game playing, autonomous driving, intelligent robot and the alike.

[0007] However, GAIL, same as its skeleton GANs, trains a discriminator and a policy generator alternatively, thus inheriting the unstable nature of GANs that results in the training process of GAIL has oscillating behaviors and is unstable to reach the optimal equilibrium. Therefore, a method for pushing GAIL to equilibrium during training and achieving stability is needed.

[0008] In an aspect, a computer implemented method for training a neural network model for behavior imitation using Generative Adversarial Imitation Learning (GAIL) is disclosed. The method comprises obtaining, demonstration data representing a demonstrator’s behavior for a task, wherein the demonstration data comprises a sequence of state-action pairs, wherein a state corresponds to a condition for decision making and an action corresponds to the decision made by the demonstrator; updating, a discriminator of the neural network towards maximizing a first objective function, wherein the first objective function is modified with a first term for pushing the discriminator to become indistinguishable between the demonstrator’s behavior and state-action pairs generated by a policy generator of the neural network; and updating, the policy generator towards minimizing a second objective function, wherein the second objective function is modified with a second term for pushing the policy generator to converge to the demonstrator’s behavior.

[0009] In a further aspect, the first term and the second term are determined respectively based on a first controller and a second controller to push a dynamic system corresponding to the discriminator and the policy generator to goal functions corresponding to an equilibrium of the dynamic system.

[0010] In a further aspect, the dynamic system corresponding to the discriminator and the policy generator are determined by derivatives of the first objective function and the second objective function with respect to time.

[0011] In a further aspect, the equilibrium of the dynamic system is achieved in case that an output of the discriminator equals to 1 / 2, and an output of the policy generator matches the demonstrator’s behavior.

[0012] In a further aspect, the first controller and the second controller are constrained by the principle of asymptotic stability in order to keep the dynamic system stable around the equilibrium.

[0013] In a further aspect, the demonstration data comprise records of a driver’s behavior and road environment during driving, and wherein the neural network is trained for autonomous driving.

[0014] In a further aspect, the demonstration data comprise records of human moving path and surroundings of the human during movement, and wherein the neural network is trained for robot controlling.

[0015] In an aspect, a method for controlling an agent with a neural network model trained with the method of one of embodiments herein is disclosed. The method comprises collecting, by the agent, environment data related to the task; obtaining a state for a current time instant based on the environment data; inferring an action for the current time instance based on the state for the current time instance with the trained neural network model; and controlling the agent based on the inferred action for the current time instance.

[0016] In an aspect, a vehicle capable of autonomous driving is disclosed. The vehicle comprises one or more sensors, configured for collecting at least a part of environment data related to the autonomous driving by the vehicle; one or more processors; and one or more storage devices storing computer-executable instructions that, when executed, cause the one or more processors to perform the operations of the method of one of embodiments disclosed herein.

[0017] In an aspect, a robot is disclosed. The robot comprises one or more sensors, configured for collecting at least a part of environment data around the robot; one or more processors; and one or more storage devices storing computer-executable instructions that, when executed, cause the one or more processors to perform the operations of the method of one of embodiments disclosed herein.

[0018] In an aspect, a computer system is disclosed. The computer system comprises one or more processors; and one or more storage devices storing computer-executable instructions that, when executed, cause the one or more processors to perform the operations of one of the methods disclosed herein.

[0019] In an aspect, one or more computer readable storage media storing computer-executable instructions that, when executed, cause one or more processors to perform the operations of one of the methods disclosed herein is disclosed.

[0020] In an aspect, a computer program product comprising computer-executable instructions that, when executed, cause one or more processors to perform the operations of one of the methods disclosed herein is disclosed.BRIEF DESCRIPTION OF THE DRAWINGS

[0021] The disclosed aspects will be described in connection with the appended drawings that are provided to illustrate and not to limit the disclosed aspects.

[0022] Fig. 1 illustrates an exemplary block diagram 100 of an example apparatus, in accordance with various aspects of the present disclosure.

[0023] Fig. 2 illustrates an exemplary block diagram 200 of GAIL, in accordance with various aspects of the present disclosure.

[0024] Fig. 3 illustrates an exemplary flow chart 300 for training a neural network model for behavior imitation using Generative Adversarial Imitation Learning (GAIL) , in accordance with various aspects of the present disclosure.

[0025] Fig. 4 illustrates an exemplary flow chart 400 for controlling an agent with a trained neural network model, in accordance with various aspects of the present disclosure.

[0026] Fig. 5 illustrates an exemplary computer system 500, in accordance with various aspects of the present disclosure.DETAILED DESCRIPTION

[0027] The present disclosure will now be discussed with reference to several example implementations. It is to be understood that these implementations are discussed only for enabling those skilled in the art to better understand and thus implement the embodiments of the present disclosure, rather than suggesting any limitations on the scope of the present disclosure.

[0028] Various embodiments will be described in detail with reference to the accompanying drawings. Wherever possible, the same reference numbers will be used throughout the drawings to refer to the same or like parts. References made to examples and embodiments are for illustrative purposes, and are not intended to limit the scope of the disclosure. It is noted that “based on” used in the disclosure should be understood as “based at least on” , rather than “solely based on” or “merely based on” .

[0029] It is anticipated that applying the disclosed method herein may involve the use of user-related information, such as travel routine information, road environment and user behavior records during movement or driving. It should be noted that the use of user-related information requires user authorization and may not exceed the scope of users’ authorization.

[0030] In Reinforcement Learning (RL) , an optimal policy is usually learned by evaluating cumulative rewards, which is simple and straightforward, and performs well when a large amount of training data can be obtained. However, in sequential decision-making cases, learners cannot frequently receive rewards for each action, and the approach based on cumulative rewards and learning has a huge search space. The Imitation Learning (IL) has been developed to effectively solve multi-step decision-making problems.

[0031] There are two main approaches for IL, Behavioral cloning (BC) which learns a policy as a supervised learning problem over state-action pairs from expert trajectories, and Inverse reinforcement learning (IRL) which finds a cost function under which the expert is uniquely optimal. However, BC only tends to succeed with large amounts of data, and IRL learns a cost function, which explains expert behavior but does not  directly tell the learner how to act. Given that learner’s true goal often is to take actions imitating the expert, a framework named Generative Adversarial Imitation Learning (GAIL) utilizing the skeleton of Generative Adversarial Networks (GANs) is proposed to tell the agent how to act by directly learning a policy from the expert.

[0032] Fig. 1 illustrates an exemplary block diagram 100 of an example apparatus, in accordance with various aspects of the present disclosure.

[0033] The apparatus 100 illustrated in Fig. 1 may be a vehicle such as an autonomous vehicle, a self-controlled machine such as a robot, an agent that able to imitate expert’s demonstration for a certain task, or may be a part of the vehicle, the robot, the agent, and / or the like. The autonomous vehicle is taken as an example of the apparatus in Fig. 1 in the following description but not limiting.

[0034] A vehicle can be equipped with a sensor 110 for sensing information related to the road environment or surroundings in which the vehicle is travelling. The term road environment and / or surroundings may also be uniformly referred to as state, condition, circumstance, context and so on. In Fig. 1, only one sensor 110 is shown, but more than one sensor is possible. In an embodiment, sensor 110 may be one or more of camera, LiDAR, radar, sonar, ultrasonic sensor, proximity sensor, infrared sensor, wheel speed sensor, rain sensor and / or any combination thereof. It is possible that sensor 110 including other suitable type of sensors to be equipped on the vehicle.

[0035] The vehicle may include a processing system 120. The processing system 120 may be implemented in various approaches, for example, the processing system 120 may include one or more processors and / or controllers as well as one or more memories, the processors and / or controllers may execute software to perform various operations or functions, such as operations or functions according to various aspect of the disclosure.

[0036] The processing system 120 may receive sensing data from the sensor 110, and perform various operations by analyzing the sensing data. In the example of Fig. 1, the processing system 120 may include a state detection module 120-1, an action determination module 120-2. It is appreciated that the modules 120-1 and 120-2 may be implemented in various approaches, for example, may be implemented as software modules or functions which are executable by processors and / or controllers.

[0037] The state detection module 120-1 may be configured to detect a state based on which the vehicle is to perform an action. The state may refer to weather, absolute speed of the vehicle, existence of obstacle, relative speed to obstacles such as cars or pedestrians, distance from obstacles, azimuth angle relative to obstacles and / or any combination thereof. It is appreciated that the state includes other suitable types of information such as navigation information from a navigation system. In an embodiment, the state information may be collected by the sensor 110 and provided to the processing system 120, and the state detection module 120-1 may detect a state based on the state information.

[0038] The action determination module 120-2 may be configured to determine an action to be performed by the vehicle based on the state from the state detection module 120-1. The action may refer to speeding up or down, braking, steering, backing up, lighting a turn signal, turning on a double flash, and / or any combination thereof. In an embodiment, the action needed to be performed may be indicated by the action determination module 120-2 to the corresponding control unit of the vehicle.

[0039] Additionally, the action determination module 120-2 may be implemented with a trained neural network model, which is trained to imitate a human driver’s behavior in order to make highly similar decisions when facing similar condition. In an embodiment, the action determination module 120-2 may obtain the state for a current time step from the state detection module 120-1 and infer the action to be performed for the current time step based on the obtained state.

[0040] Fig. 1 is shown as an example merely, and other implementations are possible.

[0041] Fig. 2 illustrates an exemplary block diagram 200 of GAIL, in accordance with various aspects of the present disclosure. In Fig. 2, block 201 may represent a policy generator G and block 202 may represent a discriminator D.

[0042] In an embodiment, GAIL may be used to train a neural network model that can be used for the action determination module 120-2 described above in Fig. 1.

[0043] In an embodiment, the neural network model may be trained with expert’s demonstrations, which may comprise multiple trajectories τi including a plurality of state-action pairs (s, a) . Similar to description of the state detection module 120-1 and the action determination module 120-2, the state and the action may refer to a variety of information. Still taking autonomous vehicle as an example, a trajectory may be driving records of a skilled driver, which include a sequence of state-action pairs {st, at} respect to time t, reflecting the conditions the vehicle encountered and the corresponding decisions made by the driver along the trajectory. A full set of state-action pairs may be named policy. A goal of the training is to make the neural network model perform a same action when facing a same state.

[0044] As shown in Fig. 2, a state s may be sampled from training data set or stochastically generated. Then the state s may be input to the block 201, the policy generator G, to produce an action a based on the state and the policy generator’s parameters θi. The state-action pair (s, a) then may be input to the block 202, the discriminator D, to determine whether the received state-action pair is an expert operation or not based on the discriminator’s parameters ωi.

[0045] Similar to its skeleton GANs, GAIL is trained by alternatively training its discriminator 202 and policy generator 201. The discriminator 202 is trained to distinguish the generated policy and expert policy as clear as possible. Adversarially, the policy generator 201 is trained to generate policies that approach the expert’s policies to an extent of confusing the trained discriminator 202. An object function for GAIL is:

[0046] where D is the discriminator that takes in a state s and an action a, π is the policy representing the generator, πE is the given expert policy, and is the casual entropy of policy π.

[0047] Respectively, the objective functions for the discriminator and generator can be written as:

[0048] where Equation (2) is meant for making the discriminator output D (s, a) =1 for generated policies, and output D (s, a) =0 for expert policies; Equation (3) is meant for minimizing the divergence between the distribution of state-action pairs that an agent encounters when navigating the environment with policy π and state-action pairs that an expert encounters when navigating the environment with policy πE.

[0049] After the neural network is trained with GAIL, an ideal solution would be the discriminator is unable to tell the difference between a generated policy and an expert’s policy, that is, D (s, a) =1 / 2, and the distributions of generated policy and an expert’s policy are the same.

[0050] Fig. 2 is shown as an example merely, and other implementations are possible.

[0051] Unfortunately, GAIL inherits the unstable nature of GANs, the training process of GAIL has oscillating behaviors and is unable to reach the optimal equilibrium. In the disclosure, for the purpose of pushing GAIL to equilibrium, it is disclosed to model GAIL as a dynamic system and use controllers in control theory for the policy generator and discriminator.

[0052] Firstly, the variational method to take derivative of objective functions (2) and (3) with respect to time t to get the differential equations representing the training dynamic of the discriminator and the generator:

[0053] where D (s, a, t) and π ( (a∣s) , t) represent the discriminator network and the generator network respectively at time t, which is introduced since both the generator and discriminator network varies with respect to the time t . Since πE is constant through the training dynamic, time t may be omitted for expert policy.

[0054] With defining x (t) =D (s, a, t) , y (t) =π (a∣s, t) and E=πE (a∣s) for simplicity, the following dynamic equations can be obtained:

[0055] As mentioned above, the ideal goal of GAIL is to estimate expert policy πE with the policy generator, and let discriminator unable to distinguish between expert policy and generated policy, which can be expressed as π* (a∣s, t) =πE (a∣s) and  as t goes to infinity. Ideally it is expected that:

[0056] That is, the goal functions for the discriminator and the policy generator can be defined as:

[0057] where E=πE (a∣s) .

[0058] Based on a definition of equilibrium in control theory, a point is an equilibrium of system if Such an equilibrium may be also called fixed point, critical point, steady state. As can be seen from Equations (7) and (10) , y* (t) =E cannot make Equation (7) equal to 0, indicating that GAIL is unable to converge to the goal functions, which means the policy generator cannot converge to the expert policy.

[0059] Therefore, in view of control theory by considering the training of GAIL as a dynamic system, it is disclosed to push the GAIL to its goal functions by controllers as:

[0060] where u1 (t) and u2 (t) are the controllers for the discriminator and policy generator respectively.

[0061] As the derivative of the discriminator with respect to time evaluated at the goal function with Equations (6) and (10) already can equals to 0, discriminator is possible to approach its goal function. Therefore, u1 (t) is disclosed to be designed as a linear controller for the discriminator to keep Equation (11) equals to 0 at the goal function. Equation (13) below is shown as an example but not limiting, any linear controller able to keep Equation (11) equals to 0 at the goal function could be applied.

[0062] On the other hand, the derivative of the policy generator with respect to time evaluated at its goal function with Equations (7) and (10) does not equals to 0 as discussed before.  Therefore, u2 (t) is disclosed to be designed to adjust Equation (12) to 0 evaluated at the goal function. Equation (14) below is shown as an example but not limiting, any controller able to make Equation (12) equals to 0 at the goal function could be applied.

[0063] By using controllers from the perspective of dynamic system to push GAIL to given goal functions, loss function of GAIL could be adjusted based on the modified training dynamics, with which both discriminator and policy generator of GAIL could converge to their ideal optimal solutions. In an embodiment, the loss function can be adjusted as below according to modified training dynamics of Equations (11) - (14) :

[0064] Equations (15) - (16) are merely examples, they can be different per different controllers used.

[0065] To make a further step, in addition to make the policy generator converge to the expert policy, it is expected that the policy generator can be made stable at the expert policy.

[0066] Taking the example controllers u1 (t) and u2 (t) for further analysis, k and α are hyper-parameters introduced by controllers, there could be specific bound on the range of k and α in order to avoid oscillation.

[0067] It is disclosed that the training dynamics of GAIL should be constrained by the principle of asymptotic stability in order to keep the dynamic system stable around the equilibrium. Taking Equations (13) - (14) as examples, k and α should be constrained by below inequalities at the same time as:

[0068] Inequalities above are merely examples, they can be different per different controllers used.

[0069] By using constrained controllers as disclosed herein, discriminator and policy generator of GAIL could converge to their ideal optimal solutions and stay stable around the optimal solutions. That is, as the training goes, the policy generator may be able to converge to the expert policy and stay stable as time goes to infinity.

[0070] Fig. 3 illustrates an exemplary flow chart for training a neural network model for behavior imitation using Generative Adversarial Imitation Learning (GAIL) , in accordance with various aspects of the present disclosure. As described below, some or all illustrated features may be omitted in an implementation within the scope of the present disclosure, and some illustrated features may not be required for  implementation of all embodiments. Further, some of the blocks may be performed parallel or in a different order. In some examples, the method may be carried out by any suitable apparatus or means for carrying out the functions or algorithm described below.

[0071] The method begins at block 301, with obtaining, demonstration data representing a demonstrator’s behavior for a task, wherein the demonstration data comprises a sequence of state-action pairs, wherein a state corresponds to a condition for decision making and an action corresponds to the decision made by the demonstrator.

[0072] The method then proceeds to block 302, with updating, a discriminator of the neural network towards maximizing a first objective function, wherein the first objective function is modified with a first term for pushing the discriminator to become indistinguishable between the demonstrator’s behavior and state-action pairs generated by a policy generator of the neural network.

[0073] The method then proceeds to block 303, with updating, the policy generator towards minimizing a second objective function, wherein the second objective function is modified with a second term for pushing the policy generator to converge to the demonstrator’s behavior

[0074] In an embodiment, the first term and the second term are determined respectively based on a first controller and a second controller to push a dynamic system corresponding to the discriminator and the policy generator to goal functions corresponding to an equilibrium of the dynamic system.

[0075] In an embodiment, the first term and the second term may be determined as Equations (13) - (14) .

[0076] In an embodiment, the dynamic system corresponding to the discriminator and the policy generator are determined by derivatives of the first objective function and the second objective function with respect to time.

[0077] In an embodiment, the dynamic system may be determined as Equations (4) - (5) .

[0078] In an embodiment, the equilibrium of the dynamic system is achieved in case that an output of the discriminator equals to 1 / 2, and an output of the policy generator matches the demonstrator’s behavior.

[0079] In an embodiment, the equilibrium of the dynamic system may be described as Equations (8) - (9) .

[0080] In an embodiment, the first controller and the second controller are constrained by the principle of asymptotic stability in order to keep the dynamic system stable around the equilibrium.

[0081] In an embodiment, the first controller and the second controller are constrained by Inequalities (17) .

[0082] Fig. 3 is shown as an example merely, and other implementations are possible.

[0083] In an aspect of the disclosure, a method for training a neural network model for autonomous driving is proposed. The neural network model is trained using the method  of any embodiment described herein, such as the embodiments described with reference to figs. 2-3, wherein the demonstration data comprise records of a driver’s behavior and road environment during driving. The autonomous driving may also be referred to as, intelligent driving, AI driving or the like.

[0084] In an aspect of the disclosure, a method for training a neural network model for robot controlling is proposed. The neural network model is trained using the method of any embodiment described herein, such as the embodiments described with reference to figs. 2-3, wherein the demonstration data comprise records of human moving path and surroundings of the human during movement. The robot controlling may include various actions of robotic locomotion, such as walking, jumping, searching a way across barriers, mechanical arms performing a task like human, or the like.

[0085] Fig. 4 illustrates an exemplary flow chart 400 for controlling an agent with a trained neural network model, in accordance with various aspects of the present disclosure. As described below, some or all illustrated features may be omitted in an implementation within the scope of the present disclosure, and some illustrated features may not be required for implementation of all embodiments. Further, some of the blocks may be performed parallel or in a different order. In some examples, the method may be carried out by any suitable apparatus or means for carrying out the functions or algorithm described below.

[0086] The method begins at block 401, with collecting, by the agent, environment data related to the task.

[0087] In an embodiment, the sensor 110 described in Fig. 1 may be used to collect the environment data.

[0088] The method then proceeds to block 402, with obtaining a state for a current time instant based on the environment data.

[0089] In an embodiment, the state detection module 120-1 described in Fig. 1 may be used to obtain the state for the current time instant based on the environment data.

[0090] The method then proceeds to block 403, with inferring an action for the current time instance based on the state for the current time instance with the trained neural network model.

[0091] In an embodiment, the action determination module 120-2 described in Fig. 1 may be used to infer the action for the current time instance based on the state for the current time instance with the trained neural network model.

[0092] The method then proceeds to block 404, with controlling the agent based on the inferred action for the current time instance.

[0093] In an embodiment, an indication for controlling the agent may be transmitted by the act ion determination module 120-2.

[0094] Fig. 4 is shown as an example merely, and other implementations are possible.

[0095] In an aspect of the disclosure, a vehicle capable of autonomous driving is provided. For example, as illustrated in Fig. 1, the vehicle comprises one or more sensors configured for collecting at least a part of environment data related to the autonomous driving by the vehicle; one or more processors; and one or more storage devices storing computer-executable instructions that, when executed, cause the one or more processors to perform the operations of the method of the embodiments described in the disclosure.

[0096] In an aspect of the disclosure, a robot is provided. For example, as illustrated in Fig. 1 which may also represent the structure of the robot, the robot comprises one or more sensors configured for configured for collecting at least a part of environment data around the robot; one or more processors; and one or more storage devices storing computer-executable instructions that, when executed, cause the one or more processors to perform the operations of the method of the embodiments described in the disclosure.

[0097] Fig. 5 illustrates an exemplary computer system 500, in accordance with various aspects of the present disclosure. The computer system may comprise at least one processor 510. The computer system may further comprise at least one storage device 520. It should be appreciated that the storage device 520 may store computer-executable instructions that, when executed, cause the processor 510 to perform any operations according to the embodiments of the present disclosure as described in connection with Figs 1-4.

[0098] The embodiments of the present disclosure may be embodied in one or more computer-readable medium such as non-transitory computer-readable medium. The non-transitory computer-readable medium may store computer-executable instructions that, when executed, cause one or more processors to perform any operations according to the embodiments of the present disclosure as described in connection with Figs 1-4.

[0099] The embodiments of the present disclosure may be embodied in a computer program product comprising computer-executable instructions that, when executed, cause one or more processors to perform any operations according to the embodiments of the present disclosure as described in connection with Figs 1-4.

[0100] It should be appreciated that all the operations in the methods described above are merely exemplary, and the present disclosure is not limited to any operations in the methods or sequence orders of these operations, and should cover all other equivalents under the same or similar concepts.

[0101] It should also be appreciated that all the modules in the apparatuses described above may be implemented in various approaches. These modules may be implemented as hardware, software, or a combination thereof. Moreover, any of these modules may be further functionally divided into sub-modules or combined together.

[0102] The previous description is provided to enable any person skilled in the art to practice the various aspects described herein. Various modifications to these aspects will be  readily apparent to those skilled in the art, and the generic principles defined herein may be applied to other aspects. Thus, the claims are not intended to be limited to the aspects shown herein. All structural and functional equivalents to the elements of the various aspects described throughout the present disclosure that are known or later come to be known to those of ordinary skill in the art are expressly incorporated herein by reference and are intended to be encompassed by the claims.

Claims

1.A computer implemented method for training a neural network model for behavior imitation using Generative Adversarial Imitation Learning (GAIL) , the method comprising:obtaining, demonstration data representing a demonstrator’s behavior for a task, wherein the demonstration data comprises a sequence of state-action pairs, wherein a state corresponds to a condition for decision making and an action corresponds to the decision made by the demonstrator;updating, a discriminator of the neural network towards maximizing a first objective function, wherein the first objective function is modified with a first term for pushing the discriminator to become indistinguishable between the demonstrator’s behavior and state-action pairs generated by a policy generator of the neural network; andupdating, the policy generator towards minimizing a second objective function, wherein the second objective function is modified with a second term for pushing the policy generator to converge to the demonstrator’s behavior.2.The computer implemented method of claim 1, wherein the first term and the second term are determined respectively based on a first controller and a second controller to push a dynamic system corresponding to the discriminator and the policy generator to goal functions corresponding to an equilibrium of the dynamic system.3.The computer implemented method of claim 2, wherein the dynamic system corresponding to the discriminator and the policy generator are determined by derivatives of the first objective function and the second objective function with respect to time.4.The computer implemented method of claim 2, wherein the equilibrium of the dynamic system is achieved in case that an output of the discriminator equals to 1 / 2, and an output of the policy generator matches the demonstrator’s behavior.5.The computer implemented method of claim 2, wherein the first controller and the second controller are constrained by the principle of asymptotic stability in order to keep the dynamic system stable around the equilibrium.6.The computer implemented method of claim 1, wherein the demonstration data comprise records of a driver’s behavior and road environment during driving, and wherein the neural network is trained for autonomous driving.7.The computer implemented method of claim 1, wherein the demonstration data comprise records of human moving path and surroundings of the human during movement, and wherein the neural network is trained for robot controlling.8.A method for controlling an agent with a neural network model trained with the method of one of claims 1-7, comprising:collecting, by the agent, environment data related to the task;obtaining a state for a current time instant based on the environment data;inferring an action for the current time instance based on the state for the current time instance with the trained neural network model; andcontrolling the agent based on the inferred action for the current time instance.9.A vehicle capable of autonomous driving, comprising:one or more sensors, configured for collecting at least a part of environment data related to the autonomous driving by the vehicle;one or more processors; andone or more storage devices storing computer-executable instructions that, when executed, cause the one or more processors to perform the operations of the method of one of claims 1-8.10.A robot, comprising:one or more sensors, configured for collecting at least a part of environment data around the robot;one or more processors; andone or more storage devices storing computer-executable instructions that, when executed, cause the one or more processors to perform the operations of the method of one of claims 1-8.11.A computer system, comprising:one or more processors; andone or more storage devices storing computer-executable instructions that, when executed, cause the one or more processors to perform the operations of the method of one of claims 1-10.12.One or more computer readable storage medium storing computer-executable instructions that, when executed, cause one or more processors to perform the operations of the method of one of claims 1-10.13.A computer program product comprising computer-executable instructions that, when executed, cause one or more processors to perform the operations of the method of one of claims 1-10.

Images