A method for approximating equilibrium solutions

Abstract

A neural network approximator configured to approximate the equilibrium solution of a multi agent system based on the payoff matrix representation of that system and a method of training said approximator. The method of training the approximator based on the payoff matrix representations comprises generating and providing a training set comprising a plurality of payoff matrix representations of different multi agent systems; determining by the neural network approximator an approximation of the equilibrium solution of one of the plurality of payoff matrix representations alongside a loss function; and repeating the determining step for each of the plurality of payoff matrix representations while minimising the loss function. The one or more determined approximation solutions may then be entered as one or more initialisation points of a downstream algorithm configured to determine an exact equilibrium solution.

Description

A METHOD FOR APPROXIMATING EQUILIBRIUM SOLUTIONSFIELD OF THE INVENTION

[0001] This invention relates to using neural networks to estimate approximate equilibrium solutions to multi-agent systems.BACKGROUND

[0002] Nash equilibrium (NE) is a crucial concept in game theory, representing a state where each agent's strategy is optimal given the strategies of all other agents. It enables the analysis of outcomes in strategic interactions among rational agents. NE, or an ∈-approximate Nash equilibrium (∈-NE) , can provide valuable guidance for agents in a game, as there is little to no incentive for individual agents to deviate.

[0003] Generally, NE solving systems focus on solving a single game in isolation. However, many similar games usually need to be solved in practice. For instance, in sponsored search auctions, advertisers value different keywords based on the current marketing environment, resulting in various games. In repeated traffic routing, the game payoff depends on the capacity of the underlying network, which can vary with time and weather conditions. Moreover, in resource allocation, the game varies based on the values of the goods or services.

[0004] Previous approaches to NE computation have primarily focused on computing or approximating NE for individual games in isolation. Consequently, these methods require the computation of NE from scratch each time a new game is encountered.

[0005] In academic research, many efforts have been made to approximate NE for 2-player games with theoretical approximation guarantee. For example, simple polynomial-time algorithms based on searching small supports have been introduced to reach an approximation loss of 3 / 4 and 1 / 2, respectively. The smaller the loss the better.

[0006] An algorithm of approximation loss 0.38 has been previously demonstrated by enumerating arbitrarily large supports, and this approximation loss is also achieved by another approach. A further algorithm has been used to reach an approximation loss of 0.36. While other methods have achieved an approximation loss of 0.3393 and proved that the bound is tight. Recently, improvements have been made which established the best currently known approximation loss of 1 / 3. However, computing approximate NE for even arbitrary constant approximation is Polynomial Parity Arguments on Directed graph-hard (PPAD-hard) .

[0007] Learning-based approaches provide an alternative paradigm for computing approximate NE by iteratively proposing temporal strategies and updating them based on feedback rewards. One well-known learning algorithm for NE approximation is Fictitious Play, which has been proven to converge to an approximate loss of 1 / 2 after a constant number of rounds. Double Oracle methods and Policy Space Response Oracle (PSRO) methods, though in the context of online learning, methods such as regret matching, Hedge, and Multiplicative weight update have been shown to converge to approximate coarse correlated equilibrium. These methods, however, do not directly target the computation of NE but instead converge to other equilibrium concepts.

[0008] Most previous inventions have primarily focused on solving the (subgame perfect) Nash equilibrium of Markov games. For example, it has been proposed to approximate NE of Markov games using a potential function, while another approach tackles NE computation through value iteration in Markov games.

[0009] In the context of large-scale Markov games, one approach introduces a mean-field method to solve the game. This method explicitly models the actions taken by other agents in the system. On the other hand, another approach presents a hierarchical Markov game framework that utilizes Bayesian optimization to find optimal incentives. Addressing the challenge of sample efficiency, one existing approach aims to solve Markov games by leveraging environment modelling techniques.

[0010] Other methods tackle the computation of Nash equilibrium in extensive-form games or static games. For instance, one approach utilizes neural networks to manage counterfactual regret for a single game. By interacting with the game directly and not observing the utility matrix it is possible for this approach to approximate NE in extensive-form games. In the context of network control, another approach introduces a potential game framework that describes the interaction between a multi-antenna access point and mobile stations. A further approach addresses the problem of solving large-scale Sudoku puzzles using a static potential game framework. This approach considers the puzzle as a fully known system with static, one-time actions. Another approach presents a method and system for cooperative resolution of statistical and joint effects.

[0011] Solving Nash equilibria (NEs) of normal-form games is a critical component in many Markov game solvers. These solvers require the NE computation at each iteration of the value iteration process, leading to numerous normal-form games that need to be solved.

[0012] Existing solutions for normal-form game NE computation primarily focus on solving a single game in isolation. As a result, even when confronted with multiple similar games, these approaches are forced to start the solving process from scratch every time. Moreover, even when solving a single game, the existing normal-form game NE solvers can be time-consuming. Such efficiency issue becomes exacerbated when attempting to compute NEs for a batch of games.

[0013] It is desirable to develop a mechanism for efficiently approximating equilibria solutions in similar games without starting from scratch each time, which is also able to be applied to normal-form games to approximate equilibria solutions in batches.SUMMARY OF THE INVENTION

[0014] According to one aspect there is provided a neural network approximator configured to approximate the equilibrium solution of a multi agent system based on the payoff matrix representation of that system.

[0015] In an embodiment, the payoff matrix representation may be a matrix comprising the payoff for each of all of the set of possible actions that the agents can take. In an embodiment, the approximator may be denoted as:

[0016] In an embodiment, the neural network may be configured to determine an approximation of the equilibrium solution of each one of a batch of a plurality of payoff matrix representations in parallel using a plurality of Graphics Processor Units. By using multiple GPUs in parallel the approximator can determine multiple equilibrium solutions of multiple payoff matrices at the same time, increasing the efficiency of the approximator.

[0017] In an embodiment, the multi agent system may be a bi-matrix system representable by two payoff matrices and the neural network is configured to: concatenate the two matrices; apply a convolution operator; and capture the mutual influence of each joint action by implementing a multiple interaction module. In an embodiment, the multiple interaction module may output a tensor output and the neural network may be configured to split the tensor output into two matrices arranged to provide the mixed strategy for each agent of the bi-matrix systems. The use of payoff matrix representations to determine approximate equilibrium solutions can be exploited to allow the approach described herein to be extrapolated to include bi-matrix systems. In particular, by implementing a multiple interaction module to manipulate the matrices.

[0018] In an embodiment, the approximator architecture may be selected from any of a fully connected network, a GNN-based network on response graph, a transformer-based network for two-player games. In an embodiment, the approximation of the equilibrium solution of the multi agent system may be an approximation of any one of  the Nash equilibria, the correlated equilibria, the coarse correlated equilibria. The approach is therefore flexible to allow for selection of the most useful equilibria value depending on the objective.

[0019] According to another aspect there is provided a method of training a neural network approximator to approximate the equilibrium solution of a multi agent system based on the payoff matrix representation of that system; the method comprising: generating a training set comprising a plurality of payoff matrix representations of different multi agent systems and their equilibrium solution; providing the training set to the neural network approximator; determining by the neural network approximator an approximation of the equilibrium solution of one of the plurality of payoff matrix representations alongside a loss function; and repeating the determining step for each of the plurality of payoff matrix representations while minimising the loss function.

[0020] In an embodiment, the empirical average equilibrium solution approximation of approximator fθ on data set S may be defined as:

[0021] In an embodiment, the method may comprise: determining by the neural network approximator an approximation of the equilibrium solution of each one of a further batch of the plurality of payoff matrix representations; minimising the loss function based on the further batch of approximated equilibrium solution; and updating model parameters of the equilibrium solution approximator. The efficiency of the training of the neural network is therefore improved.

[0022] In an embodiment, the method may comprise using Stochastic Gradient Descent on the equilibrium solution approximation, where at any minor points on a zero-measure set which cannot be differentiated a tie-breaking rule is used to select between the multiple maximum inputs and the corresponding gradient of the selected maximum is  computed. The method of training is therefore able to be simplified while also providing efficient approximations.

[0023] In an embodiment, generating a training set may comprise generating a training set comprising a plurality of payoff matrix representations of different multi agent systems only, and the method comprises: determining by the neural network approximator an approximation of the equilibrium solution of each one of the plurality of payoff matrix representations of the training set in turn; and minimising the loss function by employing the empirical average equilibrium solution approximation as the loss function. By determining equilibrium solutions in an initial approximation step to add to the training set, an initial training set without empirical equilibrium solutions may be used. Thus, the amount of available training data which may be used is increased and the resulting approximator may be more accurate.

[0024] In an embodiment, the equilibrium solution of the multi agent system may be an approximation of any one of the Nash equilibria, the correlated equilibria, the coarse correlated equilibria. Therefore, the approximator may be used for multiple downstream tasks depending on which equilibria solution is approximated.

[0025] According to another aspect the is provided a method of determining the equilibrium solution of a multi agent system, the method comprising: determining an approximation of the equilibrium solution of one or more payoff matrix representations of different multi agent systems using a neural network approximator according to any of claims 1 to 8 and trained according to the method of any of claims 9 to 14, and entering the one or more determined approximation solutions as one or more initialisation points of a downstream algorithm configured to determine an exact equilibrium solution.

[0026] In an embodiment, the downstream algorithm may be a Markov game solver algorithm. The Markov game solver may therefore be warm started, reducing the time it takes to find a solution, increasing the solver’s efficiency and accuracy.

[0027] BRIEF DESCRIPTION OF THE FIGURES

[0028] The present invention will now be described by way of example with reference to the accompanying drawings. In the drawings:

[0029] Figure 1 shows an example schematic of the proposed approximator.

[0030] Figure 2 shows an example training procedure of the proposed approximator.

[0031] Figure 3 shows an algorithm comprising an example training method.

[0032] Figure 4 shows a schematic diagram illustrating the approximator providing an input to a downstream solver algorithm.

[0033] Figure 5 shows an example implementation of the proposed approximator.

[0034] Figure 6 shows a schematic diagram of the transformer-based permutation equivariant approximator for a bi-matrix game.DETAILED DESCRIPTION OF THE INVENTION

[0035] There is described herein an equilibrium solution approximator based on neural networks and function approximation. The equilibrium solution approximator is described herein in relation to an example equilibrium solution called the Nash equilibria. However, it should be understood that the same approach may be applied to other equilibrium solutions such as a correlated equilibria or course correlated equilibria.

[0036] The proposed system employs a neural network as the Nash equilibrium (NE) approximator, which takes game representations as input and outputs joint strategies to approximate the NE of the game.

[0037] By training the NE approximator on empirical game data, there is enabled a method of efficient approximation of NE for batches of games. The computation involved is a straightforward feed-forward process that can be parallelized using GPUs (Graphics Processor Units) , enhancing computational speed and scalability. Additionally, the predicted approximate NE solutions can serve as initial points for classic algorithms that offer theoretical approximation guarantees. By combining the advantages of the NE approximator and the classic algorithms, the proposed approach accelerates the computation process using neural networks while ensuring theoretical approximation guarantees through the classic algorithms. In summary, the proposed approach combines the power of neural networks, efficient batch processing, and the theoretical guarantees of classic algorithms to provide an effective and versatile solution for approximating Nash equilibria.

[0038] The proposed NE solving system, denoted as fθ:  aims to approximate the Nash equilibrium of games generated from the underlying distribution F. This system utilizes function approximation, with the parameterized function approximator fθ constructed using neural networks due to their strong representational capabilities.

[0039] A key advantage of the proposed NE solving system is its ability to approximate NE efficiently in batch. The computation involves a simple feed-forward process in the neural network, which can be parallelized using GPUs. This efficiency allows it to obtain approximate solutions within a short time frame.

[0040] Additionally, the fast approximate solutions obtained by the proposed system have another practical application. They can be used as warm-start inputs for downstream algorithms, leveraging the speed of the proposed approach to enhance the performance of subsequent computations.

[0041] Figure 1 shows a schematic representation of an example of the proposed NE approximator. The NE approximator 104 takes game utility (payoff) matrix representations 102 as the input and outputs joint product strategy 106 to  approximate NEs for the input games. Thus, there is provided a neural network approximator configured to approximate the equilibrium solution of a multi agent system based on the payoff matrix representation of that system.

[0042] The game utility matrices 102 comprise the motivations of players or the payoff for each player. A utility function for a given player assigns a number for every possible outcome of the game. Typically, a higher number implies that the outcome is more preferred. The choices of one player are represented in the rows of the matrix, and the choices of the other player are represented in the columns. Each cell in the matrix contains the payoffs for each player for that particular combination of choices, with row choice payoff followed by column choice payoff. The payoff matrix is a double entry table. In a zero-sum game, all the payments made by one player are paid to the other player for each strategy adopted. The payoff matrix representation may be a matrix comprising the payoff for each of all of the set of possible actions that the agents can take. The payoff matrix representation may be representative of a single normal-form game.

[0043] The proposed method aims to approximate the Nash equilibrium (NE) in a distribution of n-player normal-form games. In this context, the game's payoff is generated based on an underlying distribution. A normal-form or strategic form game is typically represented by a payoff matrix. In a normal-form game, it is presumed that each player acts simultaneously, or at least without knowing the actions of the other player (s) .

[0044] In notation, the proposed approach uses [n] =1, 2, ..., n to represent the index set of all agents (players) . Each agent i has its own action space denoted as and the product action space of all players is denoted as An action is also referred to as a pure strategy, and a specific action of player i is represented as  Ajoint action represents one play of the game in which the player i takes action ai. The game utility (payoff) is denoted as where ui:  is the utility function of player i, with ui (a) to be their  utility under joint action a. The utility function ui can be represented by a tensor in  such payoff tensor.  is used to denote the domain set of payoff tensors. In the proposed approach, the n-player normal-form game is represented by its game utility u.

[0045] A mixed strategy of player i is represented by σi and is defined as a probability distribution over their action set In particular, σi (ai) denotes the probability that player i chooses action ai. By this definition, it follows that In this approach denotes the set of all the possible mixed strategies for player i. With ∑=×i∈ [n] σi set as a joint product strategy over Under ∑, the expected utility of player i under ∑ is defined as

[0046] All of the other players' product strategy excluding player i, denoted as σ-i, may also be denoted as a-i.

[0047] Nash equilibrium is one of the most important solution concepts in game theory. A product strategy is called a Nash equilibrium of game u if and only if for each player i∈ [n] , their strategy is the best response given the strategies  of all the other players. As described above, the proposed approach is described herein in relation to the Nash equilibrium as an example equilibrium solution. The approximation of the equilibrium solution of the multi agent system may be any one of an approximation of the Nash equilibria, the correlation equilibria, or the coarse correlated equilibria. Continuing with the above NE example, formally,

[0048] For arbitrary ∈ ＞ 0, it is said that a strategy profile is an ∈-approximate Nash equilibrium (∈-NE) if no one player can achieve more than ∈ utility gain by deviating from their current strategy. Formally,

[0049] The definition of ∈-NE reflects the idea that players might not be willing to deviate from their strategies when the amount of utility they could gain by doing so is tiny (not more than ∈) .

[0050] To evaluate the quality of a joint strategy to approximate an NE, the proposed approach defines approximation as follows:

[0051] Given a product strategy ∑, the exploitability (or regret) εi (∑, u) of agent i is the maximum payoff gain of i by deviating from their current strategy:

[0052] The Nash equilibrium approximation is defined as the maximum exploitability over all players:

[0053] Based on approximation, the definition of NE and ∈-NE can be restated. A product strategy ∑ is an NE of game u if ε (∑, u) =0 and is an ∈-NE if ε (∑, u) ≤∈.

[0054] The proposed NE solving system, represented by the function approximator fθ: parameterized by is designed to approximate the Nash equilibria from game payoffs.

[0055] The process is visualized in Figure 1: The NE approximator takes as input the game payoffs for a batch of games. It then computes the approximate NE solutions for each game within the batch.

[0056] The objective of the proposed NE system is to minimize the following expected NE approximation, given the payoff distribution F:

[0057] Construct of the NE approximator

[0058] The NE approximator, denoted as fθ:  takes the game payoffs as inputs and then outputs joint product strategies to approximate the Nash equilibria of the input games. fθ is constructed using a neural network due to their strong representational capabilities. In such a case, θ are the weights of the neural network.

[0059] In the proposed approach, the neural architecture of the approximator is flexible and can be customized based on the specific requirements. It can be any type of neural network that is suitable for handling the given input and producing the desired output. Some possible architectures for implementing the proposed approach are provided herein.

[0060] The simplest approach is to construct the NE approximator by fully connected neural network. However, it should be understood that the approximator architecture could be any suitable architecture for implementing the proposed approach, for example a Graph Neural Networks-based (GNN-based) network on response graph, a transformer-based network for two-players, etc.

[0061] To start with, it is possible to set as the flattened -dimensional vector of the payoff tensor. Afterward, it is possible to stack H ＞ 0 hidden layers, where in the h-th hidden layer, the h-th hidden vector xh is obtained by

[0062] where and are the learnable parameters in the h-th layer, and ReLU (x) =max (x, 0) for is the non-linear ReLU activation. dh is the dimension of the hidden nodes xh, and and Note that the parameters H and dh for h∈ [1, H-1] are hyperparameters which need to be manually set. Typically, the hyperparameter H is set to be in {3, 4, 5} and the  parameter dh is set to be in {128, 256, 512, 1024} . These hyperparameters should be tuned according to the empirical performance.

[0063] Based on the output of the final hidden layer, the final joint product strategy is computed. xH is split into n vectors as the un-normalized strategies for all the players. For the i-th agent, their strategy I is obtained by applying the below function on the un-normalized strategy:

[0064] Training the NE Approximator

[0065] The training process is illustrated in Figure 2 and carried out according to Algorithm 1 illustrated in Figure 3.

[0066] Figure 2 shows an example training procedure of the proposed NE approximator. The NE approximator 104 is provided with a training set comprising a plurality of game utility matrices 102 as inputs alongside their Nash equilibria 204. The NE approximator can then produce an approximation 206 of the NE from each of the payoff matrix representations in the training set. A loss function is determined by comparing the approximation 206 to the empirical Nash equilibrium value 204 for the particular utility matrix 102 of the training set 202. As in a typical neural network training process, the objective is to minimise the loss function over a plurality of iterations. The approximation 206 is fed back to the NE approximator 104 for the purposes of updating the loss function accordingly.

[0067] There is therefore proposed herein a method of training a neural network approximator to approximate the equilibrium solution of a multi agent system based on the payoff matrix representation of that system. The method comprises generating a training set comprising a plurality of payoff matrix representations of  different multi agent systems and their Nash equilibria. Providing the training set to the neural network approximator. Determining, by the neural network approximator, an approximation of the Nash equilibrium of one of the plurality of payoff matrix representations alongside a loss function. And then repeating the determining step for each of the plurality of payoff matrix representations while minimising the loss function.

[0068] To train the NE approximator, the empirical average NE approximation may be employed as the loss function. Formally, the empirical average NE approximation of approximator fθ on data set S is defined as

[0069] The NE approximator is trained using minibatch Stochastic Gradient Descent (SGD) on the task of NE approximation. This approach is feasible because the objective function ε (∑, u) is differentiable almost everywhere, except for minor points on a zero-measure set. These minor points occur when one of the two maximum operations in ε (∑, u) has multiple maximum inputs. In such cases, any tie-breaking rule can be chosen to determine the outcome and compute the corresponding gradient. By leveraging minibatch SGD and differentiability properties, it is possible to effectively train the NE approximator to approximate NE accurately. The approximator is therefore trained using empirical data based on approximation.

[0070] Algorithm 1, as shown in Figure 3, is an embodiment of a training method. The input to the NE approximator 104 is the training set 202 as stated in line 1. The training set comprises payoff matrix representations 102 and corresponding NE approximations 204.

[0071] The parameters at line 2 define the boundaries of the training algorithm. The number of iterations ‘T’ is the number of times the NE approximator estimates the Nash equilibrium. Each iteration uses a different batch of the training set 202. A batch of  the training set 202 is a small selection of pairs of payoff matrix representations 102 and corresponding NE approximations 204 from the set 202. The batch size is the number of data pairs selected from the training set 202. Each of which are defined as greater than zero. The initial parameters of the NE approximator are also set.

[0072] At line 3 of the algorithm 1, a ‘for’ loop is started which instructs the training algorithm for each iteration between 0 and T. Lines 5 to 8 are then repeated for each iteration. Thus, for each iteration a different minibatch from the training set is selected, the empirical average loss computed, and the model parameters updated. At line 9 the ‘for’ loop is ended.

[0073] Thus, in an embodiment, the method comprises determining, by the neural network approximator, an approximation of the Nash equilibrium of each one of a further batch of the plurality of payoff matrix representations. The loss function is minimised based on the further batch of approximated Nash equilibria. The model parameters of the Nash equilibria approximator are then updated.

[0074] It is also possible to use training sets which only comprise a plurality of payoff matrices. That is, the training set may not comprise the empirical equilibrium solution. In this case, and the method comprises determining, by the neural network approximator, an approximation of the equilibrium solution of each one of the plurality of payoff matrix representations of the training set in turn; and minimising the loss function by employing the empirical average equilibrium solution approximation as the loss function.

[0075] Once the training phase is completed, the NE approximator can be leveraged quickly to approximate NEs in batches. Such procedure is illustrated in Figure 1. The advantage of using neural networks for constructing the NE approximator becomes evident in this context, as the computation can be easily parallelized through the use of GPUs. This parallel computing capability significantly accelerates the process of NE approximation, enabling efficient analysis and decision-making in scenarios involving large-scale games or extensive datasets. The parallelization of  computations through GPUs enhances computational efficiency of the NE solving system. The neural network may therefore be configured to determine an approximation of the equilibrium solution of each one of a batch of a plurality of payoff matrix representations in parallel using a plurality of Graphics Processor Units.

[0076] Optionally, the predicted solutions can also be used as initial points for classical algorithms. These classical methods typically rely on random strategies as starting points when seeking approximate Nash equilibria. Such a procedure is illustrated in Figure 4. By incorporating the predicted solutions from the NE approximator as initial points, it is possible to take advantage of the benefits offered by both function approximation methods and traditional approaches.

[0077] The NE approximator enables quick inference of initial solutions in batch settings, providing computational efficiency. On the other hand, the classical solvers offer theoretical guarantees in finding Nash equilibria.

[0078] Figure 4 shows a schematic diagram illustrating the NE approximator 104 predicting solutions in batches 302 and then feeding the predicted solutions or approximate NEs 206 to a downstream algorithm 304. The batches 302a, 302b, and 302c, of game payoff matrix representations are provided to the NE approximator 104. The NE approximator 104 then determines an approximate NE 206a, 206b, and 206c, for each matrix representation 102 and provides these to the downstream algorithm 304. In this way the downstream algorithm 304 is provided with a starting point that has already been narrowed towards the more exact NE which they are trying to calculate. Thus, the time it would otherwise have taken to reach this approximate point from a cold start is reduced. All games may be solved independently and in parallel. All of the particular solutions may therefore be considered independent to the downstream Nash equilibrium solvers. The inputs may be batches of game matrices which are independent from each other.

[0079] The proposed approach introduces a system that utilizes a neural network as an NE approximator to predict NE based on game representations. This system offers several advantages over existing methods.

[0080] Firstly, it can efficiently approximate NE in batch by performing a simple feed-forward computation of the neural network. This eliminates the need to compute NE from scratch for each game, significantly reducing computation time. Additionally, the proposed system can also be employed to boost various traditional methods. By using the predicted NEs as initial points, it enhances the efficiency of these algorithms while maintaining their theoretical guarantees. Overall, the proposed method provides a more efficient approach to NE approximation, batch prediction capability, and the ability to enhance traditional algorithms.

[0081] The proposed approach is a highly efficient solver for computing Nash equilibria (NEs) in normal-form games. As such, it can be integrated into value-based Markov game solvers, where the computation of NEs for normal-form games is required at each iteration of the value iteration process. By incorporating the proposed approach into these solvers, it is possible to significantly enhance their efficiency and effectiveness.

[0082] Take the known Nash-Q algorithm as an example. In each value iteration, the Nash-Q learning algorithm, which may be incorporated with the proposed NE approximator, can be executed as follows:

[0083] 1. The agents interact with the environment, resulting in a transition (s, a, r, s′) .

[0084] 2. The NE of the game Q (s′) is computed. To accelerate this computation, the proposed NE approximator can be utilized.

[0085] 3. Each agent i∈ [n] updates their Q-value Qi (s, a) using the following equation: Qi(s, a) ← (1-α) Qi (s, a) +α (ri+γNEi (Q (s′) ) ) ,

[0086] where NEi (Q (s′) ) represents the payoff of agent i in the NE of the game Q (s′) .

[0087] Therefore, there is proposed a method of determining the equilibrium solution of a multi agent system, where after determining an approximation of the equilibrium solution of one or more payoff matrix representations of different multi agent systems using an equilibrium solution approximator, the one or more determined approximations can be entered as one or more initialisation points of a downstream algorithm configured to determine an exact equilibrium solution. For example, the downstream algorithm may be a Markov game solver algorithm.

[0088] Thus, it can be seen that the proposed approach serves as a powerful subcomponent which streamlines the NE computation process, enabling the existing solvers to incorporate it and handle the demands of large-scale Markov games. Thus, Markov game solvers can leverage the proposed approach’s computational efficiency and accuracy to efficiently compute NEs for normal-form games, thereby improving the overall performance and scalability of the solvers. This makes the proposed approach a valuable tool for researchers and practitioners working in the field of Markov game solving.

[0089] The proposed approach can be integrated into Markov game solvers to expedite their learning process. This enhanced Markov game solver finds applications in various products, including game AI and autonomous driving.

[0090] In many games, agents form a Markov game. For example, in Multiplayer online battle arena (MOBA) games all agents within a team constitute a fully cooperative Markov game, while the two teams engage in a zero-sum team Markov game. In social dilemma games all agents form a mixed-motive Markov game. NE strategies serve as valuable guidance for AIs in these games since no agent benefits from deviating from an NE. Solving for the NE requires a Markov game solver.

[0091] In autonomous driving, vehicles on the road also form a mixed-motive Markov game. Each car can choose to cooperate with others or compete to optimize their own convenience. NE strategies in this Markov game provide useful guidance for drivers, and a Markov game solver is required to compute the NE.

[0092] By incorporating this efficient NE solving system, the overall Markov game solver becomes a valuable tool for optimizing decision-making processes in these domains. Whether it involves developing advanced strategies for game playing or enabling intelligent decision-making in autonomous vehicles, the proposed approach enhances the performance and efficiency of the Markov game solver, making it applicable to a wide range of real-world scenarios.

[0093] Another application of the described NE solving system is in ad auction. Advertisers bid for ad slots, and the platform conducts auctions to allocate the slots and charge winning advertisers. Given the high frequency of ad auctions occurring every hour, there is a large number of bidding games taking place among advertisers. The advertisers aim to reach NEs in these games as they ensure that no participant can benefit from deviation. Therefore, it is crucial for the platform to approximate the NEs of the advertisers accurately.

[0094] The described NE solving system provides an efficient solution for approximating the NEs in these games, as illustrated in Figure 2. By leveraging the approximate NEs, the platform can optimize its mechanism to maximize ad revenue.

[0095] To achieve this, the proposed NE approximator takes into account the bidder (i.e., advertisers) and item (i.e., ad slots) features, along with the representation of the auction mechanism, as input. It predicts the approximate NE of the bidders based on these inputs. The auction mechanism then utilizes this NE, along with the bidder and item features, to compute the auction outcome.

[0096] Notably, if the auction mechanism is differentiable, the entire computation becomes differentiable as well. This allows for the updating of mechanism parameters, enabling further optimization of the ad auction process.

[0097] Online advertising has become a primary revenue source for many Internet companies. Ad auctions serve as the mechanism for selling ad slots to advertisers. In a pay-per-click multi-slot ad auction multiple ad slots are available on a webpage for displaying ads. Advertisers submit bids representing their value for a click event and incur charges when their ads are clicked by users. The ad auction allocates ad slots to advertisers and sets the cost-per-click price for each slot-winning advertiser.

[0098] Designing an optimal ad auction aims to maximize expected revenue, which is the total payment received from advertisers. In practice, ad auction mechanisms are often constructed using parameterized functions, with the parameters learned from historical data.

[0099] The proposed approach has practical applications in the learning procedure of such ad auction mechanisms. The proposed NE solver has the ability to predict the Nash equilibria of the bidding games played by advertisers under a given mechanism. By integrating the proposed NE solving system into the learning process, it is possible to approximate the Nash equilibria of these games. The approximate Nash equilibria obtained provide valuable insights into the equilibrium strategies and behaviours of the advertisers. This knowledge can be used to refine and adjust the auction mechanisms, leading to more effective and profitable ad auctions.

[0100] Figure 5 shows an example of an overall ad auction process using the proposed NE approximator. Bidder and Item features 502 are provided to the NE approximator 104 and an Auction Mechanism 504. The Auction Mechanism 504 is also able to provide the NE approximator 104 with further information about the auction parameters. The NE approximator 104 can use all of the information it is provided with to determine the approximate NE of the bidders 506. The NE of the bidders can then be fed back to the Auction Mechanism 504 and the NE approximator 104 can  be updated accordingly. Eventually, the auction ends and the Auction Outcome 508 is output.

[0101] For the special case of bi-matrix games, it is possible to construct a transformer-based permutation equivariant neural network as the NE approximator. Such architecture is shown in Figure 2. To begin with, the two utility matrices u1 and u2 are concatenated into A1×1 convolution operator is then applied to get the initial latent representation:

[0102] where Conv0 is the 1×1 convolution operator, and d0＞0 is the dimension of initial hidden vector. Afterward, H ＞ 1 interaction modules are stacked on the hidden representation. For the h-th interaction module, a transformer is applied on each row  and each column

[0103] where and are the h-th transformers on each row and column, and dh is the hidden size in h-th module. Further, there is obtained a global representation by average:

[0104] Based on the above three representations, we get the unified representation of the i-th row and j-th column:

[0105] A 1×1 convolution operator is applied onto I′h to get the output of the h-th interaction module:

[0106] For the final interaction module, it is set that dH=2 and IH is split into and The un-normalized strategy of player 1 is obtained by summing up each column of J1, and the un-normalized strategy of player 2 is obtained by summing up each row of J2:

[0107] Finally, E 2 defined above is applied to get the mixed strategy of each player i∈ [n] .

[0108] Therefore, neural network can be configured such that where the multi agent system is a bi-matrix system representable by two payoff matrices, the neural network concatenates the two matrices, applies a convolution operator, and captures the mutual influence of each joint action by implementing a multiple interaction module. Details of an example multiple interaction module are illustrated in figure 5. The multiple interaction module outputs a tensor output and the neural network is configured to split the tensor output into two matrices. The two matrices split from the tensor provide the mixed strategy for each agent of the bi-matrix system.

[0109] Figure 6 shows a schematic diagram of the transformer-based permutation equivariant NE approximator for bi-matrix games. It takes the two payoff matrices as input, u1 and u2, and uses multiple transformer-based interaction modules 602 (for example, those shown within the dashed line) , to capture the mutual influence of each joint action. Given the output 604 of the final interaction module, the tensor is split into two matrices 606 and 608 and the mixed strategy for both the players is obtained.

[0110] In the proposed approach, a neural network is utilized to predict approximate Nash equilibria (NEs) in normal-form games. However, the function approximation method employed is not limited to NEs alone. It can also be adapted to predict other  approximate solution concepts, such as correlated equilibrium (CE) and coarse correlated equilibrium (CCE) . By training the neural network on appropriate data, it can learn to approximate these solution concepts as well.

[0111] Similarly, the use of a neural network as a function approximator enables the acceleration of computation for the other solution concepts. This makes it feasible to incorporate the neural network into Markov game solvers and ad auction mechanism design as discussed above. By leveraging the neural network's ability to predict approximate solution concepts, these systems can benefit from faster and more efficient computations.

[0112] Furthermore, the predicted solution concepts, such as Nash Equilibria (NEs) , Correlation Equilibria (CE) , and Coarse Correlation Equilibria (CCE) , all serve as valuable guidance for agents operating in various domains. The example methods and the neural network based equilibrium solution approximator described above is presented in reference to the Nash equilibria by way of example only. As mentioned above, such domains include video games, ad auctions, and autonomous driving. In video games, agents can utilize these solution concepts to make informed decisions and improve their performance. Similarly, in ad auctions, the platform can leverage these solution concepts to predict the behaviour of the advertisers and then optimize the auction mechanism. In the context of autonomous driving, the solution concepts provide guidance for cooperative or competitive decision-making among vehicles, enhancing safety and efficiency on the road.

[0113] The applicant hereby discloses in isolation each individual feature described herein and any combination of two or more such features, to the extent that such features or combinations are capable of being carried out based on the present specification as a whole in the light of the common general knowledge of a person skilled in the art, irrespective of whether such features or combinations of features solve any problems disclosed herein, and without limitation to the scope of the claims. The applicant indicates that aspects of the present invention may consist of any such individual feature or combination of features. In view of the foregoing description it  will be evident to a person skilled in the art that various modifications may be made within the scope of the invention.

Claims

1.A neural network approximator (104) configured to approximate the equilibrium solution (106, 206) of a multi agent system based on the payoff matrix representation (102, 302) of that system.2.The neural network approximator of claim 1, wherein the payoff matrix representation is a matrix comprising the payoff for each of all of the set of possible actions that the agents can take.3.The neural network approximator of any preceding claim, wherein the approximator is denoted as: 4.The neural network approximator according to any preceding claim, wherein the neural network is configured to determine an approximation of the equilibrium solution of each one of a batch (302a, 302b, 302c) of a plurality of payoff matrix representations in parallel using a plurality of Graphics Processor Units.5.The neural network approximator of any preceding claim, wherein the multi agent system is a bi-matrix system representable by two payoff matrices (and the neural network is configured to:concatenate the two matrices (u1, u2) ;apply a convolution operator; andcapture the mutual influence of each joint action by implementing a multiple interaction module (602) .6.The neural network approximator of claim 5, wherein the multiple interaction module (602) outputs a tensor output (604) and the neural network is configured to split the tensor output into two matrices (606, 608) arranged to provide the mixed strategy for each agent of the bi-matrix system.7.The neural network approximator of any preceding claim, wherein the approximator architecture is selected from any of a fully connected network, a GNN-based network on response graph, a transformer-based network for two-player games.8.The neural network approximator of any preceding claim, wherein the approximation of the equilibrium solution of the multi agent system is an approximation of any one of the Nash equilibria, the correlated equilibria, the coarse correlated equilibria.9.A method of training a neural network approximator (104) to approximate the equilibrium solution (106, 206) of a multi agent system based on the payoff matrix representation (102, 302a) of that system; the method comprising:generating a training set (202) comprising a plurality of payoff matrix representations of different multi agent systems and their equilibrium solution (204) ;providing the training set to the neural network approximator;determining by the neural network approximator an approximation of the equilibrium solution (106, 306) of one of the plurality of payoff matrix representations alongside a loss function; andrepeating the determining step for each of the plurality of payoff matrix representations while minimising the loss function.10.The method of claim 9, wherein the empirical average equilibrium solution approximation (E 3) of approximator fθ on data set S is defined as: 11.The method of claim 9 or 10, wherein the method comprises:determining by the neural network approximator an approximation of the equilibrium solution of each one of a further batch of the plurality of payoff matrix representations;minimising the loss function based on the further batch of approximated equilibrium solution; andupdating model parameters of the equilibrium solution approximator.12.The method of any of claims 9 to 11, wherein the method comprises using Stochastic Gradient Descent on the equilibrium solution approximation, where at any minor points on a zero-measure set which cannot be differentiated a tie-breaking rule is used to select between the multiple maximum inputs and the corresponding gradient is computed.13.The method of any of claims 9 to 12, wherein generating a training set comprises generating a training set comprising a plurality of payoff matrix representations of different multi agent systems only, and the method comprises:determining by the neural network approximator an approximation of the equilibrium solution of each one of the plurality of payoff matrix representations of the training set in turn; andminimising the loss function by employing the empirical average equilibrium solution approximation as the loss function.14.The method of any of claims 9 to 13, wherein the equilibrium solution of the multi agent system is an approximation of any one of the Nash equilibria, the correlated equilibria, the coarse correlated equilibria.15.A method of determining the equilibrium solution (106, 206) of a multi agent system, the method comprising:determining an approximation of the equilibrium solution of one or more payoff matrix representations (102, 302) of different multi agent systems using a neural network approximator (104) according to any of claims 1 to 8 and trained according to the method of any of claims 9 to 14, andentering the one or more determined approximation solutions (206) as one or more initialisation points of a downstream algorithm (304) configured to determine an exact equilibrium solution.16.The method according to claim 15, wherein the downstream algorithm is a Markov game solver algorithm.

Images