A framework for efficient approximate NASH equilibrium computation via conditional gradient method

Abstract

An apparatus configured to solve the Nash equilibrium of a multi agent system based on the payoff matrix representation of that system; the apparatus comprising one or more processors configured to: provide a dataset comprising, for each agent, a payoff function matrix, and a current strategy; determine, for each pair of agents within the dataset, a reduced region within a function of the multi agent system, the Nash equilibrium of the reduced region being solvable using a conditional gradient method and the determination of the reduced region being dependent on the received training dataset; calculate for each pair of agents within the dataset a minimised solution of the function of the multiagent system within the reduced region for that pair of agents; and update the dataset based on the minimised solution of each pair of agents.

Description

A FRAMEWORK FOR EFFICIENT APPROXIMATE NASH EQUILIBRIUM COMPUTATION VIA CONDITIONAL GRADIENT METHODFIELD OF THE INVENTIONThis invention relates to an apparatus and method utilising a conditional gradient method to solve the Nash equilibrium of a multi agent system.BACKGROUNDThe Nash equilibrium is a fundamental notion in game theory, signifying a condition where each player’s strategy is the best response to the strategies of their counterparts. It facilitates the analysis in scenarios where rational individuals engage in strategic interactions. The exact Nash equilibrium or an ∈-approximate Nash equilibrium (∈-NE) implies a stable interaction of players, where players have no or small incentive to deviate from their present strategies unilaterally. According to the definition, Nash Equilibrium is really useful in capturing the strategic interactions in various scenarios, such as autonomous driving (agents are vehicles on the road) , Multiplayer Online Battle Arena (MOBA) games (agents are players in a team) , and sponsored search (agents are advertisers) . In these scenarios, Nash equilibrium is the core component of multi-agent reinforcement learning (MARL) algorithms, such as Nash-Q as presented in Hu and Wellman, 2003 and policy-space response oracles (PSRO) as presented in Lanctot et al., 2017. Multi-agent reinforcement learning has been successfully applied to train machine agents that can defeat the top human players in electronic games, including AlphaStar as presented in Vinyals et al., 2019 and in StarCraft II and OpenAI Five as presented in OpenAI et al., 2019 in Dota 2.In academic research, significant progress has been made in approximating the Nash equilibrium for 2-player games, aiming for a robust theoretical approximation guarantee. For completeness, herein is disclosed exact algorithms, which guarantee finding the Nash equilibrium of a game. First is the support enumeration, which is trivial from the definition of Nash equilibrium. The second is the Lemke-Howson algorithm as presented in Lemke and Howson, 1964, which is a polynomial-time algorithm that computes the Nash equilibrium of a 2-player game. Due to the hardness of getting exact Nash equilibrium, researchers started to focus on approximate algorithms.The process began with the papers Kontogiannis et al., 2006 and Daskalakis et al., 2009, which introduced a direct polynomial-time algorithm that uses minimal support searches to approximate Nash Equilibria at 3 / 4 and 1 / 2 respectively. Following this, Daskalakis et al., 2007 found an algorithm that achieved a 0.38 approximation bound through extensive support enumeration, which is reached in another approach by Czumaj et al., 2019. A further research paper Bosse et al., 2007, drawing inspiration from Kontogiannis and Spirakis, 2007, presented an algorithm that narrowed the approximation bound to 0.36. The advancements continued with Tsaknakis and Spirakis, 2007, who obtained a 0.3393 approximation bound by a novel gradient descent approach. The most recent progress was made by Deligkas et al., 2022, who enhanced the findings of Tsaknakis and Spirakis, 2007 and set a new benchmark with a 1 / 3 approximation bound.Another parallel research line for approximate Nash equilibrium algorithms is the learning dynamics, which iteratively modify strategies by adjusting them according to the feedback of others’ strategies. A prominent learning dynamics for Nash equilibrium approximation is Fictitious Play Monderer and Shapley, 1996, which, as demonstrated by Conitzer, 2009, converges to an approximate bound of 1 / 2 following a finite number of iterations. Other methodologies include Double Oracle as presented in McMahan et al., 2003, Dinh et al., 2022 and PSRO Lanctot et al., 2017, Perez-Nieves et al., 2021. Techniques such as regret matching in Hart and Mas-Colell, 2000, Hedge in Auer et al., 1995, and Multiplicative weight update Arora et al., 2012 are also used as approximate Nash equilibrium algorithms, although they do not aim explicitly at calculating Nash equilibrium but target other equilibrium concepts.The academic research discussed above that relates to exact solvers require exponential time to solve in the worst case, and are impractical for large scale games as they fail to compute the Nash equilibrium, for example of 10x10 player games, in a reasonable time scale, for example a day. In addition, the academic research papers that discuss learning dynamics approaches are not guaranteed to converge to the Nash equilibrium and thus may generate solutions that are still exploitable. These learning dynamics approaches may also fail in certain game types such as Shapely games or non-strict Nash equilibrium scenarios. Finally, gradient based solvers have the shortcoming that they require solving a large linear program in each iteration. This makes them computationally expensive and impractical for real-time, large-scale games.There have also been several patented concepts relating to the topic of Nash equilibrium solving. These are as follows. CN115668216A which introduces a method and apparatus for optimizing action strategies in multi-agent systems through a computer-implemented process, focusing on learning strategies that align with Nash equilibrium. CN112966397A which details a method for quickly achieving the Nash equilibrium in multi-agent systems without needing model parameter information, emphasizing iterative strategy improvement based on value functions. EP3605334 which describes a machine learning system where multiple agents iteratively update their policies to converge towards Nash equilibrium, with a meta-agent adjusting reward parameters to induce this behaviour. CN111905373A which presents an AI decision-making method based on game theory and Nash equilibrium, specifically aimed at optimizing strategies in card games through iterative updates and neural network training. US8014809B2 which details a power control strategy in mobile networks using game theory, where a multi-antenna access point optimizes network utility while inducing Nash equilibrium behaviour among mobile stations. CN105488318A which proposes a game theory-based method for solving sudoku puzzles, demonstrating how game theory can guide participants toward Nash equilibrium to find optimal solutions. US6961678B2 which outlines a method for applying cooperative game theory to resolve statistical joint effects, focusing on constructing games that lead to value allocations aligning with Nash equilibrium.However, these approaches suffer from a number of drawbacks. Documents CN111905373A, US8014809B2, CN105488318A and US6961678B2 are only capable of solving the Nash equilibrium for one specific application, for example, poker, sudoku, rational mobile stations, or allocation games. The documents EP3605334 and CN115668216A are only suitable for Markov games with potential functions and are unsuitable for normal form games. The approach taken in CN112966397A is only suitable for continuous-action games and is not suitable for normal form games.It is desirable to develop an approach that can overcome at least some of the above issues.SUMMARY OF THE INVENTIONAccording to one aspect of this disclosure there is provided an apparatus configured to solve the Nash equilibrium of a multi agent system based on the payoff matrix representation of that system; the apparatus comprising one or more processors configured to: provide a dataset comprising, for each agent, a payoff function matrix, and a current strategy; determine, for each pair of agents within the dataset, a reduced region within a function of the multi agent system, the Nash equilibrium of the reduced region being solvable using a conditional gradient method and the determination of the reduced region being dependent on the received training dataset; calculate for each pair of agents within the dataset a minimised solution of the function of the multiagent system within the reduced region for that pair of agents; and update the dataset based on the minimised solution of each pair of agents. This allows the fast convergence rate of CGM and its ability to find stationary points in a multiagent system.The apparatus as described above, wherein the one or more processor is further configured to: update a step size based on the iteration of the method; and repeat, for a further step size, the determining step, the calculating step and the updating step until a stopping condition has been met. This provides the advantage that the number of iterations of the conditional gradient method can be reduced and a solution reached sooner.The apparatus as described above, wherein the stopping condition is one or more of: a stationary point in the function has been reached; the step size is below a threshold; and the number of iterations is above and / or equal to a threshold number of iterations. This allows different stopping conditions to be set by the user.The apparatus as described above, wherein the reduced region is represented as a linear region represented by linear constraints and the linear constraints of the reduced region are represented by the expression:where i represents a first agent in the agent pairing, j represents a further agent in the agent pairing, x represents an optimal strategy at the iteration k, xi is the mixed strategy for player i, xi, j denotes the probability that player i chooses action ej andrepresents the current (product) probability for players -i choosing action ej. This allows the reduced region to be employed such that a solution to the Nash equilibrium of a system can be found in all cases and allows solutions to be found in ordinarily non-differentiable systems.The apparatus as described above, wherein calculating the minimised solution of the function of the multi agent system within the reduced region is represented by the following expression:s ∈D.Where h is an auxiliary variable that may expressas linear constraints, andThis allows the Nash equilibrium and thus optimal strategy to be arrived at based on iteratively performing the method of this disclosure.The method as described above, wherein the step of providing the dataset comprises the step of: receiving, from a non-gradient based Nash equilibrium solver configured to determine a solution for the Nash equilibrium of a multi agent system, the dataset. This allows the apparatus to be provided as an add-on to an alternate system in order to more accurately arrive at a standing point in the function e.g., the Nash equilibria.A method for solving the Nash equilibrium of a multi agent system based on the payoff matrix representation of that system; the method comprising: providing a dataset comprising, for each agent, a payoff function matrix, and a current strategy; determining, for each pair of agents within the dataset, a reduced region within a function of the multi agent system, the Nash equilibrium of the reduced region being solvable using a conditional gradient method and the determination of the reduced region being dependent on the received training dataset; calculating for each pair of agents within the dataset a minimised solution of the function of the multi agent system within the reduced region for that pair of agents; and updating the dataset based on the minimised solution of each pair of agents. This allows the fast convergence rate of CGM and its ability to find stationary points in a multiagent system.The method as described above, wherein the reduced region is represented as a linear region represented by linear constraints. This allows ordinarily non-differentiable functions to be solvable by the method of this disclosure by constraining the function to differentiable regions.The method as described above, further comprising the steps of: updating a step size based on the iteration of the method; and repeating, for a further step size, the determining step, the calculating step and the updating step until a stopping condition has been met. This provides the advantage that the number of iterations of the conditional gradient method can be reduced and a solution reached sooner.The method as described above, wherein the stopping condition is one or more of: a stationary point in the function has been reached; the step size is below a threshold; and the number of iterations is above and / or equal to a threshold number of iterations. This allows different stopping conditions to be set by the user.The method as described above, wherein the linear constraints of the reduced region are represented by the expression:where i represents a first agent in the agent pairing, j represents a further agent in the agent pairing, x represents an optimal strategy at the iteration k, xi is the mixed strategy for player i, xi, j denotes the probability that player i chooses action ej andrepresents the current (product) probability for players -i choosing action ej. This allows the reduced region to be employed such that a solution to the Nash equilibrium of a system can be found in all cases and allows solutions to be found in ordinarily non-differentiable systems.The method as described above, wherein calculating the minimised solution of the function of the multi agent system within the reduced region is represented by the following expression:s ∈DWhere h is an auxiliary variable that may expressas linear constraints, andThis allows the Nash equilibrium and thus optimal strategy to be arrived at based on iteratively performing the method of this disclosure.The method as described above, wherein the step of providing the dataset comprises the step of: receiving, from a further system configured to determine a solution for the Nash equilibrium of a multi agent system, the dataset. This allows the apparatus to be provided as an add-on to an alternate system in order to more accurately arrive at a standing point in the function e.g., the Nash equilibria.The method as described above, wherein the further system is a non-gradient based Nash equilibrium solver. This allows the apparatus to be provided as an add-on to an alternate system in order to more accurately arrive at a standing point in the function e.g., the Nash equilibria.A non-transitory computer readable medium having stored thereon a program that when executed by a processor, performs the method as described above. This allows the fast convergence rate of CGM and its ability to find stationary points in a multiagent system.BRIEF DESCRIPTION OF THE FIGURESThe present invention will now be described by way of example with reference to the accompanying drawings.In the drawings:Figure 1 illustrates an example that demonstrates the approximate Nash equilibrium solver taking payoff matrices as inputs and outputting joint product strategies;Figure 2 illustrates an example of the overall framework of the conditional gradient based Nash equilibrium solver of the method and apparatus of this disclosure;Figure 3 illustrates an example one iteration of a conditional gradient based method;Figure 4A illustrates an example of a region reduction technique and the differentiable region of the function fi (x) ;Figure 4B illustrates an example of the function of the function fi (x) ;Figure 5 illustrates an example of a region reduction algorithm for a two-player game;Figure 6 illustrates an example of a conditional gradient based Nash equilibrium solver algorithm for two-player games;Figure 7 illustrates an example of the approximation separation technique on a three-player game;Figure 8 illustrates an example of an algorithm for the approximate separation technique for multiplayer;Figure 9 illustrates an example of a conditional gradient based Nash equilibrium solver algorithm for multiplayer games;Figure 10 illustrates an example of the post-execution boosting procedure.DETAILED DESCRIPTIONEmbodiments of the present disclosure relate to an apparatus and method utilising a conditional gradient method to solve the Nash equilibrium of a multi agent system.The Nash equilibrium solving system of this disclosure uses a Conditional Gradient Method (CGM) to find a stationary point of the optimisation problem represented by expression 2. To make use of the conditional gradient method, this disclosure provides a region reduction technique to make the conditional gradient method applicable to the Nash equilibrium computation of two-player games; this disclosure further develops an approximate separation technique to make the conditional gradient method applicable to the Nash equilibrium computation of multi-player games. The main advantage of the CGM-based Nash equilibrium solver is that it can efficiently find a stationary point of the optimisation problem (2) in both two-player games and multi-player games.Additionally, the ability to efficiently find a stationary point can be used to boost the approximation performance of other Nash equilibrium solvers. For another given Nash equilibrium solver, it is thus possible to use the CGM-based solver of this disclosure to refine its output and improve its approximation performance. In this way, the Nash equilibrium solver described herein can serve as a post-execution plug-in to enhance the approximation performance of other Nash equilibrium solvers.The apparatus and method of this disclosure are provided to find approximate Nash equilibrium (NE) of an r-player normal-form game. Throughout this disclosure the notation [n] = {1, 2, 3…, n} is used to represent an index set. Each agent i has their own action space denoted as Ai, and the product action space of all players is denoted as A = A1 x A2 x …x Ar. The size of Ai is denoted as ni = |Ai|. An action, as seen in Figure 1, is also referred to in this disclosure as a pure strategy of player i by ei, k and when the context is clear this disclosure uses ek. A joint action a = (a1, a2, …, ar) ∈ A represents one play of the game in which the player i takes action ai. The game utility (payoff) is denoted as u = (ui) i ∈ [r] , where ui : is the utility function of player i, with ui (a) to be i’s utility under joint action a. The utility function ui can be represented by a tensor such payoff tensor. In this disclosure, the r-player normal-form game will e represented by its game utility u.A mixed strategy of player i is represented by xi and is defined as a probability distribution over their action set Ai (the set of actions that they could perform) . In particular, xi, k denotes the probability that player i chooses action ek. By this definition, it follows thatfor all i ∈ [r] . Δ (Ai) denotes the set of all the possible mixed strategies for player i. Let x = (x1, …, xr) be a joint product strategy over A. The expected utility of a player i under x is then defined as,The product strategy of all but i is denoted as x-i. Similarly, the product strategy of all but i, j is denoted as x-i, j.Nash equilibrium is one of the most important solution concepts in game theory. A product strategyis called a Nash equilibrium of game u if for each player i ∈ [r] , their strategy is the best response given the strategiesof all the other players. Formally, for all i ∈ [r] and all xi ∈ Δ (Ai) , there isFor arbitrary ∈ > 0, it can be said that a strategy profileis an ∈-appropriate Nash equilibrium (∈-NE) if no player can achieve more than ∈ utility gain by deviating from their current strategy. Formally, for all i ∈ [r] and all xi ∈ Δ (Ai) , there isThe definition of ∈-NE reflects the idea that the players have no incentive to deviate from their strategies when the amount of utility they could gain by doing so is tiny (not more than ∈) .To evaluate the quality of a joint strategy to approximate a Nash equilibrium, the approximation can be defined as follows:The (Nash equilibrium) approrimation of x is defined asBased on approximation, the definition of Nash equilibrium and ∈-NE can be restated. A product strategy x*is a Nash equilibrium if and only if f (x*) = 0. A product strategyis an ∈-NE if and only ifThe Nash equilibrium system disclosed herein as part of the method and apparatus, when receiving the gam utility as input, outputs the joint product strategy to approximate Nash Equilibria for the input games. The process is visualised in Figure 1 where it can be seen that the Nash equilibrium solver takes as input the game payoffs for a batch of games. It then computes the approximate Nash equilibrium solutions for each game within the batch.Figure 1 illustrates an example that demonstrates the approximate Nash equilibrium solver. The Nash equilibrium solver takes game utility (payoff) matrices as input, and output joint product strategy to approximate Nash Equilibria for the input games. As can be seen in Figure 1 the probability of some actions is shown for both the opponent and the player.The Nash equilibrium computation can be formalized as the following constrained optimisation problem:The goal of the apparatus and method of this disclosure is to provide a gradient-based method to solve the above optimisation problem. In order to do so it is necessary to define the stationary point of the optimisation problem, which should be the solution of a gradient-based method.The directional derivative of f at x towards point s is defined as,Then x*is a stationary point of f if for all s ∈ Δ (A) , we have Df (x*; s) ≥ 0. Note that any Nash equilibrium is a stationary point, but the converse is not necessarily true. Thus, the stationary points represent the points of interest in the optimisation problem.The definition of stationary points is a natural one, otherwise such points are still exploitable, namely there exists a small disturbance δx such that f (x+δx) <f (x) . Thus, the present point will not be a Nash equilibrium and can easily be modified to arrive at a better point with a smaller approximation. In other words, any point that is not a stationary point will be exploitable by an agent and therefore will not be a Nash equilibrium. However, this disclosure includes the notion of an epsilon-Nash equilibrium (∈-NE) which bounds the exploitability (the additional reward that can be gained by a unilateral deviation from the current strategy) by at most epsilon. The two points are related since all points of an epsilon-Nash equilibria will be in a neighbourhood (an open ball of radius epsilon) containing / centred at a stationary point of the function f (x) .The embodiments of the present disclosure will now be described in relation to the remaining figures.Figure 2 illustrates an overall framework for a Conditional Gradient Method based Nash equilibrium solver according to this disclosure and in particular Algorithm 4. Such a solver can be used for any multi-player normal form games. Specifically, as shown in Figure 2, for any r-player normal form game expressed by payoff functions u1, u2, …, ur, inputting the corresponding payoff tensors U1, …, Ur to the Nash equilibrium solver, the solver of this disclosure may output a strategy profile x1, …, xr for the players as an approximate Nash equilibrium.As part of the solver of this disclosure the optimisation problem of equation 2 above is solved. This may be achieved by using a gradient-based iteration method to iteratively find a new strategy with smaller f-values, in other words a better approximation of the Nash equilibrium, and stops once a better strategy cannot be found e.g., a stationary point has been reached, the present strategy is good enough e.g., the step size is below a threshold, and / or the number of iterations is above and / or equal to a threshold number of iterations or a time limit has been reached. In each step, condition gradient method may be used to find a descent direction that may contain a better solution, and use a line search to find such a solution over this direction. The overall framework of the Nash equilibrium solver implemented by the method and apparatus of this disclosure is shown in Figure 2.An example of conditional gradient method can be seen in Figure 3. In Figure 3 the objective function f (x) , and the constraint set isA Conditional Gradient Method is a gradient based constrained optimization method. The method of this disclosure iteratively moves towards a minimiser (minimised solution) of the linearised objective function. The minimised solution may be found using a linear program. At the (k+1) -th iteration, there may be a descent direction search step to the method and a line step search step.In the descent direction search step, the method may compute the gradient Δf (xk) , then approximates the objection f (x) by a linear functionand finally finds sk+1∈D with the minimum gk (sk+1) . In a line search step, the method may find the step size γk+1 and updates the current solution with xk+1=xk+γk+1 (sk+1-xk) .An illustration of one iteration of a conditional gradient method can be seen in Figure 3. Here it can be seen that curved semi-sphere represents the objective function f (x) and the angled plane that is tangential to it represents a linear approximation gk (x) . The semi-transparent rectangle like column with a corner at “S” represents the constraint set D. S is the minimiser of gk (x) in D. The arrow x is the descent direction.While the conditional gradient method above converges fast in practice, the above process cannot be directly used for a Nash equilibrium solver as presented in this disclosure since the main difficulty is that the objective function f (x) is non-differentiable. Thus, the linear approximation gk (x) in some cases, becomes impossible to compute and therefore the Nash equilibrium cannot be found. To address this issue, this disclosure proposes the use of a region reduction technique to make the objective function differentiable for two-player games. The region reduction technique is based on the following observation: Function fi (x) can be written asi.e., the maximum of ni linear (thus differentiable) functions. This disclosure proposes confining the search space to the region where fi (x) if differentiable. An illustration of this technique can be seen in Figures 4A and 4B.Figures 4A and 4B illustrate the region reduction technique of this disclosure. Figure 4a shows the domain of x and the red shaded region in which point (x1, x2) resides in which fi (x) is differentiable. Figure 4B illustrates the function fi (x) as a 3D representation with each of the reduced regions shown. Further detail regarding the steps of the region reduction method is provided below in relation to Algorithm 1 in Figure 5.There is therefore provided a method for solving the Nash equilibrium of a multi agent system based on the payoff matrix representation of that system. The method comprises providing a dataset comprising, for each agent, a payoff function matrix, and a current strategy; determining, for each pair of agents within the dataset, a reduced region within a function of the multi agent system, the Nash equilibrium of the reduced region being solvable using a conditional gradient method and the determination of the reduced region being dependent on the received training dataset; calculating for each pair of agents within the dataset a minimised solution of the function of the multi agent system within the reduced region for that pair of agents; and updating the dataset based on the minimised solution of each pair of agents.The method first comprises the provision of a dataset that comprises for each agent a payoff function matrix and a current strategy that is being adopted. The payoff function matrix represents the payoffs for each action that the player may take. This dataset may be generated as part of the method or received from elsewhere after being previously generated. In other words, the step of providing the dataset may comprise the step of: receiving, from a further system configured to determine a solution for the Nash equilibrium of a multi agent system, the dataset. Once this dataset has been provided the method can proceed to providing a computation of the Nash equilibrium that has been formalised into a constrained optimisation problem.Algorithm 1 sets forth a method of region reduction performed as part of the method of this disclosure, wherein the method involves determining, for each pair of agents within the dataset, a reduced region within a function of the multi agent system, the Nash equilibrium of the reduced region being solvable using a conditional gradient method and the determination of the reduced region being dependent on the received training dataset. In other words, the method comprises determining a reduced region that may in some cases be represented as a linear region represented by linear constraints. The region reduction step may comprise inputting the dataset, including the payoff function matrix and the current strategy as shown in Algorithm 1 shown in Figure 5. Determining the reduced region for each pair of agents (players) may then comprise calculating values to generate the linear constraints belonging to the linear regionThe reduced region may be represented as a linear region represented by linear constraints and the linear constraints of the reduced region are represented by the expression:where i represents a first agent in the agent pairing, j represents a further agent in the agent pairing, x represents an optimal strategy at the iteration k, xi is the mixed strategy for player i, xi, j denotes the probability that player i chooses action ej andrepresents the current (product) probability for players -i choosing action ej.Using this reduced region allows for a conditional gradient method to be applied to calculate for each pair of agents, two in a two-player game, the minimised solution of the function of the multiagent system within the reduced region for that pair of agents, thus solving the Nash equilibrium.Figure 6 illustrates Algorithm 2 which demonstrates an example of the method of this disclosure when solving a two player multiagent system using a reduced region and conditional gradient method. As can be seen in Figure 6 Algorithm 2 introduces further parameters may be utilised when calculating the minimised solution of the function of the two player multi agent system. These additional parameters are the step size γk, and stopping criteria ∈ >0. Algorithm 2 uses these parameters to calculate the minimised solution along with the reduced region shown in Algorithm 1. Specifically, the method of this disclosure may calculate the minimised solution sk+1 of the function of the multi agent system within the reduced region, solve the linear program using the expression,s ∈D.Where h is an auxiliary variable that may expressas linear constraints, andThe objective function of the linear programOnce the minimised solution has been iteratively calculated the dataset may be updated based on the minimised solution of each pair of agents, in the case of a two player game the number of agents would be two.Several of the parameters utilised in Algorithm 2 may be adapted based on the choices of the user and the above parameters may be thought of as examples only. Examples of these choices are as follows. Similar modifications may be made to the Algorithms 3 and 4 as discussed later.The method of this disclosure may further comprise updating the step size based on each iteration of the method of Algorithm 2. In particular, the step size γk can be chosen by a conventional line search method such as that proposed in Tsaknakis and Spirakis

[2007] or based on the expression γk=2 /  (k+1) . Experimentally both methods have good convergence rates and similar approximation performance. In other words, the method of this disclosure may further comprise updating a step size based on the iteration of the method; and repeating, for a further step size, the determining step, the calculating step and the updating step until a stopping condition has been met The initial solution may also be chosen by the user. In some cases the initial solution x0 may be chosen randomly. However, the domain of f is not a cube nor an Euclidean space and as such it is quite difficult to construct a probability distribution over the domain. A common practice is to choose the initial solution from the uniform distribution over the domain. Alternatively, when the game distribution is known, the initial solution can be chosen by a neural network NE approximator. Similarly, the stopping criterion may be selected. Experiments show that the choice of stopping criterion does not affect the convergence rate, which may be a surprise. A possible reason for this is that the line search of the CGM can reach the stationary point very early, even before the step size becomes small. A common practice is to set the stopping criterion to be 10-3. Alternatively, the stopping condition may be one or more of: a stationary point in the function has been reached; the step size is below a threshold; and the number of iterations is above and / or equal to a threshold number of iterations.Although the above describes an example of method of this disclosure in combination with an example of a two-player game, the method may also be applied more generally to a multiplayer system. The region reduction technique can be applied to two-player games, in some cases it is not directly applicable to multi-player games. In two-player games, region reduction can be trivially represented by linear programs. In multi-player games, the result of region reductions is not directly represented by linear programs, but a general polynomial-constrained programs, which is NP-hard.To resolve this problem, the method of this disclosure may use an approximate separation technique to compute the differentiable regions approximately. This technique is a two-phase procedure. The first step is to fix all but two players, and compute the projections of differentiable regions to the other two players. This step can be accomplished by several linear programs. In other words, compute the solutions for each pair of agents while fixing the solutions of all but those two players. In this way the multiplayer game can be reduced to a series of two player games.In a further step, the method may comprise collecting the projections, to obtain a differentiable region. By this technique, the differentiable regions for multi-player games can be computed. An illustration of this technique is shown in Figure 7. Figure 7 provides an illustration of the approximate separation technique on a three-player game. Here it can be seen that each of the agents’ strategies are fixed in turn in order to provide linear constraints of each of the pairings within the system. Of course, it should be understood that this technique may be utilised by the method for multiagent games with greater than three players. Detailed steps of the approximate separation technique that may be employed as part of the method of this disclosure can be seen in Algorithm 3 in Figure 8. Here it can be seen that the linear constraints representing the differentiable regions are determined as well as the projections to players i and j with constraints Di, j.With the approximate separation technique, the method of this disclosure can apply the conditional gradient method to solve the Nash equilibrium of multi agent systems and multiplayer games. The overall process of implementing this approach can be seen in Algorithm 4 shown in Figure 9, which is similar to Algorithm 2 but applies to a multiagent system. In the example of Algorithm 4 the parameters are the same as those for Algorithm 2, except that the line search method now only remains as the standard one. As can be seen in the method of this disclosure set forth in Algorithm 4 the additional parameters of the approximate differentiable region are also calculated based on the input dataset of the multiple agents. The same method steps as for the two-player game then apply based on an output group of linear constraints that determine the differentiable region, thus allowing the approximate Nash equilibrium to be solved for the multiagent system. Furthermore, as can be seen in Algorithm 4 the stopping condition can be seen in Line 7 of Algorithm 4 in Figure 9.Although the above example Algorithms 2 and 4, shown in Figures 6 and 9, that represent examples of the method of this disclosure may be provided with datasets that are either generated as part of the method or received from elsewhere, the method of this disclosure can also in some cases be used to supplement the output of a further system. This further system may have gone some way towards solving the Nash equilibrium of the system but may not have reached a final solution and without the use of a conditional gradient method may struggle to do so. As such, the method of this disclosure may also be used to supplement the output of a further system and take as the initial dataset that is provided the output of this further system. An example of this can be seen in Figure 10. With the CGM-based NE solver described by the method of this disclosure it is possible to boost an existing non-gradient-based solver “A” by improving its output from a non-stationary point to a stationary point. In such a case the apparatus and method of this disclosure can be served as a post-execution plug-in to enhance the approximation performance of “A” , which is illustrated as the orange and dashed box in Figure 2. A high-level illustration can also be seen in Figure 10 where it is shown that the output current strategy of the non-gradient based solver is provided as the input to the method and apparatus of this disclosure which, as discussed above, utilises a conditional gradient based method to solve the Nash equilibrium of a multi agent system. This boosting procedure may be summarised as follows. Firstly, solver A would be run to output solution x0. Once this has been completed the present disclosures conditional gradient method solver is then run taking x0 as the initial solution and output the boosted solution x*. Since solver A is not guaranteed to find the stationary point, by utilising the method or apparatus of this disclosure as an add on allows for the stationary point of the system to be obtained with a smaller f value.This disclosure also provides an apparatus configured to solve the Nash equilibrium of a multi agent system based on the payoff matrix representation of that system; the apparatus comprising one or more processors configured to perform the method steps described above. The processors of the apparatus may be configured to implement the above steps as desired by the user. In addition, there is also a non-transitory computer readable medium having stored thereon a program that when executed by a processor, may perform the method steps as described above.As such the method and apparatus of the present disclosure provides a number of advantages that can be realised in Markov game solvers.Taking the advantage of its computational efficiency, the apparatus and method of this disclosure can be integrated into Markov game solvers to expedite their learning process. For a concrete example, consider its application in AlphaStar [Vinyals et al., 2019] , created by Google in 2019 to play StarCraft II. In the training process, the agents play the game and learn from 4 the feedback from the game environment repeatedly step by step. In each play, each agent needs to make decisions in every frame by its perceptions of the game state, which is a stage game. Besides each agent’s interior actions, the game also computes an NE for the agents:1. The game uses the Python package PySC2 to produce an abstract normal-form stage game representation for each agent, such as the positions of units, available resources, the status of opponents, etc.2. The game inputs the game representation into the method and apparatus of this disclosure, which outputs the approximate Nash equilibria of the game.3. Based on the computed Nash Equilibria, the NE solver recommends actions for each agent to take. These recommendations are then used to train the agents as rewards to instruct the update of the agents’ strategies.The method and apparatus of this disclosure is not only valuable in the context of AlphaStar but also offers benefits when applied to similar iterative frameworks for Markov games, such as PSRO-based algorithms [Lanctot et al., 2017] . In these algorithms, determining the Nash Equilibrium (NE) of a normal-form game is also crucial at each step of the update process. Traditional approaches, like fictitious play [Monderer and Shapley, 1996] and replicator dynamics [Schuster and Sigmund, 1983] , used in the foundational PSRO methodology, necessitate starting from scratch for each computation. By integrating the Nash equilibrium solver described by the methods herein, solvers for Markov games can harness its computational speed and precision to resolve Nash Equilibria in normal-form games more effectively, thus boosting their performance and scalability.Further benefits of the method and apparatus of this disclosure include sponsored search. The method and apparatus of this disclosure can also be applied in sponsored search, a domain where advertisers bid for ad slots through an auction mechanism that the platform manages to assign slots and determine pricing for the winners. In the dynamic environment of sponsored search, where auctions are a frequent occurrence, a multitude of bidding games unfold among advertisers each hour. In these games, advertisers strive for Nash Equilibria (NEs) as they guarantee no advantage from unilateral strategy shifts, making the accurate approximation of Nash Equilibria critical for the platform.The method steps described herein can be used as an adept tool for estimating these Nash Equilibria efficiently, aiding the platform in refining its mechanism to boost ad revenue. It assimilates features of both the bidders (advertisers) and items (ad slots) , as well as the auction mechanism’s representation, to project the bidders’ approximate Nash Equilibrium. This prediction then informs the auction mechanism, which, in concert with the bidder and item features, determines the auction’s outcome. An additional advantage arises when the auction mechanism is differentiable. In such cases, the entire process becomes differentiable, facilitating the adjustment of mechanism parameters.This adaptability fosters further refinement of the sponsored search system, showcasing this disclosures Nash Equilibrium solver’s significant contribution to enhancing the efficiency and effectiveness of sponsored search platforms.Further advantages of the method and apparatus of the present disclosure are that the solver significantly reduces the number and size of linear programs compared to other gradient-based Nash equilibrium solvers. Experimentally, on the standard benchmark GAMUT, when the number of actions becomes thousands, the CGM-based Nash equilibrium solver of this disclosure is 10 times faster than the state-of-the-art gradient-based Nash equilibrium solvers.Furthermore, the use of an approximate separation technique to make CGM applicable to multi-player games means that the solver provides the advantages of the fast convergence rate of CGM and its ability to find stationary points. Experimentally, on the standard benchmark GAMUT, when the number of players is less than six, the CGM-based Nash equilibrium solver of this disclosure is 1, 000 times faster than the state-of-the-art Nash equilibrium solvers for multi-player games and always finds the exact Nash equilibrium.In addition, the use of the method and apparatus of this disclosure as a post-execution plug-in to enhance the approximation performance of existing non gradient-based Nash equilibrium solvers combines the advantages of both gradient-based and non-gradient-based Nash equilibrium solvers.Having the efficient Nash Equilibrium (NE) solver of this disclosure for any normal form game, some advancement with far-reaching implications may happen across various fields listed below:Economic Policy and Market Design: Previously, the policies are mostly built up only based on previously observations and data, ignoring the impact of the policy itself to the market. However, people may use strategic behaviours to avoid the damage from the new policy, causing a shifting of the overall behaviour from the prediction. By the method and apparatus of this disclosure implementing the Nash equilibrium solver, Economists could use this solver to predict market outcomes and craft policies that lead to desirable economic equilibria even considering the reactions of the ones being impacted.Complex System Engineering: In the context of engineering, this solver can profoundly transform the optimisation of complex systems like traffic flow, internet traffic routing, or logistics. Engineers can now anticipate and strategize around the individual and collective behaviours of numerous agents within these systems. Similarly, in logistics, it can enhance supply chain efficiency by predicting and integrating the actions of all stakeholders, significantly boosting the system’s overall efficiency.Innovation significantly enhances the efficiency of Markov game solvers. Markov solvers are highly applicable across various domains, notably in game AI and autonomous driving:Game AI: In numerous gaming scenarios, agents constitute a Markov game framework. For instance, in MOBA games, the interactions inside a team form a cooperative Markov game, whereas the interaction between opposing teams represents a zero-sum Markov game. For hunting games, one approach introduces a social dilemma games representation that plays mixed-motive Markov game among participants.Autonomous Driving: The interaction among vehicles on the road can be modelled as a Markov game, where each vehicle may take actions (control the direction, speed and other things) to optimize individual outcomes, such as safety and efficiency. As elaborated in the previous discussion, we can integrate our Nash equilibrium solver in the Markov game solvers in each one-shot game. Namely, in the certain time slot, all the acceptable actions and rewards compose a normal-form game. Then, by solving its Nash equilibrium, the Nash equilibrium can be used to instruct the learning process of optimal policies.Products Related to Sponsored Searches. The primary objective of designing an efficient sponsored search system is to optimize revenue, which is the aggregate of payments received from advertisers. These systems are typically developed using models that are parameterized and fine-tuned with historical data insights.The method and apparatus of this disclosure plays a significant role in enhancing the frameworks for sponsored search mechanisms. A specific auction can be formulated to a normal-form game, where players are the bidders, strategies are actions admitted in the auction rule, such as bidding a price, and the payoff of a player is determined by the result of the auction as well its allocation rules. Thus, the rational interactions between the players form a Nash equilibrium. We can use such Nash equilibrium approach to evaluate the mechanism of the auction. This feedback is required in the learning process for an optimal auction mechanism.Modification of CGM-based Nash equilibrium Solver. In this disclosure, CGM-based Nash equilibrium solver is disclosed that is applicable to both two-player and multi-player games. This feature is not reached by existing gradient-based Nash equilibrium solvers, which are only applicable to two-player games. The present disclosure achieves this by providing an approximate separation technique to make CGM applicable to multi-player games.The applicant hereby discloses in isolation each individual feature described herein and any combination of two or more such features, to the extent that such features or combinations are capable of being carried out based on the present specification as a whole in the light of the common general knowledge of a person skilled in the art, irrespective of whether such features or combinations of features solve any problems disclosed herein, and without limitation to the scope of the claims. The applicant indicates that aspects of the present invention may consist of any such individual feature or combination of features. In view of the foregoing description it will be evident to a person skilled in the art that various modifications may be made within the scope of the invention.

Claims

1.An apparatus configured to solve the Nash equilibrium of a multi agent system based on the payoff matrix representation of that system; the apparatus comprising one or more processors configured to:provide a dataset comprising, for each agent, a payoff function matrix, and a current strategy;determine, for each pair of agents within the dataset, a reduced region within a function of the multi agent system, the Nash equilibrium of the reduced region being solvable using a conditional gradient method and the determination of the reduced region being dependent on the received training dataset;calculate for each pair of agents within the dataset a minimised solution of the function of the multiagent system within the reduced region for that pair of agents; andupdate the dataset based on the minimised solution of each pair of agents.2.The apparatus according to claim 1, wherein the one or more processor is further configured to:update a step size based on the iteration of the method; andrepeat, for a further step size, the determining step, the calculating step and the updating step until a stopping condition has been met.3.The apparatus according to claim 1, wherein the stopping condition is one or more of:a stationary point in the function has been reached;the step size is below a threshold; andthe number of iterations is above and / or equal to a threshold number of iterations.4.The apparatus according to any one of claims 1 to 3, wherein the reduced region is represented as a linear region represented by linear constraints and the linear constraints of the reduced region are represented by the expression: where i represents a first agent in the agent pairing, j represents a further agent in the agent pairing, x represents an optimal strategy at the iteration k, xi is the mixed strategy for player i, xi, j denotes the probability that player i chooses action ej andrepresents the current (product) probability for players -i choosing action ej.5.The apparatus according to any one of claims 1 to 4, wherein calculating the minimised solution of the function of the multi agent system within the reduced region is represented by the following expression: s∈DWhere h is an auxiliary variable that expressesas linear constraints, and6.The method according to any one of claims 1 to 5, wherein the step of providing the dataset comprises the step of :receiving, from a non-gradient based Nash equilibrium solver configured to determine a solution for the Nash equilibrium of a multi agent system, the dataset.7.A method for solving the Nash equilibrium of a multi agent system based on the payoff matrix representation of that system; the method comprising:providing a dataset comprising, for each agent, a payoff function matrix, and a current strategy;determining, for each pair of agents within the dataset, a reduced region within a function of the multi agent system, the Nash equilibrium of the reduced region being solvable using a conditional gradient method and the determination of the reduced region being dependent on the received training dataset;calculating for each pair of agents within the dataset a minimised solution of the function of the multi agent system within the reduced region for that pair of agents; andupdating the dataset based on the minimised solution of each pair of agents.8.The method according to claim 7, wherein the reduced region is represented as a linear region represented by linear constraints.9.The method according to claim 7 or 8, further comprising the steps of:updating a step size based on the iteration of the method; andrepeating, for a further step size, the determining step, the calculating step and the updating step until a stopping condition has been met.10.The method according to claim 9, wherein the stopping condition is one or more of:a stationary point in the function has been reached;the step size is below a threshold; andthe number of iterations is above and / or equal to a threshold number of iterations.11.The method according to any one of claims 8 to 10, wherein the linear constraints of the reduced region are represented by the expression: where i represents a first agent in the agent pairing, j represents a further agent in the agent pairing, x represents an optimal strategy at the iteration k, xi is the mixed strategy for player i, xi, j denotes the probability that player i chooses action ej andrepresents the current (product) probability for players -i choosing action ej.12.The method according to any one of claims 7 to 11, wherein calculating the minimised solution of the function of the multi agent system within the reduced region is represented by the following expression: s∈DWhere h is an auxiliary variable that expressesas linear constraints, and13.The method according to any one of claims 7 to 12, wherein the step of providing the dataset comprises the step of:receiving, from a further system configured to determine a solution for the Nash equilibrium of a multi agent system, the dataset.14.The method according to claim 13, wherein the further system is a non-gradient based Nash equilibrium solver.15.A non-transitory computer readable medium having stored thereon a program that when executed by a processor, performs the method of any one of claims 7 to 14.

Images