Machine learning model evaluation

Abstract

A method is proposed for machine learning (ML) model evaluation. In the method, an ML model to be evaluated is configured to execute a reasoning task by applying a set of sequential steps. Based on the ML model, a supervisor model for evaluating the ML model is determined. By using the supervisor model, an information gain for a step of the set of sequential steps is determined. The information gain indicates a contribution of execution of the step by the ML model to a correct prediction of the reasoning task. Based on the information gain, an evaluation result of the execution of the step by the ML model is determined.

Description

MACHINE LEARNING MODEL EVALUATIONFIELD

[0001] The present disclosure generally relates to the field of computer, and more specifically, to methods, devices, and computer program products for machine learning (ML) evaluation.BACKGROUND

[0002] ML models, e.g., language models (LMs) , have shown impressive performance in complex reasoning tasks by breaking down complex problems into a series of intermediate steps (e.g., sub-tasks) , mirroring human-like reasoning processes. For example, ML models may execute reasoning tasks through the use of Chain-of-Thought (CoT) reasoning. The evaluation of the reasoning process of such models is under investigation.SUMMARY

[0003] In a first aspect of the present disclosure, there is provided a method of ML model evaluation. The method includes: determining, based on an ML model to be evaluated, a supervisor model for evaluating the ML model, the ML model configured to execute a reasoning task by applying a set of sequential steps; determining, by using the supervisor model, an information gain for a step of the set of sequential steps, the information gain indicating a contribution of execution of the step by the ML model to a correct prediction of the reasoning task; and determining, based on the information gain, an evaluation result of the execution of the step by the ML model.

[0004] In a second aspect of the present disclosure, there is provided an electronic device. The electronic device comprises: a computer processor coupled to a computer-readable memory unit, the memory unit comprising instructions that when executed by the computer processor implements a method according to the first aspect of the present disclosure.

[0005] In a third aspect of the present disclosure, there is provided a computer program product, the computer program product comprising a computer readable storage medium having instructions embodied therewith, the instructions executable by an electronic device to cause the electronic device to perform a method according to the first aspect of the present disclosure.

[0006] This Summary is provided to introduce a selection of concepts in a simplified form that are further described below in the Detailed Description. This Summary is not intended to identify key features or essential features of the claimed subject matter, nor is it intended to be used to limit the scope of the claimed subject matter.BRIEF DESCRIPTION OF THE DRAWINGS

[0007] Through the more detailed description of some embodiments of the present disclosure in the accompanying drawings, the above and other objects, features, and advantages of the present disclosure will become more apparent, wherein the same reference generally refers to the same components in the embodiments of the present disclosure.

[0008] FIG. 1 illustrates a schematic diagram of an example process of ML model evaluation according to some embodiments of the present disclosure;

[0009] FIG. 2 illustrates a schematic diagram of an example Bayesian network according to some embodiments of the present disclosure;

[0010] FIG. 3 illustrates an example flowchart of a method of ML model evaluation according to some embodiments of the present disclosure; and

[0011] FIG. 4 illustrates a block diagram of an electronic device in which various embodiments of the present disclosure can be implemented.DETAILED DESCRIPTION

[0012] Principle of the present disclosure will now be described with reference to some embodiments. It is to be understood that these embodiments are described only for the purpose of illustration and help those skilled in the art to understand and implement the present disclosure, without suggesting any limitation as to the scope of the disclosure. The disclosure described herein can be implemented in various manners other than the ones described below.

[0013] In the following description and claims, unless defined otherwise, all technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skills in the art to which this disclosure belongs.

[0014] References in the present disclosure to “one embodiment, ” “an embodiment, ” “an example embodiment, ” and the like indicate that the embodiment described may include a particular feature, structure, or characteristic, but it is not necessary that every embodiment includes the particular feature, structure, or characteristic. Moreover, such phrases are not necessarily referring to the same embodiment. Further, when a particular feature, structure, or characteristic is described in connection with an example embodiment, it is submitted that it is within the knowledge of one skilled in the art to affect such feature, structure, or characteristic in connection with other embodiments whether or not explicitly described.

[0015] It shall be understood that although the terms “first” and “second” etc. may be used herein to describe various elements, these elements should not be limited by these terms. These terms are only used to distinguish one element from another. For example, a first element could be termed a second element, and similarly, a second element could be termed a first element, without departing from the scope of example embodiments. As used herein, the term “and / or” includes any and all combinations of one or more of the listed terms.

[0016] The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of example embodiments. As used herein, the singular forms “a” , “an” and “the” are intended to include the plural forms as well, unless the context clearly indicates otherwise. It will be further understood that the terms “comprises” , “comprising” , “has” , “having” , “includes” and / or “including” , when used herein, specify the presence of stated features, elements, and / or components etc., but do not preclude the presence or addition of one or more other features, elements, components and / or combinations thereof.

[0017] Principle of the present disclosure will now be described with reference to some embodiments. It is to be understood that these embodiments are described only for the purpose of illustration and help those  skilled in the art to understand and implement the present disclosure, without suggesting any limitation as to the scope of the disclosure. The disclosure described herein can be implemented in various manners other than the ones described below. In the following description and claims, unless defined otherwise, all technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skills in the art to which this disclosure belongs.

[0018] It may be understood that data involved in the present technical solution (including but not limited to the data itself, the acquisition or use of the data) should comply with requirements of corresponding laws and regulations and relevant rules.

[0019] It may be understood that, before using the technical solutions disclosed in various embodiment of the present disclosure, the user should be informed of the type, scope of use, and use scenario of the information involved in the present disclosure in an appropriate manner in accordance with relevant laws and regulations, and the user’s authorization should be obtained.

[0020] For example, in response to receiving an active request from the user, prompt information is sent to the user to explicitly inform the user that the requested operation will need to acquire and use the user’s information. Therefore, the user may independently choose, according to the prompt information, whether to provide the information to software or hardware such as electronic devices, applications, servers, or storage media that perform operations of the technical solutions of the present disclosure.

[0021] As an optional but non-limiting implementation, in response to receiving an active request from the user, the way of sending prompt information to the user, for example, may include a pop-up window, and the prompt information may be presented in the form of text in the pop-up window. In addition, the pop-up window may also carry a selection control for the user to choose “agree” or “disagree” to provide the information to the electronic device.

[0022] It may be understood that the above process of notifying and obtaining the user authorization is only illustrative and does not limit the implementation of the present disclosure. Other methods that satisfy relevant laws and regulations are also applicable to the implementation of the present disclosure.

[0023] As used herein, the term “model” is referred to as an association between an input and an output learned from training data, and thus a corresponding output may be generated for a given input after the training. The generation of the model may be based on a machine learning technique. In general, a machine learning model may be built, which receives input information and makes predictions based on the input information. For example, a classification model may predict a class of the input information among a predetermined set of classes. As used herein, “model” may also be referred to as “machine learning model” , “learning model” , “machine learning network” , or “learning network, ” which are used interchangeably herein.

[0024] As discussed above, ML models, e.g., language models (LMs) , may execute reasoning tasks by applying a series of reasoning steps, e.g., through the use of Chain-of-Thought (CoT) reasoning. Currently, several solutions have been proposed to evaluate the reasoning process of such ML models.

[0025] One previous work in this area has proposed “Process Supervision” , which requires expensive, human-annotated step-by-step data. While effective, this approach is often impractical due to the high cost and effort of creating large-scale annotated datasets. Alternative methods have recently been proposed, such as outcome reward modelling or the Math-Shepherd. Both these approaches avoid reliance on annotated  step-wise CoT data by instead modelling the correctness of each step based on the correctness of final outputs. However, as will be demonstrated in the following, these methods may be unsound for detecting incorrect reasoning steps and can thus lead to a high false-positive rate in certain scenarios.

[0026] Embodiments of the present disclosure propose solutions for ML model evaluation. A method for the ML model evaluation is proposed according to embodiments of the present disclosure. In the method, an ML model to be evaluated is configured to execute a reasoning task by applying a set of sequential steps. Based on the ML model, a supervisor model for evaluating the ML model is determined. By using the supervisor model, an information gain for a step of the set of sequential steps is determined. The information gain indicates a contribution of execution of the step by the ML model to a correct prediction of the reasoning task. Based on the information gain, an evaluation result of the execution of the step by the ML model is determined. In this way, the information gain for the step can be used for evaluating the execution of the step by the ML model. Thus, the step-wise evaluation of the ML model can be achieved efficiently.

[0027] Example embodiments of the present disclosure will be described in detail below with reference to the accompanying drawings.

[0028] FIG. 1 illustrates a schematic diagram of an example process 100 of ML model evaluation according to some embodiments of the present disclosure. As illustrated in FIG. 1, an ML model 110 to be evaluated and a supervisor model 120 for evaluating the ML model 110 are involved in the process 100.

[0029] In the process 100, the ML 110 is configured to execute a reasoning task by applying a set of sequential steps, e.g., by executing the CoT reasoning associated with the set of sequential steps. The supervisor model 120 configured for evaluating the ML 110 is determined based on the ML model 110. The supervisor model 120 determines one or more information gains for the ML model 110 for evaluating the step-wise execution of the ML model 110. Details of the process 110 is described below.

[0030] A high-level overview and notation on the reasoning task executed by the ML models is first provided. As a non-limiting example, the ML model 110, e.g., a large language model (LLM) , may be considered as an abstract execution machine with a natural language interface. From this perspective, prompts are designed to solve specific problems (e.g., mathematical or logical problems) , and the ML model 110 processes the information in the prompt to generate an output.

[0031] The notation for a typical prompt may be defined as a combination of two components. One component is an initial state, represented by a random variable which denotes information provided in the prompt that the ML model 110 must operate on to obtain the queried information. The other component is a taskλ∈Υ (e.g., addition followed by multiplication) which encapsulates how the ML model 110 should process information in X0. Given the prompt, defined as a tuple (X0, λ) , the state X1 represents the result of applying task λ to the initial state X0. Formally, this may be defined using the update mapping which outputs the updated state X1 by applying the task λ on X0, i.e. X1=Λ (X0, λ) . This updated state is then used to obtain the final output, denoted by by extracting from X1 only the information relevant to the queried final answer.

[0032] This notation may define a prompt that instructs the ML model 110 to process information drawn from some initial distribution p (X0) (e.g, mathematical problems) . A simple example is provided here to illustrate the notation. Considering the Prompt: “James has 3 apples and Abbey has 9. How many apples do the  two have in total? ” , using the above notation, the initial state x0 denotes the information “James has 3 apples; Abbey has 9 apples” , and λ denotes the addition task. Next, x1=Λ (x0, λ) represents the updated information after correctly performing the addition operation, i.e., x1= “James has 3 apples; Abbey has 9 apples; The two have 12 apples in total. ” The final output, y, is then obtained by simply extracting the total number of apples from x1, i.e. “The two have 12 apples in total. ”

[0033] With this basic notation established, an example of the reasoning task illustrated in FIG. 1 is discussed here. As illustrated in FIG. 1, consider a problem which requires two successive steps to arrive at the correct output:

[0034] Prompt: “Solve for z=2× (x+y) where x=12 and y=I3”                 (1)

[0035] In this example, first, the addition operation is applied to find the value of x+y, and next, the multiplication operation is applied to find the value of z. Using the above notation this can be expressed as  where λ1, λ2 denote the addition and multiplication tasks respectively. The following property allows concretely defining the application|of a compositional task

[0036] Definition: an update rule is compositionally consistent if:

[0037] Here,  denotes equality in distribution and is sufficient in many cases. For example, where a query may have multiple correct responses, an almost sure equality may be too restrictive.

[0038] Going back to the prompt in (1) , FIG. 1 shows that the ML model 110 first computes x+y, and next multiplies the result by 2. Here,  are referred to as intermediate states and Y is the correct final output.

[0039] More generally, if a problem statement requires sequential application of T sub-tasks,  then the reasoning based on the set of sequential steps, e.g., CoT reasoning, is divided up into T steps, where the output of the t’ th step is recursively defined as Xt=Λ (Xt-1, λt) for t∈1, …, T. Finally, the overall true output Y is obtained by extracting the queried information from the final state XT.

[0040] Having established the formal language for the sequential application of tasks, e.g., CoT, the following discusses how a task may be divided into such a sequence of intermediate sub-tasks. As used in this specification, a primitive task refers to a sub-task forming a basic building block of any task. Intuitively, this formulation is reminiscent of ideas from linear algebra, where basis vectors form the basic building blocks of a vector space. In this specification, any taskλ∈Υmay be expressed as a sequence of primitive tasks. This decomposition will allow establishing which tasks the ML model 110 could have learned from the training data. For example, if a specific primitive task is not available in the ML training data, it may be impossible for the ML model 110 to execute any instruction, i.e., task involving this primitive task correctly. This concept may be formulated by the following definition:

[0041] Definition: a set of tasks is primitive if, for any task λ∈Υ, there exists a unique subset such that

[0042] Note that the decomposition is not unique but the set of components is. In some cases, there may exist distinct permutations of primitive tasks which compose to yield the same task as is common in many associative operations. As an example, in the context of mathematical problem-solving, the basic arithmetic  operation could be considered primitive. The composition of these primitive tasks allows us to construct extremely complex operations. Just like in linear algebra, the span of these tasks may be defined as the set obtained by their sequential applications:

[0043] Definition: Let be a set of tasks, then:

[0044] The set Span (Φ) comprises all the tasks that can be applied by composing sub-tasks in the set Φ.This means that any compositionally consistent update rule Λ which is well-defined on the set of tasks Φwill also be well-defined on Span (Φ) . However, this Λ may still be ill-defined for any task not in this span. This limitation may be captured by the concept of unidentifiability as discussed below, which plays a central role in determining the boundaries of what a model can and cannot infer.

[0045] The unidentifiability of tasks forms a key part of the proposed solution in this disclosure. It directly addresses the fundamental challenge that ML models, such as LLMs, face when dealing with unseen tasks. If a task λ lies outside of Span (Φ) , which is the span of tasks the ML model has been trained on, then the ML model cannot be expected to infer or apply it correctly. In other words, the ML model’s capacity is constrained by the identifiability of tasks within the training set. This notion and formalization of unidentifiability allows highlighting a critical limitation in the generalization of models: tasks not encountered during training cannot be reliably executed, as they remain beyond the model’s learned task span. More formally:

[0046] Definition: Let be any set of tasks, then a task λ is said to be unidentifiable in Φiff,

[0047] Notably, in practice, the concept of unidentifiability may depend on the initial state X0. For instance, an LLM might accurately perform addition for 2-digit numbers but fail with 10-digit numbers. The proposed solutions in this disclosure can be extended to account for such cases by explicitly incorporating the distribution of initial states into the notion of identifiability. For example, addition could be considered unidentifiable when the initial state distribution is p (X0∣X0 includes 10-digit numbers) . However, for simplicity, this distributional dependence may be kept implicit in the definition provided earlier.

[0048] With the above definitions, the proposed solutions for ML model evaluation according to embodiments of the present disclosure are described below. For example, a practical algorithm for detecting unidentifiable sub-tasks is provided, and it is explored how the notion of unidentifiability can be combined with information-theoretic approaches to detect failure points in the ML models. Moreover, it is studied below how to detect any sub-task at which a model’s reasoning process starts to diverge from the ground truth, thereby providing insights into how the model can be improved. For example, in a case where the “addition” operation is unidentifiable, then the model’s mathematical reasoning can be further improved by fine-tuning it on the addition operation.

[0049] To make the concept of unidentifiability practical in the context of ML model evaluation, some fundamental assumptions are introduced below. The first assumption is that each correctly executed reasoning step should contribute meaningful and relevant information that aids in predicting the correct final output, denoted as Y. If a step is encountered after which the amount of information regarding Y stops increasing,  then this may be considered as an indication of an incorrectly executed task. This assumption may be formulated using the above notation:

[0050] Assumption 1: Let λ≠λ′ be two operations with primitive decompositions:  and where λ′k is unidentifiable in λ1, …, λT. Then, the intermediate states corresponding to the tasks λ, λ′ have the Bayesian network as illustrated in FIG. 2.

[0051] Intuitively, the Bayesian network in FIG. 2 implies that for any two reasoning paths which diverge at step k, the future states Xi and X′j for any i, j≥k satisfy the conditional independence Xi⊥⊥X′j∣ Xk-1. Consequently, once λ′k is applied, the subsequent states along the new reasoning path (in lower branch) add no information regarding the subsequent states or the output of the original path (in upper branch) . Hence, FIG. 2 represents the fact that, for any given input, the output of λk (top fork) contains no information regarding the output of any other primitive task λ′k (bottom fork) .

[0052] Further, to enable implementation of the proposed solutions in this disclosure, a reasoning process of the ML model 110 and a ground truth reasoning process which arises from following the instructions / tasks correctly are formally distinguished. To this end, it is explicitly defined how the ML model 110 interprets a specified task λ using the update rule, ΛM (X0, λ) , which is in general distinct from the ground truth update rule Λ (X0, λ) .

[0053] Here, one option would be to consider the idealised setting where the model learns to perfectly follow some of the primitive tasks available in the training data. However, this may be considered too restrictive since in reality most ML models do not always follow a “learned” task perfectly. Instead, a much weaker assumption may be used that the model cannot correctly execute a task which is unidentifiable in the training data. To this end, suppose denotes the primitive tasks available in the ML model training data. Concretely, the following assumption on ML model reasoning may be as follows:

[0054] Assumption 2: ΛM is compositionally consistent and for any there exists some such that

[0055] Intuitively, the assumption means that for any task to be executed by the ML model 110, the ML model 110 ends up executing some tasks in Span (ΓM) which the model has been trained on. In other words, the model’s execution is restricted only to the tasks which could be inferred from the training data (i.e. in Span (ΓM) ) . Moreover, this assumption also allows encapsulating cases where the model does not follow the correct instructions or does not decompose a given task correctly.

[0056] For the purpose of discussion, some notation is provided here. Let denote a primitive decomposition of a task λ. Then, starting from an initial state X0, the model’s intermediate states are denoted recursively as

[0057] Moreover, YM may be used to denote the model’s final output. Next, using this notation, a theorem is provided to present the conditional independence which must hold if the model encounters an unidentifiable intermediate task along its reasoning path.

[0058] Theorem 3:  denote the primitive tasks available in the training data. Let λ be a task with decomposition Ifλkis the first task in the decomposition of λ which is unidentifiable in Then, under Assumptions 1 and 2, we have that

[0059] Theorem 3 shows that under Assumptions 1 and 2, if the ML model 110 encounters an unidentifiable task (i.e., λk in Theorem 3) in its reasoning, its model output satisfies the conditional independence in Equation (2) . More concretely, after the reasoning of the ML model 110 diverges from the ground truth at step k, every subsequent step adds no additional information regarding the correct final output Y. The “additional information” may be measured by checking if the model’s confidence about the final output Y increases after each step. This is formalised in the following.

[0060] Based on the above theorem, the solutions of the present disclosure are described with first reference to the theoretical foundation. A dataset consisting of prompts and their corresponding final answers, obtained by correctly applying the task λ is obtained. This dataset is denoted as

[0061] Additionally, recall that and represent the model’s reasoning states at steps j and j-1 respectively. Consequently, each element in the conditional independence statement in Equation (2) can be derived from the data and / or the model.

[0062] Thus, it is defined in this present disclosure that mutual information between Y and conditional on denoted by represents the additional information contributed by the j’th step, that is relevant for predicting the ground truth final output Y. Therefore, the term is considered as the information gain at step j. It follows from Theorem 3 that if the ML model 110 encounters a sub-task at step i which is unidentifiable in its training data, no subsequent step should contribute any additional information relevant for predicting Y (i.e. the information gain should remain 0 after step i) . If, on the other hand, it is observed that for some j≥i, then under Assumptions 1 and 2, the task λi is not unidentifiable.

[0063] Based on the above theoretical foundation, the proposed solutions according to embodiments of the present disclosure will be described below with reference to FIG. 1 for the purpose of discussion. In a method according to embodiments of the present disclosure, the supervisor model 120 for evaluating the ML model 110 is determined based on the ML model 110. The supervisor model 120 is used for determining an information gain for a step, e.g., step j, of the set of sequential steps, and the information gain indicates a contribution of execution of the step by the ML model 110 to a correct prediction of the reasoning task. Then, based on the information gain, an evaluation result of the execution of the step by the ML model 110 is determined.

[0064] In some embodiments, the information gain for step j of the set of sequential steps executed by the ML model 110 may be determined based on a difference associated with a first conditional probability for step j and a second conditional probability for step j-1.

[0065] In some embodiments, the difference may be a difference between an expected value of a logarithm of the first conditional probability and an expected value of a logarithm of the second conditional probability. For example, the following is proposed:

[0066] Proposition: Let denotes the mutual information between random variables X and Y conditional on Z. Then,

[0067] Based on the proposition, the information gain for step j may be determined based on a difference between a first expected value of the logarithm of the probability of the ground truth output Y for the reasoning task conditional on a first reasoning state of the reasoning task at the first step j and a second expected value of the logarithm probability of the ground truth output Y for the reasoning task conditional on a second reasoning state of the reasoning task at the second step j-1 preceding the first step j.

[0068] The expected values may be used for determining an aggregate measure of the information gain for the step j in a dataset. That is, the aggregate information gain for a specific sub-task may be determined based on a plurality of samples in the dataset.

[0069] It will be appreciated that the formula (3) is only provided for the purpose of exemplary without suggesting any limitation. For example, further processing of the conditional probabilities may be allowed for determining the information gain.

[0070] In some embodiments, to estimate the information gain in (3) using the above Proposition, the supervisor model 120, denoted by gsup, may be used to determine, based on a reasoning state a prediction output of the reasoning task to approximate the conditional distribution Then, the quantity may be estimated using the negative cross-entropy loss for predicting Y, i.e.,

[0071] where lCH denotes the cross-entropy loss. From this, it follows that

[0072] In other words, a first negative cross-entropy loss based on the ground truth output Y and a first prediction output of the supervisor model 120 may be determined, where the first prediction output is determined by the supervisor model 120 based on the first reasoning state Similarly, a negative cross-entropy loss based on the ground truth output Y and a second prediction output of the supervisor model 120 may be determined where the second prediction output is determined by the supervisor model 120 based on the second reasoning state

[0073] It will be appreciated that the formula (4) is only provided for the purpose of exemplary without suggesting any limitation. For example, any other suitable function to approximate the conditional distribution  may be used in the proposed solutions for determining the information gain.

[0074] Based on the above discussion, in the proposed solutions of present disclosure, the information gain between steps j and j-1 reflects how much relevant information step j contributes towards predicting the ground truth output Y. This can be interpreted as the conditional mutual information between  and Y, conditioned on If task λj is executed correctly, this information gain is positive, as  indicated by a decrease in the cross-entropy loss. Conversely, if step j does not provide additional information, the loss remains unchanged. Positive information gain suggests step j adds new insight about Y, while no gain indicates no added information.

[0075] In other words, in accordance with a determination that the information gain for the step j indicates that the contribution of the execution of the step by the ML model 110 to the correct prediction of the reasoning task is present, it may be determined that the evaluation result of the execution of the step j by the ML model 110 is positive, e.g., the step j is executed correctly by the ML model 110. In contrast, in accordance with a determination that the information gain for the step j indicates that the contribution of the execution of the step j by the ML model 110 he correct prediction of the reasoning task is not present, it may be determined that the evaluation result of the execution of the step j by the ML model 110 is negative, e.g., the step j is executed incorrectly by the ML model 110.

[0076] Moreover, although the aggregate information gain is illustrated in formula (3) , in some embodiments, the information gain for the step j may be a sample-wise information gain. That is, a measure of sub-task correctness for an individual sample may be determined. This could be useful, for example, in detecting which step went wrong for a given prompt. In this case, the information gain for the step j may be determined based on a difference between a logarithm of the first conditional probability and a logarithm of the second conditional probability. For example, the following is proposed:

[0077] Intuitively, if step j is correctly executed, the model should become more confident in the ground truth output Y being the correct final answer. Therefore, the difference above should be positive. Alternatively, if step j is wrong, the model’s confidence regarding the true output Y should not increase and the above difference should not be positive.

[0078] In this way, the step-wise evaluation of the ML 110 can be achieved. Additionally, if a negative result is identified for a specific step, the ML model 110 may be further improved specifically for the sub-task corresponding to the specific step. For example, if no information gain is present for the “addition” sub-task, then the ML model 110 can be further improved by fine-tuning the ML model 110 on the addition operation, e.g., using specific training samples associated with the addition operation.

[0079] In some embodiments, the supervisor model gsup for evaluating the ML model 110 may be determined by training the ML 110 using a specific training dataset. The specific training dataset may be determined based on the set of sequential steps of the reasoning task to be evaluated. For example, the specific training dataset may comprise a first label reasoning state Xj of the reasoning task at the first step j and a second label reasoning state Xj-1 of the reasoning task at the second step j-1. The specific training dataset may take various label reasoning states of the reasoning task as inputs and the ground truth output Y as the output.

[0080] Specifically, the first label reasoning state Xj of the reasoning task at the first step j may be determined by applying, to an initial state X0 of the reasoning task, a sub-task of the reasoning task corresponding to each step up to the first step in the set of sequential steps. Similarly, the second label reasoning state Xj-1 of the reasoning task at the second step may be determined by applying, to the initial  state X0 of the reasoning task, a sub-task of the reasoning task corresponding to each step up to the second step j-1 in the set of sequential steps.

[0081] As a non-limiting example, consider a case where prompts comprise an integer vector sampled randomly from a given distribution and the task λ comprises 5-steps where each sub-task λi denotes an operation which transforms a given integer vector into another and the correct final answer Y is the value of Z5. The ML model 110 is configured to execute the task λ. Details of the task λ is omitted here.

[0082] The specific training dataset for training the supervisor model 120 for evaluating the ML model 110 may be determined based on the following. Considering a first sample of integer vector Z0 as 83, 48, 14, 98, 25, based on each of the 5-steps each of the five label reasoning states may be determined as:

[0083] Next, to construct the training dataset for fine-tuning the supervisor model 120, a special token “#|>” may be used to separate the model’s reasoning states from the ground truth output Y. This results in the following training datapoints for the supervisor model 120:

[0084] 1. “83, 48, 14, 98, 25 #|> 1403, 5725, 2304, 2075, 1872”

[0085] 2. “83, 48, 14, 98, 25 || 48, 83, 98, 14, 25 #|> 1403, 5725, 2304, 2075, 1872”

[0086] 3. “83, 48, 14, 98, 25 || 48, 83, 98, 14, 25 || 48, 131, 229, 25, 14 #|> 1403, 5725, 2304, 2075, 1872”

[0087] …

[0088] 5. “83, 48, 14, 98, 25 || 48, 83, 98, 14, 25 || 48, 131, 229, 25, 14 || 229, 131, 48, 25, 39 || 1872, 3275, 5725, 2304, 229 || 1403, 5725, 2304, 2075, 1872 #|> 1403, 5725, 2304, 2075, 1872” .

[0089] It will be appreciated that the above example is non-limiting. The supervisor model 120 may be determined in any other suitable way. The scope of the present disclosure is not limited in this regard.

[0090] Related Experiments

[0091] In the present disclosure, various experiments are conducted to validate the proposed solutions according to the present disclosure. In some experiments, results indicate that the information gain accurately quantifies step-wise correctness. The information gain remains positive until an incorrect reasoning step is encountered, at which point it drops to negative values. In some experiments, results indicate that outcome reward modelling and Math-Shepherd baselines relying on final accuracy tend to increase false positives in  error detection, whereas the information gain effectively identifies the failure steps. In some experiments, results indicate that the information gain is reliable for sample-wise detection of errors.

[0092] Example Process and Device

[0093] FIG. 3 illustrates a flowchart of a method 300 for ML model evaluation accordance with some example implementations of the present disclosure. The method 300 may be implemented by any suitable device with computing capability, for example, a processor.

[0094] In the method 300, at block 310, based on an ML model to be evaluated, a supervisor model for evaluating the ML model is determined. The ML model is configured to execute a reasoning task by applying a set of sequential steps.

[0095] At block 320, by using the supervisor model, an information gain for a step of the set of sequential steps is determined. The information gain indicates a contribution of execution of the step by the ML model to a correct prediction of the reasoning task.

[0096] At block 330, based on the information gain, an evaluation result of the execution of the step by the ML model is determined.

[0097] In some embodiments, the step is a first step in the set of sequential steps and the set of sequential steps comprises a second step preceding the first step, and wherein determining by using the supervisor model the information gain for the step comprises: determining a first conditional probability of a ground truth output for the reasoning task conditional on a first reasoning state of the reasoning task at the first step; determining a second conditional probability of the ground truth output for the reasoning task conditional on a second reasoning state of the reasoning task at the second step; and determining the information gain for the first step based on a difference associated with the first conditional probability and the second conditional probability.

[0098] In some embodiments, the difference associated with the first conditional probability and the second conditional probability comprises one of: a first difference between a logarithm of the first conditional probability and a logarithm of the second conditional probability, or a second difference between an expected value of a logarithm of the first conditional probability and an expected value of a logarithm of the second conditional probability.

[0099] In some embodiments, determining the first conditional probability comprises determining a first negative cross-entropy loss based on the ground truth output and a first prediction output of the supervisor model, the first prediction output determined by the supervisor model based on the first reasoning state; and determining the second conditional probability comprises determining a second negative cross-entropy loss based on the ground truth output and a second prediction output of the supervisor model, the second prediction output determined by the supervisor model based on the second reasoning state.

[0100] In some embodiments, determining the supervisor model comprises: determining, based on the set of sequential steps, a training dataset comprising a first label reasoning state of the reasoning task at the first step and a second label reasoning state of the reasoning task at the second step; and training the ML model based on the training dataset to obtain the supervisor model.

[0101] In some embodiments, the method 300 may further comprise: determining the first label reasoning state of the reasoning task at the first step by applying, to an initial state of the reasoning task, a  sub-task of the reasoning task corresponding to each step up to the first step in the set of sequential steps; and determining the second label reasoning state of the reasoning task at the second step by applying, to the initial state of the reasoning task, a sub-task of the reasoning task corresponding to each step up to the second step in the set of sequential steps.

[0102] In some embodiments, determining, based on the information gain, the evaluation result of the execution of the step by the ML model comprises: in accordance with a determination that the information gain for the step indicates that the contribution of the execution of the step by the ML model to the correct prediction of the reasoning task is present, determining the evaluation result of the execution of the step by the ML model as positive; and in accordance with a determination that the information gain for the step indicates that the contribution of the execution of the step by the ML model to the correct prediction of the reasoning task is not present, determining the evaluation result of the execution of the step by the ML model as negative.

[0103] In some embodiments, executing the reasoning task by applying the set of sequential steps comprises: executing the reasoning task by applying chain-of-thought reasoning associated with the set of sequential steps.

[0104] In some embodiments of the present disclosure, there is provided a non-transitory computer program product, the non-transitory computer program product comprising a computer readable storage medium having program instructions embodied therewith, the program instructions executable by an electronic device to cause the electronic device to perform a method of ML model evaluation. The method comprises: determining, based on an ML model to be evaluated, a supervisor model for evaluating the ML model, the ML model configured to execute a reasoning task by applying a set of sequential steps; determining, by using the supervisor model, an information gain for a step of the set of sequential steps, the information gain indicating a contribution of execution of the step by the ML model to a correct prediction of the reasoning task; and determining, based on the information gain, an evaluation result of the execution of the step by the ML model. In some implementations of the present disclosure, the method further comprises other steps as described in the present disclosure.

[0105] FIG. 4 illustrates a block diagram of an electronic device 400 in which various embodiments of the present disclosure can be implemented. It would be appreciated that the electronic device 400 shown in FIG. 4 is merely for purpose of illustration, without suggesting any limitation to the functions and scopes of the present disclosure in any manner. The electronic device 400 may be used to implement the above method 400. As shown in FIG. 4, the electronic device 400 may be a general-purpose electronic device. The electronic device 400 may at least comprise one or more processors or processing units 410, a memory 420, a storage unit 430, one or more communication units 440, one or more input devices 450, and one or more output devices 460.

[0106] The processing unit 410 may be a physical or virtual processor and can implement various processes based on programs 425 stored in the memory 420. In a multi-processor system, multiple processing units execute computer executable instructions in parallel so as to improve the parallel processing capability of the electronic device 400. The processing unit 410 may also be referred to as a central processing unit (CPU) , a microprocessor, a controller, or a microcontroller.

[0107] The electronic device 400 typically includes various computer storage medium. Such medium can be any medium accessible by the electronic device 400, including, but not limited to, volatile and non-volatile medium, or detachable and non-detachable medium. The memory 420 can be a volatile memory (for example, a register, cache, Random Access Memory (RAM) ) , a non-volatile memory (such as a Read-Only Memory (ROM) , Electrically Erasable Programmable Read-Only Memory (EEPROM) , or a flash memory) , or any combination thereof. The storage unit 430 may be any detachable or non-detachable medium and may include a machine-readable medium such as a memory, flash memory drive, magnetic disk, or another media, which can be used for storing information and / or data and can be accessed in the electronic device 400.

[0108] The electronic device 400 may further include additional detachable / non-detachable, volatile / non-volatile memory medium. Although not shown in FIG. 4, it is possible to provide a magnetic disk drive for reading from and / or writing into a detachable and non-volatile magnetic disk and an optical disk drive for reading from and / or writing into a detachable non-volatile optical disk. In such cases, each drive may be connected to a bus (not shown) via one or more data medium interfaces.

[0109] The communication unit 440 communicates with a further electronic device via the communication medium. In addition, the functions of the components in the electronic device 400 can be implemented by a single computing cluster or multiple computing machines that can communicate via communication connections. Therefore, the electronic device 400 can operate in a networked environment using a logical connection with one or more other servers, networked personal computers (PCs) or further general network nodes.

[0110] The input device 450 may be one or more of a variety of input devices, such as a mouse, keyboard, tracking ball, voice-input device, and the like. The output device 460 may be one or more of a variety of output devices, such as a display, loudspeaker, printer, and the like. By means of the communication unit 440, the electronic device 400 can further communicate with one or more external devices (not shown) such as the storage devices and display device, with one or more devices enabling the user to interact with the electronic device 400, or any devices (such as a network card, a modem, and the like) enabling the electronic device 400 to communicate with one or more other electronic devices, if required. Such communication can be performed via input / output (I / O) interfaces (not shown) .

[0111] In some embodiments, instead of being integrated in a single device, some, or all components of the electronic device 400 may also be arranged in cloud computing architecture. In the cloud computing architecture, the components may be provided remotely and work together to implement the functionalities described in the present disclosure. In some embodiments, cloud computing provides computing, software, data access and storage service, which will not require end users to be aware of the physical locations or configurations of the systems or hardware providing these services. In various embodiments, the cloud computing provides the services via a wide area network (such as Internet) using suitable protocols. For example, a cloud computing provider provides applications over the wide area network, which can be accessed through a web browser or any other computing components. The software or components of the cloud computing architecture and corresponding data may be stored on a server at a remote position. The computing resources in the cloud computing environment may be merged or distributed at locations in a remote data center. Cloud computing infrastructures may provide the services through a shared data center, though they  behave as a single access point for the users. Therefore, the cloud computing architectures may be used to provide the components and functionalities described herein from a service provider at a remote location. Alternatively, they may be provided from a conventional server or installed directly or otherwise on a client device.

[0112] The functionalities described herein can be performed, at least in part, by one or more hardware logic components. For example, and without limitation, illustrative types of hardware logic components that can be used include Field-Programmable Gate Arrays (FPGAs) , Application-specific Integrated Circuits (ASICs) , Application-specific Standard Products (ASSPs) , System-on-a-chip systems (SOCs) , Complex Programmable Logic Devices (CPLDs) , and the like.

[0113] Program code for carrying out the methods of the subject matter described herein may be written in any combination of one or more programming languages. The program code may be provided to a processor or controller of a general-purpose computer, special purpose computer, or other programmable data processing apparatus such that the program code, when executed by the processor or controller, causes the functions / operations specified in the flowcharts and / or block diagrams to be implemented. The program code may be executed entirely or partly on a machine, executed as a stand-alone software package partly on the machine, partly on a remote machine, or entirely on the remote machine or server.

[0114] In the context of this disclosure, a machine-readable medium may be any tangible medium that may contain or store a program for use by or in connection with an instruction execution system, apparatus, or device. The machine-readable medium may be a machine-readable signal medium or a machine-readable storage medium. A machine-readable medium may include but not limited to an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any suitable combination of the foregoing. More specific examples of the machine-readable storage medium would include an electrical connection having one or more wires, a portable computer diskette, a hard disk, a random-access memory (RAM) , a read-only memory (ROM) , an erasable programmable read-only memory (EPROM or Flash memory) , an optical fiber, a portable compact disc read-only memory (CD-ROM) , an optical storage device, a magnetic storage device, or any suitable combination of the foregoing.

[0115] Further, while operations are illustrated in a particular order, this should not be understood as requiring that such operations are performed in the particular order shown or in sequential order, or that all illustrated operations are performed to achieve the desired results. In certain circumstances, multitasking and parallel processing may be advantageous. Likewise, while several specific implementation details are contained in the above discussions, these should not be construed as limitations on the scope of the subject matter described herein, but rather as descriptions of features that may be specific to particular embodiments. Certain features that are described in the context of separate embodiments may also be implemented in combination in a single implementation. Rather, various features described in a single implementation may also be implemented in multiple embodiments separately or in any suitable sub-combination.

[0116] Although the subject matter has been described in language specific to structural features and / or methodological acts, it is to be understood that the subject matter specified in the appended claims is not necessarily limited to the specific features or acts described above. Rather, the specific features and acts described above are disclosed as example forms of implementing the claims.

[0117] From the foregoing, it will be appreciated that specific embodiments of the presently disclosed technology have been described herein for purposes of illustration, but that various modifications may be made without deviating from the scope of the disclosure. Accordingly, the presently disclosed technology is not limited except as by the appended claims.

[0118] Embodiments of the subject matter and the functional operations described in the present disclosure can be implemented in various systems, digital electronic circuitry, or in computer software, firmware, or hardware, including the structures disclosed in this specification and their structural equivalents, or in combinations of one or more of them. Embodiments of the subject matter described in this specification can be implemented as one or more computer program products, i.e., one or more modules of computer program instructions encoded on a tangible and non-transitory computer readable medium for execution by, or to control the operation of, data processing apparatus. The computer readable medium can be a machine-readable storage device, a machine-readable storage substrate, a memory device, a composition of matter effecting a machine-readable propagated signal, or a combination of one or more of them. The term “data processing unit” or “data processing apparatus” encompasses all apparatus, devices, and machines for processing data, including by way of example a programmable processor, a computer, or multiple processors or computers. The apparatus can include, in addition to hardware, code that creates an execution environment for the computer program in question, e.g., code that constitutes processor firmware, a protocol stack, a database management system, an operating system, or a combination of one or more of them.

[0119] A computer program (also known as a program, software, software application, script, or code) can be written in any form of programming language, including compiled or interpreted languages, and it can be deployed in any form, including as a stand-alone program or as a module, component, subroutine, or other unit suitable for use in a computing environment. A computer program does not necessarily correspond to a file in a file system. A program can be stored in a portion of a file that holds other programs or data (e.g., one or more scripts stored in a markup language document) , in a single file dedicated to the program in question, or in multiple coordinated files (e.g., files that store one or more modules, sub programs, or portions of code) . A computer program can be deployed to be executed on one computer or on multiple computers that are located at one site or distributed across multiple sites and interconnected by a communication network.

[0120] Processors suitable for the execution of a computer program include, by way of example, both general and special purpose microprocessors, and any one or more processors of any kind of digital computer. Generally, a processor will receive instructions and data from a read only memory or a random access memory or both. The essential elements of a computer are a processor for performing instructions and one or more memory devices for storing instructions and data. Generally, a computer will also include, or be operatively coupled to receive data from or transfer data to, or both, one or more mass storage devices for storing data, e.g., magnetic, magneto optical disks, or optical disks. However, a computer need not have such devices. Computer readable media suitable for storing computer program instructions and data include all forms of nonvolatile memory, media, and memory devices, including by way of example semiconductor memory devices, e.g., EPROM, EEPROM, and flash memory devices. The processor and the memory can be supplemented by, or incorporated in, special purpose logic circuitry.

[0121] It is intended that the specification, together with the drawings, be considered exemplary only, where exemplary means an example. As used herein, the use of “or” is intended to include “and / or” , unless the context clearly indicates otherwise.

[0122] While the present disclosure contains many specifics, these should not be construed as limitations on the scope of any disclosure or of what may be claimed, but rather as descriptions of features that may be specific to particular embodiments of particular disclosures. Certain features that are described in the present disclosure in the context of separate embodiments can also be implemented in combination in a single implementation. Conversely, various features that are described in the context of a single implementation can also be implemented in multiple embodiments separately or in any suitable sub-combination. Moreover, although features may be described above as acting in certain combinations and even initially claimed as such, one or more features from a claimed combination can in some cases be excised from the combination, and the claimed combination may be directed to a sub-combination or variation of a sub-combination.

[0123] Similarly, while operations are illustrated in the drawings in a particular order, this should not be understood as requiring that such operations be performed in the particular order shown or in sequential order, or that all illustrated operations be performed, to achieve desirable results. Moreover, the separation of various system components in the embodiments described in the present disclosure should not be understood as requiring such separation in all embodiments. Only a few embodiments and examples are described and other embodiments, enhancements and variations can be made based on what is described and illustrated in the present disclosure.

Claims

1.A method of machine learning (ML) model evaluation, comprising:determining, based on an ML model to be evaluated, a supervisor model for evaluating the ML model, the ML model configured to execute a reasoning task by applying a set of sequential steps;determining, by using the supervisor model, an information gain for a step of the set of sequential steps, the information gain indicating a contribution of execution of the step by the ML model to a correct prediction of the reasoning task; anddetermining, based on the information gain, an evaluation result of the execution of the step by the ML model.2.The method of claim 1, wherein the step is a first step in the set of sequential steps and the set of sequential steps comprises a second step preceding the first step, and wherein determining by using the supervisor model the information gain for the step comprises:determining a first conditional probability of a ground truth output for the reasoning task conditional on a first reasoning state of the reasoning task at the first step;determining a second conditional probability of the ground truth output for the reasoning task conditional on a second reasoning state of the reasoning task at the second step; anddetermining the information gain for the first step based on a difference associated with the first conditional probability and the second conditional probability.3.The method of claim 2, wherein the difference associated with the first conditional probability and the second conditional probability comprises one of:a first difference between a logarithm of the first conditional probability and a logarithm of the second conditional probability, ora second difference between an expected value of a logarithm of the first conditional probability and an expected value of a logarithm of the second conditional probability.4.The method of claim 2 or 3, wherein:determining the first conditional probability comprises determining a first negative cross-entropy loss based on the ground truth output and a first prediction output of the supervisor model, the first prediction output determined by the supervisor model based on the first reasoning state; anddetermining the second conditional probability comprises determining a second negative cross-entropy loss based on the ground truth output and a second prediction output of the supervisor model, the second prediction output determined by the supervisor model based on the second reasoning state.5.The method of any of claims 2 to 4, wherein determining the supervisor model comprises:determining, based on the set of sequential steps, a training dataset comprising a first label reasoning state of the reasoning task at the first step and a second label reasoning state of the reasoning task at the second step; andtraining the ML model based on the training dataset to obtain the supervisor model.6.The method of claim 5, further comprising:determining the first label reasoning state of the reasoning task at the first step by applying, to an initial state of the reasoning task, a sub-task of the reasoning task corresponding to each step up to the first step in the set of sequential steps; anddetermining the second label reasoning state of the reasoning task at the second step by applying, to the initial state of the reasoning task, a sub-task of the reasoning task corresponding to each step up to the second step in the set of sequential steps.7.The method of any of claims 1 to 6, wherein determining, based on the information gain, the evaluation result of the execution of the step by the ML model comprises:in accordance with a determination that the information gain for the step indicates that the contribution of the execution of the step by the ML model to the correct prediction of the reasoning task is present, determining the evaluation result of the execution of the step by the ML model as positive; andin accordance with a determination that the information gain for the step indicates that the contribution of the execution of the step by the ML model to the correct prediction of the reasoning task is not present, determining the evaluation result of the execution of the step by the ML model as negative.8.The method of any of claims 1 to 7, wherein executing the reasoning task by applying the set of sequential steps comprises:executing the reasoning task by applying chain-of-thought reasoning associated with the set of sequential steps.9.An electronic device, comprising a computer processor coupled to a computer-readable memory unit, the memory unit comprising instructions that when executed by the computer processor implements a method of machine learning (ML) model evaluation, the method comprising:determining, based on an ML model to be evaluated, a supervisor model for evaluating the ML model, the ML model configured to execute a reasoning task by applying a set of sequential steps;determining, by using the supervisor model, an information gain for a step of the set of sequential steps, the information gain indicating a contribution of execution of the step by the ML model to a correct prediction of the reasoning task; anddetermining, based on the information gain, an evaluation result of the execution of the step by the ML model.10.The device of claim 9, wherein the step is a first step in the set of sequential steps and the set of sequential steps comprises a second step preceding the first step, and wherein determining by using the supervisor model the information gain for the step comprises:determining a first conditional probability of a ground truth output for the reasoning task conditional on a first reasoning state of the reasoning task at the first step;determining a second conditional probability of the ground truth output for the reasoning task conditional on a second reasoning state of the reasoning task at the second step; anddetermining the information gain for the first step based on a difference associated with the first conditional probability and the second conditional probability.11.The device of claim 10, wherein the difference associated with the first conditional probability and the second conditional probability comprises one of:a first difference between a logarithm of the first conditional probability and a logarithm of the second conditional probability, ora second difference between an expected value of a logarithm of the first conditional probability and an expected value of a logarithm of the second conditional probability.12.The device of claim 10 or 11, wherein:determining the first conditional probability comprises determining a first negative cross-entropy loss based on the ground truth output and a first prediction output of the supervisor model, the first prediction output determined by the supervisor model based on the first reasoning state; anddetermining the second conditional probability comprises determining a second negative cross-entropy loss based on the ground truth output and a second prediction output of the supervisor model, the second prediction output determined by the supervisor model based on the second reasoning state.13.The device of any of claims 10 to 12, wherein determining the supervisor model comprises:determining, based on the set of sequential steps, a training dataset comprising a first label reasoning state of the reasoning task at the first step and a second label reasoning state of the reasoning task at the second step; andtraining the ML model based on the training dataset to obtain the supervisor model.14.The device of claim 13, wherein the method further comprises:determining the first label reasoning state of the reasoning task at the first step by applying, to an initial state of the reasoning task, a sub-task of the reasoning task corresponding to each step up to the first step in the set of sequential steps; anddetermining the second label reasoning state of the reasoning task at the second step by applying, to the initial state of the reasoning task, a sub-task of the reasoning task corresponding to each step up to the second step in the set of sequential steps.15.The device of any of claims 9 to 14, wherein determining, based on the information gain, the evaluation result of the execution of the step by the ML model comprises:in accordance with a determination that the information gain for the step indicates that the contribution of the execution of the step by the ML model to the correct prediction of the reasoning task is present, determining the evaluation result of the execution of the step by the ML model as positive; andin accordance with a determination that the information gain for the step indicates that the contribution of the execution of the step by the ML model to the correct prediction of the reasoning task is not present, determining the evaluation result of the execution of the step by the ML model as negative.16.The device of any of claims 9 to 15, wherein executing the reasoning task by applying the set of sequential steps comprises:executing the reasoning task by applying chain-of-thought reasoning associated with the set of sequential steps.17.A computer program product, the computer program product comprising a non-transitory computer readable storage medium having instructions embodied therewith, the instructions executable by an electronic device to cause the electronic device to perform a method of machine learning (ML) model evaluation, the method comprising:determining, based on an ML model to be evaluated, a supervisor model for evaluating the ML model, the ML model configured to execute a reasoning task by applying a set of sequential steps;determining, by using the supervisor model, an information gain for a step of the set of sequential steps, the information gain indicating a contribution of execution of the step by the ML model to a correct prediction of the reasoning task; anddetermining, based on the information gain, an evaluation result of the execution of the step by the ML model.18.The computer program product of claim 17, wherein the step is a first step in the set of sequential steps and the set of sequential steps comprises a second step preceding the first step, and wherein determining by using the supervisor model the information gain for the step comprises:determining a first conditional probability of a ground truth output for the reasoning task conditional on a first reasoning state of the reasoning task at the first step;determining a second conditional probability of the ground truth output for the reasoning task conditional on a second reasoning state of the reasoning task at the second step; anddetermining the information gain for the first step based on a difference associated with the first conditional probability and the second conditional probability.19.The computer program product of claim 18, wherein the difference associated with the first conditional probability and the second conditional probability comprises one of:a first difference between a logarithm of the first conditional probability and a logarithm of the second conditional probability, ora second difference between an expected value of a logarithm of the first conditional probability and an expected value of a logarithm of the second conditional probability.20.The computer program product of claim 18 or 19, wherein:determining the first conditional probability comprises determining a first negative cross-entropy loss based on the ground truth output and a first prediction output of the supervisor model, the first prediction output determined by the supervisor model based on the first reasoning state; anddetermining the second conditional probability comprises determining a second negative cross-entropy loss based on the ground truth output and a second prediction output of the supervisor model, the second prediction output determined by the supervisor model based on the second reasoning state.

Images