Apparatus and methods for accuracy monitoring of joint model inference for mobile communication networks

Abstract

The present disclosure provides an improved method of monitoring accuracy of an entity associated with a network to reduce the overhead involved in providing accurate analytics outputs based on network information. There is provided a first analytics entity configured to monitor an accuracy of a second machine learning, ML, wherein the first analytics entity comprises a first ML model different to the second ML model, and wherein the first and second ML models are configured to be trained based on first input data and second input data, the first input data and / or the second input data comprising monitored data of a mobile communication network. The first analytics entity configured to: (a) receive an indication to monitor an accuracy of the second ML model; (b) determine whether to perform the indicated accuracy monitoring; (c) receive one or more inference outputs from the second ML model and determine their accuracy, the determined accuracy information thereby indicating an accuracy only of the second ML model; (e) provide an instruction and / or information, to the second analytics entity, related to the accuracy information generated in (d).

Description

APPARATUS AND METHODS FOR ACCURACY MONITORING OF JOINT MODEL INFERENCE FOR MOBILE COMMUNICATION NETWORKSFIELD OF THE INVENTION

[0001] The present disclosure relates to the field of mobile communication networks, in particular, to 5th or 6th generation (5G, 5GS, and 6G) mobile or cellular communication systems and networks. In particular, the disclosure relates to monitoring accuracy of a network data analytics functions (NWDAFs) within or associated with a mobile communication networks.BACKGROUND

[0002] Recent work developed for the 3rd generation partnership project (3GPP) in release 18 (R18) resulted in the definition of the Network Data Analytics Function (NWDAF) architectural enhancements for the supporting Horizontal Federated Learning, HFL, (TS 23.288 Clause 5.3) . The key assumptions of HFL is that each training entity collaborating in the machine learning (ML) model training has the same ML model, but has a different data set which is not exposed to the other entities of the training process. This type of artificial intelligence and machine learning (AIML) collaboration is suitable for scenarios where the training entities can actually share the same ML model. Nevertheless, the collaborative processes performed during the training phase among the NWDAFs has no influence in the inference processes. Once a ML model has its collaborative training process finalised, any NWDAF with inference capability (e.g., an NWDAF containing an analytics logical function, AnLF) can retrieve such ML model.

[0003] In an attempt to expand the possible AIML collaborations in NWDAF architecture, the 3GPP SA2 Working Group proposed in release 19 (R19) Study Item in AIML (R19 FS_AIML_CN) the investigation of collaborative AIML process involving 5GC / NWDAF and / or AF for Vertical Federated Learning, using for instance Vertical Federated Learning (VFL) . The main benefit of collaborative ML techniques is the potential reduction of resources (less data transmission of collected data, reducing the amount of epochs used in the learning process) used by the mobile operator in order to have more accurate (e.g., better performing) ML models to be used their networks. VFL is a machine learning approach with a higher degree of privacy, where the interacting entities collaborating can maintain both the isolation of data used for the training or inference and can also keep private the ML model used in the training process of each training entity. 3GPP TR 23.700-84 [2] defines in Clause 5 the use cases where Vertical Federated Learning can be considered in 5GS.

[0004] In particular, in particular, VFL allows joint model training across multiple NWDAFs that do not typically share data or collaborate in training their respective ML models, e.g., NWDAFs belonging to different vendors, different geographical regions or different public land mobile networks (PLMNs) . One problematic scenario for collaboration between entities is home-routed roaming (HRR) . FIG. 1 illustrates an example of HRR for UE roaming in a visitor PLMN (V-PLMN) operated that is a different PLMN to the home network. This figure has been extracted from TS 23.501 Clause 4.4.3 and shows the 5G support for home routed roaming with IMS services.

[0005] The home roaming exchange NWDAF (H-RE-NWDAF) in the home public land mobile networks (H-PLMN) 102 may request or subscribe to access analytics from the visiting PLMN (V-PLMN) 100 to be accessed from the visiting RE-NWDAF (V-RE-NWDAF) . These analytics can thus be leveraged by the 5GC network function (NF) in the HMPLN at which the HRR session is anchored. Analytics may include information such as service experience analytics, slice load level analytics and the like, and generally other data that may affect QoS decisions. These data may be leveraged by the home policy control function (H-PCF) for QoS control of the Protocol Data Unit (PDU) session. The dashed-dotted line in FIG. 1 named ‘media plane’ indicates the control pathway used by the HRR PDU session. This HRR PDU session illustrated in FIG. 1 supports roaming defined in 5GS TS 23.501 / 502 for multiple service of 5GS.

[0006] The configuration enabled by the HRR session shown in FIG. 1 does not allow HFL to take place. However, VFL in cases like this to allow more collaborative ML training, in particular that support joint training across multiple NWDAFs, and also including the case of NWDAFs across PLMNs and thus supporting HRR scenarios. As mentioned, in VFL, the training entities collaborating to jointly one or more ML models can maintain both the isolation of data used for the training and isolation of  each local ML model itself used in the training process. Thus, the entities can exchange messages and outputs indicating progress until one entity (the ‘active’ entity which has access to the training labels  / ground truth data) determines when the ML training of all ML models across all entities has been completed.

[0007] 3GPP TS 23.288 R18 [1] defines the mechanisms for Horizontal Federated Learning [1] . The specification defines a NWDAF with training capability (i.e., NWDAF containing model training logical function, MTLF) that executes the role of federated learning (FL) server and the NWDAFs containing MTLF that execute the FL client roles. The FL Sever NWDAF is able to provide to the Client FL NWDAFs the ML model to be collaboratively trained. New NWDAF services were defined to enable the exchange of the ML Model information among the NWDAFs participating in the Horizontal Federated Learning support in TS 23.288. The changes to support HFL affect only the interactions among the NWDAFs training the model with no changes in the NWDAF inference processes (i.e., analytics output generation) .

[0008] Differently, VFL processes affect both the training phase as well as the inference phase. Traditional VFL inference process requires all entities that participated in the training phase to be also involved in the generation of a prediction and in the inference phase. In other words, once trained using VFL, it is not currently possible to perform inference using only one of the entities that took part in the joint training.

[0009] FIG. 2 illustrates the main principles of VFL inference process in the literature as well that have been proposed in 3GPP [3] - [6] . In the solutions proposed so far in the 3GPP discussions the assumption is that the ‘active’ VFL entity (in some examples referenced as VFL Server) is the entity that receives the subscription for providing an ‘analytics output’ based on joint VFL inference (i.e., the analytics output is an inference output, and is derived based on the analytics output of all the ML models jointly trained for such a VFL process –e.g., VFL Coordination ID or VFL Task ID, or Joint VFL ID) .

[0010] FIG. 2 illustrates the basic procedure for conventional VFL Inference Process with the assumption that the request for triggering the VFL inference process is done by the ‘active entity’ . The term active entity’ is used herein to refer to the entity which, amongst other things, is the only entity that may access labels (also called the ‘ground truth labels’ , or ‘truth label’ ) used to calculate the loss values using a loss function during the training. All other ML models within a VFL framework are be deemed ‘passive entities’ , which having a passive ML model. The passive ML models have the same objective as the active ML model in the active entity (e.g., support the inference of the same analytics information (also called ‘analytics ID’ ) ) , but passive entities do not typically have access to the labels and therefore cannot late the loss values using a loss function. Importantly, this means that passive entities cannot monitor their own accuracy.

[0011] The four entities shown in FIG. 2 are the analytics consumer 304, the ‘active VLF network function (NF) ’ , one or more passive VFL NFs 302, and a network exposure function (NEF) . In general, throughout this disclosure, the term “active VLF NF” and “active analytics entity” or “first analytics entity” may be used interchangeably. Similarly, the terms “passive VFL NFs” or “passive entity with one-sided passive VFL inference capability” may be used interchangeably with the terms “passive analytics entity” or “second analytics entity” may be used interchangeably. The NEF in FIG. 2 is optional, and would be used in certain cases, e.g., in the case when the Active VFL NF 300 or the Passive VFL 302 is an AF (Application Function) . In this case, it is expected that interactions among 5GC NFs and AF wouldnetwork and thus an ‘untrusted’ entity. The following steps are illustrated in FIG. 2.

[0012] At step S100, the analytics consumer 304 discovers the appropriate NWDAF to subscribe to, or form which to request an analytics ID (i.e., analytics information, containing an inference output) . At step S102, the Active VFL NF 300 determines that VFL inference should be performed and identifies it has the VFL Active Role (i.e., the capacity to act as the active entity in a VFL process and thus execute a joint training process) for a VFL inference process (associated with a Joint VFL ID) . The Active VFL NF 300 also determines the VFL participants (i.e., the one or more passive analytics entities 302) for the same Joint VFL ID.

[0013] At step S104, the Active VFL NF 300 provides to the determined VFL Participants a request (sometimes called a VFL inference request) indicating that VFL inference should be performed. Thus, in steps S106-S108, each participant in the VFL collect the respective data related to their part of the VFL inference process. At step, S110a-b, each participant generates the  inference output for their respective part of the VFL inference process, and at step S112 each Passive VFL NF 302 sends its respective inference output to the Active VFL NF 300.

[0014] At step S114, the active analytics entity 300 aggregates the local inference result from the different passive participants 302 to generate the final analytics output result. At step S116, the Active VFL NF 300 sends to the analytics consumer 304 the analytics notification with the final analytics output result.

[0015] The so far proposed solutions for VFL inference for use in mobile networks assume that the analytics consumer is capable of selecting an NF entity, to request an analytics ID (e.g. NWDAF) , which has the active VFL role. This assumption creates multiple problems, including various contradictions, possible conflicts, and possible privacy issues within a VFL framework.

[0016] The current architecture of NWDAF in 5GS assumes that an analytics consumer is agnostic to the internal mechanisms used by the NWDAF itself to generate its output. Therefore, with current mechanisms and under such assumptions, the analytics consumer will not be able to determine whether the NWDAF it received from network repository functions, NRF, (during discovery procedures as defined in TS 23.288) will have the active or passive role.

[0017] Particularly in VFL scenarios involving Active AF and Passive NWDAFs, with current specifications, the analytics consumer may be only able to discover the Passive NWDAF for consuming the analytics output (i.e., where because at AF is outside of the mobile communications network and / or is ‘untrusted’ for some other reason) . Following the conventional joint VFL inference, passive NWDAFs are required to interact with the Active AF in order for the final analytics output (i.e., the final, joint, inference output) to be generated. So, the passive entity contacted by the analytics consumer will not actually be able to provide its own inference output.

[0018] Furthermore, when the Active AF is a third-party AF (i.e., an untrusted AF to the mobile operator) involved in the process of generating the VFL inference output, an NEF has to be used as intermediary between NWDAF the Afs. Such intermediary interactions use network resources and energy and incur monetary costs. This means that the solution using Active AF and Passive NWDAFs with conventional VFL inference will automatically be forced to use a large amount of network resources because the NEF services will necessarily be invoked between 5G CN and AF.

[0019] Yet further, in the scenario of Active AFs and Passive NWDAFs, current solutions either assume i) that the analytics consumer is capable of requesting the accuracy directly from the Active AF, therefore breaking the architectural assumptions defined in TS 23.288, or ii) that the Active AF provides the final computed output to the passive NWDAF that forwards it to Analytics Consumer, therefore creating a risk of leaking private information from the active AF to the passive NWDAF.

[0020] Finally, another limitation is the calculation of the accuracy information for a given inference process executed by a passive NWDAF. Current 3GPP TS 23.288 specification defines that an NWDAF is capable of generating analytics accuracy information (i.e., performance information for an analytics ID) based on the output that the NWDAF generated itself. This means that accuracy information can only be generated if an NWDAF has itself generated an analytics output using an ML model that it has deployed (and therefore belongs to the NWDAF) and used for the analytics output generation. This creates a contradiction: a passive analytics entity cannot calculate the accuracy of its own passive ML model because, by definition, it does not have access to the truth labels; however, the active analytics entity cannot determine an accuracy of the passive analytics entity on its behalf, because the active analytics entity is precluded from generating analytics accuracy information for an ML model that it has not deployed (e.g., the passive ML model) .

[0021] The present disclosure is therefore aimed towards providing methods and systems for solving at least the afore-mentioned problems.SUMMARY

[0022] In view of the scenarios above, improved methods of monitoring the accuracy of the output of individual entities within a group of entities collaborating on a VFL process. This can be done by providing, inter alia, an ‘active’ entity configured to execute joint VFL inference with the capability to receive an inference output from a single passive entity, and further configuring the active entity with the capability to determine an accuracy of the single inference output. In other words, an active entity is configured to monitor the accuracy of a (passive) ML model belonging to a different entity, despite the fact that the active entity does not have ownership of that (passive) ML model and is not aware of its parameters. Thus, as a result of  the ability to verify and monitor the accuracy of individual entities, those individual entities can provide consistent and accurate inference outputs to third-party consumers with confidence. In prior art examples, the only option was to use the full VFL configuration to provide inference outputs to third parties, or to provide an inference output from a single entity but with unreliable accuracy. Thus, the advantage of monitoring the accuracy in this way is that significant network overheads (e.g., power, bandwidth, and cost) can be avoided because single entities can provide inference output and because the accuracy of entities can be monitored individually.

[0023] Particular embodiments are outlined in the attached independent claims, with other embodiments in the dependent claims.

[0024] According to a first aspect of the present disclosure, there is provided a first analytics entity configured to monitor an accuracy of a second machine learning, ML, model comprised within a second analytics entity, wherein the first analytics entity comprises a first ML model different to the second ML model, and wherein the first and second ML models are configured to be trained by the execution of joint model training, the joint model training based on first input data associated with the first ML model and second input data associated with the second ML model, wherein the first input data and / or the second input data comprise monitored data of a mobile communication network, the first analytics entity configured to:

[0025] (a) receive an indication, from the second analytics entity, to monitor an accuracy of the second ML model;

[0026] (b) determine, based on the indication, whether to perform the indicated accuracy monitoring;

[0027] (c) receive one or more inference outputs generated by the second ML model of the second analytics entity;

[0028] (d) determine accuracy information of the second ML model based on the one or more inference output received in (c) , the determined accuracy information thereby indicating an accuracy only of the second ML model;

[0029] (e) provide an instruction and / or information, to the second analytics entity, related to the accuracy information generated in (d) .

[0030] Advantageously, monitoring the accuracy in this way, i.e., only of the second ML model, makes efficient use of resources by only using two entities to monitor an accuracy of an inference output. Moreover, the second entity, if it is determined that the accuracy of the second ML model meets accuracy criteria, can provide its inference output with reliable accuracy. The fact that the second ML model’s accuracy has been individually verified as above advantageously obviates the need for other entities to be involved in providing an inference output (e.g., by using joint VFL inference) . In example implementations, a sample space of the first ML model and the sample space of the second ML model are the same. The indication to monitor accuracy comprises an indication for the first entity to generate accuracy information of the second ML model. The meaning of “related to” in step (e) can mean: derived from, or based on, or containing an indication of. The term ‘monitor’ can mean: evaluate accuracy; and / or monitor; and / or generate an accuracy information. In some examples, the analytics information is networks analytics information.

[0031] In example implementations, the first analytics entity is configured, in step (e) , to send an instruction indicating that:

[0032] the first and second analytics entities should execute joint model inference, where joint model inference comprises the generation of analytics information based on one or more inference outputs of the first ML model and the second ML model; or

[0033] the second analytics entity should stop providing analytics information to an analytics consumer, where the analytics information is generated only based on the one or more inference outputs of the second ML model.

[0034] For example, it may be determined to execute joint model inference in order to update the generation of inference output to be based on both the first ML model and second ML models in order to improve an accuracy of inference output that is provided to a consumer of the analytics information. The ‘instruction’ may be called a one-sided passive VFL inference change indication.

[0035] In example implementations, the first analytics entity is configured to send the instruction based on determining, in dependence on the determined accuracy information in (d) , that the accuracy of the second ML model does not meet an accuracy criteria. In examples, the accuracy criteria may be an accuracy threshold.

[0036] In example implementations, the first analytics entity is configured, in step (e) , to send an instruction indicating that the second analytics entity is allowed to provide analytics information or can continue to provide analytics information, based on one or more inference outputs of the second ML model, to an analytics consumer.

[0037] In example implementations, the first entity is configured to send the instruction based on determining, in dependence on the determined accuracy information in (d) , that the accuracy of the second ML model meets an accuracy criteria.

[0038] In example implementations, the first analytics entity is configured, in step (e) , to send an accuracy indication that is indicative of results of, or contains, the accuracy information determined in (d) . For example, the information is one-sided passive VFL accuracy information.

[0039] In example implementations, based on the received accuracy indication, the second analytics entity determines the first and second analytics entities should execute joint model inference.

[0040] In example implementations, the first analytics entity is configured to receive a change indication, from the second analytics entity, indicating that the first and second analytics entities should execute joint model inference.

[0041] In example implementations, the indication received in (a) is a subscription request from the second analysis entity configured to cause the first analytics entity to perform one-sided inference vertical federated learning, VFL, with the second analytics entity, wherein one-sided inference VFL is characterised in that exactly one entity performs inference of its respective ML model and exactly one other, different, entity evaluates an accuracy of an inference output of the respective ML model. The subscription request may be called a one-sided passive VFL accuracy monitoring indication. In examples where the first and second analytics entities are currently executing joint model inference, the request may also cause the first and second analytics entities to stop executing joint model inference.

[0042] In example implementations, the first analytics entity is configured to determine that support exists in (b) by one or more of the following:

[0043] analysing whether the indication received comprises one or more of i) a flag indicating to monitor the accuracy of only the second ML model from the second analytics entities, and ii) a joint VFL Identifier, ID;

[0044] analysing based on a configuration information related to the joint model inference, whether the first analytics entity is configured to support the monitoring of the accuracy of only the second ML model, optionally wherein the first analytics entity is configured to determine whether the second ML model is related to a joint VFL ID and / or related to an executed joint model training.

[0045] In example, the joint VFL ID is an indication that the first and the second ML models were trained in the same joint model training. In example implementations, the first analytics entity is configured to determine, based on a VFL inference configuration defining the joint model inference, that the first analytics entity is configured to support accuracy monitoring.

[0046] In example implementations, the first analytics entity is configured to provide a response to the second analytics entity indicating that the support exists to monitor the accuracy of only the second ML model as requested in the received indication in (a) .

[0047] In example implementations the first analytics entity is configured to determine the accuracy of the second ML model by using an objective loss function with the one or more inference outputs received from the second analytics entity and truth labels. For example, the first analytics entity may be configured to use the objective loss function to evaluate the accuracy of the one or more inference output received in (c) using the truth labels.

[0048] In example implementations, the first analytics entity is configured to evaluate the accuracy of the second ML model by:

[0049] providing the one or more inference output received from the second analytics entity to an aggregation function configured to aggregate at least an output of the first ML model and / or an output of the second ML model;

[0050] using the aggregation function to output an intermediate inference output based only on the one or more inference output received from the second analytics entity; and

[0051] providing i) the intermediate inference output and ii) truth labels to an objective loss function, and using the objective loss function to evaluate the accuracy of the second ML model.

[0052] In example implementations, the first analytics entity is a network function, NF, comprised within the mobile communication network. For example, the NF is a network data analytics function, NWDAF, or a NWDAF with analytics logical function, AnLF or the NF is a trusted Application Function, therefore the AF is comprised within the mobile communication network.

[0053] In example implementations, the first analytics entity is an application function, AF, wherein the AF is not comprised within the mobile communication network. For example, the AF is not part of, and is not trusted by, the mobile communication network, but can communicate with at least the second analytics entity which may form part of the mobile communication network. Where the first analytics entity is an AF, the AF communicated with the second analytics entity via an intermediary function, which may be a network exposure function, NEF.

[0054] In example implementations, the first and second ML models have the same model objective, and wherein the first analytics entity is configured to execute the joint model training by:

[0055] training the first ML model locally at the first analytics entity to obtain a first training output;

[0056] initiating local training of the second ML model at the second analytics entity;

[0057] receiving, from the second entity, a second training output obtained at the second entity; and

[0058] based on analysing the first and second training outputs, generating updated first ML model information for updating the first ML model and updated second ML model information for updating the second ML model.

[0059] In example implementations, the joint model training of the first and second ML models comprises vertical federated learning, VFL.

[0060] In example implementations, the first analytics entity is further configured to execute the joint model inference with an active role, wherein the active role defines that an entity is configured to evaluate a performance of the first and / or the second ML models and is configured to access the truth labels. In examples, an active role is a role that is associated with: the first ML model, the first training output, the second ML model, the second training output, and truth labels.

[0061] In example implementations, the second analytics entity is configured to execute the joint model inference with a passive role, wherein the passive role defines that an entity is configured to be restricted from accessing the truth labels and to be restricted from evaluating the performance of the first and / or second ML models.

[0062] In example implementations, the first analytics entity is configured to evaluate the accuracy of the second ML model based only on the inference output related to the second ML model and where the information and / or configuration characterizing the second ML model is restricted to the second analytics entity.

[0063] According to a second aspect of the present disclosure, there is provided a method of monitoring accuracy, performed by a first analytics entity, of a second machine learning, ML, model comprised within a second analytics entity, wherein the first analytics entity comprises a first ML model different to the second ML model, and wherein the first and second ML models are configured to be trained by executing joint model training, the joint model training based on first input data associated with the first ML model and second input data associated with the second ML model, wherein the first input data and / or the second input data comprise monitored data of a mobile communication network, the method comprising by the first analytics:

[0064] (a) receiving an indication, from the second analytics entity, to monitor an accuracy of the second ML model;

[0065] (b) determining, based on the indication, whether to perform the indicated accuracy monitoring;

[0066] (c) receiving one or more inference outputs generated by the second ML model of the second analytics entity;

[0067] (d) determining accuracy information of the second ML model based on the one or more inference output received in (c) , the determined accuracy information thereby indicating an accuracy only of the second ML model;

[0068] (e) providing an instruction and / or information, to the second analytics entity, related to the accuracy information generated in (d) .

[0069] According to a third aspect of the present disclosure, there is provided a second analytics entity configured to provide an analytics information for an analytics consumer based on one or more inference outputs generated by a second machine learning, ML model, comprised within the second analytics entity, wherein the second ML model is configured to be trained with a first ML model, different to the second ML model, and wherein the first ML model is comprised within a first analytics  entity, wherein the training of the first and second ML model comprises the execution of joint model training, the joint model training based on first input data associated with the first ML model and second input data associated with the second ML model, wherein the first input data and / or the second input data comprise monitored data of a mobile communication network, the second analytics entity configured to:

[0070] (a) provide an indication to the first analytics entity to monitor an accuracy of a second ML model;

[0071] (b) provide the first analytics entity with one or more inference outputs generated by the second ML model;

[0072] (c) receive, from the first analytics entity, an instruction or information related to accuracy information of the second ML model generated by the first analytics entity;

[0073] (d) determine, based on the received instruction or information, whether to provide analytics information generated only by the second ML model, to the analytics consumer.

[0074] In example implementations, the second analytics entity is configured to determine that the first analytics entity is configured to evaluate an accuracy of an inference output of the second analytics entity. In some examples, the analytics consumer is not comprised within the mobile communications network.

[0075] In example implementations, the second analytics entity is configured to determine, based on receiving a request from an analytics consumer to provide the analytics information, whether the generation of the analytics information is based only on the one or more inference output of the second ML model. In example implementations, this involves determining that one-sided passive VFL inference may be used to generate the analytics information to the analytics consumer. In this case, joint model inference is not to be used as part of the generation of the analytics information.

[0076] In example implementations, the second analytics entity is configured to determine that the accuracy of the second ML model should be determined based only on one or more inference outputs of the second ML model by determining whether the request from the analytics consumer contains one or more of the following:

[0077] - an inference indication for vertical federated learning, VFL;

[0078] - an inference ID for performing one-sided VFL; and

[0079] - an ID of the analytics consumer.

[0080] If any of the three parameters above are comprised in the request, the NWDAF may further check the VFL Configuration in order to determine (or in other words to check if it is authorized) to use the VFL One-Sided Passive VFL Inference for generation of analytics output for such subscription / request.

[0081] In example implementations, the second analytics entity is configured, in response to receiving the instruction or information (c) , to provide the analytics consumer with analytics information based only on the one or more inference outputs of the second ML model. The second analytics may concurrently send its inference output to the first analytics entity. The second analytics entity may perform this in response to determining, based on the instruction or information received in (c) , that an accuracy of its inference output is equal to or greater than an accuracy threshold.

[0082] In example implementations, the second analytics entity is configured to receive an accuracy indication that is indicative of results of, or contains, the accuracy information generated by the first analytics entity.

[0083] In example implementations, the second analytics entity is configured to send an indication, to the first analytics entity, indicating that the first and second analytics entities should execute joint model inference, where joint model inference denotes the generation of analytics information based on the one or more inference outputs of the first ML model and the second ML model. In examples, subsequent to and in response to sending the indication, the first and second analytics entities execute joint model inference. In some examples, the second entity sends this indication in response to determining that an accuracy of the inference output is below an accuracy threshold, or does not meet predetermined accuracy criteria. In other words, the second analytics entity may determine an accuracy degradation of its own analytics output, and thereby determine that joint model inference (i.e., VFL inference) should be performed again with the first analytics entity in order to improve the accuracy of the analytics output provided to the analytics consumer.

[0084] In example implementations, the second analytics entity is configured to receive an instruction from the first analytics entity, related to the accuracy information, wherein the instruction indicates that the first and second analytics entities should  execute joint model inference. In example implementations, the instructions is sent absent an indication of the evaluated accuracy. This can be done, advantageously, to maintain privacy between the first and second analytics entities. The instruction may be sent in response to the first analytics entity determining that the accuracy of the second entity is below a threshold, but without explicitly indicating the accuracy of the second ML model’s output to the second analytics entity.

[0085] According to a fourth aspect of the present disclosure, there is provided a method, performed by a second analytics entity, of providing an analytics information for an analytics consumer based on one or more inference outputs generated by a second machine learning, ML model, comprised within the second analytics entity, wherein the second ML model is configured to be trained with a first ML model, different to the second ML model and wherein the first ML model comprised within a first analytics entity, wherein the training of the first and second ML model comprises execution of joint model training, the joint model training based on first input data associated with the first ML model and second input data associated with the second ML model, wherein the first input data and / or the second input data comprise monitored data of a mobile communication network, the method comprising by the second analytics:

[0086] (a) providing an indication to the first analytics entity to monitor an accuracy of a second ML model;

[0087] (b) providing the first analytics entity with one or more inference outputs, generated by the second ML model;

[0088] (c) receiving, from the first analytics entity, an instruction or information related to accuracy information of the second ML model generated by the first analytics entity;

[0089] (d) determining, based on the received instruction or information, whether to provide analytics information, generated only by the second ML model, to the analytics consumer.

[0090] According to a fifth aspect of the present disclosure, there is provided a computer program stored in stored in non-transitory form comprising a program code for performing the method according to claim 20 or 28 when executed on a computer.BRIEF DESCRIPTION OF THE DRAWINGS

[0091] The present disclosure is described by way of example, with reference to the accompanying drawings, in which:

[0092] FIG. 1 shows an example of home routed roaming as known in the art;

[0093] FIG. 2 shows an overview of a conventional VFL inference process, as known in the art, and a method of providing an analytics output to a consumer;

[0094] FIG. 3 shows a logical schematic illustrating how support is provided for monitoring the accuracy of a passive entity, and for enabling a passive entity to provide a one-sided VFL inference output according to present embodiments;

[0095] FIG. 4 shows another, detailed, logical schematic illustrating how support is provided for monitoring the accuracy of a passive entity, and for enabling a passive entity to provide a one-sided VFL inference output according to present embodiments;

[0096] FIG. 5 shows another, detailed, logical schematic based substantially on FIG. 4, containing the variation that the one-sided VFL accuracy monitoring is mediated by a VFL server according to present embodiments;

[0097] FIG. 6 shows an example of the internal architecture of the entities involved in a VFL inference process;

[0098] FIG. 7 illustrates four different combinations of possible entities and roles for performing one-sided passive VFL inference according to present embodiments;

[0099] FIG. 8 shows more detailed alternative architectures for performing one-sided Passive VFL inference and one-sided passive VFL accuracy monitoring according to present embodiments; and

[0100] FIG. 9 illustrates possible combinations of embodiments, including combinations of roles and entities, that can be implemented according present embodiments of one-sided passive VFL accuracy monitoring.DETAILED DESCRIPTION

[0101] As mentioned, current solutions for VFL inference in mobile networks require the constant use of all the ML models involved in the VFL training. This means that an active analytics entity and all passive analytics entities will be performing the computing tasks and interacting with each other every time VFL inference needs to be performed. This leads to high operational resource use, i.e., high network bandwidth and power consumption, as well as high costs, for the VFL inference operation from the point of view of the mobile operator. These high operational costs might be justified in order to increase  chances of higher accuracy of generated VFL inference output by explicitly considering data from all entities related to the same prediction (i.e., VFL output or VFL inference output) .

[0102] Especially in this case when the analytics consumer requested / subscribed to analytics from a passive NWDAF, the following problem has to be considered when performing VFL: it is a possibility that operators try to save the monetary costs from making the passive NWDAF interact with the Active AFs (e.g., an untrusted AF) for joint VFL inference, by executing only one ML model associated with the jointly trained ML models among the NWDAF and AF (i.e., by deliberately not performing the entire VFL joint inference) . However, in this case, the operators will have no guarantee nor information about the performance (e.g., accuracy information) associated with the analytics output generated by the ML model of the passive NWDAF (e.g., passive ML model associated with a joint VFL training process) . As a consequence, the analytics consumer may receive inadequate analytics output and just discard such output (therefore, wasting resources from the mobile operator –such as computing, energy) or the analytics consumer may use the inadequate analytics output anyway, without knowing it is inadequate, and take unprecise decisions.

[0103] The core problem that embodiments of the present disclosure solve is as follows: current mechanisms either force the mobile operator to use the joint operation among all the ML models involved in the VFL training (therefore creating a high power, bandwidth, and operational and financial cost) ; or leave the mobile operators completely unassisted on being able to identify the accuracy (and / or performance) of the generated VFL inference output when running only the inference of a single ML model (particularly a passive ML model) trained based on VFL at the Passive NWDAF (i.e., executing only the passive related ML model for the generation of the analytics output) .

[0104] Embodiments of the present disclosure solve this core problem in one respect by enabling a single analytics entity, and in particular a passive analytics entity, to perform inference independently, i.e., without cooperating in joint inference with other entities with which the passive entity trained using VFL joint training. This ability to perform inference alone, within a VFL context, is referred to as ‘one-sided passive VFL inference’ . In the present disclosure, the passive entity performing this one-sided VFL inference may be referred to as a ‘NF with Passive VFL role’ , or simply a ‘Passive NF’ or ‘passive analytics entity” .

[0105] Advantageously, the one-sided passive VFL inference is enabled by, inter alia, enhancing the services and capabilities of the ‘NF with Active VFL role’ , also referred to as the ‘Active NF’ or simply the ‘active analytics entity’ , to enable the active analytics entity to generate accuracy monitoring information based on an analytics output calculated only by the (at least one) passive analytics entity. In other words, the active analytics entity is enabled to generate accuracy information of an ML model (i.e., the passive ML model of the passive analytics entity) that it does not have ownership of, and is also enabled to provide this accuracy information, or an indication of the accuracy (or even an instruction based on a determined accuracy) , to the passive analytics entity. Thus, in this disclosure, the Active NF (i.e., active analytics entity) is enhanced with what may be referred to as ‘one-sided passive VFL accuracy monitoring capability’ (or simply ‘one-sided VFL monitoring capability’ or ‘VFL monitoring capability’ ) .

[0106] In the following disclosure, an item or element referred to as an “ID” , e.g., an analytics ID, encompasses more than merely a label or reference number. In the present disclosure “ID” also encompasses actual data or information that is usable by an entity to make a relevant determination. An ID may also refer to an indication as to where to locate or obtain relevant information. For example, “analytics ID” may be used interchangeably with “analytics information” .

[0107] In the following disclosure, any description that two or more entities are “related to” each other is intended to include any one or more (or all) of the following meanings: that the entities are communicatively coupled with each other, that the entities are configured to cooperate with one another, that the entities are aware of each other’s existence, that the entities are permitted to cooperate in a joint VFL inference process, and that the entities share a joint VFL ID (or VFL correlation ID) .

[0108] FIG. 3 illustrates an overview of the one-sided passive VFL inference based on one-sided passive VFL accuracy monitoring. The entities involved are a first, active, analytics entity 300 (the entity with one-sided passive VFL accuracy monitoring capability) , the second, passive, analytics entity 302 (passive entity with one-sided passive VFL inference capability) and an analytics consumer 304. The analytics consumer 304 is the entity that requests, or makes a subscription for, analytics information (i.e., and inference output) from the passive analytics entity. The analytics consumer may not be part of  a mobile communication network, but may simply use the network and be interested in obtaining analytics information indicating some performance aspect of the network. Similarly, the active analytics entity 300 may not be part of the mobile communication network (though, if it is not, an intermediate communications broker such as the NEF 306 shown in FIG. 2 may be needed to mediate communication between the active and passive analytics entities) . Preferably, the passive analytics entity is part of the mobile communication network.

[0109] Step 200 indicates that joint VFL ML model training is completed. For the purposes of accuracy one-sided passive accuracy monitoring disclosed herein, the training itself can be performed at any time in the past. Thus, the training step itself is optional in the sense that it does not need to immediately precede the accuracy monitoring shown in FIG. 3.

[0110] A first step in the method, step S202, shows the analytics consumer requests analytics information from the passive analytics entity, 302. In response, in step S204, the passive analytics entity determines to perform one-sided passive VFL inference based on an obtained VFL inference indication and / or a VFL related configuration. Step S206 then shows the active analytics entity obtaining the indication to participate in one-sided accuracy monitoring, in other words, to monitor and / or determine an accuracy of the passive ML model of the passive analytics entity. This indication may be termed a ‘one-sided passive VFL accuracy monitoring indication’ .

[0111] At step S208, the analytics entity prepared to execute the monitoring of the accuracy of the inference output of the passive analytics entity only (which, in a usual VFL context, it is not allowed to do because the active entity is not permitted to know the type of ML model in the passive entity and is not permitted to determine its inference accuracy) .

[0112] At step S210, the active analytics entity confirms that it is able to monitor the accuracy of the passive analytics entity, and indicates to the passive entity to provide a one-sided inference output. Thus, at step S212, the passive analytics entity generates one-sided passive VFL inference output. Specifically, during one-sided passive VFL inference generation, only the ML model local to the passive analytics entity is used, and ML models from the set of (at least) two ML models (including one active ML model and at least one passive ML model) that are used during execution of the joint VFL training are not used.

[0113] Step S214, at this stage, should be considered optional because the passive analytics entity may not yet know whether it should send its analytics output to the analytics consumer, which the analytics consumer has requested. This is because the analytics the accuracy of the passive analytics entity has not yet been analysed or determined by the active entity. Thus, in preferable cases, the passive analytics entity will wait until the active analytics entity has determined an accuracy of the passive analytics entity, and will further await either: i) an indication from the active analytics entity that the passive analytics entity can provide its output (e.g., in response to the active analytics entity determining that an accuracy of the passive analytics entity meets some pre-defined accuracy criteria) , and / or ii) an instruction form the active analytics entity that the passive analytics entity either can, or cannot, provide its output, and / or iii) an indication of the accuracy of the ML model of the passive entity whereupon the passive entity can determine for itself whether the accuracy indicated by the active entity meets some pre-defined accuracy criteria.

[0114] At step S216, the active analytics entity obtains (from the passive analytics entity) the one-sided passive VFL inference output (i.e., passive VFL inference output, or intermediary output, from the passive analytics entity) generated by the passive entity performing the one-sided passive VFL inference. Optionally, the passive analytics entity may provide the inference output to a further entity.

[0115] Step S218 involves more than one possibility. At step S218, the active analytics information determines and / or calculates an accuracy of the one-sided passive VFL inference output produced by the passive analytics entity. This accuracy may be referred to in this disclosure as ‘the one-sided passive VFL accuracy information’ . The active analytics entity may also use the VFL inference configuration to determine the accuracy. Thus, part of the accuracy determination comprises executing the one-sided Passive VFL accuracy monitoring process, which may be based on an VFL analytics accuracy parametrization obtained from, or via, the one-sided passive VFL accuracy monitoring indication and / or via the VFL inference configuration.

[0116] In response to determining the accuracy of the inference output of the passive analytics entity, and based on the accuracy determined (i.e., the ‘one-sided passive VFL accuracy information’ ) the active analytics may determine that its accuracy has degraded, e.g., degraded below some pre-determined accuracy criteria. The degradation may represent a reduction of  performance, or crossing below a threshold for the accuracy of the one-sided passive VFL inference. Based on analysis of one-sided passive VFL accuracy information, e.g., based on determining a degradation, the active analytics entity may determine to stop the generation of the one-sided Passive VFL inference output, and swap to performing joint VFL inference. To initiate this, the active analytics entity may thus decide to provide an indication to swap to joint VFL to the passive entity, where which swap indication may be called a ‘one-sided passive VFL inference change indication.

[0117] At step S220, the active analytics entity either provide the one-sided passive VFL accuracy information, or provide the one-sided passive VFL inference change indication to the passive analytics entity. The one-sided passive VFL inference change indication is thus associated with (e.g., sent in response to determining) that there is a change (i.e., reduction in performance) in the performance of the passive analytics entity (as contained in the one-sided passive VFL accuracy information) .

[0118] At step S222, the passive entity may determine to stop the one-sided passive VFL inference based on the one-sided passive VFL accuracy information, and / or based on the one-sided passive VFL inference change indication. It should be noted that, for privacy reasons, the active analytics entity may be configured only to send a change indication to the passive entity, and not send results or indications of the actual accuracy of the inference output of the passive entity. Thus, beneficially, passive entity may be restricted from learning the accuracy of its own inference output. The passive analytics entity may thus determine to change from executing one-sided passive VFL inference to execute joint VFL inference in response to receiving either the one-sided passive VFL accuracy information and / or receiving the one-sided passive VFL inference change indication.

[0119] At step S224, in response to changing to joint VFL inference, the passive analytics entity may indicate to the analytics consumer that it is not currently able, or no longer able, to provide analytics output. Thus, the passive analytics entity may provide to the analytics consumer 304 an analytics termination (or cancellation) indication based on the one-sided passive VFL accuracy information, and / or provide a one-sided passive VFL inference change indication to the analytics consumer.

[0120] FIG. 4 illustrates another procedure of monitoring a one-sided passive VFL inference based on one-sided passive VFL accuracy monitoring, in more detail. As with FIG. 3, the entities involved in FIG. 4 include a first, active, analytics entity 300 (an NWDAF or AF (application function) with one-sided passive VFL accuracy monitoring capability) , the second, passive, analytics entity 302 (e.g., an NWDAF that is a passive entity, and has one-sided passive VFL inference capability) and an analytics consumer 304. The active analytics entity may itself be a ‘VFL server’ (i.e., not an active VFL participant but an entity which mediates and / or supervises VFL; embodiments and details of which are provided below) , and / or may be a VFL active participant. The passive analytics entity 302 may be termed a ‘VFL client’ .

[0121] FIG. 4 also illustrates in more detail to two alternative embodiments briefly described above with respect to step S218. In the first alternative 402, the decision of whether to switch from performing one-sided passive VFL inference to joint VFL inference is made by the passive analytics entity itself. In the second alternative 402, the decision of whether to switch from performing one-sided passive VFL inference to joint VFL inference is made by the active analytics entity, and thus details of the accuracy of the inference output of the passive entity may be hidden from the passive entity.

[0122] Generally, this embodiment describes an example of the present disclosure in which the VFL participant (e.g., NWDAF or AF) assumes the following functionalities or roles: active participant, VFL Server, one-sided passive VFL accuracy monitoring (or simply VFL monitoring, or VFL mon) . FIG. 4 depicts the steps and enhancements to implement the one-sided passive VFL inference based on the one-sided passive VFL accuracy monitoring.

[0123] In FIG. 4, we refer to a NWDAF with VFL passive participant or VFL client role (e.g., the NWDAF can act, or has the capability to be an active VFL participant) . For simplicity, we describe the whole example in which the NWDAF is deemed to be the VFL client. However, the exact same steps are applicable to any other NF type assuming the VFL client role, e.g. an AF trusted by the mobile operator.

[0124] In this disclosure, the term ‘VFL passive participant’ is equivalent to ‘VFL Client’ . The main point is that a NWDAF with VFL client role (or simply VFL Client NWDAF, or VFL Client) can perform inference using the VFL model trained by the passive participant (also referred to as passive VFL model, or passive ML model) but this NWDAF is not capable of monitoring its own accuracy, i.e., to perform the monitoring of the accuracy of the passive VFL Model.

[0125] On the other hand, in this example, the active analytics entity 300 (i.e., the NWDAF or AF with one-sided passive VFL accuracy monitoring capability) may be a VFL Server and is a VFL active participant. It is possible that we refer in this embodiment simply to the term “NWDAF or AF with One-Sided VFL Accuracy Monitoring Capability” or NF (NWDAF or AF acting as VFL server) .

[0126] S300: We consider that the entities that can be related to VFL process (such as VFL inference or one-sided passive monitoring) are configured with the VFL inference configuration, e.g., NWDAF (VFL passive participant) and / or NWDAF or AF.Such configurations can be used by the entities to determine, for a given request (e.g., an analytics subscription from the analytics consumer 304) whether it is possible to perform the requested processing (e.g., analytics generation) based on a one-sided VFL passive support. For instance, such a configuration may be used to determine whether a subscription to generation analytics output can be performed using one-sided passive VFL inference.

[0127] Any of the following examples may comprise such a configuration, and these examples show some of the possible embodiments for the combination of the information defined in the ‘VFL Inference Configuration’ indicated in “1a” and “1b” of the flowchart in FIG. 4:

[0128] ● List of analytics IDs supporting VFL inference and / or one-sided passive VFL inference, optionally any of the further parameters could be also considered together in such configuration:

[0129] ○ joint VFL ID (or VFL Correlation ID) supporting one-sided passive VFL inference;

[0130] ○ List of AF Identification (or AF Information) supporting VFL Inference and / or One-Sided Passive VFL Inference

[0131] ● List of ‘user equipments’ (UEs) and / or UE IDs and / or UE group identification (e.g., sample alignment information) supporting support one-sided passive VFL inference. Optionally, any of the further parameters could be also considered together in such a configuration:

[0132] ○ List of analytics IDs supporting VFL inference and / or one-sided passive VFL inference

[0133] ○ List of vendors supporting VFL inference and / or one-sided passive VFL inference

[0134] ○ List of AF identification (or AF Information) supporting VFL inference and / or one-sided passive VFL inference

[0135] ○ List of mobile operators (e.g., PLMN ID) supporting VFL inference and / or one-sided passive VFL inference

[0136] ○ VFL analytics accuracy parametrization supported for any of the following: vendor information, AF information, mobile operator information

[0137] ● List of NF consumers (e.g., NF may be identified by an NF ID) that can consume one-sided Passive VFL inference. Optionally any of the further parameters could be also considered together in such a configuration:

[0138] ○ List of Analytics IDs supporting VFL Inference and / or One-Sided Passive VFL Inference

[0139] ○ sample alignment information (e.g., List of UEs and / or UE IDs and / or UE group identification, and / or Mobile Information (e.g., PLMN ID) , and / or vendor information) that support one-sided VFL passive inference

[0140] ○ Joint VFL ID (or VFL Correlation ID) supporting one-sided passive VFL inference

[0141] ○ List of Joint VFL ID for which the NF has the Passive role

[0142] Step S302: An analytics Consumer 304, e.g., an NF consumer (e.g., a PCF, or a NWDAF without VFL capability) subscribes or request an analytics ID. Optionally the subscription or request can comprise a VFL inference indication and / or a VFL one-sided inference indication.

[0143] Step S304: In summary, this step involved the active analytics entity determining whether support exists to use one-sided passive VFL inference by one or more of the following:

[0144] i) analysing whether the indication received in step S302 comprises one or more of i) a flag indicating to monitor the accuracy of only the passive ML model from the passive analytics entities, and ii) a joint VFL Identifier, ID; and / or

[0145] ii) analysing based on configuration information related to the joint model inference (e.g., received in S300) , whether the active analytics entity is configured to support the monitoring of the accuracy of only the passive ML model, optionally wherein the active analytics entity is configured to determine whether the passive ML model is related to a joint VFL ID and / or related to an executed joint model training.

[0146] In more detail, the passive analytics entity 302, e.g., the NWDAF (VFL passive participant) receives a subscription for an analytics ID. For instance, the passive analytics entity 302 may receive the “Nnwdaf_AnalyticsSubscription_Subscribe” service operation request (or the “Nnwdaf_AnalyticsInfo_Request” service operation request) from the NF consumer 304.

[0147] Based on the received information (e.g., input parameters comprised in the subscription or request) and / or the VFL configuration available at the passive analytics entity 302, the passive analytics entity 302 is able to determine whether one-sided passive VFL inference should be used for the analytics generation. Optionally, the passive entity 302 may determine the information and / or parametrization to be used with the one-sided passive VFL inference (also referred to as any of the following: indication to use one-sided passive VFL inference, one-sided passive VFL inference indication, indication for one-sided passive VFL Inference) . Examples of how the determination of such an indication can be performed are described as follows, but are not limited to only these alternatives.

[0148] ● In one possible embodiment, the passive analytics entity 302 may check whether the VFL inference indication and / or a VFL one-sided inference and / or the NF ID of the consumer is comprised in the received subscription or request. If any of these parameters are comprised, the NWDAF may further check the VFL configuration in order to determine (or in other words to check if it is authorized) to use the VFL one-sided passive VFL inference for the generation of analytics output for such subscription / request. For instance, the NWDAF can check whether the given NF consumer information (e.g., NF ID) comprised in the subscription / request is also comprised in (or is listed in or is configured at or is present in or is part of) the VFL configuration. The passive entity 302 can therefore determine whether the NF consumer can (e.g., is authorized to) consume analytics output based on one-sided passive VFL inference.

[0149] ● In another possible embodiment, the passive analytics entity 302 may analyse the target of analytics reporting field (or information) comprised in the subscription or request, and check whether for such listed UEs and / or group of UEs there is any specific indication to use VFL inference and / or one-sided passive VFL inference.

[0150] ● In another possible embodiment, the NWDAF may further check other fields of (or information comprised in) the subscription or request (e.g., such as analytics filter information) in order to determine whether the application information and / or mobile network information and / or vendor information indicated in the subscription or request are authorized as per VFL configuration to support the one-sided passive VFL inference.

[0151] ● In another possible embodiment, all the aforementioned embodiments could be combined in the determination of the use of one-sided passive VFL inference for the received subscription or request from the NF consumer.

[0152] Step S306: The passive analytics entity 302 (e.g., NWDAF VFL client) identifies an active analytics entity configured to perform the one-sided passive VFL accuracy monitoring. Thus, the passive analytics entity 302 determines the information related to the active entity, e.g., the entity capable of monitoring the VFL inference accuracy for the one-sided passive VFL inference. In other words, the passive entity 302 determines the information related to the entity with one-sided VFL accuracy monitoring capability. Another description of this process is the determination of the information related to the monitoring of the VFL inference accuracy (which could comprise any of the following: the NF identification of the entity providing the VFL inference accuracy, the joint VFL ID, the VFL analytics accuracy parametrization) . Any of the following could be examples of how the passive analytics entity 302 determines / identifies the active analytics entity:

[0153] ● In one possible embodiment, the VFL client NWDAF has the information stored locally, for example as part of the VFL configuration. For instance, this information may comprise the VFL Server information (i.e., NWDAF or AF) capable to provide the one-sided VL accuracy information. Optionally this information may comprise the VFL server (i.e., NWDAF or AF) capable of providing the one-sided VL accuracy information per Joint VFL ID (or VFL correlation ID) .

[0154] ● In another possible embodiment, the VFL Client NWDAF discovers the entity with one-sided VFL Accuracy Monitoring Capability via interactions with the NRF (network repository functions) . In this case, the VFL client NWDAF provides to the NRF a search query comprising an indication to search for an NF with one-sided VFL accuracy monitoring capability, optionally including the sample alignment information (e.g., one or more UE IDs and / or group UEs IDs) and / or the Joint VFL ID. The NRF matches the received information with the stored NF Profile of the entities available in the repository and provides to the VFL Client NWDAF a response comprising the entities that have the one-sided VFL accuracy monitoring capability, and if applicable also considering the sample alignment information and / or Joint VFL ID.

[0155] S308: The NWDAF (or VFL Client) , e.g., based on the indication for one-sided passive VFL inference and / or the information related to the monitoring of the VFL inference accuracy, provides a subscription and / or request to the determined NWDAF or AF capable to provide the VFL inference accuracy. The subscription comprises the One-Sided Passive VFL Accuracy Monitoring indication. In one possible embodiment, the One-sided Passive VFL Accuracy Monitoring indication can be understood as a request to perform ML model monitoring (which can be also equivalent to refer to generation of accuracy information for a ML Model) considering VFL process. In this case, the One-sided Passive VFL Accuracy Monitoring indication denotes a request for one-sided VFL accuracy generation. Examples of different ways that such subscription or request could be implemented are described as follows but are not restricted to them.

[0156] ● In one possible embodiment the “Nxxx_MLModelMonitor_Subscribe” (where, Nxxx denotes either the ‘Nndwaf’ or the ‘Naf’ service interface) is extended to support also the VFL accuracy monitoring. The “Nxxx_MLModelMonitor_Subscribe” input parameters are extended to support further parameters comprised in the one-sided passive VFL accuracy monitoring indication (or the service input is extended to comprise the one-sided passive VFL accuracy monitoring indication) , such as:

[0157] ○ Alternative A: a new field defined ‘VFL model accuracy request’ could be included as a new input parameter and such new field may comprise any of the following: one sided passive VFL accuracy monitoring flag; Joint VFL ID; VFL analytics accuracy parametrization; analytics subscription correlation ID;head function indication; loss function indication; alignment information. In this example of embodiment, the VFL model accuracy request is equivalent to the one-sided Passive VFL accuracy monitoring indication.

[0158] ○ Alternative B: the parameters comprising the ‘one-sided Passive VFL accuracy monitoring indication’a re added to the existing parameters list (e.g., such as Unique ML Model identifier) . In case the subscription request comprise more than one Unique ML Model identifier, the one sided passive VFL accuracy monitoring flag and / or joint VFL ID (optionally any other parameters comprising the one-sided Passive VFL Accuracy Monitoring indication) can be provided per Unique ML Model identifier.

[0159] ● In another possible embodiment, a new service “Nxxx_VFLInference_AccuracyMonitor_Subscribe” (where, Nxxx denotes either the Nndwaf or the Naf service interface) is defined to support the VFL accuracy monitoring. In this embodiment the one-sided Passive VFL accuracy monitoring indication is comprised in the input parameters of such new service (or the one-sided Passive VFL accuracy monitoring indication is the input parameter) . For instance, these input parameters could be: VFL Correlation ID; ML Model ID (related to the VFL Client) ; Type of VFL (joint or one-sided) ; alignment information; Optional: VFL Analytics Accuracy Parametrization

[0160] S310: Based on the received one-sided passive VFL accuracy monitoring indication and / or the VFL inference configuration, the active analytics entity (e.g., the NF with the one-sided VFL Accuracy Monitoring Capability, or also referred to as NF (NWDAF) or AF acting as VFL server) verifies (e.g., authorizes or checks) whether support exists for executing the one-sided passive VFL accuracy monitoring and / or providing the one-sided passive VFL accuracy information. Some possible alternative examples on how the active analytics entity 300 may perform such verification (or authorization or check) are listed below:

[0161] ● Alternative A: The active analytics entity 300 may check the fields (e.g., parameters) comprised in the received message (e.g., subscription) , if the one sided passive VFL accuracy monitoring flag and / or the joint VFL ID are included in the received information (i.e., the one-sided passive VFL accuracy monitoring indication is comprised in the received information) the active analytics entity 300 identifies that a VFL process is associated with the request for monitoring the accuracy of an ML model. The active analytics entity 300, based on the VFL inference configuration, determines whether it supports execution of the one-sided Passive VFL accuracy monitoring for the received information. For instance, the VFL inference configuration may comprise the list of VFL correlation IDs that the active analytics entity 300 supports to perform the one-sided passive VFL accuracy monitoring and / or can provide the one-sided passive VFL accuracy information.

[0162] ● Alternative B: In addition to verifying the parameters listed in alternative A, active analytics entity 300 may further compare other information comprised in the one-sided passive VFL accuracy monitoring indication with the information in the VFL inference configuration. For instance, the NF (NWDAF or AF acting as VFL Server) may check the sample alignment to verify whether, for the received sample alignment, support exists to provide one-sided Passive VFL accuracy monitoring, and / or to verify whether the active analytics entity 300 can provide the one-sided passive VFL accuracy information.

[0163] S312: Based on determining whether support exists for executing one-sided passive VFL accuracy monitoring and / or providing the one-sided passive VFL accuracy information, the active analytics entity 300 can provide a response to the passive analytics entity (e.g., NWDAF, or VFL Client) as to whether the request in step S308 is accepted or rejected. In case of rejection, the active analytics entity 300 further includes a reason for the rejection. Examples of such cause are any of the following: one-sided VFL accuracy monitoring not supported, and / or requested parameters for one-sided VFL accuracy monitoring not supported.

[0164] Furthermore, if the information received from the active analytics entity 300 indicates that it cannot support the one-sided VFL accuracy monitoring and / or cannot support the requested parameters for one-sided VFL accuracy monitoring, the passive analytics entity 302 may perform one or more of the following:

[0165] ● Reject the analytics subscription received from the analytics or NF consumer 304, as per step S313.

[0166] ● Skip steps S313 to S 338, and interact with the active analytics entity 300 in order to execute the joint VFL inference, as per step S340. The passive analytics entity 302 may, for instance provide to the active analytics entity 300 an indication for generation of VFL inference output (e.g., a subscription to an analytics ID with the VFL inference indication) .

[0167] ● Provide to the Analytics or NF 304 consumer an indication of change in analytics output provider –as per step S342, where one possible example of such information is any of the following: a flag indicating change in analytics provider, the NF information (e.g., NF ID, or service reference) of the active analytics entity 300 that will provide the analytics output.

[0168] ● Provide to the analytics or NF consumer 304 the analytics output based on the joint VFL inference output received from the active analytics entity 300.

[0169] S314a and / or S314b: In case of confirmation (from the active analytics entity 300) to perform the one-sided passive VFL accuracy monitoring and / or to provide the one-sided passive VFL accuracy information, the passive analytics entity (S314a) and / or the active analytics entity 300 (S314b) may locally create a one-sided passive VFL accuracy monitoring context, in order to associate the generation of one-sided passive VFL accuracy information with the passive analytics entity (e.g., VFL client) .

[0170] S316a: In case of confirmation (from the analytics entity 300) to perform the one-sided passive VFL accuracy monitoring and / or to provide the one-sided passive VFL accuracy information, the active analytics entity 300 prepares to perform the one-sided passive VFL accuracy monitoring and / or provide the one-sided passive VFL accuracy information. Any of the following may comprise such preparation:

[0171] ● The active analytics entity 300may determine, e.g., based on the VFL inference configuration and / or the one-sided Passive VFL accuracy monitoring indication, the method for generating the one-sided passive VFL accuracy information. For instance, as illustrated in FIG. 8 described below in more detail, the active analytics entity 300 has different ways of generating the one-sided Passive VFL Accuracy information. In one possible implementation, the active analytics entity 300 may use both the ‘head function’ (the head function is also called an ‘aggregation function’ in this disclosure) and the objective loss function for the calculation of the performance of the (passive) ML model running in the passive analytics entity 302. In another embodiment, the active analytics entity 300 may use only the loss function (and not the head function) for the calculation of the performance of such ML model, and subsequent generation of the one-sided passive VFL accuracy information.

[0172] ● For any possible implementations on the calculation of the performance of the ML model associated with the passive entity (e.g., NWDAF, or VFL Client) , active analytics entity 300 needs to obtain the VFL inference output generated by the passive analytics entity 302.

[0173] S316b: The active analytics entity 300 may invoke a service from the passive entity 302 in order to obtain the VFL inference output generated by the passive entity 302 for the same subscription of the Analytics or NF consumer 304. There are different ways that the active analytics entity 300 can obtain the one-sided VFL inference output from passive analytics entity 302. Any of the following can be alternatives of embodiments.

[0174] ● In one possible example of such service is the definition of the Nwdaf_VFLInference_OutputSubscription where any of the following possible input parameters are: VFL Correlation ID, ML Model ID (of the passive entity or VFL Client) , VFL Reporting Information, Alignment information.

[0175] ● Another possible implementation is reusing the existing Nnwdaf_AnalyticsSubscription_Subscribe, where the NF (NWDAF or AF acting as VFL server) invokes such service including any of the following: Analytics subscription correlation ID (i.e., information relating the Analytics or NF Consumer 304 and the passive analytics entity 302; a flag indicating the consumption of the output for VFL accuracy generation purpose, VFL Correlation ID, ML Model ID (of the passive entity or VFL Client) , VFL Reporting Information, Alignment information. Such parameters would allow the passive analytics entity 302 not to create a new subscription, but actually link (or relate or bind) the existing subscription to analytics output between the Analytics or NF consumer and the passive analytics entity to also provide the same output to the active analytics entity 300.

[0176] S318: The passive analytics entity 302 generates the one-sided passive VFL inference output (i.e., an output based only its own, passive, ML model and based on no other ML model) based on the local ML Model (or Passive VFL Model) associated with the VFL correlation ID. Additionally, the same one sided passive VFL inference output will be associated with the subscription or request received from the active analytics entity 300.

[0177] Step S320 represents one optional result following step S318. As step S320, the passive analytics entity provides to the Analytics or NF Consumer 304 the analytics output (which may contain, or be derived from, the one-sided passive VFL inference output) based on the one-sided passive VFL inference output. In this disclosure, the terms ‘one-sided passive VFL inference output’ , ‘analytics output’ , and ‘analytics information’ can be used interchangeably. It may not be appropriate in some cases for the passive entity 302 to immediately provide analytics information to a consumer; e.g., if the accuracy of the one-sided passive VFL inference output has not yet been determined / monitored by the active analytics entity 300.

[0178] S322: The passive analytics entity 302 provides to the active analytics entity 300 the one-sided passive VFL inference output, in other words, the same analytics output that is optionally provided to the Analytics or NF Consumer 304 in step S320. There are different possible embodiments for this provisioning, including any of the following:

[0179] ● In one possible example of such service is the definition of the “Nwdaf_VFLInference_OutputNotify” where any of the following are possible input parameters are: Analytics subscription correlation ID (i.e., information relating the analytics or NF Consumer and the passive analytics entity; VFL Correlation ID, ML Model ID (of the passive ML of the passive entity 302) , one-sided passive VFL inference output, and / or analytics output.

[0180] ● Another possible implementation is reusing the existing “Nnwdaf_AnalyticsSubscription_Notify” , where the passive analytics entity 302 invokes such service including any of the following: analytics subscription correlation ID of the NF consumer (i.e., information relating to the Analytics or NF Consumer and the passive entity 302; Analytics subscription correlation ID of the active analytics entity 300 (i.e., information relating / associating the passive entity 302 with the active entity 300) ; VFL Correlation ID, ML Model ID (of the passive entity) , one-sided passive VFL inference output.

[0181] S324: The active analytics entity 300, based on the one-sided Passive VFL accuracy monitoring indication and / or the VFL inference configuration and the obtained one-sided passive VFL inference output, determines the one-sided Passive VFL accuracy information.

[0182] In one example, S324 involves determining the accuracy of the passive ML model, and / or its inference output, by using an objective loss function with one or more inference outputs of the passive ML model of the passive entity 302, and truth labels.

[0183] In another example, S324 involves evaluating the accuracy of the one-sided passive VFL inference output and / or the passive ML model by:

[0184] providing one or more inference outputs received from the passive analytics entity 302 to an aggregation function (where, in normal VFL use, the aggregation function is configured to aggregate to at least an inference output of the active ML model and an output of one or more passive ML models) ;

[0185] using the aggregation function to output an intermediate inference output based only on the one or more inference outputs received from the passive analytics entity; and

[0186] providing i) the intermediate inference output and ii) truth labels to an objective loss function, and using the objective loss function to evaluate the accuracy of the passive ML model (i.e., an accuracy of the one-sided passive VFL inference output) .

[0187] The following steps S326 to S332 fall within a first alternative 402 mentioned above, i.e., in which the passive analytics entity determines whether or not to switch to performing joint VFL inference.

[0188] S326: This step involves the active analytics entity sending an accuracy indication that is indicative of results of, or contains, the accuracy information determined in step S324. In a more detailed example, the active analytics entity 300 provides to the passive analytics entity 302 the one-sided passive VFL accuracy information. In one possible embodiment, the active analytics entity 300 uses the “Nnwdaf_VFLInference_AccuracyMonitor_Notify” in order to provide such information. In this alternative of embodiment, the one-sided passive VFL accuracy information may comprise at least the performance value calculated by the active analytics entity 300 for the ML model of the passive analytics entity; i.e., the performance of the passive ML Model for a given VFL correlation ID.

[0189] S328: The passive entity receives the accuracy information that has been calculated, by the active entity 300, in step S324. Based on the obtained one-sided passive VFL accuracy information, the passive analytics entity 302 determines whether the accuracy (or performance) of the local ML model associated with a VFL inference process (or VFL correlation ID) is not satisfied and / or is degraded. This might involve comparing the accuracy information with a pre-determined accuracy criteria, or an accuracy threshold of some kind. For instance, the passive analytics entity 302 may be configured with the upper and lower performance value thresholds for a given VFL correlation ID (e.g., comprised in the VFL Analytics Accuracy Parametrization) . The passive analytics entity 302 may compare the information received one-sided passive VFL accuracy information with such locally stored configuration and then identify that the received information is below the lower performance value threshold (or other lower-performance criteria, which could comprise a plurality of metrics) , and therefore the accuracy (or performance) of the local ML Model (associated with the VFL inference process or VFL correlation ID) is degraded (or the ML model associated with the VFL correlation ID has low performance or does not meet the requirements or has low accuracy) .

[0190] S330: Based on the analysis in step S328, the passive analytics entity 302 can decide to switch from a one-sided passive VFL inference to a joint VFL inference process (e.g., including all VFL participants) .

[0191] S332: In this step, the passive analytics entity 302 sends a change indication, to the active analytics entity 300, indicating that the active and passive analytics entities (and any other passive entities associated with a VFL ID or VFL joint training) should execute joint VFL model inference.

[0192] In a more detailed example, the passive analytics entity 302 provides to the active analytics entity 300 an indication to switch to joint VFL inference. There are different alternatives of embodiments, any of the following could apply:

[0193] ● The passive entity 302 could reuse the Nnwdaf_VFLInference_AccuracyMonitor_Subscribe service in order to provide the indication to switch to joint VFL inference. For instance, the passive entity may invoke the Nnwdaf_VFLInference_AccuracyMonitor_Subscribe service operation, where the embodiment of the indication to switch to joint VFL inference comprises any of the following input parameters: VFL accuracy subscription correlation ID, VFL Correlation ID, ML Model ID, Type of VFL set to “Joint” , a flag indicating to start (or switch) to “Joint VFL inference” .

[0194] ● Another possible implementation is reusing the existing Nnwdaf_AnalyticsSubscription_Subscribe, where the active analytics entity 300 invokes such service including the indication to switch to joint VFL inference, where such indication can comprise any of the following input parameters: Analytics subscription correlation ID (i.e., information relating the Analytics or NF Consumer 304 and the passive entity 302; VFL Correlation ID, ML Model ID, a flag indicating to start (or switch) to “Joint VFL inference” .

[0195] S334: In this step, the active analytics entity sends an instruction, based on determining the accuracy of the inference output in step S324, that the accuracy of the passive ML model of the passive entity 302 does not meet accuracy criteria. In a more detailed example, based on the obtained (or determined) one-sided passive VFL accuracy information, the NF (NWDAF or AF acting as VFL server) 300 determines whether the accuracy (or performance) of the ML model from the NWDAF (or VFL Client) associated with a VFL inference process (or VFL correlation ID) is not satisfied and / or is degraded. For instance, the NF (NWDAF or AF acting as VFL server) 302 (i.e., the active analytics entity 300) may be configured with the upper and lower performance value thresholds for a given VFL correlation ID (e.g., comprised in the VFL Analytics Accuracy Parametrization) and / or it may have received such information from the passive entity 302 (e.g., the NWDAF (VFL Client) ) .

[0196] The active analytics entity 300 may compare the information associated with the determined one-sided passive VFL accuracy information with VFL analytics accuracy parametrization, and then identify that the determined information is below a lower performance value threshold, or generally does not meet an accuracy criteria, and therefore determine that the accuracy (or performance) of the ML Model (associated with the VFL inference process or VFL correlation ID) from the NWDAF (or VFL Client) is degraded (or the ML model associated with the VFL correlation ID has low performance or does not meet the requirements or has low accuracy) .

[0197] S336: Based on the analysis in step S334, the active analytics entity 300 can decide to switch from a one-sided passive VFL inference to a joint VFL inference process (e.g., including all VFL participants) . Following this, in step S338, The NF (NWDAF or AF acting as VFL server) provides to the NWDAF (or VFL Client) an indication to switch to joint VFL inference. There are different alternatives of embodiments, any of the following could apply:

[0198] ● The active analytics entity 300 could reuse the “Nnwdaf_VFLInference_AccuracyMonitor_Notify” service in order to provide the indication to switch to joint VFL inference to the passive entity. For instance, the active analytics entity 300 may use the Nnwdaf_VFLInference_AccuracyMonitor_Notify service operation, where the embodiment of the indication to switch to joint VFL inference comprises any of the following input parameters: VFL accuracy subscription correlation ID, VFL correlation ID, ML model ID, Type of VFL set to “Joint” , a flag indicating to start (or switch) to “Joint VFL inference” .

[0199] ● Another possible implementation is reusing the existing Nnwdaf_AnalyticsSubscription_Notify, where the NF (NWDAF or AF acting as VFL server) uses such service including the indication to switch to joint VFL inference, where such indication comprises any of the following input parameters: analytics subscription correlation ID (i.e., information relating the analytics or NF Consumer 302 and the passive entity 302; VFL Correlation ID, ML Model ID, a flag indicating to start (or switch) to “Joint VFL inference” .

[0200] S340: Following either the indication in S332 or the indication in step S338 (i.e., depending on whether the active or passive entity has made the decision to switch) , the active analytics entity 300 and the passive analytics entity 302 interact in order to perform joint VFL inference. The exact interactions for the joint VFL inference are not the focus of this disclosure.

[0201] S342: Optionally, either the active analytics entity 300 or passive analytics entity 302 may provide to the Analytics or NF Consumer 304 the ‘Indication of change’ in an analytics output, with information of the entity that is actually providing the analytics output based on the joint VFL inference output.

[0202] S344: Either the active analytics entity 300 or the passive analytics entity 302 provides the analytics output for the Analytics or NF Consumer based on the joint VFL inference output.

[0203] FIG. 5 shows, for completeness, an example flowchart for performing one-sided passive VFL accuracy monitoring (analogous to FIG. 4) wherein the accuracy monitoring is mediated and / or coordinated by a VFL server 502. FIG. 5 shows that the VFL server 502 coordinates the communication between the active analytics entities 300 and passive analytics entities 302. In this example, the VFL server itself determines the accuracy information (i.e., in step 16 shown in the flowchart of FIG. 5) based on the one-sided passive inference output of the passive analytics entity 302. This step 16 is thus analogous to step S324 in FIG. 4.

[0204] In this example, and the present disclosure generally, a ‘VFL server’ is an entity or role (such as an NF) that is related to or associated with (for example, is communicatively coupled with) the active NF (i.e., active analytics entity 300) and one or more passive NF (s) 302. In this disclosure, the term ‘VFL server’ may be used interchangeably with ‘VFL coordinator’ . The possible roles of the VFL server are described in more detail below with reference to FIG. 7. It should be understood that the VFL server simply be a ‘role’ (i.e., an assigned responsibility) that assigned to an entity, rather than a standalone entity itself. In some cases, the active analytics entity could be the VFL server, and in other examples the VFL server could be separate entity to the active analytics entity.

[0205] FIG. 6 shows an example internal architecture of the entities involved in a ‘conventional’ VFL inference process. The entities involve include the analytics consumer 304, and the active analytics entity 300 (referred to as the ‘active participant’ in FIG. 6, i.e., meaning the entity configured to perform the ‘active role’ in the VFL inference) . FIG. 6 also indicates a plurality of passive analytics entities 302-1 to 302-n. Only one passive analytics entity 302 is sufficient to carry out all embodiments disclosed in the present disclosure. However, in all embodiments, more than one passive entity may be included within the group of entities configured to perform joint VFL inference, and associated with the active analytics entity configured to perform one-sided passive VFL accuracy monitoring.

[0206] In this disclosure, it is assumed that the calculation of the accuracy of a VFL inference process is calculated by the entity that has the labels (i.e., ground truth labels, or just truth labels) and that is configured to use, or gain access to, the objective loss function.

[0207] In more detail, there are three types of functions involved in a conventional joint VFL inference process:

[0208] 1. Model function (both active 704 and passive 706) : this is the function that actually calculates the partial output (e.g., prediction, prediction value, and / or partial value) considering the feature space of the given participant. In case of the active participant 300 we have a model function of the active participant (referred as an active model function 704, or active ML model 704) , and for the passive participant 302-1 to 302-n we have a model function of the passive participant (simply referenced as passive model function 706-1 to 706-n) .

[0209] 2. Head Function 700: This is the function that aggregates the ‘active output’ (i.e., the inference output from the active ML model 704) from the active participant 300 and the one or more passive output (s) from the one or more passive entities 706-1, 706-n. The output of the head function (or aggregation function 700) is termed the ‘VFL inference output’ . It is this VFL inference output that is used to determine the accuracy disclosed above.

[0210] 3. Loss Function 702 (also called an objective loss function) : This is the function that is configured to measure / determine / calculate the performance / accuracy of a VFL inference process. The loss function uses the VFL inference output and the labels (or ground truth) to calculate the different between predicted values (VFL inference output) and actual (i.e., observed) values (ground truth) .

[0211] In other words, in this example, the one or more passive entities 302-1, 302-n are not configured to directly send their passive inference output to the loss function of the active analytics entity 300: rather, the inference output is first input into an aggregation function. This includes the example of performing one-sided passive VFL inference in which the head function only receives a single inference output (from a single passive analytics entity) to ‘aggregate’ . Thus, advantageously, the head function is configured to output the VFL inference output based on only a single input (e.g., a one-sided passive inference output from a passive analytics entity 302) .

[0212] FIG. 6 illustrates the case in which the loss function and the head function all belong to the same entity, i.e., active participant. In other words, the active analytics entity 300 has ownership of the loss function 702 and the head function 700. However, there can exist variations where the loss function and / or head function belong to a different entity, where that different entity can be the VFL Coordinator or VFL Server (mentioned above, and described below with reference to FIG. 7. This means that in this disclosure the following roles are considered:

[0213] i. NF Consumer (or Analytics Consumer) 304: The entity or network function (NF) that requests the analytics output, or subscribes to the entity that can provide the analytics output.

[0214] ii. Active analytics entity 300 (also called ‘active VFL NF’ or ‘active NF’ or ‘active VFL participant’ or ‘active participant’ ) : An NF with access to truth labels (e.g., ground truth data) for a VFL task and that executes a VFL task. This NF executes the active model function 704 and, depending on the variations of the roles, can also execute the head function 700 and loss function 702.

[0215] iii. Passive analytics entity 302 (also called ‘passive VFL NF’ , or ‘passive NF’ or ‘passive VFL participant’ or ‘passive participant’ ) : An NF with the required input data for a VFL task but without the truth labels. Multiple passive VFL participants can be present in the VFL Task. This NF executes only the passive model function (s) 706-1 to 706-n.

[0216] iv. VFL Server, or VFL Coordinator (not shown in FIG. 6) : An NF that is related to (i.e., communicatively coupled with) the active NF 300 and passive NF (s) 302-1, 302-n. May have the Loss Function and / or the Head Function. It can be co-located with the Active NF.

[0217] In this disclosure, it is defined that NF has a ‘VFL Monitoring capability’ when that NF is capable of executing the loss function and obtaining the VFL inference output and truth labels.

[0218] FIG. 7 illustrates the combinations of possible scenarios of one-sided passive VFL inference considering the combination of the above-mentioned roles, and which entity has the VFL Monitoring capability (also termed ‘VFL Mon’ ) :

[0219] ● Option 1, 800: The active NF 300 is the one with the VFL monitoring capability. In this case there is no VFL server ( ‘VFL Coordinator’ ) role. An analytics consumer 304 directly requests the analytics from the passive NF 302. Example scenarios associated with this option 800 are: VFL among NWDAFs, VFL with active AF and Passive NWDAF where the analytics consumer is configured only to request an analytics ID from an NWDAF.

[0220] ● Option 2, 802: There exists both Active NF and VFL Server roles, but they are both co-located in the same entity. In this Case it could be possible that the VFL Monitoring is at the VFL Server or the Active NF. In practice, as they are the same single entity, it means that Active NF and VFL Monitoring are in the same entity (equivalent to Option 1) . In this case, the Analytics Consumer requests the analytics from the Passive NF (e.g., when Active NF is AF and Passive NF is NWDAF) .

[0221] ● Option 3, 804: There are two separate entities for VFL Server and Active NF. The difference here is that any NF consumer subscription to an analytics ID arrives at the VFL Server and then the VFL Server interacts with VFL Participants. In this option, the VFL Monitoring resides in the Active NF. Examples of concrete scenarios that may follow in this case are: a) VFL Server is an NWDAF with such capability and the VFL process included Passive NWDAFs (other than the VFL Server) and an Active AF; b) NWDAF with VFL Server capability and NWDAFs from different vendors with passive and active roles; NWDAF with VFL server in PLMN A and Passive NWDAF at PLMN A and Active NWDAF in PLMN B.

[0222] ● Option 4, 806: Same as Option 3 with the difference that the VFL Monitoring is residing at the VFL Server.

[0223] FIG. 8 shows more detailed alternative architectures for performing one-sided Passive VFL inference and one-sided passive VFL accuracy monitoring. The core aspects of this disclosure include the one-sided passive VFL inference process, the control of the one-sided passive VFL accuracy monitoring, and the switch from one-sided passive VFL inference to joint VFL inference (i.e., the execution of conventional VFL Inference including all the passive entities) .

[0224] There are at least two possible alternatives to perform the one-sided passive VFL accuracy monitoring. One alternative (A) 900 shown in FIG. 8 includes the case when the Head Function is involved in the One-sided passive VFL accuracy monitoring. Another alternative (B) 902 shown in FIG. 8 includes the case where the head function is not involved in the one-sided Passive VFL Accuracy Monitoring. Regardless of the alternative for one-sided passive VFL accuracy monitoring, the VFL inference output (also called the ‘analytics output’ ) will be based on the output of the model function 706 of the passive entity 302 (i.e., the passive model function output) . In contrast to the conventional joint VFL inference, an intermediary result (i.e., output of the model function at the passive entity) is used as the final output.

[0225] For both alternatives (A) 900 and (B) 902 the generation of the final inference output to be sent to the analytics consumer 304 is generated by the passive NF. This means that the one-sided passive VFL inference generates the analytics output based only on the output of the model function used at the passive analytics entity (or output of passive ML model, or intermediary result of passive entity) . It is not illustrated in FIG. 8, but in this solution, there is an assumption that the passive NF 302 signals or indicates to the Active NF 300 (which may be a VFL Server with monitoring capability) to perform the active NF role to execute the one-sided Passive accuracy monitoring. This process defines that the passive NF, in addition to providing the analytics output to the analytics consumer 304, also provides this output to the active NF 300. The active NF 300 uses this analytics output (e.g., the one-sided passive analytics output) to calculate / determine the accuracy of the one-sided passive VFL inference output.

[0226] In alternative (A) 900 illustrated in FIG. 8, the execution of the one-sided passive VFL Accuracy monitoring process uses only the passive output (i.e., the inference output of the passive ML model 706) as input to the head function 700. In turn, the head function 700 performs its calculation and provides a VFL inference output that is based only on this passive output. Thie intermediary VFL inference output is fed into the loss function 702. The objective loss function 702 then uses this VFL inference output to generate / determine / calculate the performance / accuracy of the one-sided passive VFL inference output. The one-sided passive VFL accuracy information (or an indication thereof) is provided to the passive entity 302 in order to determine whether to (or execute a) switch from one-sided passive VFL inference to Joint VFL Inference. This step is thus analogous to ‘alternative (i) ’ 402 shown in FIG. 4 and the steps therein (steps S326 to S332) , i.e., in which the passive entity makes the decision whether or not to switch to joint VFL inference based on determining whether an accuracy degradation has occurred.

[0227] In alternative (B) 902 illustrated in FIG. 8, the execution of the one-sided passive VFL accuracy monitoring process uses only the output of the ML Model from the Passive Participant (or simply referred to as Passive Output) . However, unlike in 900, the output of the passive ML Model 706 bypasses the aggregation function 700. The loss function 702 uses this VFL inference output to compute the performance of the one-sided passive VFL inference output. The one-sided Passive VFL accuracy information, determined by (or derived from a result of) the loss function 702 is provided to the passive entity in order to determine (or execute) the switch from one-sided passive VFL inference to Joint VFL inference.

[0228] This one-sided passive VFL accuracy monitoring process is advantageously enabled due to two factors:

[0229] Factor I: When the head function is involved in the one-sided active VFL inference, such function should be of the one sided class function type f:  where c is a constant.

[0230] This means that f has a fixed point in x, and x is an all-constant vector. An example of such a function is:

[0231] Where N is the number of participants involved (typically 2, i.e. Active / Passive) , g is a concave function (e.g. log (1+x) ) , and g-1 its inverse.

[0232] Examples of functions belonging to this class are: geometrical mean, standard mean, or some nomographic functions. Other famous functions in wireless that fit the description are the Effective SNR Mapping Functions, e.g. CESM, EESM or MIESM (capacity, exponential or mutual information effective SNR mapping functions) . It can be important for modulation and coding schemes that the principle can also be applied for the one-sided VFL inference.

[0233] Factor II: The passive model implicitly reflects the active model characteristics: during a VFL joint model training, the active NF and passive NFs train their local models together based on their own (different) feature space, but over the same sample space (e.g., there may be a different type of input for the ML models, but for the same UEs) .

[0234] The VFL joint training of such models is only terminated when the VFL performance of the ML model being trained is considered sufficient (e.g., meets some accuracy or performance criteria) . During the time period when this is not true, the active entity (or VFL Server) will update the public VFL ML model parameters (e.g., learning rate, gradients) that are sent to the participants.

[0235] The VFL joint training of such models is only terminated when the VFL performance of the ML model being trained is considered sufficient. While the performance is insufficient, the active entity (or VFL Server) will update VFL ML model information (e.g., gradients) that are sent to the participants.

[0236] In a VFL training procedure, the outputs of all models (active and passive) are combined through the head function, followed by the computation of the loss function based on the aggregated output (this is considered the forward pass) . In each iteration, and after the loss is computed, the gradient of the loss function and the head function are computed and made available to all participants (i.e., the gradients up to the head function are public information available to all participants) . These gradients possess some level of information on the local model functions of all participants because they are computed based on the aggregated outputs of all participants. Therefore, one can conclude that there is transfer of information about each individual model and its behaviour across all other participants thanks to the sharing of the gradients. We assume that such transfer, together with the appropriate selection of the head function, allows the accurate prediction at inference time using only the passive model under certain conditions. This behaviour is not exclusive of VFL operations and can also be observed in other AI / ML mechanisms such as transfer learning or knowledge distillation.

[0237] As a transitive property, the active model is also capable -up to a certain point -to recognize characteristics of situation that are related to the passive entity. For instance, if VFL is used for home routed homing, the passive ML Model at the HPLMN (more prone to recognize radio access network, RAN, characteristics) is expected to also be able to recognize traces of the core network, CN and application characteristics (more prone to be recognized by the Active Model at the HPLMN) impacting the RAN. The limit of how much the Passive Model recognizes its own situations and eventual situations at the Active Entity depends on the one-sided Passive VFL Accuracy Monitoring.

[0238] FIG. 9 illustrates some possible combinations of embodiments that can be implemented with the principles described herein, when we combine the VFL roles (Active, Passive, VFL Server) with the actual NFs that can conduct these roles, such as an NWDAF, trusted AF, or untrusted AF (e.g., 3rd Party AF that is not comprised within a mobile communications network) . All the embodiments of this disclosure consider the 5G network architecture defined by 3GPP and documented in TS 23.501. Specifically, the embodiments are focused on the extensions related to the NWDAF Network Function, which is defined in the 3GPP TS 23.288 specification.

[0239] In many cases the actual differences in the scenarios are related to forwarding the messages among entities, rather than actual change in functionality. Therefore, FIG. 9 shows in detail some possible embodiments: B1 (1000) , B3 (1004) , and B5 (1008) . Example B1 (1000) relates to option 1 (800) in FIG. 7; example B3 (1004) relates to option 2 (802) or option 4 (804) of FIG. 7; and example B5 relates to option 4 (806) of FIG. 7.

[0240] The cases B2 (1002) , B4 (1006) , and B6 (1010) are equivalent to B1, B3, B5, respectively. The major difference is that any communication with the ‘Untrusted AF’ is mediated via an NEF (such as the NEF 306 shown in FIG. 2) . This means that NEF would have to expose equivalent services as the ones described in one or more of B1, B2, B3 scenarios.

[0241] Additionally, for simplicity all the embodiments illustrate only one passive participant (i.e., one passive analytics entity 302) . However, this is not intended to limit any of these embodiments, and in all embodiments shown in FIG. 9 more than one  passive participant may be present in the VFL inference. In this case, the multiple Passive VFL participants would be involved in the stages where the joint VFL inference is activated, though not affecting directly the core of the solution (i.e., the one-sided passive VFL accuracy monitoring) focused on using one only passive participant 302.

[0242] Information and definitions

[0243] In this disclosure, the information listed below provides definitions of features and their usage. The list describes possible options for procedures and examples further detailed above in the present disclosure.

[0244] One-Sided Passive VFL Accuracy Monitoring indication

[0245] Defines the information (and / or parametrization) related to the one-sided Passive VFL Accuracy Monitoring process. It can be comprised of any of the following and / or combinations of the following:

[0246] ● One sided Passive VFL Accuracy Monitoring flag: indicates the request to perform (and / or activate) the one-sided Passive VFL Accuracy Monitoring process.

[0247] ● One sided Passive VFL Accuracy Monitoring stop flag: Indicates to the NF receiving this flag to stop calculating the one-sided passive accuracy monitoring.

[0248] ● Joint VFL ID (or VFL Coordination ID or VFL Correlation ID) : defines the identification of the jointly trained models and / or the executed jointly training process. The joint VFL ID may optionally indicate (or allow the identification of  / or be related to) information further associated with the one-sided VFL accuracy monitoring process. Any of the following are examples of this further association indication: the information related to the loss function used in the joint training phase, the ML model information related to the training entity with the active role (e.g., Active NF) , information related to the ground truth (some examples are: data sources, and / or data type, and / or frequency of data collection, and / or processing of the collected data) required for determining (or calculating) the accuracy.

[0249] ● VFL Analytics Accuracy Parametrization

[0250] ● Analytics ID

[0251] ● One-sided accuracy monitoring subscription ID (or correlation ID) : defines the information associating the request / subscription for one-sided passive VFL accuracy monitoring process related to a Joint VFL ID and the Passive entity performing the one-sided Passive VFL Inference process (e.g., by using an identification information associated with the one-sided VFL accuracy monitoring process) .

[0252] ● Analytics subscription correlation ID (e.g., the ID defined between the Passive NF and the Analytics Consumer)

[0253] ● VFL related Use Case Context associated with the VFL inference (e.g., this could be a substitute or an equivalent to the Joint VFL ID)

[0254] ● Head Function indication: indicates whether the head function should be used for the one-sided passive accuracy calculation (e.g., a flag when set to true indicates the head function should be included or when set to false indicates the head function should not be used –i.e., Alternative (B) in FIG. 8 should be used by the entity with the one-sided passive VFL Accuracy Monitoring) .

[0255] ● Loss Function indication: indicates the information related to the Loss Function for the one-sided passive accuracy calculation. Examples of such an indication are: (i) indication to use the same loss function from training (e.g., this is the default option) associated with the Joint VFL ID; (ii) indication the loss function that should be used for the one-sided passive accuracy generation (e.g., one or more preferred loss function (s) ) .

[0256] ● NF information from the Analytics Consumer

[0257] ● Alignment information: Defines the information supporting data collection (or data selection) related to the label or ground truth for a Joint VFL ID (or for the VFL Inference process) . Any of the following are examples of possible alignment information: UE ID (e.g., SUPI, SUCI, etc. ) , Group EU ID, External Group UE ID, PLMN ID, TAI, Cell ID, among others.

[0258] ● Unique ML Model identifier related to the ML Model trained by the Training Entity with passive role (or in other words, the identifier of the Passive ML Model) .

[0259] VFL Analytics Accuracy Parametrization:

[0260] Defines the information used for the monitoring of accuracy of a one-sided Passive VFL inference process. Any of the following can be examples of information that comprise the VFL Analytics Accuracy parametrization:

[0261] ● Threshold, that indicate a non-fulfilment and / or non-fulfillment of the one-sided VFL Inference process. Example of threshold are: lower bound thresholds for calculated performance of a VFL one-sided accuracy information; and / or, upper bound accuracy value; and / or lower bound accuracy value; upper limit for variation over time –e.g., jitter –on the average calculated performance value; number of time that an upper threshold has been crossed

[0262] ● Number of one-sided VFL accuracy information to be analysed together

[0263] ● Periodicity for the generation of the one-sided VFL accuracy information

[0264] ● Periodicity for checking performance of the one-sided VFL inference process (for instance, for the text in enabling the internal of time for comparing the one-sided VFL accuracy information with the defined thresholds) .

[0265] ● The metric for generating the value of the one-sided VFL accuracy information. A non-exhaustive list of such metrics is for instance: Mean Absolute Error (MAE) , Mean Squared Error (MSE) , Root Mean Squared Error (RMSE) , R2 (R-Squared) , Accuracy, Confusion Matrix (not a metric but fundamental to others) , Precision and Recall, F1-score, AU-ROC.

[0266] VFL Inference Configuration:

[0267] Defines the parameters (and / or information) related to performing (and / or executing) VFL Inference and / or one-sided passive VFL inference. It comprises of any of the following and / or combinations of the following:

[0268] ● VFL one-side Passive Inference Capability

[0269] ● Joint VFL ID (or VFL Correlation ID)

[0270] ● Association of Joint VFL ID with one-sided Passive VFL Support

[0271] ● List of One-sided Class of Functions (e.g., geometrical mean)

[0272] ● VFL Analytics Accuracy Parametrization

[0273] ● VFL Analytics Accuracy Parametrization supported for Joint VFL ID (or VFL Correlation ID)

[0274] ● VFL Analytics Accuracy Parametrization supported for any of the following: Vendor information, AF information, mobile operator information

[0275] ● Association of individual ML Model unique identifiers with list of input data type for the VFL Participant ML model

[0276] ● Association of Joint VFL ID to VFL Participant and Role (optionally per analytics ID)

[0277] ● Joint VFL ID (or VFL Correlation ID) supporting One-Sided Passive VFL Inference

[0278] ● List of Analytics IDs supporting VFL Inference and / or One-Sided Passive VFL Inference

[0279] ● Sample Alignment Information (e.g., List of UEs and / or UE IDs and / or UE group identification) that supports One-Sided VFL Passive Inference

[0280] ● List of Analytics Filter Information (e.g., Identification of Slices, and / or Applications, and / or Area of Interest) support One-Sided VFL Inference and / or VFL Inference

[0281] ● List of Vendors supporting VFL Inference and / or One-Sided Passive VFL Inference

[0282] ● List of AF Identification (or AF Information) supporting VFL Inference and / or One-Sided Passive VFL Inference

[0283] ● List of mobile operators (e.g., PLMN ID) supporting VFL Inference and / or One-Sided Passive VFL Inference

[0284] ● List of NF consumers (e.g., NF may be identified by an NF ID) that can consume analytics output based on one-sided Passive VFL Inference.

[0285] ● Association of Use Case Contexts to Joint VFL ID

[0286] ● Association of Joint VFL ID to individual ML Model unique identifiers

[0287] ● List of Joint VFL ID for which the NF has the Passive role

[0288] ● List of one or more entities with the One-sided VFL Inference Capability

[0289] ● List of one or more entities with the One-sided VFL Inference Capability for a given Joint VFL ID One-sided Passive VFL accuracy information:

[0290] This is one or more information related to the performance of a ML model trained by a training entity with a passive role in the VFL training process identified by a VFL correlation ID (or Joint VFL ID) . It comprises of any of the following and / or combinations of the following:

[0291] ● Performance value or calculated value

[0292] ● Metrics used for one-sided passive VFL accuracy information

[0293] ● An indication (e.g., One-sided Passive VFL Inference Degradation flag) that the performance value or calculated value for the one-sided passive VFL accuracy information does not meet the threshold defined for the one-sided Passive VFL accuracy information (e.g., defined in the VFL Inference Configuration) and / or does not meet the threshold defined from the One-Sided Passive VFL Accuracy Monitoring indication.

[0294] ● One-sided passive VFL Inference Change Indication: indicates to change to joint VFL inference, e.g., due to low accuracy (or low performance or performance does not meet requirements)

[0295] In some possible embodiment, the metrics used for one-sided passive VFL accuracy information and / or the one-sided passive VFL inference change Indication could be a standalone set of information, not comprised in the one-sided passive VFL accuracy information but related to (or mapped to, or associated with) it. For instance, it is possible that in one embodiment the one-sided passive VFL accuracy information and the one-sided passive VFL inference change Indication are comprised in a message as independent fields.

[0296] One-sided Passive VFL Inference Change Indication:

[0297] Information indicating to the Passive NF to perform changes in the one-sided Passive VFL inference process. It comprises of any of the following and / or combinations of the following:

[0298] ● Indication to switch to Joint VFL Inference, examples of such indication are any of the following and / or the combination of any of the following:

[0299] ○ Joint VFL Inference Start flag

[0300] ○ One-Sided Passive VFL inference stop flag

[0301] ● Indication to stop analytics output generation for the Analytics Consumer (e.g., VFL Inference Termination flag)

[0302] ● Indication to suspend analytics output generation for the Analytics Consumer (e.g., VFL Inference pause flag) One-Sided Passive VFL Accuracy Monitoring Context:

[0303] Maps the VFL related information associated with the one-sided accuracy generation. Any of the following information is comprised in the VFL Inference Context information:

[0304] ● the associated Joint VFL ID,

[0305] ● ML Model ID of Passive entity executing one-sided Passive VFL Inference

[0306] ● NF information of the Passive NF executing the one-sided Passive VFL Inference

[0307] ● The subscription information (e.g., subscription correlation ID) to an analytics ID,

[0308] ● the type of VFL inference process being executed (examples of possible types are: one-sided passive VFL Inference, Joint VFL Inference) ,

[0309] ● One-sided accuracy monitoring subscription ID (or correlation ID) .

[0310] ● the NF information of the Passive VFL participants associated to the same VFL process (e.g., Joint VFL ID)

[0311] ● NF information of the NEF Associated with participating AF

[0312] VFL Inference Indication:

[0313] Indicates to the NF receiving such parameter that VFL inference should be used. Any of the following comprises the VFL Inference Indication:

[0314] ● VFL Inference flag

[0315] ● One-Sided VFL Inference flag

[0316] ● AF VFL Process indication (e.g., flag)

[0317] ● Optionally AF Identification

[0318] ● Optionally VFL ML Model ID

[0319] ● Optionally VFL Use Case Context

[0320] ● NF ID of consumer of VFL inference output

[0321] ● Thresholds for VFL one-sided accuracy monitoring

[0322] VFL Inference Context information:

[0323] Maps the VFL related information associated with the generation of an analytics output for an analytics ID. Any of the following information is comprised in the VFL Inference Context information:

[0324] ● the subscription information (e.g., subscription correlation ID) to an analytics ID,

[0325] ● the type of VFL inference process being executed (examples of possible types are: one-sided active VFL Inference, Joint VFL Inference) ,

[0326] ● the associated Joint VFL ID,

[0327] ● the one-sided VFL accuracy monitoring process (e.g., by using an identification information associated with the one-sided VFL accuracy monitoring process) ,

[0328] ● the NF information of the Passive VFL participants associated to the same VFL process (e.g., Joint VFL ID)

[0329] ● NF information of the NEF Associated with participating AF

[0330] Certain aspects of the method or system include process steps and instructions described herein in the form of an algorithm. It should be understood that the process steps, instructions, of the said method / system as described and claimed, may be executed by computer hardware operating under program control, and not mental steps performed by a human. Similarly, all of the types of data described and claimed may be stored in a computer-readable storage medium operated by a computer system, and are not simply disembodied abstract ideas.

[0331] The phrase "configured to" or “arranged to” followed by a term defining a condition or function is used herein to indicate that the object of the phrase is in a state in which it has that condition, or is able to perform that function, without that object being modified or further configured.

[0332] Some implementations may be described using the expressions “one / an embodiment” or “one / an implementation” or “one / an example” , along with their derivatives. These terms mean that a particular feature, structure, or characteristic described in connection with the embodiment is included in at least one embodiment. The appearances of the phrase “in some implementations” in various places in the specification are not necessarily all referring to the same embodiment. Moreover, unless otherwise noted the features described above are recognized to be usable together in any combination. Thus, any features discussed separately may be employed in combination with each other unless it is noted that the features are incompatible with each other.

[0333] The applicant hereby discloses in isolation each individual feature described herein and any combination of two or more such features, to the extent that such features or combinations are capable of being carried out based on the present specification as a whole in the light of the common general knowledge of a person skilled in the art, irrespective of whether such features or combinations of features solve any problems disclosed herein, and without limitation to the scope of the claims. The applicant indicates that aspects of the present disclosure may consist of any such individual feature or combination of features. In view of the foregoing description, it will be evident to a person skilled in the art that various modifications may be made within the scope of the appended claims.

[0334] The foregoing description of example embodiments has been presented for the purposes of illustration and description. It is not intended to be exhaustive or to limit the present disclosure to the precise forms disclosed. Many modifications and variations are possible in light of this disclosure. It is intended that the scope of the present disclosure be limited not by this detailed description, but rather by the claims appended hereto. Future filed applications claiming priority to this application  may claim the disclosed subject matter in a different manner and may generally include any set of one or more limitations as variously disclosed or otherwise demonstrated herein.

[0335] Definitions

Claims

1.A first analytics entity configured to monitor an accuracy of a second machine learning, ML, model comprised within a second analytics entity, wherein the first analytics entity comprises a first ML model different to the second ML model, and wherein the first and second ML models are configured to be trained by the execution of joint model training, the joint model training based on first input data associated with the first ML model and second input data associated with the second ML model, wherein the first input data and / or the second input data comprise monitored data of a mobile communication network, the first analytics entity configured to:(a) receive an indication, from the second analytics entity, to monitor an accuracy of the second ML model;(b) determine, based on the indication, whether to perform the indicated accuracy monitoring;(c) receive one or more inference outputs generated by the second ML model of the second analytics entity;(d) determine accuracy information of the second ML model based on the one or more inference output received in (c) , the determined accuracy information thereby indicating an accuracy only of the second ML model;(e) provide an instruction and / or information, to the second analytics entity, related to the accuracy information generated in (d) .2.The first analytics entity of claim 1, wherein the first analytics entity is configured, in step (e) , to send an instruction indicating that:the first and second analytics entities should execute joint model inference, where joint model inference comprises the generation of analytics information based on one or more inference outputs of the first ML model and the second ML model; orthe second analytics entity should stop providing analytics information to an analytics consumer, where the analytics information is generated only based on the one or more inference outputs of the second ML model.3.The first analytics entity of claim 1 or 2, wherein the first analytics entity is configured to send the instruction based on determining, in dependence on the determined accuracy information in (d) , that the accuracy of the second ML model does not meet accuracy criteria.4.The first analytics entity of claim 1, wherein the first analytics entity is configured, in step (e) , to send an instruction indicating that the second analytics entity is allowed to provide analytics information or can continue to provide analytics information, based on one or more inference outputs of the second ML model, to an analytics consumer.5.The first analytics entity of claim 1 or 4, wherein the first entity is configured to send the instruction based on determining, in dependence on the determined accuracy information in (d) , that the accuracy of the second ML model meets an accuracy criteria.6.The first analytics entity of claim 1, wherein the first analytics entity is configured, in step (e) , to send an accuracy indication that is indicative of results of, or contains, the accuracy information determined in (d) .7.The first analytics entity of claim 6, wherein based on the received accuracy indication, the second analytics entity determines the first and second analytics entities should execute joint model inference.8.The first analytics entity of claim 1, 6 or 7, wherein the first analytics entity is configured to receive a change indication, from the second analytics entity, indicating that the first and second analytics entities should execute joint model inference.9.The first analytics entity of claim 1, wherein the first analytics entity is configured to determine that support exists in (b) by one or more of the following:analysing whether the indication received comprises one or more of i) a flag indicating to monitor the accuracy of only the second ML model from the second analytics entities, and ii) a joint VFL Identifier, ID;analysing based on a configuration information related to the joint model inference, whether the first analytics entity is configured to support the monitoring of the accuracy of only the second ML model, optionally wherein the first analytics entity is configured to determine whether the second ML model is related to a joint VFL ID and / or related to an executed joint model training.10.The first analytics entity of any preceding claim, wherein the first analytics entity is configured to provide a response to the second analytics entity indicating that the support exists to monitor the accuracy of only the second ML model as requested in the received indication in (a) .11.The first analytics entity of any preceding claim, wherein the first analytics entity is configured to determine the accuracy of the second ML model by using an objective loss function with the one or more inference outputs received from the second analytics entity and truth labels.12.The first analytics entity of any of claims 1 to 10, wherein the first analytics entity is configured to evaluate the accuracy of the second ML model by:providing the one or more inference output received from the second analytics entity to an aggregation function configured to aggregate at least an output of the first ML model and / or an output of the second ML model;using the aggregation function to output an intermediate inference output based only on the one or more inference output received from the second analytics entity; andproviding i) the intermediate inference output and ii) truth labels to an objective loss function, and using the objective loss function to evaluate the accuracy of the second ML model.13.The first analytics entity of any preceding claim, wherein the first analytics entity is a network function, NF, comprised within the mobile communication network.14.The first analytics entity of any of claims 1 to 12, wherein the first analytics entity is an application function, AF, wherein the AF is not comprised within the mobile communication network.15.The first analytics entity of any preceding claim, wherein the first and second ML models have the same model objective, and wherein the first analytics entity is configured to execute the joint model training by:training the first ML model locally at the first analytics entity to obtain a first training output;initiating local training of the second ML model at the second analytics entity;receiving, from the second entity, a second training output obtained at the second entity; andbased on analysing the first and second training outputs, generating updated first ML model information for updating the first ML model and updated second ML model information for updating the second ML model.16.The first analytics entity of any preceding claim, wherein the joint model training of the first and second ML models comprises vertical federated learning, VFL.17.The first analytics entity of claim 16, wherein the first analytics entity is further configured to execute the joint model inference with an active role, wherein the active role defines that an entity is configured to evaluate a performance of the first and / or the second ML models and is configured to access the truth labels.18.The first analytics entity of claim 17, wherein the second analytics entity is configured to execute the joint model inference with a passive role, wherein the passive role defines that an entity is configured to be restricted from accessing the truth labels and to be restricted from evaluating the performance of the first and / or second ML models.19.The first analytics entity of any preceding claim, wherein the first analytics entity is configured to evaluate the accuracy of the second ML model based only on the inference output related to the second ML model and where the information and / or configuration characterizing the second ML model is restricted to the second analytics entity.20.A method of monitoring accuracy, performed by a first analytics entity, of a second machine learning, ML, model comprised within a second analytics entity, wherein the first analytics entity comprises a first ML model different to the second ML model, and wherein the first and second ML models are configured to be trained by executing joint model training, the joint model training based on first input data associated with the first ML model and second input data associated with the second ML model, wherein the first input data and / or the second input data comprise monitored data of a mobile communication network, the method comprising by the first analytics:(a) receiving an indication, from the second analytics entity, to monitor an accuracy of the second ML model;(b) determining, based on the indication, whether to perform the indicated accuracy monitoring;(c) receiving one or more inference outputs generated by the second ML model of the second analytics entity;(d) determining accuracy information of the second ML model based on the one or more inference output received in (c) , the determined accuracy information thereby indicating an accuracy only of the second ML model;(e) providing an instruction and / or information, to the second analytics entity, related to the accuracy information generated in (d) .21.A second analytics entity configured to provide an analytics information for an analytics consumer based on one or more inference outputs generated by a second machine learning, ML model, comprised within the second analytics entity, wherein the second ML model is configured to be trained with a first ML model, different to the second ML model, and wherein the first ML model is comprised within a first analytics entity, wherein the training of the first and second ML model comprises the execution of joint model training, the joint model training based on first input data associated with the first ML model and second input data associated with the second ML model, wherein the first input data and / or the second input data comprise monitored data of a mobile communication network, the second analytics entity configured to:(a) provide an indication to the first analytics entity to monitor an accuracy of a second ML model;(b) provide the first analytics entity with one or more inference outputs generated by the second ML model;(c) receive, from the first analytics entity, an instruction or information related to accuracy information of the second ML model generated by the first analytics entity;(d) determine, based on the received instruction or information, whether to provide analytics information generated only by the second ML model, to the analytics consumer.22.The second analytics entity of claim 21, wherein the second analytics entity is configured to determine, based on receiving a request from an analytics consumer to provide the analytics information, whether the generation of the analytics information is based only on the one or more inference output of the second ML model.23.The second analytics entity of claim 22, wherein the second analytics entity is configured to determine that the accuracy of the second ML model should be determined based only on one or more inference outputs of the second ML model by determining whether the request from the analytics consumer contains one or more of the following:- an inference indication for vertical federated learning, VFL;- an inference ID for performing one-sided VFL; and- an ID of the analytics consumer.24.The second analytics entity of any of claims 21 to 23, wherein the second analytics entity is configured, in response to receiving the instruction or information (c) , to provide the analytics consumer with analytics information based only on the one or more inference outputs of the second ML model.25.The second analytics entity of any of claims 21 to 24, wherein the second analytics entity is configured to receive an accuracy indication that is indicative of results of, or contains, the accuracy information generated by the first analytics entity.26.The second analytics entity of claim 25, wherein the second analytics entity is configured to send an indication, to the first analytics entity, indicating that the first and second analytics entities should execute joint model inference, where joint model inference denotes the generation of analytics information based on the one or more inference outputs of the first ML model and the second ML model.27.The second analytics entity of any of claims 21 to 24, wherein the second analytics entity is configured to receive an instruction from the first analytics entity, related to the accuracy information, wherein the instruction indicates that the first and second analytics entities should execute joint model inference.28.A method, performed by a second analytics entity, of providing an analytics information for an analytics consumer based on one or more inference outputs generated by a second machine learning, ML model, comprised within the second analytics entity, wherein the second ML model is configured to be trained with a first ML model, different to the second ML model and wherein the first ML model comprised within a first analytics entity, wherein the training of the first and second ML model comprises execution of joint model training, the joint model training based on first input data associated with the first ML model and second input data associated with the second ML model, wherein the first input data and / or the second input data comprise monitored data of a mobile communication network, the method comprising by the second analytics:(a) providing an indication to the first analytics entity to monitor an accuracy of a second ML model;(b) providing the first analytics entity with one or more inference outputs, generated by the second ML model;(c) receiving, from the first analytics entity, an instruction or information related to accuracy information of the second ML model generated by the first analytics entity;(d) determining, based on the received instruction or information, whether to provide analytics information, generated only by the second ML model, to the analytics consumer.29.A computer program stored in stored in non-transitory form comprising a program code for performing the method according to claim 20 or 28 when executed on a computer.

Images