Method for aiding ML model selection suitable to support VFL analytics generation

Abstract

Described is a first analytics entity for generating an analytics output from a mobile network based on one or more federated learning information, wherein the one or more federated learning information is associated with a model training process in which two or more different machine learning models are trained, the first analytics entity configured to:(a) obtain model selection information comprised of one or more parameters for describing an analytics training entity comprising the machine learning model and / or machine learning model information associated with the one or more federated learning information; (b) determine whether the analytics training entity and the first analytics entity are comprised in the same network function of a mobile network based on the obtained model selection information; (c) select the machine learning model associated with the federated learning information to be used to generate the analytics output, based on one or more of: the determination of whether the analytics training entity and the first analytics entity are comprised in the same network function of a mobile network; the obtained model selection information; and (d) generate an analytics output based on the selected machine learning model.

Description

METHOD FOR AIDING ML MODEL SELECTION SUITABLE TO SUPPORT VFL ANALYTICS GENERATIONFIELD OF THE INVENTION

[0001] The present disclosure relates to the field of mobile communication networks, in particular, to 5th generation 5G mobile or cellular communication systems and networks.BACKGROUND

[0002] The work developed in 3GPP R18 in eNA Phase 3 resulted in the definition of the NWDAF architectural enhancements for the supporting Horizontal Federated Learning (TS 23.288 Clause 5.3) . The key assumptions of HFL is that each training entity collaborating in the ML Model training has the same ML Model, but has a different data set which is not exposed to the other entities of the training process. This type of collaboration is suitable for scenarios where the training entities can actually share the same ML Model. Finally, HFL enhancements are restricted to the Training procedures, and has no effect on the Inference procedures.

[0003] In an attempt to expand the AI collaborative mechanisms in NWDAF architecture, the 3GPP SA2 Working Group defined in R19 AIML Study Item the high level principles for collaborative AIML process involving 5GC / NWDAF and / or AF for Vertical Federated Learning. The main benefit of this collaborative ML technique is the potential reduction of resources (less data transmission of collected data, reducing the amount of epochs used in the learning process) used by the mobile operator in order to have more accurate (e.g., better performing) ML models to be used their networks.

[0004] The Vertical Federated Learning is a Machine Learning technique with a higher degree of privacy, where the training entities collaborating to train a ML Model can maintain both the isolation of data used for the training as well as the ML model used in the training process of each training entity. In opposite from HFL, the use of VFL is not restrict to enhancements in the training procedures. When using VFL, enhancements in NWDAF for supporting analytics generation based on VFL inference needs also to be considered.

[0005] There are different scenarios where the training entities are not allowed to exchange their own ML Model and therefore can benefit from VFL mechanisms:

[0006] In single-PLMN scenarios, NWDAFs from different vendors without any interoperability support are not allowed to share their ML Models with NWDAFs from other vendors.

[0007] In single-PLMN scenarios, NWDAFs and 3rd party AFs may not desire to share their ML Models due to privacy issues.

[0008] In the case of inter-PLMN, one of these scenarios is when NWDAFs in different mobile network operators (i.e., PLMNs) are involved in the generation of analytics output (or also referred to as generation of analytics ID or generation of analytics) in home routed roaming scenarios. The home routed roaming scenario is the case where the RAN part of the data used for an analytics generation and part of the core network data is in the VPLMN and part of the core network data and any AF related data is actually belonging to the HPLMN, where the data traffic is anchored.

[0009] Therefore, the advances of VFL can be explored to support collaborative analytics process, and in special analytics generation, for the above listed scenarios. One of the important points is to determine how and NWDAF can obtain the ML Model trained via a VFL training process.

[0010] The present disclosure is therefore aimed towards providing methods and systems for solving at least the afore-mentioned problems.SUMMARY

[0011] According to the present disclosure there is provided a first analytics entity for generating an analytics output from a mobile network based on one or more federated learning information, wherein the one or more federated learning information is associated with a model training process in which two or more different machine learning models are  trained, the first analytics entity configured to: (a) obtain model selection information comprised of one or more parameter for describing an analytics training entity comprising the machine learning model and / or machine learning model information associated with the one or more federated learning information; (b) determine whether the analytics training entity And the first analytics entity Are comprised in the same network function of a mobile network based on the obtained model selection information; (c) select the machine learning model associated with the federated learning information to be used to generate the analytics output, based on one or more of: the determination of whether the analytics training entity And the first analytics entity Are comprised in the same network function of a mobile network; the obtained model selection information; and (d) generate an analytics output based on the selected machine learning model. This allows for the reducing of waste of mobile operator’s resources due to lack of alignment on Models to be used for analytics generation.

[0012] According to a further aspect of this disclosure there is provided the first analytics entity described above, wherein the two or more different machine learning models are jointly trained. This allows for the machine learning models to be trained in association with one another.

[0013] According to a further aspect of this disclosure there is provided the first analytics entity described above, wherein the first analytics entity is configured, in step (b) , to: determine whether the obtained model selection information comprises a co-location flag indicating that the analytics training entity and the first analytics entity are comprised in the same network function of the mobile network. This allows the first analytics entity to easily determine whether it comprises the model information necessary.

[0014] According to a further aspect of this disclosure there is provided the first analytics entity described above, wherein the first analytics entity comprises one or more first analytics entity properties which comprise network function information and / or network service information of the first network entity and the analytics training properties comprises network function information and / or network service information of the analytics training entity; and wherein the first analytics entity is configured, in step (b) , to: determine whether the one or more first analytics entity properties match the analytics training properties. This describes the properties of the first analytics entity that allow for the first analytics entity to be identified.

[0015] According to a further aspect of this disclosure there is provided the first analytics entity described above, wherein the first analytics entity is configured, in step (b) , to be executed by performing one or more of the following: analysing whether the model selection information is comprised in a local mapping of the federated learning information to a network function information and / or network service information of the first analytics entity and to a network function information and / or network service information of the analytics training entity; and determining whether the network function information of the first analytics entity is the same as the network function information of the analytics training entity. This allows the analytics entity to determine whether it is collocated with the analytics training entity.

[0016] According to a further aspect of this disclosure there is provided the first analytics entity described above, wherein when in step (b) it is determined that the analytics training entity is not comprised in the same network function of the first analytics entity, the first analytics entity is configured to: identify a further first analytics entity and / or a further analytics training entity from which to select a machine learning model associated with the federated learning information to be used to generate the analytics output. This allows the first analytics entity to locate the correct model to use from a further analytics entity.

[0017] According to a further aspect of this disclosure there is provided the first analytics entity described above, further configured to: provide the model selection information to one or more further analytics entities and / or one or more further analytics training entities from the mobile network and / or from another mobile network. This allows the first analytics entity to distribute the correct model to other entities.

[0018] According to a further aspect of this disclosure there is provided the first analytics entity described above, wherein the first analytics entity is configured to obtain the model selection information in step (a) by one or more of: being configured to comprise the model selection information; receiving the model selection information from a further analytics entity from the mobile network and / or from another mobile network; generating the model selection information optionally during a federated learning training process, wherein the federated learning training process is a model  training process in which the two or more different machine learning models are jointly trained; storing the model selection information optionally generated during a federated learning training process; generating the model selection information based on a received indication of the model generation information from a further analytics entity from the mobile network and / or from another mobile network. This allows the model selection information to be generated by jointly training machine learning models.

[0019] According to a further aspect of this disclosure there is provided the first analytics entity described above, wherein the federated learning process is a vertical federated learning process. This allows for privacy of the mobile network to be maintained while maintaining model accuracy.

[0020] According to a further aspect of this disclosure there is provided the first analytics entity described above, wherein the model selection information comprises one or more of the following: one or more analytics entity identification; a co-location flag indicating that the analytics training entity And the first analytics entity Are comprised in the same network function; use case context information representing a description of machine learning model scenario of usage; joint vertical federation learning identification information; one or more network function information associated with the analytics training entity; one or more network service information associated with the analytics training entity; one or more network function information associated with the first analytics entity; one or more network service information associated with the first analytics entity; one or more network function information associated with one or more passive analytics training entity; a machine learning model identifier; alignment information; a vertical federated learning type; one or more public land mobile network information; one or more vendor information. This provides a number of different alternatives with which to identify the correct model is for selection.

[0021] According to a further aspect of this disclosure there is provided the first analytics entity described above, wherein the first analytics entity is configured, in step (c) , to select the machine learning model based on one or more of:a vertical federation learning inference flag; an analytics entity information; a joint vertical federation learning identifier and / or information; a machine learning model information. This allows the correct machine learning model to be selected for the vertical federation model learning information.

[0022] According to a further aspect of this disclosure there is provided the first analytics entity described above, wherein the first analytics entity is configured to generate local model selection information representing one or more stored machine learning model based on machine learning model information received from an associated analytics training entity. This allows the analytics entity to generate its own VMSSI representing the machine learning model it stores so that this may be provided to other analytics entities.

[0023] According to a further aspect of this disclosure there is provided the first analytics entity described above, wherein the first analytics entity is further configured to: analyse model selection information received from the further analytics entity to determine that the model selection information received from the further analytics entity is applicable for generating an analytics output based on a selected machine learning model. This allows the first analytics entity to determine that the correct model is being used to generate analytics.

[0024] According to a further aspect of this disclosure there is provided a method of generating an analytics output from a mobile network based on one or more federated learning information, wherein the one or more federated learning information is associated with a model training process in which two or more different machine learning models are trained, the method comprising: (a) obtaining model selection information comprised of one or more parameter for describing an analytics training entity comprising the machine learning model and / or machine learning model information associated with the one or more federated learning information; (b) determining whether the analytics training entity and the first analytics entity are comprised in the same network function of a mobile network based on the obtained model selection information; (c) selecting the machine learning model associated with the federated learning information to be used to generate the analytics output, based on one or more of: the determination of whether the analytics training entity and the first analytics entity Are comprised in the same network function of a mobile network; the obtained model selection information; and (d) generating an analytics output based on the selected machine learning model. This allows for the reducing of waste of mobile operator’s resources due to lack of alignment on Models to be used for analytics generation.

[0025] According to a further aspect of this disclosure there is provided a computer program stored in stored in non-transitory form comprising a program code for performing the method described above when executed on a computer. This allows for the reducing of waste of mobile operator’s resources due to lack of alignment on Models to be used for analytics generation.BRIEF DESCRIPTION OF THE DRAWINGS

[0026] The present disclosure is described by way of example, with reference to the accompanying drawings, in which:

[0027] Figure 1a illustrates a vertical federated learning process among NWDAFs;

[0028] Figure 1 b illustrates a vertical federated learning process between NWDAF and AF;

[0029] Figure 2 shows a further example of VFL inference;

[0030] Figure 3 shows a procedure for using VMSSI for ML Model and / or ML Model Provider determination for VFL Inference.DETAILED DESCRIPTION

[0031] 3GPP TS 23.288 R18 defines the mechanisms for Horizontal Federated Learning (HFL) . The specification defines a NWDAF with training capability (i.e., NWDAF containing MTLF) that executes the role of FL Server and the NWDAFs containing MTLF that execute the FL Client Roles. Due to the fact that Horizontal Federated Learning techniques are applicable only in the training phase, the current FL specification does not define changes in the analytics generation due to HFL training process.

[0032] 3GPP TR 23.700-84 has different proposals for how VFL Inference should be considered in NWDAF Architecture. Most of the proposals assume that an NWDAF (or NWDAF containing AnLF) knows the ML model that should be used for the VFL Inference. Other solutions hint for NWDAF containing AnLF asking a NWDAF containing MTLF for an ML Model, and then it is up to the NWDAF containing MTLF to select the ML Model.

[0033] The work developed in 3GPP R18 in eNA Phase 3 resulted in the definition of the NWDAF architectural enhancements for the support of data or analytics exchange among operators as defined in TS 23.288 [1] . A NWDAF with the Roaming Exchange capability has been defined and interactions among NWDAFs of different operators happen between the RE-NWDAFs of such operators. The R18 advances include support for both local break out and home routed roaming scenarios. R18 also defines that for HR roaming scenarios H-PCF may consume analytics from V-PLMN in order to take decisions on PDU sessions of the roaming UEs. Current R18 specification would allow for a scenario in which the RE-NWDAF that received subscription from H-PCF identifies the related UEs are outbound roaming UEs and decide to request to the VPLMN the analytics related to such UEs, to generate itself the analytics related to such UEs, and aggregate into a single analytics output the combination of the analytics output from HPLMN and VPLMN (TS 23.288 Clause 6.1.5.3) . When it comes to VFL and roaming, it has been defined in TR 23.700-84, that the investigation of VFL in R19 would be restricted only to a single operator, therefore, there are no solutions describing how NWDAF from multiple operators can perform VFL inference.

[0034] Proposals for VFL operation on 3GPP AIML_CN R19 working item, specified in 3GPP TS 23.288, and on the equivalent Study Item, specified in TR 23.700-84, have the following disadvantages.

[0035] For the type of solutions assuming that an NWDAF (or NWDAF containing AnLF) knows the ML model related to a VFL process, there is no clear definition of how an NWDAF containing AnLF (therefore, an Analytics Entity responsible for executing VFL inference) is determined and how the ML model for using with the VFL inference is selected.

[0036] For the solutions hinting at a NWDAF containing AnLF and asking a NWDAF containing MTLF for an ML Model, it is up to the NWDAF containing MTLF to select the ML Model but the present disclosure remedies the problem of how an NWDAF containing MTLF knows the proper NWDAF containing MTLF to request the service.

[0037] Any discovery mechanisms based on a NWDAF containing AnLF querying NRF for discovery of NWDAF containing MTLF that are the proper Model provider for each specific trained ML model related to a VFL process, would mean that NRF would be overloaded with information that can be dynamically changed. This heavy-weight mechanism is against the principles of NRF design to keep it simple and as a pointer to the entities that comprise all the required information for the 5GS processes.

[0038] Regarding the issue of VFL Inference in home routed roaming scenarios, i.e., inter-PLMN or roaming analytics, the following disadvantages can be listed. TS 23.288 prevents information supporting ML model selection to be provided among RE-NWDAFs. This removes from a RE-NWDAF the capability to differentiate when to use a conventional model (i.e., not trained with VFL) and when to use a VFL related ML model. The effect is lack of alignment of VFL models being used for analytics exposure in roaming scenarios.

[0039] On the one hand, current solutions for VFL inference in mobile networks lack the information and the mechanisms to enable the NWDAF containing AnLF, which is responsible to generate an analytics output based on a ML Model, to either select itself the ML Model appropriated to the VFL inference or to determine which NWDAF containing MTLF would be able to provide such information. On the other hand, alignment on which ML models associated with the same VFL process among operators is completely neglected.

[0040] The present disclosure provides methods for performing Vertical Federated Learning (VFL) across multiple entities. All the embodiments of this invention consider the 5G network architecture defined by 3GPP and documented in TS 23.501. Specifically, the embodiments are focused on the extensions related to the NWDAF Network Function, which is defined in the 3GPP TS 23.288 specification.

[0041] Vertical Federated Learning (VFL) is a Machine Learning technique with a higher degree of privacy. In VFL, the training entities collaborating to jointly one or more ML models can maintain both the isolation of data used for the training and isolation of each local ML model itself used in the training process. Thus, in present embodiments, the first entity and the one or more further entities may train local ML models jointly. Thus, the entities can exchange messages and outputs indicating progress until one entity (the ‘active’ entity which has access to the training labels  / ground truth data) determines when the ML training of all ML models across all entities has completed.

[0042] The result of this is an entity (which, in some examples may be a RE-NWDAF in one PLMN) capable of exchanging information and keeping mappings with another entity (e.g., another RE-NWDAF in a different PLMN) where the information and mappings pertain to information needed to jointly train the ML models local to both entities. Moreover, the joint ML model training involves training of different ML models each in PLMN that share the same ML model objective (e.g., the shared objective may define that both ML models are configured to predict the service experience in case of home routed roaming) and a sub-set of features (e.g., the overall data type collected for processes related to the joint trained ML Model are disjoint, but there exist an intersection between the feature space) .

[0043] It will be appreciated that the term “entity” used in the present disclosure can to any suitable entity with ML capability, i.e., an MLTF entity, and which has some interoperability restriction with another entity such that the HFL defined by current 3GGP R18 is not suitable. Preferably the entity is an NWDAF. The NWDAF may be a software product offer by a Mobile Network Vendor, or a mobile network integration company specialized in customizing mobile network vendor solutions to the needs of mobile operators. Embodiments of the present disclosure consider the 5G network architecture defined by 3GPP and documented in TS 23.501. Specifically, the embodiments are focused on the extensions related to the NWDAF Network Function, which is defined in the 3GPP TS 23.288 specification.

[0044] Entities according to present embodiments are therefore general ‘VFL capable’ . An entity with VFL capability is defined by an entity with support for joint ML model training with other entities that have support for joint ML model training. In the present disclosure, joint ML model training generally involves training of different ML models (i.e., one ML model per entity) where each ML model shares the same ML model objective (e.g., both models are designed to predict the same target, e.g., service experience in case of home routed roaming) and each ML Model has a set of features (e.g., overall data type collected for processes related to the joint trained ML Model) where there exists a subset of features that is shared between the two ML models. IN other words, the feature space of data used by the two entities is not the same but has an intersection.

[0045] It is important to remark that the selection and determination of which NWDAFs will be involved in the VFL-based training is not the focus of this invention. It is assumed that the NWDAF with active role is aware of the passive NWDAFs that will participate in the VFL-based model training. The problems that are solved by the present disclosure are therefore:

[0046] How to reduce the waste of mobile operators resources on useless queries in NRF and then tentative and error requests to potential when NWDAF containing AnLF tries to find the proper NWDAF containing MTLF to provide the ML model.

[0047] How to avoid to overload the NRF with dynamic information specifically related to each VFL Training process. If NRF has all the training information, for any change either in the UEs considered in the VFL training (i.e., sample alignment) or in the VFL entities participating in the training (e.g., the UE moved to a different area and is now covered by a different NWDAF which did not participate in the VFL training) the NRF information needs to be updated and a chain of subsequent changes may be generated.

[0048] How to reduce the risk of waste of HPLMN and VPLMN resources in “useless” analytics output generation (i.e., NFs discard analytics from their decision making due to low accuracy) , because of lack of alignment on the ML models used for the aggregated analytics output (with HPLMN and VPLMN) .

[0049] The present disclosure considers the following core entities and their respective adaptations / enhancements that form part of this disclosure.

[0050] A first analytics entity that may be suitable for generating an analytics output based on a ML Model, from a mobile network. The first analytics entity may be enhanced with the following core capabilities and thus configured to obtain a VMSSI (VFL model selection support information) , where the VMSSI defines the one or more information enabling the identification of the Analytics Training Entity capable to provide a ML model and / or the ML model information associated with a VFL Process and / or a VFL Correlation ID to be used for generating an analytics output or an intermediary analytics output. The VMSSI may be thought of as model selection information comprised of one or more parameter for describing an analytics training entity comprising the machine learning model and / or machine learning model information associated with the one or more federated learning information.

[0051] The first analytics entity may further be configured to determine based on the VMSSI that the Analytics Entity is the same Analytics Training Entity for a required analytics information (i.e., analytics ID) . This determination may be made to whether the analytics training entity and the first analytics entity are comprised in the same network function of a mobile network based on the obtained model selection information. In addition, the first analytics entity may be configured to select from the local repository or request to a Storage Entity (which may be thought of as the ML model associated with a VFL training process and / or a VFL correlation ID, when the Analytics Entity determined it is the same Analytics Training Entity. The first analytics entity may then use the selected ML model for the generation of analytics output or intermediary output for the final analytics output generation.

[0052] The first analytics entity may further be enhanced with the following further features: and thus, may be configured to determine based on the VMSSI other Analytics Entity required for the final analytics output generation (e.g., when VFL Server Entities and VFL Client entities interact to generate the final analytics output which is aggregated by the VFL Server) . The first analytics entity may further be configured to provide to a further analytics entity the indication with VMSSI, that enables the other Analytics Entity to identify the other Analytics Training Entity capable to provide a ML model and / or the ML model information associated with a VFL Process and / or a VFL Correlation ID to be used by the other Analytics Entity for generating an analytics output or an intermediary analytics output.

[0053] In some cases, the first analytics entity may obtain the model selection information (VMSSI) in a number of other ways such as by configuring the entirety or a part of the first analytics entity with the model selection information, and / or by receiving an indication that may comprise the model selection information from a further analytics entity from the same or from another mobile network. The first analytics entity may also obtain the model selection information by locally storing and / or creating the model selection information based on information obtained during the VFL training  process; and / or by receiving from a further analytics training entity the information supporting the creation of model selection information.

[0054] In addition, the first analytics entity of the present disclosure may determine whether it is the same as the analytics training entity based on the model selection information (VMSSI) in a number of ways including by:

[0055] checking if the NF information (e.g., NF ID) of the VFL Role (e.g., VFL Client or VFL Server) in a VFL training process and / or related to a VFL correlation ID comprised in the VMSSI is the same as the NF information of the first analytics entity;

[0056] checking whether the first analytics entity is configured with both the training as well as inference capabilities (e.g., an NWDAF that has both the AnLF and the MTLF logical functions) , and if the VMSSI comprises a VFL co-location flag;

[0057] checking whether the VFL co-location flag is comprised in the VMSSI; and / or

[0058] checking if the VFL process and / or VFL Correlation ID information in the obtained VMSSI is comprised in the local mapping of a VFL process and / or VFL Correlation ID to the tuple of NF information of Analytics training entity and NF information of Analytics Entity. If comprised, the Analytics Entity check if the NF information of Analytics Training Entity is the same as the NF information of Analytics Entity for the tuple associated with the comprised VFL process and / or VFL Correlation ID information.

[0059] The embodiments of the present disclosure will now be described in relation to the Figures. Figures 1a and 1 b illustrate the scenarios regarding interactions among entities within a single mobile operator (e.g., with the same PLMN ID or with equivalent PLMN IDs of the same mobile operator) . There are at least two possible scenarios where it would be beneficial to algin the model provisioning among all the analytics entities participating in a VFL Inference process. These can be described as follows in relation to Figures 1a and 1 b.

[0060] Figure 1a illustrates a vertical federated learning process among NWDAFs. In this case, the VFL Inference process may be executed among NWDAFs. The entities involved in this scenario may be: Analytics Consumer 101, an active NWDAF-AnLF (s) 102, a passive NWDAF-AnLF (s) 103, an active NWDAF-MTLF (s) 104 and a passive NWDAF-MTLF (s) 105. In this scenario the first analytics entity is the active NWDAF-AnLF (s) 102 with which there is an associated passive NWDAF-AnLF (s) 103. In the same way Figures 1a and 1 b show the communication channels between each of these entities.

[0061] Figure 1 b illustrates a vertical federated learning process between NWDAF and AF. In his second scenario, the VFL Inference process may be executed among NWDAF (s) and AF (s) . The entities involved in this alternate embodiment are: an analytics consumer 111, active passive NWDAF-AnLF (s) 112, an active passive NWDAF-MTLF (s) 113. In addition there may also optionally be a NEF 114, which may be included in case untrusted AFs are included in the process. When NEF is included, the NWDAF and AF entities may interact indirectly via NEF. In such a scenario, this NEF may act as a forwarder of information or it may process the information received from the parties (NWDAF or AF) and further provide the processed information to the proper entity. Examples of possible processing are the mapping of internal information of a mobile network into external information (e.g., Internal UE ID into an external UE identification) .

[0062] Figure 2 illustrates a further aspect of the present disclosure in which illustrates interactions among entities performing VFL process for roaming use cases, where such entities belong to different mobile operators (e.g., with the different PLMN ID which are not from the same mobile operator) . In this group, the VFL process is performed among NWDAFs. Following the same roaming architecture described in 3GPP Ts 23.288 specification, RE-NWDAFs are the only entities from the different mobile operators that interact for performing analytics process. We assume that such architecture is extended to support also joint VFL training among NWDAF-MTLFs of the different operators. In this invention, the RE-NWDAFs would be extended with the capability of performing VFL process. Additionally, for simplicity, Figure 2 illustrates the case without VFL Server. However, in this invention it is not discarded the case where there is a VFL Server either in one PLMN or one VFL Server in each PLMN. Following the same principles described in relation to Figures 1a and 1 b, the difference is that the Analytics consumer 201 interacts with the VFL Server, and the VFL Server interacts with the participating VFL Entities within the mobile network. As can be seen in Figure 2, the first PLMN  1 may comprise a RE-NWDAF-AnLF 202 and a NWDAF-MTLF 203 in communication, the first of which communicates with the second PLMN 2. The second PLMN, PLMN 2, may comprise passive entities that correspond to the active entities of PLMN 1, these may include RE-NWDAF-AnLF 204 and NWDAF-MTLF 205.

[0063] Independent of the specific configuration of the scenarios illustrated above, there are entities that may be part of the proposed solution architecture of this disclosure. These may include a first analytics entity that performs the VFL inference and an analytics training entity that performs VFL Training. The detailed interactions among these entities will now be described in relation to Figure 3 of this disclosure.

[0064] Figure 3 illustrates the determination of ML model and ML Model provider for VFL inference based on model selection information. In Step 1a of Figure 3, during the VFL Training, an Analytics training entity A 303 (i.e., VFL Server) may provide the information supporting model selection information to the one or more analytics training entities B (i.e., the one or more VFL Clients –for simplification the Figure 2 shows only one VFL Client) .

[0065] The interactions are described between a first analytics entity 302 and a further analytics entity 304. In this example, the entities belong to different PLMN networks and so cannot perform HFL since there is no interoperability support for this. Each entity has its own ML model. Only the first entity in this example has access to the ‘ground truth’ data, i.e., the training labels. Thus, the first entity has oversight of the training progress and has the power to i) initiate local training of the ML model belonging to the second entity, at the second entity ii) calculate the loss of the combined training of the ML models of both entity using the training labels and iii) determine that training has sufficiently progress and iv) signal that training may stop. In the context of VFL the first analytics entity is considered the ‘active’ entity and the second entity is considered the ‘passive’ entity. The first analytics entity may comprises one or more first analytics entity properties which comprise network function information and / or network service information of the first network entity and the analytics training properties comprises network function information and / or network service information of the analytics training entity; and wherein the first analytics entity is configured, to: determine whether the one or more first analytics entity properties matches the comprises analytics training properties. Analytics training properties may be the service exposed by the analytics training entity that indicates it has the MTLF functionality and the NF information may be the ID, Set, address of the analytics training entity.

[0066] In one possible embodiment, when the first analytics entity A 303 (i.e., VFL Server) may be a NWDAF, it may invoke the service commands Nnwdaf_MLModelProvision_Subscribe or Nnwdaf_MLModelTraining_Subscribe including its information for supporting the model selection information, VMSSI, (i.e., the information for supporting VMSSI from the VFL Server) to be created in the Analytics training entity B 305 (i.e., VFL Client) . For instance, the first analytics entity A 303 (i.e., VFL Server) may provide its NF information, in order to enable the one or more analytics training entities B (i.e., VFL Clients) to be able to determine when required, the VFL Server that controlled the VFL training for a given VFL correlation ID.

[0067] Next in Step 1 b in Figure 3, which may take place during the VFL Training, the one or more Analytics training entity B 305 (i.e., VFL Client) provide the information supporting VMSSI to the Analytics Training Entities A (i.e., VFL Server) . In one possible embodiment, when the Analytics training entity B 305 (i.e., VFL Client) is an NWDAF, it may include in the service Nnwdaf_MLModelProvision_Subscribe response or Nnwdaf_MLModelTraining_Subscribe response or Nnwdaf_MLModelProvision_Notify or Nnwdaf_MLModelTraining_Subscribe. To provide information for supporting the model selection information VMSSI (i.e., the information for supporting VMSSI from the VFL Client) to be created in the First analytics entity A 303. For instance, the Analytics training entity B 305 (i.e., VFL Client) provides its NF information and the VFL co-location flag, in order to enable the Analytics Training Entities A (i.e., VFL Server) to be able to determine when required, the VFL Clients participating in the VFL training for a given VFL correlation ID.

[0068] In Step 2a of Figure 3 the First analytics entity A 303 (i.e., VFL Server) may be configured to create its local model selection information based on its local information and / or based on the received information for supporting model selection information from the one or more Analytics Training Entities B (i.e., VFL Clients) . Then in Step 2b of Figure 3 the Analytics training entity B 305 may be configured to create local model selection information (local VMSSI) , based on received information for supporting VMSSI from the First analytics entity A 303 (VFL Server) and / or its local information.

[0069] In Step 3 of Figure 3 an Analytics Consumer 301 (e.g., a PCF, or another NWDAF) may subscribe or request analytics from the First analytics entity A 302, which may be considered the first analytics entity of this disclosure, (i.e., VFL Server) using for instance the Nnwdaf_AnalyticsSubscription_Subscribe service including optionally as parameters the VFL indication. Then in Step 4 of Figure 3 the First analytics entity A 302, which may be considered the first analytics entity of this disclosure, (i.e., VFL Server) analyses the received request in Step 3 and determines the Analytics Training Entity that can provide the ML model to be used for a VFL inference. There are different ways that such determination may occur. A non-exhaustive list of optional examples are described below as part of this disclosure and a combination of these alternatives may also be performed.

[0070] In some cases, the first analytics entity A 302 (i.e., VFL Server) may be configured to check if it is configured with both the training as well as inference capabilities (e.g., an NWDAF that has both the AnLF and the MTLF logical functions) , and if the model selection information, VMSSI, comprises the VFL co-location flag. In other examples, the first analytics entity may check whether the VFL co-location flag is present within the VMSSI (or also referred as local configuration) and / or the first analytic entity may be configured to check whether the VFL process and / or VFL Correlation ID information in the locally stored VMSSI is comprised in the local mapping of a VFL process and / or VFL Correlation ID to the tuple of NF information of Analytics training entity and NF information of Analytics Entity. If comprised, the Analytics Entity check if the NF information of Analytics Training Entity is the same as the NF information of Analytics Entity for the tuple associated with the comprised VFL process and / or VFL Correlation ID information. In addition, or an alternative, the first analytics entity may be configured to check if its NF information (e.g., NF ID) is comprised in the model selection information, VMSSI, as NF Information related to related to the Active Training Entity (or VFL Server) .

[0071] In Step 5 of Figure 3 the first analytics training entity (i.e., VFL Server) of this disclosure may, based on the analysis of the VMSSI in Step 4, determine that it is the same first analytics entity A 303 that has the required analytics information (i.e., analytics ID) . In such a case, the first analytics entity may select the ML Model from the local repository or request to a Storage Entity (e.g., ADRF) the ML model associated with a VFL training process and / or a VFL correlation ID.

[0072] In Step 6 of Figure 3 the first analytics entity A 302 (i.e., VFL Server) may, based on the analysis of the VMSSI, also determine the further analytics entity (Analytics Entities B) (i.e., VFL Clients) associated with the VFL correlation ID and / or the requested analytics ID, required for the generation of the final analytics output (i.e., VFL inference) . For instance, the first analytics entity A 302 (i.e., VFL Server) may verify whether the VMSSI comprises the list of NF information associated with VFL Clients (i.e., Further analytics entity B 304) and / or if the co-location flag is also indicated for each NF with VFL Client role. The co-location flag discussed throughout this disclosure may be a VFL co-location flag. When the first and further analytics entities belong to a single mobile operator, the first analytics entity A 302 (i.e., VFL Server) may invoke a Nnwdaf_AnalyticsSubscription_Subscribe service from the one or more further analytics entity B 304 (i.e., VFL Clients) that may be determined based on the model selection information (VMSSI) including as input parameters also the indication with VMSSI.

[0073] When the analytics entities belong to a different mobile operator, the first analytics entity A 302 (i.e., VFL Server) may invoke a Nnwdaf_RoamingAnalytics_Subscribe service from the one or more further analytics entity B 304 (i.e., VFL Clients) that may be determined based on the VMSSI, and it includes as input parameters the indication with VMSSI.

[0074] The indication with VMSSI in this disclosure can denote one or both of the following, an instruction to the further analytics entity B 304 (i.e., VFL Clients) to participate in a VFL inference process and / or may comprise the information that characterizes the VFL inference process to be executed, for instance if it comprises the VFL correlation ID and / or the ML Model ID to be used by the Further analytics entity B 304 (i.e., VFL Clients) .

[0075] In Step 7 of Figure 3, based on the analysis of the received indication with VMSSI and the locally stored VMSSI, the Further analytics entity B 304 (i.e., VFL Clients –in this case each of the VLF Clients) , determines it can participate in the VFL Inference and the analytics training entity B 305 that can provide the ML model to be used for a VFL inference. For instance, in one possible implementation, the Further analytics entity B 304 (i.e., VFL Client) checks  whether the indication with VMSSI comprised the VFL Correlation ID. If it comprises, then the Further analytics entity B 304 (i.e., VFL Client) analyses is its local VMSSI also comprises the same VFL Correlation ID. If this is true, the Further analytics entity B 304 (i.e., VFL Client) determines that it can participate in the VFL Inference process requested by the first analytics entity A 302 (i.e., VFL Server) as per indication with VMSSI.

[0076] The further analytics entity B 304 (i.e., VFL Clients) may also determines based on the analysis of the indication with VMSSI and / or the local VMSSI, which analytics training entity B 305 (i.e., VFL Client) can provide the ML model to be used for the VFL Inference process. For instance, the same type of checks performed by the first analytics entity A 302 (i.e., VFL Server) in Step 4 apply also for the analysis performed by further analytics entity B 304 (i.e., VFL Clients) in Step 7.

[0077] In Step 8 of Figure 3, if the further analytics entity B 304 (i.e., VFL Client) may, based on the analysis of its local VMSSI as per Step 7, determine that it is the same analytics training entity B 305 for the required analytics information (i.e., analytics ID) , the further analytics entity B 304 (i.e., VFL Client) may select the ML Model from the local repository or request to a Storage Entity (e.g., ADRF) the ML model associated with a VFL training process and / or a VFL correlation ID that was received in the indication with VMSSI.

[0078] In Step 9 of Figure 3, the first analytics entity A 302 (i.e., VFL Server) and further analytics entity B 304 (i.e., VFL Client) may perform a VFL inference process, where each first analytics entity A 302 (i.e., VFL Server) and further analytics entity B 304 (i.e., VFL Client) may use their respective selected ML models associated with the VFL process and / or VFL Correlation ID to generate an intermediary analytics output. Each further analytics entity B 304 (i.e., VFL Client) may provide to the first analytics entity A 302 (i.e., VFL Server) an intermediary analytics output.

[0079] In Step 10 of Figure 3, the first analytics entity A 302 (i.e., VFL Server) aggregates its own generated intermediary analytics output and the received intermediary results from the further analytics entity B 304 (i.e., VFL Client) , and generates the final analytics output.

[0080] Although it is not illustrated in the Figure 3 the solution of this disclosure may also apply for the following cases. The case in which the first analytics entity A 302 (i.e., VFL Server) generates the final analytics output (or analytics output) skipping steps 6 to 9. Alternatively, the further analytics entity B 304 (i.e., VFL Client) is the entity receiving the analytics subscription request in the Step 3. In this case, the further analytics entity B 304 (i.e., VFL Client) may also be execute Steps 4 and 5 in the same way of First analytics entity A 302 (i.e., VFL Server) , skip steps 6 to 9 (which do not apply) and generated the final analytics output only with the ML model selected in Step 5. Figure 3 therefore demonstrates an example of the method of the present disclosure that may be implemented by a first analytics entity or wider apparatus / system comprising the first analytics entity and configured to perform the method of Figure 3. It should be understood that the federated learning information is associated with an executed model training process where a first model is jointly trained with a second model, wherein the first model and the second model are different from each other and have been jointly trained by different entities.

[0081] The present disclosure should be understood to include the following advantageous features and achieve the following advantageous effects. The NWDAF obtaining model selection information, VMSSI, allowing for potential alternatives as to how the first analytics entity obtains the VMSSI, either by configuration, the entire or parts of the VMSSI is configured in the Analytics Entity, by receiving an indication with the VMSSI from another Analytics Entity from the same or another mobile network, and / or by locally storing and / or creating the VMSSI based on information obtained during the VFL training process. This has the advantage of reducing waste of mobile operator’s resources due to lack of alignment on Models to be used for analytics generation. It is also possible to determine based on the VMSSI whether the analytics entity is the same analytics training entity for a required analytics information (i.e., analytics ID) and / or the analytics entity is different than the analytics training entity. It is also possible thanks to this disclosure to select from the local repository or request to a Storage Entity the ML model associated with a VFL training process and / or a VFL correlation ID, when the Analytics Entity determined it is the same Analytics Training Entity, and generate an analytics output. Furthermore, it is possible based on the VMSSI, to provide a request for the ML Model and / or ML Model information associated with the VFL training and / or a VFL correlation ID to the Analytics Training Entity, when the Analytics Entity determined it is different from the Analytics Training Entity. These features have the  effect of reducing waste of mobile operators resources on heavy-weight discovery procedures to determine the adequate provider of a ML model related to a VFL process.

[0082] Furthermore, as part of this disclosure there is disclosed a number of other alternatives to that may be envisaged as follows. The two or more different machine learning models are jointly trained. In this invention the information listed below defined and their usage is listed in the description of the possible options of procedures further detailed.

[0083] The information for supporting model selection information (VMSSI) may comprise one or more parameters (or information) related to a VFL training process (or a VFL correlation ID) supporting the analytics training entity to create (or generate or determine) the VMSSI. The information for supporting VMSSI may comprise any of the following (and / or any combinations of the following) , an analytics ID, a joint VFL ID (or VFL Correlation ID or VFL model Correlation ID) , NF Information, e.g., NF ID (and / or the Service Information and / or Information to reach the NF Instance) related to the Active Training Entity (i.e., the Analytics Training Entity with Active Role) , one or more NF Information, e.g., NF ID (and / or the Service Information and / or Information to reach the NF Instance) related to one or more passive training entity.

[0084] VMSSI (VFL Model Selection Support Information) otherwise referred herein to as model selection information may define the one or more information enabling the identification of the analytics training entity capable to provide a ML model and / or the ML model information associated with a VFL Process and / or a VFL Correlation ID to be used for generating an analytics output or an intermediary analytics output. The VMSSI may comprise any of the following (and / or any combinations of the following) : analytics ID, joint VFL ID (or VFL Correlation ID or VFL model Correlation ID) , a VFL Co-location flag which indicates that the entity performing the VFL training is the same entity performing VFL inference. It is also possible that in some implementations the VFL co-location flag is information comprised in the local configuration of the NWDAF. As such, it should be understood that the local configuration is a synonym for the VMSSI in this disclosure. In other words, the model selection information comprises one or more of the following: one or more analytics entity identification; a co-location flag indicating that the analytics training entity And the first analytics entity Are comprised in the same network function; use case context information representing a description of machine learning model scenario of usage; joint vertical federation learning identification information (which may be considered to be VFL [model] correlation ID) ; one or more network function information associated with the analytics training entity; one or more network service information associated with the analytics training entity; one or more network function information associated with the first analytics entity; one or more network service information associated with the first analytics entity; one or more network function information associated with one or more passive analytics training entity; a machine learning model identifier; alignment information; a vertical federated learning type; one or more public land mobile network information; one or more vendor information.

[0085] In a potential use case, some contextual information is that it is possible to define the information or a flag or a description or a string or a name that is capable to uniquely associate the tuple (analytics ID, Joint VFL ID, optionally: ID of Active Participant, (List of ) ID (s) of Passive participants) . The NF Information, e.g., NF ID (and / or the Service Information and / or Information to reach the NF Instance) may be related to the Active Training Entity (i.e., the Analytics Training Entity with Active Role) . The one or more NF Information, e.g., NF ID (and / or the Service Information and / or Information to reach the NF Instance) related to the one or more Passive Training Entity. A local ML Model ID or ML Model ID or unique ML Model ID may be used. Alignment Information may be [UE ID (s) , or TA (s) , etc.. ] . A type of VFL used for joint VFL ID may include NWDAFs, or Active MWDAF-Passive AFs, or Active AF-Passive NWDAFs, or Roaming NWDAFs, or Active NWDAF or Active AF. Some potential types of VFL Role may be related to ML Model (or Type of VFL Role for the ML Model ID) . The NF Information may for example be NF ID (and / or the Service Information and / or Information to reach the NF Instance) that may have been used to train a ML Model or ML Model ID. The present disclosure may also employ as part of the method and apparatus PLMN ID or AF ID or Vendor information.

[0086] An indication using the model selection information VMSSI may include information defining the parameters for supporting the VFL Entity (i.e., NWDAF or AF or Analytics Entity and / or Analytics Training Entity) to identify the appropriated ML Model to be used for the execution of the VFL Inference. Indication with VMSSI may comprise any of  the following (and / or any combinations of the following) a VFL Inference flag, analytics ID, joint VFL ID (or VFL correlation ID) , a ML Model ID to be used in the VFL Inference process.

[0087] The method of this disclosure therefore solves a number of technical problems posed by current solutions for VFL inference in mobile networks which lack the information and the mechanisms to enable the NWDAF containing AnLF, which is responsible to generate an analytics output based on a ML Model, to either select itself the ML Model appropriated to the VFL inference or to determine which NWDAF containing MTLF would be able to provide such information. A further problem is that alignment on which ML models associated with the same VFL process among operators is completely neglected.

[0088] The problems solved by the method and apparatus include how to reduce the waste of mobile operators resources on useless queries in NRF and then tentative and error requests to potential when NWDAF containing AnLF tries to find the proper NWDAF containing MTLF to provide the ML model; how to avoid to overload the NRF with dynamic information specifically related to each VFL Training process. If NRF has all the training information, for any change either in the UEs considered in the VFL training (i.e., sample alignment) or in the VFL entities participating in the training (e.g., the UE moved to a different area and is now covered by a different NWDAF which did not participate in the VFL training) the NRF information needs to be updated and a chain of subsequent changes may be generated. A further problem solved is how to reduce the risk of waste of HPLMN and VPLMN resources in “useless” analytics output generation (i.e., NFs discard analytics from their decision making due to low accuracy) , because of lack of alignment on the ML models used for the aggregated analytics output (with HPLMN and VPLMN) .

[0089] Definitions

Claims

1.A first analytics entity for generating an analytics output from a mobile network based on one or more federated learning information, wherein the one or more federated learning information is associated with a model training process in which two or more different machine learning models are trained, the first analytics entity configured to:(a) obtain model selection information comprised of one or more parameter for describing an analytics training entity comprising the machine learning model and / or machine learning model information associated with the one or more federated learning information;(b) determine whether the analytics training entity and the first analytics entity are comprised in the same network function of a mobile network based on the obtained model selection information;(c) select the machine learning model associated with the federated learning information to be used to generate the analytics output, based on one or more of:the determination of whether the analytics training entity and the first analytics entity are comprised in the same network function of a mobile network;the obtained model selection information; and(d) generate an analytics output based on the selected machine learning model.2.The first analytics entity of claim 1, wherein the two or more different machine learning models are jointly trained.3.The first analytics entity of claim 1 or 2, wherein the first analytics entity is configured, in step (b) , to:determine whether the obtained model selection information comprises a co-location flag indicating that the analytics training entity And the first analytics entity Are comprised in the same network function of the mobile network.4.The first analytics entity of any one of claims 1 to 3, wherein the first analytics entity comprises one or more first analytics entity properties which comprise network function information and / or network service information of the first network entity and the analytics training properties comprises network function information and / or network service information of the analytics training entity; andwherein the first analytics entity is configured, in step (b) , to:determine whether the one or more first analytics entity properties match the analytics training properties.5.The first analytics entity of any preceding claim, wherein the first analytics entity is configured, in step (b) , to be executed by performing one or more of the following:analysing whether the model selection information is comprised in a local mapping of the federated learning information to a network function information and / or network service information of the first analytics entity And to a network function information and / or network service information of the analytics training entity; anddetermining whether the network function information of the first analytics entity is the same as the network function information of the analytics training entity.6.The first analytics entity of any preceding claim, wherein when in step (b) it is determined that the analytics training entity is not comprised in the same network function of the first analytics entity, the first analytics entity is configured to:identify a further first analytics entity and / or a further analytics training entity from which to select a machine learning model associated with the federated learning information to be used to generate the analytics output.7.The first analytics entity of any preceding claim, further configured to:provide the model selection information to one or more further analytics entities and / or one or more further analytics training entities from the mobile network and / or from another mobile network.8.The first analytics entity of any preceding claim, wherein the first analytics entity is configured to obtain the model selection information in step (a) by one or more of:being configured to comprise the model selection information;receiving the model selection information from a further analytics entity from the mobile network and / or from another mobile network;generating the model selection information optionally during a federated learning training process, wherein the federated learning training process is a model training process in which the two or more different machine learning models are jointly trained;storing the model selection information optionally generated during a federated learning training process;generating the model selection information based on a received indication of the model generation information from a further analytics entity from the mobile network and / or from another mobile network.9.The first analytics entity of any preceding claim, wherein the federated learning process is a vertical federated learning process.10.The first analytics entity of any preceding claim, wherein the model selection information comprises one or more of the following:one or more analytics entity identification;a co-location flag indicating that the analytics training entity and the first analytics entity are comprised in the same network function;use case context information representing a description of machine learning model scenario of usage;joint vertical federation learning identification information;one or more network function information associated with the analytics training entity;one or more network service information associated with the analytics training entity;one or more network function information associated with the first analytics entity;one or more network service information associated with the first analytics entity; one or more network function information associated with one or more passive analytics training entity;a machine learning model identifier;alignment information;a vertical federated learning type;one or more public land mobile network information;one or more vendor information.11.The first analytics entity of any preceding claim, wherein the first analytics entity is configured, in step (c) , to select the machine learning model based on one or more of:a vertical federation learning inference flag;an analytics entity information;a joint vertical federation learning identifier and / or information;a machine learning model information.12.The first analytics entity of any preceding claim, wherein the first analytics entity is configured to generate local model selection information representing one or more stored machine learning model based on machine learning model information received from an associated analytics training entity.13.The first analytics entity of any one of claims 1 to 5, wherein the first analytics entity is further configured to:analyse model selection information received from the further analytics entity to determine that the model selection information received from the further analytics entity is applicable for generating an analytics output based on a selected machine learning model.14.A method of generating an analytics output from a mobile network based on one or more federated learning information, wherein the one or more federated learning information is associated with a model training process in which two or more different machine learning models are trained, the method comprising:(a) obtaining model selection information comprised of one or more parameter for describing an analytics training entity comprising the machine learning model and / or machine learning model information associated with the one or more federated learning information;(b) determining whether the analytics training entity and the first analytics entity are comprised in the same network function of a mobile network based on the obtained model selection information;(c) selecting the machine learning model associated with the federated learning information to be used to generate the analytics output, based on one or more of:the determination of whether the analytics training entity And the first analytics entity Are comprised in the same network function of a mobile network;the obtained model selection information; and(d) generating an analytics output based on the selected machine learning model.15.A computer program stored in stored in non-transitory form comprising a program code for performing the method according to claim 14 when executed on a computer.

Images