Validation schemes for accessing trustworthiness of machine learning models in wireless communication systems

Abstract

A method of wireless communications is provided. The method comprises: receiving, by a first NWDAF entity including an analytics logic function (AnLF), from a consumer entity, a subscription request including consumer expectation parameters; sending, by the first NWDAF entity to a second NWDAF entity including a model training logical function (MTLF), a validation request to validate a machine learning (ML) model of the MTLF; receiving, by the first NWDAF entity from the second NWDAF entity, a validation response including a validation result; comparing the validation result with the consumer expectation parameters; and sending, to the consumer entity and the second NWDAF entity, a comparison result based on the comparing.

Description

VALIDATION SCHEMES FOR ACCESSING TRUSTWORTHINESS OF MACHINE LEARNING MODELS IN WIRELESS COMMUNICATION SYSTEMSTECHNICAL FIELD

[0001] This document relates to systems, devices and techniques for wireless communications.BACKGROUND

[0002] Wireless communication technologies are moving the world toward an increasingly connected and networked society. The rapid growth of wireless communications and advances in technology has led to greater demand for capacity and connectivity. Other aspects, such as energy consumption, device cost, spectral efficiency, and latency are also important to meeting the needs of various communication scenarios. In comparison with the existing wireless networks, next generation systems and wireless communication techniques need to provide support for an increased number of users and devices, as well as support an increasingly mobile society.SUMMARY

[0003] Various methods and apparatus for validating trustworthiness of machine learning models in wireless communication systems are provided.

[0004] In one example aspect, a method of wireless communication is disclosed. The method comprises: receiving, by a first NWDAF entity including an analytics logic function (AnLF) , from a consumer entity, a subscription request including consumer expectation parameters; sending, by the first NWDAF entity to a second NWDAF entity including a model training logical function (MTLF) , a validation request to validate a machine learning (ML) model of the MTLF; receiving, by the first NWDAF entity from the second NWDAF entity, a validation response including a validation result; comparing the validation result with the consumer expectation parameters; and sending, to the consumer entity and the second NWDAF entity, a comparison result based on the comparing.

[0005] In another example aspect, a method of wireless communication is disclosed. The method comprises: receiving, by a second NWDAF entity including a model training logical function (MTLF) from a first NWDAF entity including an analytics logic function (AnLF) , a validation request to perform a validation of a machine learning (ML) model; performing, by the second NWDAF entity, the validation of the ML model; sending, by the second NWDAF entity to the first NWDAF entity, a validation response including a validation result; receiving, by the second NWDAF entity from the first NWDAF entity, feedback on the validation result; and retraining the ML model or selecting another ML model based on the feedback.

[0006] In another example aspect, a method of wireless communication is disclosed. The method comprises: sending, by a consumer entity to a first NWDAF entity including an analytics logic function (AnLF) ,  a subscription request of analytics that includes consumer expectation parameters including at least one of validation metrics, a minimum acceptable threshold of each validation metric, or accuracy reporting threshold parameters; receiving, by the consumer entity from the first NWDAF entity, a validation checking result indicating whether a machine learning (ML) model of a second NWDAF entity including a model training logical function (MTLF) satisfies the consumer expectation parameters, wherein the validation checking result is obtained by comparing a validation result obtained from the second NWDAF entity with the consumer expectation parameters.

[0007] In another example aspect, a method of wireless communication is disclosed. The method comprises: receiving, by a server NWDAF entity from a service consumer entity, a subscription request to retrieve a machine learning (ML) model including ML model metrics selected by the service consumer entity, consumer expectation parameters of the ML model metrics, and a validation method to assess the ML model; sending, one or more requests to one or more NWDAF entity containing MTLFs to participate in a federated learning as a federated learning client together with local ML model metrics; receiving, from the federated learning client, an interim model with local model information containing numerical values of the local ML model metrics; sending, to the service consumer entity, a request to obtain validation dataset; receiving, from the service consumer entity, a validation dataset; performing a model validation based on the validation method included in the subscription request or based on its local configuration, to compute a global ML model metric, or compute global ML model metric based on the local ML model metrics; sending, to the service consumer entity, a message indicating a training status based on the model validation; and updating, the global ML model metric, to the service consumer entity.

[0008] In another example aspect, a method of wireless communication is disclosed. The method comprises: receiving, by a client NWDAF from a server NWDAF, a request to participate in a federated learning to perform a local model training and determine an interim local ML model information, the request including ML model metrics; computing numerical values of the local ML model metrics; and sending, to the server NWDAF, an interim model with local model information containing the numerical values of the local ML model metrics.

[0009] In another example aspect, a method of wireless communication is disclosed. The method comprises: sending, by a service consumer entity to a server NWDAF entity, a subscription request including ML (machine learning) model metrics and, a validation method of a ML model, consumer expectation parameters of ML model metrics; receiving, from the server NWDAF entity, a message indicating a training status of the ML model; and determining whether to stop or continue a training process of the ML model based on global ML model metrics received from the server NWDAF entity.

[0010] In yet another example aspect, a wireless communications apparatus comprising a processor is disclosed. The processor is configured to implement methods described herein.

[0011] In another example aspect, the various techniques described herein may be embodied as processor-executable code and stored on a computer-readable program medium.

[0012] The details of one or more implementations are set forth in the accompanying drawings, and the  description below. Other features will be apparent from the description and drawings, and from the claims.BRIEF DESCRIPTION OF THE DRAWINGS

[0013] FIG. 1 shows an example architecture of a 5G system.

[0014] FIG. 2 shows an example data collection architecture by NWDAF for data analysis and model training.

[0015] FIG. 3 shows an example network data analytics exposure architecture for a NF consumer.

[0016] FIG. 4 shows an example data collection architecture by NWDAF for data analysis and model training.

[0017] FIG. 5 shows an example network data analytics exposure architecture for a NF consumer.

[0018] FIG. 6 shows an example validation process in general model training based on some implementations of the disclosed technology.

[0019] FIG. 7 shows an example validation process in a federated learning among multiple NWDAFs based on some implementations of the disclosed technology.

[0020] FIG. 8 shows an example communication apparatus based on some implementations of the disclosed technology.

[0021] FIGS. 9-14 are example flowcharts of a wireless communication method based on some implementations of the disclosed technology.DETAILED DESCRIPTION

[0022] The disclosed technology provides implementations and examples for validating trustworthiness of machine learning models in wireless communication systems.

[0023] In the present machine learning system in 5GS, the trustworthiness of the trained ML models, in both general training and federated learning are not well-assessed before generating analytics output to service consumers. So, the predicted output by the ML model may deviate from the ground truth data more than the consumer’s expectation which will lead to some unsuitable actions triggered by 5GC (e.g., improper policy control scheme applied) . On the other side, the ML metrics for classification models are not comprehensive and are missing for the regression model in the 3GPP CT3 scope. In this disclosure, new validation procedures are introduced before and after the model starts generating analytics output, which will reduce the number of ‘bad decisions' triggered based on the ML model inference output. Also, more metrics are introduced to rate the ML regression models and classification models that will be used in 5GS for predictions.

[0024] FIG. 1 is the existing architecture of the 5G system. In this architecture, there are the following functions:

[0025] 1) UE, User Equipment.

[0026] 2) RAN, Radio Access Network. The RAN manages the radio resource and delivers the user data  received over N3 to UE and delivers the user data from UE over the N3 interface. The RAN performs mapping between DRBs (Dedicated Radio Bearers) and the QoS flows in the PDU session.

[0027] 3) AMF, Access and Mobility Management function. This function includes the following functionalities: Registration management, Connection management, Reachability management and Mobility Management. This function also performs access authentication and access authorization. The AMF is the NAS security termination and relays the SM NAS between UE and SMF, etc.

[0028] 4) SMF, Session Management Function, This function includes the following functionalities: session establishment, modification and release, UE IP address allocation &management (including optional authorization functions) , selection and control of UP function, downlink data notification, etc. The SMF controls the UPF via N4 association. The SMF provides PDR (Packet Detection Rule) to UPF to instruct how to detect user data traffic, FAR (Forwarding Action Rule) , QER (QoS Enforcement Rule) andURR (Usage Reporting Rule) to instruct the UPF how to perform the user data traffic forwarding, QoS handling and usage reporting for the user data traffic detected by using the PDR.

[0029] 5) UPF, User plane function. This function includes the following functionalities: serving as an anchor point for intra- / inter-radio access technology (RAT) mobility, packet routing &forwarding, traffic usage reporting, QoS handling for the user plane, downlink packet buffering and downlink data notification triggering, etc. GTP-U tunnel is used over N3 interface between the RAN and UPF. The GTP-U tunnel is per PDU session. For downlink traffic the UPF binds the downlink traffic to QoS flows within the GTP-U tunnel of the PDU session by using the FARs received from SMF. For uplink traffic, the RAN transfer the user plane traffic to QoS flows identified by the UE.

[0030] 6) PCF, Policy Control Function. The PCF provides QoS policy rules to control plane functions to enforce the rules. The PCF (s) transform (s) the AF requests into PCC rules that apply to PDU Sessions.

[0031] 7) UDM, Unified Data Management. The UDM performs the generation of the 3GPP AKA Authentication Credential, access authorization based on subscription data, UE's Serving NF Registration Management (e.g., storing serving AMF for UE, storing serving SMF for UE's PDU Session) and Subscription management, etc. The UDM accesses the UDR to retrieve UE subscription data and store the UE context into the UDR. UDM and UDR may be deployed together.

[0032] NWDAF (Network Data Analytics Function) is a 5GC NF located on the control plane and performs statistical data analysis (i.e. the distribution information of the datasets) and machine learning-related tasks in 5GS. The NWDAF may interact with different entities for different purposes:

[0033] - Data collection based on subscription to events provided by AMF, SMF, UPF, PCF, UDM, NSACF, AF (directly or via NEF) and OAM;

[0034] - [Optionally] Analytics and Data collection using the DCCF (Data Collection Coordination Function) ;

[0035] - Retrieval of information from data repositories (e.g., UDR via UDM for subscriber-related information or via NEF (PFDF) for PFD information) ;

[0036] - Data collection of location information from the LCS system;

[0037] - [Optionally] Storage and retrieval of information from ADRF (Analytics Data Repository Function) ;

[0038] - [Optionally] Analytics and Data collection from MFAF (Messaging Framework Adaptor Function) ;

[0039] - Retrieval of information about NFs (e.g., from NRF for NF-related information) ;

[0040] - On-demand provision of analytics to consumers;

[0041] - Provision of bulked data related to Analytics ID (s) ;

[0042] - Provision of Accuracy information about Analytics ID (s) ;

[0043] - Provision of ML model accuracy information or ML model accuracy degradation about an ML Model.

[0044] A single instance or multiple instances of NWDAF may be deployed in a PLMN. An NWDAF may contain the following logical functions:

[0045] - Analytics logical function (AnLF) : A logical function in NWDAF, which performs inference, derives analytics information (e.g., derives statistics and / or predictions based on Analytics Consumer request) and exposes analytics service i.e. Nnwdaf_AnalyticsSubscription or Nnwdaf_AnalyticsInfo.

[0046] - Model Training logical function (MTLF) : A logical function in NWDAF, which trains Machine Learning (ML) models and exposes new training services (e.g., providing trained ML model) .

[0047] A NWDAF can contain an MTLF or an AnLF or both logical functions.

[0048] Data Collection Coordination and Function (DCCF) is also an NF on the control plane of 5GC. The DCCF coordinates the collection and distribution of data requested by NF consumers. It prevents data sources from having to handle multiple subscriptions for the same data and sends multiple notifications containing the same information due to uncoordinated requests from data consumers.

[0049] The DCCF is applicable to:

[0050] - NWDAFs that request data from a Data Source (e.g., for use in computing analytics) .

[0051] - NF consumers that request analytics from an NWDAF Data Source.

[0052] - NF consumers that request data from an ADRF Data Source.

[0053] - ADRFs that receive data from an NF Data Source.

[0054] FIGS. 2 and 4 illustrate two data collection architectures by NWDAF to enable data analysis and model training. FIGS. 3 and 5 show two possible network data analytics exposure architectures for any NF consumer who subscribes or requests the analytics.

[0055] The model performance metrics for classification tasks including accuracy, f1-score and ROC curve related to this disclosure, are introduced here. These metrics are built based on four types of classification outcomes: true positives (TP) , true negatives (TN) , false positives (FP) and false negatives (FN) . mlModelAcc (Minimum = 0, Maximum = 100, datatype = Uinteger) , which indicates the accuracy of the ML model in percent, is widely recognised as the indicator of the effectiveness of a predictive model which can be calculated as:

[0056] mlModelPre, which indicates the precision of the ML model in percent (Minimum = 0, Maximum = 100, datatype = Uinteger) , measures the percentage of the correct outcomes within all the positive predictions made by the model. It describes the ability of the model to predict the positive class. Precision can be calculated as follows:

[0057] On the other hand, mlModelRec, which indicates the recall of the ML model in percent  (Minimum = 0, Maximum = 100, datatype = Uinteger) , measures the percentage of correct prediction out of all positive outcomes, which is given below:

[0058] Combining both precision and recall, the mlModelF1, which indicates the f1-score of the ML model in percent (Minimum = 0, Maximum = 100, datatype = Uinteger) , is produced according to the following equation:

[0059] Generally, there is a trade-off between precision and recall: higher precision comes with lower recall. Therefore, to better evaluate a model the f1-score is often considered. For the multiclassification tasks, micro-f1 is computed by considering the total number of TPs, FNs and FPs. In contrast, the macro-f1 is computed by averaging the f1-score among all classes.

[0060] mlModelCm, which indicates the confusion matrix of ML model, is a tabular summary of the number of correct and incorrect predictions made by a classifier. It’s format is array. Every entry of the array shall have the properties of Minimum = 0, Maximum = number of data sample, datatype = Uinteger. The confusion matrix shows the ways in which your classification model is confused when it makes predictions. It can be used to calculate performance metrics like accuracy, precision, recall, and F1-score.

[0061] A Receiver Operating Characteristic (ROC) Curve is a way to compare diagnostic tests. It is a plot of the true positive rate against the false positive rate. The mlRoc_Auc (Minimum = 50, Maximum = 100, datatype = Uinteger) , which indicates the area under the Receiver Operating Characteristic (ROC) curve in percent, is also a widely used performance metric in binary classification tasks. It can be used as a summary of the model’s sensitivity and specificity.

[0062] Three error metrics are commonly used for evaluating and reporting the performance of a regression model:

[0063] mlModelMSE (datatype = double or float) , which indicates the Mean Squred Error (MSE) of a regression ML model, can be calculated as:

[0064] mlModelRMSE (datatype = double or float) , which indicates the Root Mean Squared Error (RMSE) of a regression ML model, can be calculated as:

[0065] mlModelMAE, which indicates the Mean Absolute Error (MAE) (datatype = double or float) of a regression ML model, can be calculated as:

[0066] mlModelMAPE, which indicates the Mean Absolute Percentage Error (MAPE) (datatype = double or float) of a regression model, can be calculated as:

[0067] mlModelRsquare, which indicates the goodness of fit (datatype = double or float) of a regression model, can be calculated as:

[0068] Where n is the number of data in sample, Y is the observed value (ground truth data) and γ is the predicted output, ym is the mean of data sample.

[0069] The parameters described above may be included in ML model metrics or accuracy reporting threshold to assess ML models from different views. The ML model metrics may use in Nnwdaf_MLModelTrainingInfo_Request and Nnwdaf_MLModelMonitor_Notify service operation, for the Federated Learning (FL) process and general model training / validation at MTLF of NWDAF.

[0070] In both regression and classification ML tasks, validation is a mandatory process after training to assess model trustworthiness (e.g., avoid model overfitting; ensure the generalization ability) before invocation. Model validation is alluded to as the procedure where a trained model is assessed with a testing data set. The testing data set is a different bit of similar data set from which the training set is inferred. The principal reason for utilizing the testing data set is to test the speculation capacity of a prepared model. Some commonly used validation techniques include K-fold Cross-Validation, Leave-One-Out Cross-Validation, Random Subsampling, Bootstrapping ML Validation etc. The output of the validation process includes the model performance indicators described above.

[0071] Implementation -Validation process in general model training

[0072] FIG. 6 shows an example validation process in general model training based on some implementations of the disclosed technology. The example validation process as shown in FIG. 6 corresponds to an analytics and accuracy exposure procedure. Each step of the validation process is discussed in detail as follows:

[0073] 1. The NWDAF service consumer selects the appropriated NWDAF with AnLF and subscribes, modifies, or cancels subscription for analytics accuracy information by invoking the Nnwdaf_AnalyticsSubscription_Subscribe service operation. If the subscription is not the initial subscription request, it may include Analytics feedback information. The validation metrics (may include accuracy, precision, recall, f1-score, area under ROC curve and confusion matrix for classification tasks; MSE, RMSE, MAE, MAPE and R-square value for regression tasks) requested by NWDAF service consumer (e.g., NFs, OAM, UE) may include the minimum acceptable threshold of each validation metric. The accuracy reporting threshold defined by the consumer may also include metrics like accuracy, precision, recall, f1-score and confusion matrix for classification tasks, MSE, RMSE and MAE for regression tasks.

[0074] The NWDAF service consumer may specify the details of the validation method (e.g., 5-fold cross-validation, the proportion of validation dataset out of training dataset) , if the NF consumer is not specified, the MTLF may use its default validation method based on local configuration.

[0075] 2. The NWDAF containing AnLF sends a validation request to the NWDAF containing MTLF (the model producer) with unique model ID, analytics ID, validation method and validation metrics  specified by the consumer. If the NWDAF containing MTLF does not have the validation result in hand, it starts to validate the model using the validation method provided by the NF consumer and then sends back the required validation parameters.

[0076] NOTE: The NWDAF containing MTLF does not know the minimum acceptable threshold of validation metrics provided by the NF consumer in step 2.

[0077] 3. The NWDAF containing AnLF starts the analytics accuracy monitoring and generation of the analytics accuracy information related to the analytics ID indicated in the subscription. To generate the analytics accuracy information, the NWDAF containing AnLF compares the minimum acceptable threshold of validation metrics (may include accuracy, precision, recall, f1-score, area under ROC curve and confusion matrix for classification tasks; MSE, RMSE, MAE, MAPE and R-square value for regression tasks) received from consumer and the corresponding validation results received from NWDAF containing MTLF.

[0078] In case the expectation is not met, the NWDAF send a ‘fail message’ to both the service consumer and MTLF with a list of validation metrics that do not achieve the consumer’s expectation and percentage of the absolute difference between expectation and actual validation value (e.g., the percentage that the model needs to improve) . The MTLF may then retrain the model based on the feedback. The NWDAF containing AnLF may re-select a suitable NWDAF with MTLF from NRF using analytics ID and repeat steps 2 and 3 for validation checking.

[0079] If the comparison result achieves the consumer’s expectation, the NWDAF with AnLF sends a successful notification to both NWDAF with MTLF and NWDAF service consumers. The model can then be used to predict output in real cases online and test with ground truth data afterwards.

[0080] 4a. After the validation process, the NWDAF containing AnLF performs the data collection for the subscribed analytics ID and generates the analytics output.

[0081] 4b. The NWDAF containing AnLF performs the data collection (e.g., ground truth data collection) for accuracy information generation for the subscribed analytics ID and generates the associated analytics accuracy information. The analytics accuracy information may include accuracy, precision, recall, f-score, area under ROC curve and confusion matrix for classification tasks; MSE, RMSE, MAE MAPE and R-square value for regression tasks. If Analytics feedback information is included in step 1, the NWDAF containing AnLF may take it into account and determine whether it affects the ground truth data by the internal logic to generate analytics accuracy information.

[0082] 5a. The NWDAF containing AnLF provides the analytics output according to the parameters defined in Analytics Reporting Information included in the subscription request when there is no Analytics Accuracy Request Information included in the subscription in step 1.

[0083] 5b. The NWDAF containing AnLF provides the analytics accuracy information together with the analytics output for the analytics ID according to the parameters defined in the Analytics Accuracy Request Information included in the subscription request.

[0084] 5c. The NWDAF containing AnLF provides only the analytics accuracy information for the  analytics ID according to the parameters defined in the Analytics Accuracy Request Information included in the subscription request.

[0085] The analytics accuracy information is provided in a separate notification when the periodicity for providing the analytics accuracy information indicated in the Analytics Accuracy Request Information is different from the periodicity for providing the analytics output indicated in the subscription request.

[0086] 6. When determining the low or insufficient accuracy for an analytics ID, e.g., the deviation of the output analytics using the trained ML model from the ground truth data (which are collected from Data Producer NF corresponding to analytic ID requested at the time which the prediction refers to) , is greater than the Reporting Threshold (s) (which are locally configured or received in the Subscribe request, the NWDAF containing AnLF may notify the NWDAF Service consumer with the Stop Analytics Output Consumption indication and the Stop Analytics Output Consumption time window.

[0087] 7. NWDAF Service Consumer may decide to stop the consumption of analytics output without unsubscribing to the analytics ID, based on its own logic or based on a received notification from NWDAF with the Stop Analytics Output Consumption indication. The NWDAF Service Consumer invokes the Nnwdaf_AnalyticsSubscription_Subscribe service operation including the Subscription Correlation ID to modify an existing subscription and provide the parameter PauseAnalytics Subscription flag in the Analytics Accuracy Request Information. In the meantime, the NWDAF service consumer may choose to re-select NWDAF to obtain analytics information.

[0088] 8a. If the NWDAF service consumer decides to stop the consumption of analytics output, the NWDAF containing AnLF may notify the NWDAF containing MTLF that the model quality was degraded and its accuracy is below the consumer’s expectation. The MTLF may decide to re-train the model or use a new model. The retaining of the model here is different from the retraining of the model which is mentioned in the step 3. The re-training in Step 8a occurs since the service consumer decides to stop the analytic consumption due to the deviation of the output analytics using the trained ML model from the ground truth data (which is collected from Data Producer NF corresponding to analytic ID requested at the time which the prediction refers to) is greater than the Reporting Threshold (s) ) . The re-training in Step 3 occurs based on the feedback on the validation checking performed by the NWDAF containing AnLF.

[0089] 8b. When MTLF is confident with the model, it may send a request to AnLF to initiate the validation process described in step 3.

[0090] 9. Based on the validation result provided by MTLF and the comparison result from AnLF, the NWDAF service consumer may resume the analytics output consumption.

[0091] Implementation -Validation process in Federated Learning among multiple NWDAFs

[0092] FIG. 7 shows an example validation process in a federated learning among multiple NWDAFs based on some implementations of the disclosed technology. The example validation process as shown in FIG. 7 corresponds to an analytics and accuracy exposure procedure. Each step of the validation process is discussed in detail as follows:

[0093] 0. The consumer (NWDAF containing AnLF or NWDAF containing MTLF) sends a subscription request to FL server NWDAF to retrieve an ML model, using Nnwdaf_MLModelProvision service, including Analytics ID, ML model metric (may include accuracy, precision, recall, f-score, area under ROC curve and confusion matrix for classification tasks; MSE, RMSE, MAE, MAPE and R-square value for regression tasks) , Accuracy reporting interval, pre-determined status (ML model Accuracy threshold or Time when the ML model is needed) . The NWDAF service consumer may specify the details of the validation method (e.g., 5-fold cross-validation) , if the NF consumer is not specified, the MTLF may use its default validation method based on local configuration.

[0094] The following table shows examples of the ML model metrics. In the table below, editing changes are shown to text by highlight indicating added text (including boldface) , with respect to the current draft of the 3GPP specification.

[0095] The ML model Accuracy threshold can be used to indicate the target ML Model Accuracy of the training process, and the FL server NWDAF may stop the training process when the ML model accuracy threshold is achieved during the training process.

[0096] If the consumer (e.g., the NWDAF containing AnLF or NWDAF containing MTLF) provides the Time when the ML model is needed, the FL Server NWDAF can take this information into account to decide the  maximum response time for its FL Client NWDAF (s) .

[0097] 1. FL Server NWDAF selects NWDAF (s) containing MTLF (FL Client NWDAF (s) ) .

[0098] 2. FL Server NWDAF sends a Nnwdaf_MLModelTraining_Subscribe or Nnwdaf_MLModelTrainingInfo_Request to the selected NWDAF containing MTLF (FL Client NWDAF) that participates in the Federated learning to perform the local model training and determine the interim local ML model information based on the input parameter in the request from FL Server NWDAF, including ML model metric and initial ML model. The request also includes the maximum response time before which the FL Client NWDAF has to report the interim local ML model information to the FL Server NWDAF.

[0099] 3. Each FL Client NWDAF collects its local data by using the current mechanism if the Client NWDAF has not local data available already.

[0100] 4. During Federated Learning training procedure, each FL Client NWDAF further trains the ML model provided by the FL Server NWDAF based on its own data, and reports the interim local ML model information to the FL Server NWDAF in Nnwdaf_MLModelTraining_Notify or Nnwdaf_MLModelTrainingInfo_Response. The Nnwdaf_MLModelTraining_Notify or Nnwdaf_MLModelTrainingInfo_Response may also include the local ML model metric computed by the FL Client NWDAF and Training Input Data Information (e.g., areas covered by the data set, sampling ratio, maximum / minimum of value of each dimension of data, etc. ) in the FL Client NWDAF.

[0101] The ML model, which is sent from the FL Client NWDAF (s) to the FL Server NWDAF during the FL training process, is the information needed by the FL Server NWDAF to build the aggregated model based on the locally trained ML model (s) .

[0102] If the FL Client NWDAF is not able to complete the training of the interim local ML model within the maximum response time provided by the FL Server NWDAF, the FL Client NWDAF shall send the Delay Event Notification that includes the delay event indication, an optional cause code (e.g., local ML model training failure, more time necessary for local ML model training) and the expected time to complete the training if available to the FL Server NWDAF before the maximum response time elapses.

[0103] 4a. [Optional] If FL Server NWDAF receives notification / response that the FL Client NWDAF is not able to complete the training within the maximum response time, the FL Server NWDAF may send to the FL Client NWDAF an extended maximum response time in Nnwdaf_MLModelTraining_Subscribe or Nnwdaf_MLModelTrainingInfo_Request, before which the FL Client NWDAF has to report the interim local ML model information to the FL Server NWDAF. Otherwise, the FL Server NWDAF may indicate FL Client NWDAF to skip reporting for this iteration. FL Server NWDAF includes the current iteration round ID in the message to indicate that the request is to modify the training parameters of the current iteration round. Alternatively, the FL Server NWDAF may inform the FL Client NWDAF to cease the ML model training by sending a termination request and to report back the current local ML model updates.

[0104] 5. The FL Server NWDAF aggregates all the local ML model information retrieved at step 4, to update the global ML model. The FL Server NWDAF may also compute the global ML model metric with the ML model metric parameters (may include accuracy, precision, recall, f-score, area under ROC curve and  confusion matrix for classification tasks; MSE, RMSE, MAE, MAPE and R-square value for regression tasks) provided by consumer in step 0, or by applying the global model on the validation dataset (if available) . The FL server NWDAF may use the validation method (e.g., 5-fold cross-validation) with ML model metrics requested by the consumer in step 0 to compute the global model metric. In the case that the validation dataset is not available the FL server NWDAF may request to collect the validation dataset from consumer. If consumer does not specify validation method in the subscription request in step 0, the NWDAF server may choose the validation method itself based on its local configuration. The FL Server NWDAF may update the global ML model each time an FL Client NWDAF provides updated local ML model information as part of FL or the FL Server NWDAF may decide to wait for local ML model information from all FL Client NWDAF before updating the global ML model.

[0105] If the FL Server NWDAF provides the maximum response time for the FL Client NWDAF (s) to provide the interim local ML model information in step 2 or the extended maximum response time in step 4a, the FL Server NWDAF decides either to wait for the FL Client NWDAF (s) which have not yet provided their interim local ML model within the (extended) maximum response time or aggregates only the retrieved local ML model information instances to update global ML model. The FL Server NWDAF makes this decision, considering the notification / response from the FL Client NWDAF or, if the notification is not received, based on local configuration.

[0106] 6a. [Optional] Based on the consumer request in step 0, the FL Server NWDAF sends a Nnwdaf_MLModelProvision_Notify message to update the global ML model metric to the consumer periodically (e.g., a certain number of training rounds or every 10 min) or dynamically when some pre-determined status is achieved (e.g., the ML Model Accuracy threshold is achieved, or training time expires) .

[0107] 6b. [Optional] The consumer decides whether the current model can fulfil the requirement, e.g., global ML model metric computed or the validation results provided in step 0 is satisfactory for the consumer and determines to stop or continue the training process. If the consumer decides to continue the training process but one or more ML model metrics in the validation process are below expectation, it may provide the list of metrics that need to be improved and the percentage absolute difference to the expectation value. The consumer invokes Nnwdaf_MLModelProvision_Subscribe service operation as used in step 0 to stop or continue the training process. The consumer may choose to select a new NWDAF server if one or more ML model metrics is below expectation.

[0108] 6c. [Optional] Based on the subscription request sent from the consumer in step 6b, the FL Server NWDAF updates or terminates the current FL training process. The FL server NWDAF may update the training model or re-select client NWDAF based on the feedback from the consumer in step 6b. If the FL Server NWDAF received a request in step 6b to stop the Federated Training process, steps 7 and 8 are skipped.

[0109] If the FL procedure continues, FL Server NWDAF determines / re-selects FL Client NWDAF and sends Nnwdaf_MLModelTraining_Subscribe or Nnwdaf_MLModelTrainingInfo_Request that includes the aggregated ML model information to selected FL Client NWDAF (s) for next round of Federated Training.

[0110] Each FL Client NWDAF updates its own ML model based on the aggregated ML model  information distributed by the FL Server NWDAF at step 7.

[0111] NOTE: The steps 3-8 need to be repeated until the training termination condition (e.g. maximum number of iterations, or the result of loss function is lower than a threshold, or the validation results of ML model metric meet the consumer’s expectation) is reached.

[0112] The following is a summary of some characteristics of a corresponding element:

[0113] NWDAF with MTLF:

[0114] - Receive validation request from AnLF, perform validation using the method specified in the request and response the request with the validation results.

[0115] - Validate the model using the validation method provided by consumer. If service consumer does not specify the validation method, it perform validation based on its local configuration.

[0116] - Retrain or re-select the ML model based on the feedback of AnLF if the validation result does not meet the consumer’s expectation or in case of the deviation from ground truth data is not accepted by the consumer. If the MTLF confident with the model then send a request to AnLF to initiate the validation process.

[0117] NWDAF with AnLF:

[0118] - Receive subscription request from consumer with validation method details and send validation request to MTLF accordingly.

[0119] - Compare validation result received from MTLF with consumer’s expectation. Send the comparison results and the validation feedback to both NWDAF containing MTLF and analytics service consumer.

[0120] - Send message to NRF to perform MTLF re-selection if the validation result does not meet consumer’s expectation.

[0121] NWDAF Service consumer (e.g. UE, NFs, OAM) :

[0122] - Send validation metrics (may include accuracy, precision, recall, f-score, area under ROC curve and confusion matrix for classification tasks; MSE, RMSE, MAE, MAPE and R-square value for regression tasks) and minimum acceptable threshold of each validation metric to NWDAF containing AnLF in subscription request.

[0123] - Send accuracy reporting threshold parameters (may include accuracy, precision, recall, f1-score, area under ROC curve and confusion matrix for classification tasks; MSE, RMSE, MAE for regression tasks) to NWDAF containing AnLF in subscription request.

[0124] - Specify the validation method used by NWDAF with AnLF in details in subscription request.

[0125] - Send request to NRF to perform NWDAF with AnLF re-selection if the difference between prediction and ground truth data is greater than the accuracy threshold.

[0126] Service consumer (e.g., UE, 5GC NFs, OAM) in FL learning process among multiple NWDAFs:

[0127] - Send the ML model metric (may include accuracy, precision, recall, f-score, area under ROC curve and confusion matrix for classification tasks; MSE, RMSE, MAE, MAPE and R-square value for regression tasks) and specified validation method to server NWDAF in subscription request message.

[0128] - May request NRF to re-select NWDAF and send subscription request to a new selected NWDAF server if the validation result or global model metric computed is below expectation.

[0129] - Send validation dataset to server NWDAF based if requested by server NWDAF.

[0130] - Send validation result feedback (e.g. absolute difference of each metric) to server NWDAF.

[0131] FL learning server NWDAF:

[0132] - Request the consumer to send validation dataset.

[0133] - Send validation result generated base on the ML model metric to consumer.

[0134] - An FL server is able to send request to NRF to re-select FL clients to train the model if the ML model metric of validation is below the consumer’s expectation.

[0135] - Repeat the training process until the validation results of the ML model metric reach the consumer’s expectation.

[0136] - Be able to performs validation.

[0137] - Compute global ML model metric.

[0138] FL learning client NWDAF:

[0139] - Compute ML local model metric

[0140] FIG. 8 is a block diagram representation of a portion of an apparatus, in accordance with some embodiments of the presently disclosed technology. An apparatus 810 such as a network device or a base station or a wireless device (or UE) , can include processor electronics 820 such as a microprocessor that implements one or more of the techniques presented in this document. The apparatus 810 can include transceiver electronics 830 to send and / or receive wireless signals over one or more communication interfaces such as antenna (s) 840. The apparatus 810 can include other communication interfaces for transmitting and receiving data. Apparatus 810 can include one or more memories (not explicitly shown) configured to store information such as data and / or instructions. In some implementations, the processor electronics 820 can include at least a portion of the transceiver electronics 830. In some embodiments, at least some of the disclosed techniques, modules or functions are implemented using the apparatus 810.

[0141] Some preferred embodiments may include the following solutions.

[0142] 1. A method of wireless communications (e.g., method 900 as shown in FIG. 9) , comprising: receiving 910, by a first NWDAF entity including an analytics logic function (AnLF) , from a consumer entity, a subscription request including consumer expectation parameters; sending 920, by the first NWDAF entity to a second NWDAF entity including a model training logical function (MTLF) , a validation request to validate a machine learning (ML) model of the MTLF; receiving 930, by the first NWDAF entity from the second NWDAF entity, a validation response including a validation result; comparing 9410 the validation result with the consumer expectation parameters; and sending 950, to the consumer entity and the second NWDAF entity, a comparison result based on the comparing.

[0143] 2. The method of solution 1, wherein the consumer expectation parameters include at least one of validation metrics including a minimum acceptable threshold of each validation metric, or accuracy reporting threshold parameters.

[0144] 3. The method of solution 1, wherein the subscription request specifies a validation method that is used by the second NWDAF entity in validating the ML model.

[0145] 4. The method of solution 1, wherein the validation request includes at least one of a model ID of the ML model, analytics ID, a validation method, or validation metrics, the validation method and the validation metrics included in the subscription request.

[0146] 5. The method of solution 1, wherein the sending the comparison result includes sending a failure message in case that the comparison result does not satisfy the consumer expectation parameters, the failure message including a list of validation metrics that do not satisfy the consumer expectation parameters and a percentage of an absolute difference between the consumer expectation parameters and an actual validation value.

[0147] 6. The method of solution 5, further comprising: sending a message to NRF to perform a selection of another second NWDAF including a model training logic function (MTLF) .

[0148] 7. The method of solution 1, wherein the sending the comparison result includes sending a success message in case that the comparison result satisfies the consumer expectation parameters.

[0149] 8. The method of solution 1, further comprising: performing data collection and generating an analytic output for a subscribed analytics ID using the ML model.

[0150] 9. The method of solution 1, further comprising: performing data collection and generating accuracy information for a subscribed analytics ID, the accuracy information including at least one of accuracy, precision, recall, f-score, area under ROC (receiver operating characteristic) curve, confusion matrix for classification tasks, MSE (mean square error) , RMSE (root mean squared error) , MAE (mean absolute error) , MAPE (mean absolute percentage error) , or R-squared value for regression tasks.

[0151] 10. A method of wireless communications (e.g., method 1000 as shown in FIG. 10) , comprising: receiving 1010, by a second NWDAF entity including a model training logical function (MTLF) from a first NWDAF entity including an analytics logic function (AnLF) , a validation request to perform a validation of a machine learning (ML) model; performing 1020, by the second NWDAF entity, the validation of the ML model; sending 1030, by the second NWDAF entity to the first NWDAF entity, a validation response including a validation result; receiving 1040, by the second NWDAF entity from the first NWDAF entity, feedback on the validation result; and retraining 1050 the ML model or selecting another ML model based on the feedback.

[0152] 11. The method of solution 10, wherein the another ML model is selected in case that the feedback indicates that the validation result does not meet consumer expectation parameters or that a deviation from ground truth data is greater than accuracy reporting threshold parameters.

[0153] 12. The method of solution 10, further comprising: receiving, from the first NWDAF entity, a notification of a downgrade of a quality of the ML model, wherein the retraining of the ML model or the selecting of the another ML model is further based on the notification.

[0154] 13. The method of solution 12, further comprising: sending, to the first NWDAF entity, a  request to perform another validation of the ML model in case that the second NWDAF entity is confident with the quality of the ML model.

[0155] 14. A method of wireless communication (e.g., method 1100 as shown in FIG. 11) , comprising: sending 1110, by a consumer entity to a first NWDAF entity including an analytics logic function (AnLF) , a subscription request of analytics that includes consumer expectation parameters including at least one of validation metrics, a minimum acceptable threshold of each validation metric, or accuracy reporting threshold parameters; receiving 1120, by the consumer entity from the first NWDAF entity, a validation checking result indicating whether a machine learning (ML) model of a second NWDAF entity including a model training logical function (MTLF) satisfies the consumer expectation parameters, wherein the validation checking result is obtained by comparing a validation result obtained from the second NWDAF entity with the consumer expectation parameters.

[0156] 15. The method of solution 14, wherein at least one of the validation metrics or the accuracy reporting threshold parameters include at least one of accuracy, precision, recall, f-score, area under ROC (receiver operating characteristic) curve, confusion matrix for classification tasks, MSE (mean square error) , RMSE (root mean squared error) , MAE (mean absolute error) , MAPE (mean absolute percentage error) , or R-squared value. for regression tasks.

[0157] 16. The method of solution 14, wherein the subscription request specifies a validation method that is used by the second NWDAF entity in validating the ML model.

[0158] 17. The method of solution 14, further comprising: sending, to a NRF, a request to perform a reselection of the model training logic function (MTLF) in case that the validation checking result is below the consumer expectation parameters or a difference between prediction and ground truth data is greater than the accuracy reporting threshold parameters provided by the consumer entity.

[0159] 18. The method of solution 14, further comprising: determining to stop a consumption of analytics output; and determining to select another first NWDAF entity to obtain analytics information.

[0160] 19. A method of wireless communications (e.g., method 1200 as shown in FIG. 12) , comprising: receiving 1210, by a server NWDAF entity from a service consumer entity, a subscription request to retrieve a machine learning (ML) model including ML model metrics selected by the service consumer entity, consumer expectation parameters of the ML model metrics, and a validation method to assess the ML model; sending 1220, one or more requests to one or more NWDAF entity containing MTLFs to participate in a federated learning as a federated learning client together with local ML model metrics; receiving 1230, from the federated learning client, an interim model with local model information containing numerical values of the local ML model metrics; sending 1240, to the service consumer entity, a request to obtain validation dataset; receiving 1250, from the service consumer entity, a validation dataset; performing 1260 a model validation based on the validation method included in the subscription request or based on its local configuration, to compute a global ML model metric, or compute global ML model metric based on the local ML model metrics; sending 1270, to the service consumer entity, a message indicating a training status based on the model validation; and updating 1280, the global ML model metric, to the service consumer entity.

[0161] 20. The method of solution 19, further comprising: receiving, from the service consumer entity, feedback as to whether to stop or continue a training process of the ML model; and updating the training process or selecting another NWDAF entity containing a MTLF based on the feedback.

[0162] 21. The method of solution 19, further comprising: sending, to a NRF, a request to select another NWDAF entity containing a MTLF as a federated learning server to train the ML model.

[0163] 22. The method of solution 19, further comprising: repeating a training process until validation results of the ML model metrics reach the consumer expectation parameters.

[0164] 23. The method of solution 19, wherein the ML model metrics including at least one of mlModelAcc (accuracy of ML model) , mlModelPre (precision of ML model) , mlModelRec (recall of ML model) , mlModelF1 (F1 score of ML model) , mlModelRoc_AUC (area under receiver operating characteristic of ML model) , mlModelCm (confusion matrix of ML model) for classification tasks, mlModelMse (mean square error of ML model) , mlModelRmse (root mean squared error of ML model) , mlModelMae (mean absolute error of ML model) , mlModelMape (mean absolute percentage error of ML model) , or mlModelRsqure value (Rsquare value of ML model) for regression tasks.

[0165] 24. A method of wireless communication (e.g., method 1300 as shown in FIG. 13) , comprising: receiving 1310, by a client NWDAF from a server NWDAF, a request to participate in a federated learning to perform a local model training and determine an interim local ML model information, the request including ML model metrics; computing 1320 numerical values of the local ML model metrics; and sending 1330, to the server NWDAF, an interim model with local model information containing the numerical values of the local ML model metrics.

[0166] 25. The method of solution 24, further comprising: collecting local data from at least one of NFs.

[0167] 26. A method of wireless communications (e.g., method 1400 as shown in FIG. 14) , comprising: sending 1410, by a service consumer entity to a server NWDAF entity, a subscription request including ML (machine learning) model metrics and, a validation method of a ML model, consumer expectation parameters of ML model metrics; receiving 1420, from the server NWDAF entity, a message indicating a training status of the ML model; and determining 1430 whether to stop or continue a training process of the ML model based on global ML model metrics received from the server NWDAF entity.

[0168] 27. The method of solution 26, further comprising: providing a list of ML model metrics and a percentage absolute difference to the consumer expectation parameters in case that the determining determines to continue the training process and that one or more ML model metrics are below the consumer expectation parameters.

[0169] 28. The method of solution 26, further comprising: sending, to a NRF, a request to select another NWDAF with a MTLF as a federated learning server in case that one or more ML model metrics or validation results of the ML model are below the consumer expectation parameters.

[0170] 29. The method of any of above solutions, wherein the validation metrics or the ML model  metrics include at least one of a f1-score, a ROC curve, or a confusion matrix that are built based on four types of classification outcomes including true positives (TP) , true negatives (TN) , false positives (FP) and false negatives (FN) .

[0171] 30. The method of solution 29, wherein an accuracy of the ML model (mlModelAcc) in percent (minimum = 0; maximum = 100; data type = unsigned integer; cardinality with a range between 0 and 1) is obtained as a following equation:

[0172] 31. The method of solution 29, wherein a precision (mlModelPre) of the ML model in percent (minimum = 0; maximum = 100; data type = unsigned integer; cardinality with a range between 0 and 1) measures a percentage of correct outcomes within all positive predictions made by the ML model and a recall (mlModelRec) (minimum = 0; maximum = 100; data type = unsigned integer; cardinality with a range between 0 and 1) of the ML model in percent measures a percentage of correct prediction out of all positive outcomes.

[0173] 32. The method of solution 31, wherein the precision is obtained as a following equation,

[0174] wherein the recall is obtained as a following equation:

[0175] 33. The method of solution 29, wherein the f1 score (mlModelF1) (minimum = 0; maximum = 100; data type = unsigned integer; cardinality with a range between 0 and 1) of the ML model in percent is obtained as a following equation:

[0176] 34. The method of any of above solutions, wherein the ML model metrics include a confusion matrix (mlModelCm) of the ML model that has an array format, and wherein each entry of the array has properties of minimum = 0, Maximum = number of data sample, datatype = unsigned integer, cardinality with a range between 1 and N.

[0177] 35. The method of any of above solutions, wherein the ML model metrics include an area under a receiver operating characteristics (ROC) curve (mlModelRoc_Auc) in percent (minimum = 50; maximum = 100; data type = unsigned integer) , cardinality with a range between 0 and 1.

[0178] 36. The method of any of above solutions, wherein the ML model metrics include at least one of a MSE (mlModelMse) , RMSE (mlModelRmse) , MAE (mlModelMae) , MAPE (mlModelMape) , or a R-squared value (mlModelRsquare) for regression tasks, and wherein the ML model metrics have a cardinality with a range between 0 and 1 and a data type equal to double or float.

[0179] 37. A wireless communication apparatus comprising a processor configured to implement a method recited in any of above solutions.

[0180] 38. A computer storage medium having code stored thereupon, the code, upon execution by a processor, causing the processor to implement a method recited in any of above solutions.

[0181] The disclosed and other embodiments, modules and the functional operations described in this document can be implemented in digital electronic circuitry, or in computer software, firmware, or hardware, including the structures disclosed in this document and their structural equivalents, or in combinations of one or more of them. The disclosed and other embodiments can be implemented as one or more computer program products, i.e., one or more modules of computer program instructions encoded on a computer readable medium for execution by, or to control the operation of, data processing apparatus. The computer readable medium can be a machine-readable storage device, a machine-readable storage substrate, a memory device, a composition of matter effecting a machine-readable propagated signal, or a combination of one or more them. The term “data processing apparatus” encompasses all apparatus, devices, and machines for processing data, including by way of example a programmable processor, a computer, or multiple processors or computers. The apparatus can include, in addition to hardware, code that creates an execution environment for the computer program in question, e.g., code that constitutes processor firmware, a protocol stack, a database management system, an operating system, or a combination of one or more of them. A propagated signal is an artificially generated signal, e.g., a machine-generated electrical, optical, or electromagnetic signal, that is generated to encode information for transmission to suitable receiver apparatus.

[0182] A computer program (also known as a program, software, software application, script, or code) can be written in any form of programming language, including compiled or interpreted languages, and it can be deployed in any form, including as a standalone program or as a module, component, subroutine, or other unit suitable for use in a computing environment. A computer program does not necessarily correspond to a file in a file system. A program can be stored in a portion of a file that holds other programs or data (e.g., one or more scripts stored in a markup language document) , in a single file dedicated to the program in question, or in multiple coordinated files (e.g., files that store one or more modules, sub programs, or portions of code) . A computer program can be deployed to be executed on one computer or on multiple computers that are located at one site or distributed across multiple sites and interconnected by a communication network.

[0183] The processes and logic flows described in this document can be performed by one or more programmable processors executing one or more computer programs to perform functions by operating on input data and generating output. The processes and logic flows can also be performed by, and apparatus can also be implemented as, special purpose logic circuitry, e.g., an FPGA (field programmable gate array) or an ASIC (application specific integrated circuit) .

[0184] Processors suitable for the execution of a computer program include, by way of example, both general and special purpose microprocessors, and any one or more processors of any kind of digital computer. Generally, a processor will receive instructions and data from a read only memory or a random access memory or both. The essential elements of a computer are a processor for performing instructions and one or more memory devices for storing instructions and data. Generally, a computer will also include, or be operatively coupled to receive data from or transfer data to, or both, one or more mass storage devices for storing data, e.g., magnetic, magneto optical disks, or optical disks. However, a computer need not have such devices. Computer  readable media suitable for storing computer program instructions and data include all forms of non-volatile memory, media and memory devices, including by way of example semiconductor memory devices, e.g., EPROM, EEPROM, and flash memory devices; magnetic disks, e.g., internal hard disks or removable disks; magneto optical disks; and CD ROM and DVD-ROM disks. The processor and the memory can be supplemented by, or incorporated in, special purpose logic circuitry.

[0185] While this document contains many specifics, these should not be construed as limitations on the scope of an invention that is claimed or of what may be claimed, but rather as descriptions of features specific to particular embodiments. Certain features that are described in this document in the context of separate embodiments can also be implemented in combination in a single embodiment. Conversely, various features that are described in the context of a single embodiment can also be implemented in multiple embodiments separately or in any suitable sub-combination. Moreover, although features may be described above as acting in certain combinations and even initially claimed as such, one or more features from a claimed combination can in some cases be excised from the combination, and the claimed combination may be directed to a sub-combination or a variation of a sub-combination. Similarly, while operations are depicted in the drawings in a particular order, this should not be understood as requiring that such operations be performed in the particular order shown or in sequential order, or that all illustrated operations be performed, to achieve desirable results.

[0186] Only a few examples and implementations are disclosed. Variations, modifications, and enhancements to the described examples and implementations and other implementations can be made based on what is disclosed.

Claims

1.A method of wireless communications, comprising:receiving, by a first NWDAF entity including an analytics logic function (AnLF) , from a consumer entity, a subscription request including consumer expectation parameters;sending, by the first NWDAF entity to a second NWDAF entity including a model training logical function (MTLF) , a validation request to validate a machine learning (ML) model of the MTLF;receiving, by the first NWDAF entity from the second NWDAF entity, a validation response including a validation result;comparing the validation result with the consumer expectation parameters; andsending, to the consumer entity and the second NWDAF entity, a comparison result based on the comparing.2.The method of claim 1, wherein the consumer expectation parameters include at least one of validation metrics including a minimum acceptable threshold of each validation metric, or accuracy reporting threshold parameters.3.The method of claim 1, wherein the subscription request specifies a validation method that is used by the second NWDAF entity in validating the ML model.4.The method of claim 1, wherein the validation request includes at least one of a model ID of the ML model, analytics ID, a validation method, or validation metrics, the validation method and the validation metrics included in the subscription request.5.The method of claim 1, wherein the sending the comparison result includes sending a failure message in case that the comparison result does not satisfy the consumer expectation parameters, the failure message including a list of validation metrics that do not satisfy the consumer expectation parameters and a percentage of an absolute difference between the consumer expectation parameters and an actual validation value.6.The method of claim 5, further comprising:sending a message to NRF to perform a selection of another second NWDAF including a model training logic function (MTLF) .7.The method of claim 1, wherein the sending the comparison result includes sending a success message in case that the comparison result satisfies the consumer expectation parameters.8.The method of claim 1, further comprising:performing data collection and generating an analytic output for a subscribed analytics ID using the ML model.9.The method of claim 1, further comprising:performing data collection and generating accuracy information for a subscribed analytics ID, the accuracy information including at least one of accuracy, precision, recall, f-score, area under ROC (receiver operating characteristic) curve, confusion matrix for classification tasks, MSE (mean square error) , RMSE (root mean squared error) , MAE (mean absolute error) , MAPE (mean absolute percentage error) , or R-squared value for regression tasks.10.A method of wireless communications, comprising:receiving, by a second NWDAF entity including a model training logical function (MTLF) from a first NWDAF entity including an analytics logic function (AnLF) , a validation request to perform a validation of a machine learning (ML) model;performing, by the second NWDAF entity, the validation of the ML model;sending, by the second NWDAF entity to the first NWDAF entity, a validation response including a validation result;receiving, by the second NWDAF entity from the first NWDAF entity, feedback on the validation result; andretraining the ML model or selecting another ML model based on the feedback.11.The method of claim 10, wherein the another ML model is selected in case that the feedback indicates that the validation result does not meet consumer expectation parameters or that a deviation from ground truth data is greater than accuracy reporting threshold parameters.12.The method of claim 10, further comprising:receiving, from the first NWDAF entity, a notification of a downgrade of a quality of the ML model,wherein the retraining of the ML model or the selecting of the another ML model is further based on the notification.13.The method of claim 12, further comprising:sending, to the first NWDAF entity, a request to perform another validation of the ML model in case that the second NWDAF entity is confident with the quality of the ML model.14.A method of wireless communication, comprising:sending, by a consumer entity to a first NWDAF entity including an analytics logic function (AnLF) , a subscription request of analytics that includes consumer expectation parameters including at least one of validation metrics, a minimum acceptable threshold of each validation metric, or accuracy reporting threshold parameters;receiving, by the consumer entity from the first NWDAF entity, a validation checking result indicating whether a machine learning (ML) model of a second NWDAF entity including a model training logical function (MTLF) satisfies the consumer expectation parameters, wherein the validation checking result is obtained by comparing a validation result obtained from the second NWDAF entity with the consumer expectation parameters.15.The method of claim 14, wherein at least one of the validation metrics or the accuracy reporting threshold parameters include at least one of accuracy, precision, recall, f-score, area under ROC (receiver operating characteristic) curve, confusion matrix for classification tasks, MSE (mean square error) , RMSE (root mean squared error) , MAE (mean absolute error) , MAPE (mean absolute percentage error) , or R-squared value for regression tasks.16.The method of claim 14, wherein the subscription request specifies a validation method that is used by the second NWDAF entity in validating the ML model.17.The method of claim 14, further comprising:sending, to a NRF, a request to perform a reselection of the model training logic function (MTLF) in case that the validation checking result is below the consumer expectation parameters or a difference between prediction and ground truth data is greater than the accuracy reporting threshold parameters provided by the consumer entity.18.The method of claim 14, further comprising:determining to stop a consumption of analytics output; anddetermining to select another first NWDAF entity to obtain analytics information.19.A method of wireless communications, comprising:receiving, by a server NWDAF entity from a service consumer entity, a subscription request to retrieve a machine learning (ML) model including ML model metrics selected by the service consumer entity, consumer expectation parameters of the ML model metrics, and a validation method to assess the ML model;sending, one or more requests to one or more NWDAF entity containing MTLFs to participate in a federated learning as a federated learning client together with local ML model metrics;receiving, from the federated learning client, an interim model with local model information containing numerical values of the local ML model metrics;sending, to the service consumer entity, a request to obtain validation dataset;receiving, from the service consumer entity, a validation dataset;performing a model validation based on the validation method included in the subscription request or based on its local configuration, to compute a global ML model metric, or compute global ML model metric based on the local ML model metrics;sending, to the service consumer entity, a message indicating a training status based on the model validation; andupdating, the global ML model metric, to the service consumer entity.20.The method of claim 19, further comprising:receiving, from the service consumer entity, feedback as to whether to stop or continue a training process of the ML model; andupdating the training process or selecting another NWDAF entity containing a MTLF based on the feedback.21.The method of claim 19, further comprising:sending, to a NRF, a request to select another NWDAF entity containing a MTLF as a federated learning server to train the ML model.22.The method of claim 19, further comprising:repeating a training process until validation results of the ML model metrics reach the consumer expectation parameters.23.The method of claim 19, wherein the ML model metrics including at least one of mlModelAcc (accuracy of ML model) , mlModelPre (precision of ML model) , mlModelRec (recall of ML model) , mlModelF1 (F1 score of ML model) , mlModelRoc_AUC (area under receiver operating characteristic of ML model) , mlModelCm (confusion matrix of ML model) for classification tasks, mlModelMse (mean square error of ML model) , mlModelRmse (root mean squared error of ML model) , mlModelMae (mean absolute error of ML model) , mlModelMape (mean absolute percentage error of ML model) , or mlModelRsqure value (Rsquare value of ML model) for regression tasks.24.A method of wireless communication, comprising:receiving, by a client NWDAF from a server NWDAF, a request to participate in a federated learning to perform a local model training and determine an interim local ML model information, the request including ML model metrics;computing numerical values of the local ML model metrics; andsending, to the server NWDAF, an interim model with local model information containing the numerical values of the local ML model metrics.25.The method of claim 24, further comprising:collecting local data from at least one of NFs.26.A method of wireless communications, comprising:sending, by a service consumer entity to a server NWDAF entity, a subscription request including ML (machine learning) model metrics and, a validation method of a ML model, consumer expectation parameters of ML model metrics;receiving, from the server NWDAF entity, a message indicating a training status of the ML model; anddetermining whether to stop or continue a training process of the ML model based on global ML model metrics received from the server NWDAF entity.27.The method of claim 26, further comprising:providing a list of ML model metrics and a percentage absolute difference to the consumer expectation parameters in case that the determining determines to continue the training process and that one or more ML model metrics are below the consumer expectation parameters.28.The method of claim 26, further comprising:sending, to a NRF, a request to select another NWDAF with a MTLF as a federated learning server in case that one or more ML model metrics or validation results of the ML model are below the consumer expectation parameters.29.The method of any of above claims, wherein the validation metrics or the ML model metrics include at least one of a f1-score, a ROC curve, or a confusion matrix that are built based on four types of classification outcomes including true positives (TP) , true negatives (TN) , false positives (FP) and false negatives (FN) .30.The method of claim 29, wherein an accuracy of the ML model (mlModelAcc) in percent (minimum =0; maximum = 100; data type = unsigned integer; cardinality with a range between 0 and 1) is obtained as a following equation: 31.The method of claim 29, wherein a precision (mlModelPre) of the ML model in percent (minimum = 0; maximum = 100; data type = unsigned integer; cardinality with a range between 0 and 1) measures a percentage of correct outcomes within all positive predictions made by the ML model and a recall (mlModelRec) (minimum = 0; maximum = 100; data type = unsigned integer; cardinality with a range between 0 and 1) of the ML model in percent measures a percentage of correct prediction out of all positive outcomes.32.The method of claim 31, wherein the precision is obtained as a following equation, andwherein the recall is obtained as a following equation:33.The method of claim 29, wherein the f1 score (mlModelF1) (minimum = 0; maximum = 100; data type = unsigned integer; cardinality with a range between 0 and 1) of the ML model in percent is obtained as a following equation: 34.The method of any of above claims, wherein the ML model metrics include a confusion matrix (mlModelCm) of the ML model that has an array format, and wherein each entry of the array has properties of minimum = 0, Maximum = number of data sample, datatype = unsigned integer, cardinality with a range between 1 and N.35.The method of any of above claims, wherein the ML model metrics include an area under a receiver operating characteristics (ROC) curve (mlModelRoc_Auc) in percent (minimum = 50; maximum = 100; data type = unsigned integer) , cardinality with a range between 0 and 1.36.The method of any of above claims, wherein the ML model metrics include at least one of a MSE(mlModelMse) , RMSE (mlModelRmse) , MAE (mlModelMae) , MAPE (mlModelMape) , or a R-squared value (mlModelRsquare) for regression tasks, and wherein the ML model metrics have a cardinality with a range between 0 and 1 and a data type equal to double or float.37.A wireless communication apparatus comprising a processor configured to implement a method recited in any of above claims.38.A computer storage medium having code stored thereupon, the code, upon execution by a processor, causing the processor to implement a method recited in any of above claims.

Images