Methods and apparatus of ai model monitoring and management

Abstract

Apparatus and methods are provided for AI model monitor and management in the wireless communication system. In one novel aspect, model management is completed with configuration, collection, monitoring, decision, and report function. Based on whether the AI model and AI inference take place on the UE side and NW side, the above function should be performed by either UE or NW. In one embodiment, UE performs monitoring and decision. In another embodiment, UE performs monitoring and NW performs decision. In another embodiment, NW performs monitoring and decision. In one novel aspect, the monitoring is performed by comparing the inference output and monitoring data with a pre-defined monitoring criteria. In one embodiment, the monitoring criteria is a one-shot comparison, such as RSRP difference. In other embodiment, the monitoring criteria is the long-term statical, such as system level performance including HOF, RLF, ToS rate etc. The management decisions including activation, deactivation, switching, selection, and fallback are made according to the monitoring result. In one embodiment, the detail description of the model monitor and management for AI mobility use case is provided.

Description

METHODS AND APPARATUS OF AI MODEL MONITORING AND MANAGEMENTFIELD

[0001] The present disclosure relates generally to communication systems, and more particularly, the method and apparatus of AI model monitor and management.BACKGROUND

[0002] Artificial Intelligence (AI) and Machine Learning (ML) have permeated a wide spectrum of industries, ushering in substantial productivity enhancements. In the realm of mobile communications systems, these technologies are orchestrating transformative shifts. Mobile devices are progressively supplanting conventional algorithms with AI-ML models.

[0003] One key challenge in applying AI for mobile wireless communication is maintaining appropriate AI models when considering the mobility of the device. Due to the limitation of the AI model generation, the performance of the AI model will decrease when devices move outside the suitable region of the AI model. A method to monitor and management AI model to make sure the AI model is not out-of-date or not suitable is necessary.

[0004] In 3gpp, a general functional framework of management procedure is currently under discussion. However, the detail of the signalling and mechanism of management procedure is still unclear. The detail of how to perform management including monitoring and decision-making which are dependent on whether AI model inference takes place on the UE side or NW side and also are dependent on the AI use cases.SUMMARY

[0005] The following presents a simplified summary of one or more aspects to provide a basic understanding of such aspects. This summary is not an extensive overview of all contemplated aspects, and is intended to neither identify key or critical elements of all aspects nor delineate the scope of any or all aspects. Its sole purpose is to present some concepts of one or more aspects in a simplified form as a prelude to the more detailed description that is presented later.

[0006] In this invention, we provide apparatus and methods to perform the AI model monitoring and model management which ensure the AI model is suitable for the current task. It consists of configuration, collection, monitoring, decision, and report. The method and corresponding procedure highly depend whether the AI inference, model monitoring and management decision takes place on UE side or NW side.

[0007] In one embodiment, the method for the case where UE perform inference, monitoring and management decision is provided. In one embodiment, the method for the case where UE perform inference and monitoring. NW perform management decision is provided. In one embodiment, the method for the case where UE perform inference and NW perform monitoring and management decision is provided. In one embodiment, the method for the case where NW perform inference, monitoring, and management decision is provided.BRIEF DESCRIPTION OF THE DRAWINGS

[0008] FIG. 1 is a procedure of AI Mobility Management for network side Model.

[0009] FIG. 2 is a procedure of AI Mobility Management for UE side Model, especially for NW monitor, NW decision.

[0010] FIG. 3 is a procedure of AI Mobility Management for UE side Model, especially for UE monitor, NW decision.

[0011] FIG. 4 is a procedure of AI mobility Management for UE side Model, especially for UE monitor, UE decision.

[0012] FIG. 5 shows the configurations of inference data and monitor data.

[0013] FIG. 6 is the procedure of inter frequency prediction.DETAILED DESCRIPTION

[0014] Detailed embodiments and implementations of the claimed subject matters are disclosed herein. However, it shall be understood that the disclosed embodiments and implementations are merely illustrative of the claimed subject matters which may be embodied in various forms. The present disclosure may, however, be embodied in many different forms and should not be construed as limited to the exemplary embodiments and implementations set forth herein. Rather, these exemplary embodiments and implementations are provided so that description of the present disclosure is thorough and complete and will fully convey the scope of the present disclosure to those skilled in the art. In the description below, details of well-known features and techniques may be omitted to avoid unnecessarily obscuring the presented embodiments and implementations.

[0015] The method of AI model monitoring and management procedure consist of configuration, data collection, monitoring, decision, and report.

[0016] The configuration including inference data configuration, monitoring data configuration, and monitoring criteria configuration.

[0017] The inference data configuration contains the information of observed target and predicted target. The UE measure the required data based on the information of the observed target. The corresponding measurement is used as the AI model input for AI inference. The information may contain the target measurement object (MO) and the location, including frequency and time, the reference signal, e.g., SSB, CSI-RS, etc, and the type of measurement, e.g., L1 beam RSRP, L1 cell RSRP, L3 beam RSRP, L3 cell RSRP, SINR, RSRQ, etc.

[0018] For the information of predicted target which indicate the target of AI inference output. It may contain the target predicted MO, and / or target cell id, the location of target, including frequency and time, the reference signal, and the type of prediction. With the configuration of inference data, the device could realize the AI model input and output, and also the necessary information for collecting the inference data.

[0019] The monitoring data configuration contains the information of measuring ground-truth target. The measurement is used to examine the performance of AI inference. In one embodiment, it can be the same as the predicted target given in the inference data configuration with less frequency. In another embodiment, it can be different from the predicted target. The information contain the measurement object and / or the cell id, the location, and reference signal, and the measurement type. With the monitoring data configuration, the UE can measure the necessary data to perform the model monitoring.

[0020] The monitor data can be configured as the results generated from the non-AI approach. The results can be the real measurement and / or some further information derived from the real measurement. In this case, the device may be configured to run two parallel procedure for the same task, one is the AI approaches, the other is the legacy non-AI approach. In one embodiment, the AI approaches is the AI mobility and the legacy non-AI approach could be the L3 handover (HO) , LTM, CHO, etc.

[0021] The management procedure can be categorized based on where AI inference, model monitoring, and management decision take place on UE side or NW side.

[0022] In one embodiment, UE perform AI inference, model monitoring, and management decision. In this case, NW will first configure the inference data, monitoring data, and monitoring criteria configuration to UE. According to the configuration, UE can collect inference data and monitoring data. The inference data can be used for UE-side AI inference. UE monitor the AI model based on the monitoring criteria and the comparison of inference output and monitoring data. Then UE can make management decision based on the monitoring result. The decision will be sent by UE to NW.

[0023] UE perform the model monitoring. UE compare the inference output and corresponding monitor data. In one embodiment, the inference output could be the predicted L3 cell RSRP of target cell at time t, the corresponding monitoring data could be the real measurement of L3 cell RSRP of the same target cell at time t. In one embodiment, the monitoring criteria is the L3 cell RSRP difference. UE evaluate the difference between inference output and monitoring data. Once the difference remains higher than a pre-configured threshold for a pre-configured time. UE generate a monitoring result which indicate the AI model is out-of-date or unsatiable.

[0024] Based the monitoring result, UE make the management decision including at least activation, deactivation, switching, selection, and fallback.

[0025] In one embodiment, when the monitoring result show that the current AI model is not suitable, UE make the switching decision. A model switching request is triggered. The model transfer / delivery procedure is triggered. The source of new model could be NW, UE server, third party server, and / or OTT server.

[0026] In one embodiment, when the monitoring result show that the current AI model is not suitable, UE make the model selection decision. UE may reselect AI model which is pre-download and save in the UE side. The new model will be applied then.

[0027] In one embodiment, when the monitoring result show that the current AI model is not suitable, UE make the fallback decision. UE deal with the original task / function by legacy non-AI approaches. In one embodiment, the task is the UE mobility and the legacy non-AI approaches is the L3 HO, CHO, LTM, etc.

[0028] After the management decision is made, the UE report the decision to the NW. The decision may trigger additional NW action. In one embodiment, the management decision ask UE to fallback to non-AI approaches. The original task is using AI prediction to reduce the measurement overhead. With the help of AI prediction, some of measurement can be skipped. After receiving the fallback decision, NW will reconfigure the measurement configuration to UE such that UE perform measurement without any measurement reduction.

[0029] In one embodiment, UE perform AI inference, model monitoring. NW perform management decision. In this case, NW will first configure the inference data, monitoring data, and monitoring criteria configuration to UE. According to the configuration, UE can collect inference data and monitoring data. The inference data can be used for UE-side AI inference. UE monitor the AI model and generate monitor report based on the monitoring criteria and the comparison of inference output and monitoring data. The monitoring report is sent by UE to NW such that NW can make management decision. NW will send the instruction to the UE based on the decision.

[0030] UE perform the model monitoring by comparing the inference output and corresponding monitor data. In one embodiment, the inference output could be the predicted L3 cell RSRP of target cell at time t, the corresponding monitoring data could be the real measurement of L3 cell RSRP of the same target cell at time t. In one embodiment, the monitoring criteria is the L3 cell RSRP difference. UE evaluate the difference between inference output and monitoring data. Once the difference remains higher than a pre-configured threshold for a pre-configured time. UE generate a monitoring report which indicate the AI model is out-of-date or unsatiable.

[0031] The monitoring report is sent by UE to NW such that NW can make the management decision including at least activation, deactivation, switching, selection, and fallback. The management decision will be sent back to UE to trigger the corresponding actions.

[0032] In one embodiment, when the monitoring result show that the current AI model is not suitable, NW make the switching decision. A model switching request is triggered. The model transfer / delivery procedure is triggered. The source of new model could be NW, UE server, third party server, and / or OTT server.

[0033] In one embodiment, when the monitoring result show that the current AI model is not suitable, NW make the model selection decision and send it to UE. UE may reselect AI model which is pre-download and save in the UE side. The new model will be applied then.

[0034] In one embodiment, when the monitoring result show that the current AI model is not suitable, NW make the fallback decision and send it to UE. UE deal with the original task / function by legacy non-AI approaches. In one embodiment, the task is the UE mobility and the legacy non-AI approaches is the L3 HO, CHO, LTM, etc.

[0035] In one embodiment, UE perform AI inference. NW perform monitoring and management decision. In this case, NW will first configure the inference data, monitoring data configuration to UE. According to the configuration, UE can collect inference data and monitoring data. The inference data can be used for UE-side AI inference. The inference output and monitoring data is transmitted by UE to NW. NW monitor the AI model by comparing inference output and monitoring data. NW then make management decision based on the monitoring result and send the instruction to the UE based on the decision.

[0036] NW perform the model monitoring by comparing the inference output and corresponding monitor data. In one embodiment, the inference output could be the predicted L3 cell RSRP of target cell at time t, the corresponding monitoring data could be the real measurement of L3 cell RSRP of the same target cell at time t. In one embodiment, the monitoring criteria is the L3 cell RSRP difference. NW evaluate the difference between inference output and monitoring data. Once the difference remains higher than a pre-configured threshold for a pre-configured time. NW generate a monitoring result which indicate the AI model is out-of-date or unsatiable.

[0037] In one embodiment, NW perform AI inference, monitoring and management decision. In this case, NW will first configure the inference data, monitoring data configuration to UE. According to the configuration, UE can collect inference data and monitoring data, and report them to NW. The inference data can be used for NW-side AI inference. NW monitor the AI model by comparing inference output and monitoring data. NW then make management decision based on the monitoring result and send the instruction to the UE based on the decision.

[0038] In this case, the inference, monitoring and decision are made on the NW side. UE is only involved collecting required data and send it to the NW. The algorithm of monitoring and decision can be transparent to the UE.

Claims

1.A method to perform the AI model monitoring and management for wireless communication system that comprises the steps of:configure inference data and monitoring data;collect inference output and monitoring data;monitor the performance based on monitoring criteria;make decision based on the monitoring report;perform management action corresponding to the decision.2.The method of claim 1, wherein UE measure required inference data and monitoring data based on the inference data configuration and monitoring data configuration.3.The method of claim 1, wherein UE send the inference data and monitoring data to NW based on the configuration.4.The method of claim 1, wherein the data configuration contains the observed target information and predicted target information.5.The method of claim 4, wherein the information contains measurement object (MO) , location of MO, and report period.6.The method of claim 4, wherein the information contains indicator of observation and prediction MO, the observation and prediction pattern, and prediction window.7.The method of claim 4, wherein the predicted target information contains cell id.8.The method of claim 1, wherein the UE perform AI inference, model monitoring, and management decision.9.The method of claim 8, wherein the UE perform monitor based on the monitor criteria configured by NW.10.The method of claim 9, wherein the monitoring metric is the one-shot metric, such as L1 / L3 beam RSRP and / or L1 / L3 cell RSRP of given time slot.11.The method of claim 9, wherein the monitoring metric is the long-term statistical, average RSRP difference.12.The method of claim 9, wherein the monitoring metric is the long-term statistical, such as system level performance including handover failure rate, radio link failure, ping-pong, and short time of stay rate.13.The method of claim 9, wherein the UE compare the inference output and monitoring data and compare the difference with a predefined threshold.14.The method of claim 8, wherein the UE generate a monitoring report based on the monitor result.15.The method of claim 8, wherein the UE make the management decision, including deactivation, activation, selection, switching, and fallback, based on the monitor report.16.The method of claim 8, wherein the UE perform the actions based on management decision.17.The method of claim 8, wherein the UE send the management decision to the NW.18.The method of claim 1, wherein the UE perform AI inference and model monitoring, NW perform management decision.19.The method of claim 18, wherein the UE perform monitor based on the monitor criteria configured by NW.20.The method of claim 19, wherein the monitoring metric is the one-shot metric, such as L1 / L3 beam RSRP and / or L1 / L3 cell RSRP of given time slot.21.The method of claim 19, wherein the monitoring metric is the long-term statistical, average RSRP difference.22.The method of claim 19, wherein the monitoring metric is the long-term statistical, such as system level performance including handover failure rate, radio link failure, ping-pong, and short time of stay rate.23.The method of claim 19, wherein the UE compare the inference output and monitoring data and compare the difference with a predefined threshold.24.The method of claim 18, wherein the UE generate a monitoring report based on the monitor result.25.The method of claim 18, wherein UE send the monitor report to NW.26.The method of claim 18, wherein the NW make the management decision, including deactivation, activation, selection, switching, and fallback, based on the monitor report.27.The method of claim 18, wherein NW send the management decision to UE.28.The method of claim 18, wherein the UE perform the actions based on management decision.29.The method of claim 1, wherein the UE perform AI inference, NW perform model monitoring and management decision.30.The method of claim 29, wherein UE send the monitor data and inference result to NW.31.The method of claim 29, wherein NW perform the monitoring based on the monitoring data and inference result.32.The method of claim 29, wherein the NW make the management decision, including deactivation, activation, selection, switching, and fallback, based on the monitoring result.33.The method of claim 29, wherein NW send the management decision to UE.34.The method of claim 29, wherein the UE perform the actions based on management decision.35.The method of claim 1, wherein the NW perform AI inference, model monitoring, and management decision.36.The method of claim 35, wherein UE send the monitor data and inference data to NW.37.The method of claim 35, wherein NW perform the monitoring based on the monitoring data and inference result.38.The method of claim 35, wherein the NW make the management decision, including deactivation, activation, selection, switching, and fallback, based on the monitoring result.39.The method of claim 35, wherein NW send the management decision to UE.40.The method of claim 35, wherein the UE perform the actions based on management decision.

Images