A method of communicating the monitoring measurements by the UE to the network which decides on the user of ai / ML operation for RRM measurement prediction

Abstract

Described is a user equipment, UE, apparatus (501) configured to: obtain a radio resource management, RRM, measurement prediction of a currently enabled applicable first functionality; monitor the RRM measurement prediction to determine an accuracy metric for the RRM measurement prediction; and report the accuracy metric to a network apparatus (502) in dependence on meeting predetermined criteria. In this way, the amount of reporting can be controlled, such that the reporting is efficient and effective.

Description

A METHOD OF COMMUNICATING THE MONITORING MEASUREMENTS BY THE UE TO THE NETWORK WHICH DECIDES ON THE USER OF AI / ML OPERATION FOR RRM MEASUREMENT PREDICTIONFIELD OF THE INVENTION

[0001] This invention relates to a user equipment apparatus for sending, and a network apparatus for receiving, an accuracy metric of RRM measurement prediction.BACKGROUND

[0002] In Rel-19 Study Item phase, the application of artificial intelligence / machine learning (AI / ML) to mobility is being studied. The key aspect is to study using AI / ML to predict RRM measurements, measurement event and radio link failure. For the radio resource management (RRM) cell level measurement prediction, the prediction can be done in the following methods:

[0003] a. Spatial, time and frequency domain prediction

[0004] b. Intra-cell vs inter-cell prediction

[0005] c. Direct or indirect cell measurement prediction

[0006] For a) , spatial domain prediction (BM-case 1) means that the UE uses actual measurements of some beams to predict the measurements of the same and / or other beams of the same cells. Time domain prediction (BM-case 2) means that the UE uses actual historical measurement of a cell (either beam or cell measurement) to predict the future cell measurements of the same cell. 2 cases (Case A and B) have been discussed based on the beam management (BM) prediction 100, 110 illustrated in Figures 1a and 1 b respectively. For Case A, if Set A = Set B (e.g. all beams are measured every measurement time instance) , then the UE measured Mt time instances (Mt number of RSs) while predicting Pt time instances (Pt number of RSs) . If Set A> Set B, then further reduction of RSs can be done since not all beams are measured. For Case B, predictions are performed between 2 actual measurements. Frequency domain prediction is performed based on using the actual measurement of a cell in one frequency to predict the measurement of another cell in another frequency. This can be extended to multiple cells approach where actual measurement of M cells in different frequencies (say Set B) is used to predict the measurement of N cells in same or different frequencies (say Set A) .

[0007] For b) , intra-cell prediction is that the actual measurement and the predicted measurement are for the same cell while for inter-cell prediction, the actual measurement and the predicted measurement are for different cell.

[0008] For c) , it is on whether the prediction is done on the beam level or on the cell level (i.e. before or after the beam consolidation / selection and / or the L3 filtering) . This basically impacts what is the input to the model and also the output from the model. Based on the diagram 200 illustrated in Figure 2, the model input can be from A’a nd the predicted output is also for A’ . Then the cell level measurement requires post processing on beam consolidation / selection and the L3 filtering to get the L3 filtered cell level measurement as in C.

[0009] As it is a study item, there is no prior art from the 3GPP pov. However, as there is a prior study phase and subsequently a Work Item on applying AI / ML on physical layer features such as beam management and CSI reporting, some part of the measurement method on beam management can be reused also for the mobility study (e.g. BM-case 1 and 2 and for BM-case 2 on Case A and B for the temporal domain prediction) . On the other hand, the configuration and reporting for beam management touches on L1 configuration over the higher layer messages. For RRM measurement configuration and reporting, it is based on measurement configuration framework where it consists of measurement object which includes the SSB frequency, optionally neighbour cell list etc and the reporting configuration which includes the reporting types e.g. reporting events, or periodic reporting and each measurement object can be linked to 1 or more reporting configurations based on a measID. Figures 4a and 4b illustrate a procedure 400 of how the UE performs measurement and sends measurement reporting to the network.

[0010] The UE may perform beam and cell level measurement during the SMTC window configured by the network on the SSB transmissions as illustrated in the diagram 300 Figure 3.

[0011] However, for RRM measurement prediction, there is no discussion yet on how to perform / trigger such monitoring reporting, as it is still in the study item phase.

[0012] Two illustrations 400, 410, shown in Figures 4a-b respectively, with different prediction windows and periodicity for the case of temporal prediction Case A (in the illustration the SMTC window is repeating every 20ms and the SSB transmission is at least every 20ms) . In Figure 4a, the UE performs RRM measurement prediction during the SMTC window starting in N+80 and N+100 by using the actual RRM measurement during the SMTC window starting in N+40 and N+60. In order to monitor the accuracy of the prediction, the network will configure the UE to periodically monitor the predicted window for a cell as illustrated below using the temporal domain prediction of Case A, as illustrated in Figure 4b. How such monitoring measurement for RRM measurement prediction is reported back to the network in the case of UE sided model for management decision (i.e. deactivate the prediction, switch between different prediction functionalities etc. ) has not been studied or discussed in the prior art.

[0013] It is desirable to develop an apparatus and method that overcomes the above problems.SUMMARY

[0014] According to a first aspect, there is provided a user equipment (UE) apparatus, the UE apparatus comprising one or more processors and a memory storing in non-transient form data defining program code executable by the one or more processors, wherein the program code is executable by the one or more processors so that the UE apparatus is configured to: obtain a radio resource management (RRM) measurement prediction of a currently enabled applicable first functionality; monitor the RRM measurement prediction to determine an accuracy metric for the RRM measurement prediction; and report the accuracy metric to a network apparatus in dependence on meeting predetermined criteria. In this way, the amount of reporting can be controlled, such that the reporting is efficient and effective.

[0015] In some implementations, UE apparatus may be configured to monitor and report the accuracy metric to the network apparatus periodically. In this way, the monitoring and reporting may be spread out and consistent, giving the network apparatus time to build up a bank of measurements before deciding on reconfigurations.

[0016] In some implementations, UE apparatus may be configured to report the accuracy metric to the network apparatus periodically at predetermined reporting / monitoring occasions and / or in predetermined reporting / monitoring windows. In this way, the reporting point may be pre-set depending on the monitoring requirements for the network apparatus.

[0017] In some implementations, UE apparatus may be configured to report the accuracy metric to the network apparatus each time an RRM measurement prediction is obtained. In this way, the reporting may be automatic each time prediction data is available.

[0018] In some implementations, UE apparatus may be configured to obtain the RRM measurement prediction periodically. In this way, the measurements may be spread out and consistent, giving the UE apparatus time to build up a bank of measurements before reporting.

[0019] In some implementations, UE apparatus may be configured to obtain the RRM measurement prediction periodically at predetermined prediction occasions and / or in predetermined prediction windows. In this way, the reporting point may be pre-set depending on the requirements for the UE apparatus.

[0020] In some implementations, UE apparatus may be configured to monitor the RRM measurement prediction to determine an accuracy metric for the RRM measurement prediction by comparing a radio quality difference between the RRM measurement prediction and an actual RRM measurement. In this way, the performance of the functionality may be used to dictate when to report the accuracy metric.

[0021] In some implementations, UE apparatus may be configured to report the accuracy metric to the network apparatus in dependence on the accuracy metric not meeting a predetermined accuracy threshold during a configured monitoring window / period. In this way, the performance of the functionality against a threshold, which may be tailored, may be used to dictate when to report the accuracy metric.

[0022] In some implementations, the accuracy metric may be based on the radio quality difference of a plurality of RRM measurement predictions. In this way, a number of measurements over a period of time (during a configured monitoring window / period) , which may give a better indication of the functionality performance, may be used to dictate when to report the accuracy metric.

[0023] In some implementations, UE apparatus may be configured to report the accuracy metric to the network apparatus in dependence on a predetermined number of the plurality of RRM measurement predictions during a configured monitoring window / period having a radio quality difference not meeting a RRM measurement threshold. In this way, if the functionality is often making poor predictions, the accuracy metric may be reported.

[0024] In some implementations, UE apparatus may be configured to report the accuracy metric to the network apparatus in dependence on an average radio quality difference of the plurality of RRM measurement predictions during a configured monitoring window / period not meeting an average RRM measurement threshold. In this way, if the functionality is generally making a poor level of predictions, the accuracy metric may be reported.

[0025] In some implementations, UE apparatus may be configured to, in response to reporting the accuracy metric to the network apparatus which does not meet predetermined criteria, receive a functionality disable command from the network apparatus. In this way, the network apparatus may be able to command a functionality to be disabled if it is not performing.

[0026] In some implementations, UE apparatus may be configured to, in response to receiving the functionality disable command from the network apparatus, disable the currently enabled applicable first functionality. In this way, the UE apparatus may be able to disable a functionality if it is not performing.

[0027] In some implementations, UE apparatus may be configured to: obtain a second RRM measurement prediction of a currently applicable second functionality; and monitor the second RRM measurement prediction during a configured monitoring window / period to determine a second accuracy metric for the second RRM measurement prediction. In this way, the UE apparatus may be able to monitor the performance of a second functionality.

[0028] In some implementations, UE apparatus may be configured to report the accuracy metric to the network apparatus in dependence on an average radio quality difference of the plurality of RRM measurement predictions during a configured monitoring window / period being worse than an average radio quality difference of the plurality of second RRM measurement predictions. In this way, the accuracy metric may be reported when one functionality is performing worse than another.

[0029] In some implementations, UE apparatus may be configured to report the accuracy metric to the network apparatus in dependence on: an average radio quality difference of the plurality of RRM measurement predictions during a configured monitoring window / period not meeting an average RRM measurement threshold; and an average radio quality difference of the plurality of second RRM measurement predictions during a configured monitoring window / period meeting a second average RRM measurement threshold. In this way, the accuracy metric may be reported when one functionality is performing within its threshold and another functionality is not performing within its threshold.

[0030] In some implementations, UE apparatus may be configured to, in response to reporting the accuracy metric to the network apparatus which indicates the currently enabled applicable functionality is performing worse than the currently applicable second functionality, receive a functionality switch command from the network apparatus. In this way, the network apparatus may be able to command a poor performing functionality to be disabled and a good performing functionality to be enabled.

[0031] In some implementations, UE apparatus may be configured to receiving the functionality switch command from the network apparatus, disable the currently enabled applicable functionality and enable the currently applicable second functionality. In this way, the UE apparatus may be able to disable a poor performing functionality and an enable good performing functionality.

[0032] In some implementations, UE apparatus may be configured to: obtain a third RRM measurement prediction of a currently enabled applicable third functionality; and monitor the third RRM measurement prediction during a  configured monitoring window / period to determine a third accuracy metric for the third RRM measurement prediction. In this way, the UE apparatus may be able to monitor the performance of a third functionality which is enabled.

[0033] In some implementations, UE apparatus may be configured to report the accuracy metric to the network apparatus in dependence on an average radio quality difference of the plurality of second RRM measurement predictions during a configured monitoring window / period meeting a second average RRM measurement threshold. In this way, the accuracy metric may be reported when one non-enabled functionality is generally performing within its threshold.

[0034] In some implementations, UE apparatus may be configured to report the accuracy metric to the network apparatus in dependence on all radio quality differences of the plurality of second RRM measurement predictions during a configured monitoring window / period meeting a second average RRM measurement threshold. In this way, the accuracy metric may be reported when one non-enabled functionality is consistently performing within its threshold.

[0035] In some implementations, UE apparatus may be configured to, in response to reporting the accuracy metric to the network apparatus which indicates the currently enabled applicable first functionality or the currently enabled applicable third functionality is performing worse than the currently applicable second functionality during a configured monitoring window / period, receive a further functionality switch command from the network apparatus. In this way, the network apparatus may be able to command a poor performing enabled functionality to be disabled and a good performing non-enabled functionality to be enabled.

[0036] In some implementations, UE apparatus may be configured to receiving the further functionality switch command from the network apparatus, disable the currently enabled applicable first functionality or the currently enabled applicable third functionality and enable the currently applicable second functionality. In this way, the UE apparatus may be able to disable a poor performing enabled functionality and an enable good performing non-enabled functionality.

[0037] In some implementations, UE apparatus may be configured to obtain the RRM measurement by predicting the RRM measurement. In this way, the UE apparatus may obtain the RRM measurement prediction without outside input, which may reduce the reliance on further components.

[0038] In some implementations, the functionality may comprise one or more models, each model being a machine learning model, each model being associated with a configuration and additional conditions which train the model. In this way, the system described herein may be applied to functionalities which are based on a model, such as an AI / ML model.

[0039] In some implementations, the RRM measurement prediction may comprise a predicted beam measurement and / or a cell level measurement. In this way, the present system may be applied to functionalities for predicting beam measurement and / or a cell level measurement.

[0040] In some implementations, UE apparatus may be configured to receive a radio resource control (RRC) reconfiguration message containing a setup command from the network apparatus. In this way, the UE apparatus may be configured before operation.

[0041] In some implementations, UE apparatus may be configured to, before receiving the radio resource control (RRC) reconfiguration message containing a setup command from the network apparatus, send a UE capability message to the network apparatus. In this way, the network apparatus may be provided with the UEs capabilities before setting up.

[0042] In some implementations, UE apparatus may be configured to, before sending the UE capability message to the network apparatus, establish a connection with the network apparatus. In this way, a connection between the apparatuses may be set up before the configurations are set up.

[0043] According to a second aspect, there is provided a network apparatus, the network apparatus comprising one or more processors and a memory storing in non-transient form data defining program code executable by the one or more processors, wherein the program code is executable by the one or more processors so that the network apparatus is configured to: send a radio resource control (RRC) reconfiguration message containing setup command to a user equipment (UE) apparatus; and receive an accuracy metric from the UE apparatus in dependence on meeting  predetermined criteria, the accuracy metric being determined by the UE apparatus by monitoring a radio resource management (RRM) measurement prediction of a currently enabled applicable first functionality, the RRM measurement prediction being obtained by the UE apparatus. In this way, the amount of reporting can be controlled, such that the reporting is efficient and effective.

[0044] In some implementations, the network apparatus may be configured to receive the accuracy metric from the UE apparatus periodically. In this way, the reporting may be spread out and consistent, giving the network apparatus time to build up a bank of measurements before deciding on reconfigurations.

[0045] In some implementations, the network apparatus may be configured to receive the accuracy metric from the UE apparatus periodically at predetermined reporting occasions and / or in predetermined reporting windows. In this way, the monitoring and reporting point may be pre-set depending on the requirements for the network apparatus.

[0046] In some implementations, the network apparatus may be configured to receive the accuracy metric from the UE apparatus each time an RRM measurement prediction is obtained. In this way, the reporting may be automatic each time prediction data is available.

[0047] In some implementations, the network apparatus may be configured to, in response the UE apparatus monitoring the RRM measurement prediction to determine an accuracy metric for the RRM measurement prediction during a configured monitoring window / period by comparing a radio quality difference between the RRM measurement prediction and an actual RRM measurement, receive the accuracy metric from the UE apparatus. In this way, the performance of the functionality may be used to dictate when to report the accuracy metric.

[0048] In some implementations, the network apparatus may be configured to receive the accuracy metric from the UE apparatus in dependence on the accuracy metric not meeting a predetermined accuracy threshold. In this way, the performance of the functionality against a threshold, which may be tailored, may be used to dictate when to report the accuracy metric.

[0049] In some implementations, the accuracy metric may be based on the radio quality difference of a plurality of RRM measurement predictions during a configured monitoring window / period. In this way, a number of measurements over a period of time, which may give a better indication of the functionality performance, may be used to dictate when to report the accuracy metric.

[0050] In some implementations, the network apparatus may be configured to receive the accuracy metric from the UE apparatus in dependence on a predetermined number of the plurality of RRM measurement predictions during a configured monitoring window / period having a radio quality difference not meeting a RRM measurement threshold. In this way, if the functionality is often making poor predictions, the accuracy metric may be reported.

[0051] In some implementations, the network apparatus may be configured to receive the accuracy metric from the UE apparatus in dependence on an average radio quality difference of the plurality of RRM measurement predictions during a configured monitoring window / period not meeting an average RRM measurement threshold. In this way, if the functionality is generally making a poor level of predictions, the accuracy metric may be reported.

[0052] In some implementations, the network apparatus may be configured to, in response to receiving the accuracy metric from the UE apparatus which does not meet predetermined criteria, send a functionality disable command to the UE.In this way, the network apparatus may be able to command a functionality to be disabled if it is not performing.

[0053] In some implementations, the network apparatus may be configured to, in response to the UE apparatus obtaining a second RRM measurement prediction of a currently applicable second functionality and monitoring the second RRM measurement prediction to determine a second accuracy metric for the second RRM measurement prediction during a configured monitoring window / period, receive the accuracy metric from the UE apparatus in dependence on meeting predetermined criteria. In this way, the UE apparatus may be able to monitor the performance of a second functionality.

[0054] In some implementations, the network apparatus may be configured to receive the accuracy metric from the UE apparatus in dependence on an average radio quality difference of the plurality of RRM measurement predictions during a configured monitoring window / period being worse than an average radio quality difference of the plurality of  second RRM measurement predictions. In this way, the accuracy metric may be reported when one functionality is performing worse than another.

[0055] In some implementations, the network apparatus may be configured to receive the accuracy metric from the UE apparatus in dependence on: an average radio quality difference of the plurality of RRM measurement predictions during a configured monitoring window / period not meeting an average RRM measurement threshold; and an average radio quality difference of the plurality of second RRM measurement predictions during a configured monitoring window / period meeting a second average RRM measurement threshold. In this way, the accuracy metric may be reported when one functionality is performing within its threshold and another functionality is not performing within its threshold.

[0056] In some implementations, the network apparatus may be configured to, in response to receiving the accuracy metric from the UE apparatus which indicates the currently enabled applicable functionality is performing worse than the currently applicable second functionality, send a functionality switch command to the UE. In this way, the network apparatus may be able to command a poor performing functionality to be disabled and a good performing functionality to be enabled.

[0057] In some implementations, the network apparatus may be configured to, in response to the UE apparatus obtaining a third RRM measurement prediction of a currently enabled applicable third functionality and monitoring the third RRM measurement prediction during a configured monitoring window / period to determine a third accuracy metric for the third RRM measurement prediction, receive the accuracy metric from the UE apparatus in dependence on meeting predetermined criteria. In this way, the UE apparatus may be able to monitor the performance of a third functionality which is enabled.

[0058] In some implementations, the network apparatus may be configured to receive the accuracy metric from the UE apparatus in dependence on an average radio quality difference of the plurality of second RRM measurement predictions during a configured monitoring window / period meeting a second average RRM measurement threshold. In this way, the accuracy metric may be reported when one non-enabled functionality is generally performing within its threshold.

[0059] In some implementations, the network apparatus may be configured to receive the accuracy metric from the UE apparatus in dependence on all radio quality differences of the plurality of second RRM measurement predictions during a configured monitoring window / period meeting a second average RRM measurement threshold. In this way, the accuracy metric may be reported when one non-enabled functionality is consistently performing within its threshold.

[0060] In some implementations, the network apparatus may be configured to, in response to receiving the accuracy metric from the UE apparatus which indicates the currently enabled applicable first functionality or the currently enabled applicable third functionality is performing worse than the currently applicable second functionality, send a further functionality switch command to the UE apparatus. In this way, the network apparatus may be able to command a poor performing enabled functionality to be disabled and a good performing non-enabled functionality to be enabled.

[0061] In some implementations, the functionality may comprise one or more models, each model being a machine learning model, each model being associated with a configuration and additional conditions which train the model. In this way, the system described herein may be applied to functionalities which are based on a model, such as an AI / ML model.

[0062] In some implementations, the RRM measurement prediction may comprise a predicted beam measurement and / or a cell level measurement. In this way, the present system may be applied to functionalities for predicting beam measurement and / or a cell level measurement.

[0063] In some implementations, the network apparatus may be configured to, before sending the radio resource control (RRC) reconfiguration message containing a setup command from the network apparatus, receive a UE capability message from the UE apparatus. In this way, the network apparatus may be provided with the UEs capabilities before setting up.

[0064] In some implementations, the network apparatus may be configured to, before receiving the UE capability message from the UE apparatus, establish a connection with the UE apparatus. In this way, a connection between the apparatuses may be set up before the configurations are set up.

[0065] According to a third aspect, there is provided a method, carried out by a user equipment (UE) device, comprising the steps of: obtaining a radio resource management (RRM) measurement prediction of a currently enabled applicable first functionality; monitoring the RRM measurement prediction to determine an accuracy metric for the RRM measurement prediction; and reporting the accuracy metric to a network apparatus in dependence on meeting predetermined criteria. In this way, the amount of reporting can be controlled, such that the reporting is efficient and effective.

[0066] According to a fourth aspect, there is provided a method, carried out by a network device, comprising the steps of: sending a radio resource control (RRC) reconfiguration message containing setup command to a user equipment (UE) apparatus; and receiving an accuracy metric from the UE apparatus in dependence on meeting predetermined criteria, the accuracy metric being determined by the UE apparatus by monitoring a radio resource management (RRM) measurement prediction of a currently enabled applicable first functionality, the RRM measurement prediction being obtained by the UE apparatus. In this way, the amount of reporting can be controlled, such that the reporting is efficient and effective.

[0067] BRIEF DESCRIPTION OF THE FIGURES

[0068] The present invention will now be described by way of example with reference to the accompanying drawings. In the drawings:

[0069] Figures 1a-b are an illustration of a prior art prediction window for temporal domain prediction for two different cases.

[0070] Figure 2 is an illustration of a prior art measurement samples processing at the UE apparatus.

[0071] Figure 3 is an illustration of a prior art SSB of a cell which a UE apparatus uses to perform measurement of the cell.

[0072] Figures 4a-b are an illustration of an exemplary procedure.

[0073] Figure 5 shows illustrate different threshold criteria for reporting the accuracy metric.

[0074] Figures 6a-c illustrate two different temporal domain intra-cell predictions.

[0075] Figure 7 shows an example of a computer implemented method from the UE side.

[0076] Figure 8 shows an example of the computer implemented method from the network side.

[0077] Figure 9 shows an example of a UE apparatus and a network apparatus configured to perform the methods described herein.DETAILED DESCRIPTION

[0078] The apparatuses and methods described herein concern a user equipment apparatus for sending, and a network apparatus for receiving, an accuracy metric of RRM measurement prediction.

[0079] Embodiments of the present invention may tackle one or more of the problems previously mentioned by reporting an accuracy metric to a network apparatus in dependence on meeting predetermined criteria. In this way, the amount of reporting can be controlled, such that the reporting is efficient and effective.

[0080] In present system, various methods of conveying the monitoring measurement from the UE to network may be used.

[0081] The present system may be applicable to NR standalone and NR-DC as well as any 3GPP deployment in 5G as well as 6G.

[0082] In the present system, for the UE sided model, the UE may trigger the management decision / measurement monitoring report to the network based on the monitoring measurement for the RRM measurement prediction. It is envisaged that for application of AI / ML to RRM measurement, there will be model input in the form of actual beam or  cell level measurement to an inference model and model output in the form of predicted beam or cell level measurement. For example, for the temporal domain prediction of RRM measurement of a cell, there will be observation window where the UE performs actual measurements during the SMTC window and predicted window where UE performs AI / ML RRM measurement prediction to substitute the actual measurements.

[0083] The functionality described herein may comprises one or more models. Each model may be a machine learning model. Each model may be associated with a configuration and additional conditions which train the model.

[0084] Figure 5 illustrates an exemplary procedure 500 of the prior art. Many of the steps in the procedure may be applied to the claimed present system –namely, 503, 504, 505 and 508. Step 508, measurement reporting, may be carried out in a range of different embodiments.

[0085] The procedure 500 may be carried out by an over-the-top (OTT) server, a user equipment (UE) apparatus 501, and a network apparatus 502. The procedure 500 is described herein from the UE-side and from the network-side.

[0086] All Embodiments

[0087] The following steps may be applied to all embodiments.

[0088] The UE apparatus 501 may send a RRC connection establishment message to the network apparatus 502. The network apparatus 502 may receive the RRC connection establishment message from the UE apparatus 501. The RRC connection establishment message may establish a connection 503 between the UE apparatus 501 and the network apparatus 502.

[0089] The UE apparatus 501 may send a UE capability message to the network apparatus 502. The network apparatus 502 may receive the UE capability message from the UE apparatus 501. The UE capability message may include the supported functionalities of the UE apparatus 501 on the serving cell. The UE capability message may be sent in response to the UE apparatus 501 receiving the RRC connection establishment message and / or the UE apparatus 501 establishing a connection 503 with the network apparatus 502.

[0090] The network apparatus 502 may send a radio resource control (RRC) reconfiguration message 505 to the UE apparatus 501. The UE apparatus may receive the RRC reconfiguration message 505 from the network apparatus 501. The RRC reconfiguration message 505 may configure the UE apparatus 501. The RRC reconfiguration message 505 may contain a setup command from the network apparatus 502. The setup command may include an RRM measurement configuration The RRC reconfiguration message 505 may be sent in response to the network apparatus 502 receiving the UE capability message from the UE apparatus 501.

[0091] The UE apparatus 501 may configure 506 a reporting configuration. The reporting configuration may be based on the measurement configuration received in the RRC reconfiguration message 505.

[0092] The UE apparatus 501 may perform measurement 507. The measurement 507 may be performed according to the measurement configuration received in the RRC reconfiguration message 505.

[0093] In particular, the UE apparatus 501 may obtain a radio resource management (RRM) measurement prediction of a currently enabled applicable first functionality. The UE apparatus 501 may measure the measurement prediction to obtain it. The UE apparatus 501 may obtain the RRM measurement by predicting the RRM measurement. Alternatively, the UE apparatus 501 may receive the RRM measurement prediction from another source. The RRM measurement prediction may comprise a predicted beam measurement and / or a cell level measurement.

[0094] The UE apparatus 501 may monitor the RRM measurement prediction to determine an accuracy metric for the RRM measurement prediction. The determination of the accuracy metric may be based on predefined calculations.

[0095] The UE apparatus 501 may report the accuracy metric to the network apparatus 502. The UE apparatus 501 may report the accuracy metric to the network apparatus 502 in dependence on meeting predetermined criteria. The criteria may be met by the UE apparatus 501. The criteria may be met by the network apparatus 502. The criteria may be met by the accuracy metric. The UE apparatus 501 may report the accuracy metric to the network apparatus 502 if characteristics of one or more of: the UE apparatus 501, the network apparatus 501, and the accuracy metric meet predetermined criteria. The UE apparatus 501 may not report the accuracy metric to the network apparatus 502 if the predetermined criteria is not met.

[0096] The UE apparatus 501 may send a measurement report 508 to the network apparatus 502. The network apparatus 502 may receive the measurement report 508 from the UE apparatus 501. The measurement report 508 may comprise measurement information. The measurement report 508 may comprise measurement information including the accuracy metric. The measurement report 508 may be sent in dependence on predetermined criteria being met.

[0097] Each embodiment may provide a different way of reporting the accuracy metric in dependence on meeting predetermined criteria.

[0098] First Embodiment

[0099] During the study, an intermediate KPI / metric using the RSRP difference between the actual measurement and predicted measurement have been found to be suitable for the RRM measurement prediction. This will be used as the illustrative monitoring KPI / metric used in the triggering of the reporting in the embodiment. This does preclude the use of other metrics as criteria for triggering the monitoring measurement reporting (e.g. X percentile CDF of RSRP difference) .

[0100] One simple approach is to report the metrics to the network apparatus 502 when the UE apparatus 501 monitors the metrics as per the monitoring windows / occasions, which the network can configure to check the metrics. The monitoring window can be set to be e.g. in the temporal domain prediction on the prediction windows or occasions. So, after every monitoring window, the UE apparatus 501 may report the monitoring metrics or key performance indicator (KPI) (e.g. (average) RSRP difference measurements etc. ) or RRM measurement needed for network apparatus 502 to perform monitoring metrics calculation (e.g. RSRP etc. ) to the network apparatus 502 for the current functionalities with associated network side additional conditions.

[0101] The UE apparatus 501 may report the accuracy metric to the network apparatus 502 periodically. The UE apparatus 501 may report the accuracy metric at predetermined time intervals. The UE apparatus 501 may report the accuracy metric to the network apparatus 502 periodically predetermined reporting occasions and / or in predetermined reporting windows. The predetermined reporting occasions and / or predetermined reporting windows may be provided to the UE apparatus 501 in the RRC reconfiguration message 505 from the network apparatus 501. The network apparatus 502 may receive the accuracy metric from the UE apparatus 501 periodically.

[0102] The UE apparatus 501 may report the accuracy metric to the network apparatus 502 each time an RRM measurement prediction is obtained. The UE apparatus 501 may obtain the RRM measurement prediction periodically. The UE apparatus 501 may obtain the RRM measurement prediction at predetermined time intervals. The UE apparatus 501 may obtain the RRM measurement prediction periodically at predetermined prediction occasions and / or in predetermined prediction windows. The predetermined prediction occasions and / or predetermined prediction windows may be provided to the UE apparatus 501 in the RRC reconfiguration message 505 from the network apparatus 501. The network apparatus 502 may receive the accuracy metric from the UE apparatus 501 periodically.

[0103] Second to Fourth Embodiments

[0104] The following may apply to the second to fourth embodiments.

[0105] For these embodiments, the network apparatus 502 may provide some criteria on when the UE apparatus 501 reports the monitoring measurements during the monitoring windows / occasions. Some reporting criteria can be as follows:

[0106] The UE apparatus 501 may monitor the RRM measurement prediction to determine an accuracy metric for the RRM measurement prediction by comparing a radio quality difference between the RRM measurement prediction and an actual RRM measurement during the monitoring windows / occasions. The RRM measurement prediction may be predicted by the UE apparatus 501. The UE apparatus 501 may predict the RRM measurement prediction by means of a functionality, such as an AI / ML model. The UE apparatus may measure the actual RRM measurement. The actual RRM measurement may be the actual RRM. The difference between the RRM measurement prediction and the actual RRM measurement may be calculated by subtracting one from the other. The radio quality may be reference signal received power (RSRP) , reference signal received quality (RSRQ) and / or signal interference noise ratio (SNIR) .

[0107] The UE apparatus 501 may report the accuracy metric to the network apparatus 502 in dependence on the accuracy metric not meeting a predetermined accuracy threshold. If the difference between the RRM measurement prediction and the actual RRM measurement during the monitoring windows / occasions is too high (over a threshold) , then the accuracy metric may be reported to the network apparatus 502.

[0108] The accuracy metric may be based on the radio quality difference of a plurality of RRM measurement predictions during the monitoring windows / occasions. More than one RRM measurement prediction may assessed to determine if accuracy metric reporting is required. For example, more than one RRM measurement prediction may be used in the comparison with the actual RRM measurement for determining if an accuracy metric reporting is required. The predetermined accuracy threshold may be used for all the RRM measurement predictions individually. The predetermined accuracy threshold may be used for all the RRM measurement predictions in combination.

[0109] Each of the embodiments outlined in the second to fourth embodiments may be combined. The second to fourth embodiments present one, two or three functionalities, which may be applicable, or enabled and applicable. Further functionalities may be applicable, or enabled and applicable. In dependence on different functionalities meeting or not meeting criteria (such as the thresholds) , the UE apparatus 501 may enable, disable or switch the functionalities. For example, functionalities meeting the criteria may be enabled, and functionalities not meeting the criteria may not be enabled. Alternatively, or in additions, functionalities performing better than other functionalities may be enabled, and the poorer performers may not be enabled  / disabled.

[0110] For all the criteria in the second to fourth embodiments, the threshold can be a single threshold for a prediction window or multiple thresholds for a prediction window within the monitoring window. It is assumed that prediction performance will degrade with increasing time instances. For the case of the single threshold, the worst tolerable prediction metric is to be used as the threshold. For the case of the multiple thresholds, a threshold is set differently at different prediction instances in a prediction window. For example, threshold for a time range of t1 to t2 is A1, and another threshold for time range of t2 (t2>t1) to the end of prediction window is A2 with A1 may be a more stringent metric than A2.

[0111] Whenever the criterion has been met, the UE apparatus 501 may trigger the monitoring measurement reporting to the network apparatus 502 reporting the measID as like in existing measurement reporting including the KPI of the configured applicable functionality.

[0112] In addition to providing the monitoring measurements, the UE apparatus 501 may also provide other applicable functionality / model which provides better metrics (e.g. RSRP difference) with their metric measurement. For example, in the third embodiment, the UE apparatus 501 may also provide the preferred applicable functionality / model to the network apparatus 502. Furthermore, the UE apparatus 501 may also provide the preferred configuration for inference operation (e.g. duration of the prediction window, periodicity etc. ) . All these reporting can be configured by network apparatus 502 on whether the UE apparatus 501 can report them in the monitoring reporting configuration during measurement configuration for AI / ML monitoring.

[0113] In the case of third and fourth embodiments, the UE apparatus 501 may be provided with monitoring configuration by the network apparatus 502 which may allow the UE apparatus 501 to monitor the performance of another applicable functionality / configuration. For example, the monitoring configuration can have a wider monitoring window and / or shorter periodicity which will allow the UE apparatus 501 to monitor more primary SMTC instances and hence observed the performance of another applicable functionality / configurations.

[0114] Second Embodiment

[0115] The following reporting criteria are for the case when the activated functionality / model used for RRM measurement prediction during the monitoring windows / occasions are below par from the view of network implementation.

[0116] For this event, it allows the network to decide to disable the use of AI / ML for RRM measurement. Example events:

[0117] Event A: The current configured / enabled applicable functionality / model results in at least one measurement instance of RSRP difference within a prediction window greater than a threshold during the monitoring  windows / occasions. The number of instances that the RSRP difference within a prediction window greater than a threshold can be made configurable.

[0118] Event B: The average RSRP difference of the current configured / enabled applicable functionality / model results during the monitoring windows / occasions is greater than a threshold.

[0119] These criteria are illustrated in the graph 600 in Figure 6a. The line 601 shows the plurality of radio quality differences. In the particular example in Figure 6a, the radio quality differences are RSRP differences. Each of the points on the line 601 represent a radio quality difference. Each point on the line 601 is either above or below the threshold. In this case, the points of radio quality difference are above (meeting) the threshold until the UE apparatus 501 moves to an area of a cell where the applicable functionality becomes not suitable and the points of the radio quality difference are below (not meeting) the threshold.

[0120] The UE apparatus 501 may report the accuracy metric to the network apparatus 502 in dependence on a predetermined number of the plurality of RRM measurement predictions having a radio quality difference during the monitoring windows / occasions not meeting a RRM measurement threshold. For example, in Figure 6a, if the number of points not meeting the threshold (the right half of figure 6a) meets the predetermined number of points, then the UE apparatus 501 may report the accuracy metric. In this way, the network apparatus 502 may decide to make the functionality not applicable.

[0121] The UE apparatus 501 may report the accuracy metric to the network apparatus 502 in dependence on an average radio quality difference of the plurality of RRM measurement predictions during the monitoring windows / occasions not meeting an average RRM measurement threshold. For example, in Figure 6a, if the average of all points does not meet the average RRM measurement threshold, then the UE apparatus 501 may report the accuracy metric. In this way, the network apparatus 502 may decide to make the functionality not applicable.

[0122] In response to reporting the accuracy metric to the network apparatus 502 which does not meet predetermined criteria (for example for either of the reasons above: number of points or average) , the UE apparatus 501 may receive a functionality disable command from the network apparatus 502. The network apparatus 502 may send the functionality disable command to the UE apparatus 502.

[0123] In response to receiving the functionality disable command from the network apparatus 502, the UE apparatus 501 may disable the currently enabled applicable first functionality.

[0124] Third Embodiment

[0125] The following reporting criteria are for the case when the activated functionality / model used for RRM measurement prediction is not as good as another applicable functionality (functionalities) .

[0126] For this event, it allows the network to decide to switch from one applicable functionality / model to another applicable functionality / model. Example events:

[0127] Event C: The average RSRP difference of the current configured / enabled applicable functionality / model results during the monitoring windows / occasions is worse than the average RSRP difference of the other applicable functionality / model results.

[0128] Event D: The average RSRP difference of the current configured / enabled applicable functionality / model results during the monitoring windows / occasions is greater than a threshold 1 while the average RSRP difference of the other applicable functionality / model results is less than a threshold 2.

[0129] The UE apparatus 501 may obtain a second RRM measurement prediction of a currently applicable second functionality during the monitoring windows / occasions. The UE apparatus 501 may measure the measurement prediction to obtain it. The UE apparatus 501 may obtain the second RRM measurement by predicting the second RRM measurement. Alternatively, the UE apparatus 501 may receive the second RRM measurement prediction from another source. The second RRM measurement prediction may comprise a predicted beam measurement and / or a cell level measurement.

[0130] The UE apparatus 501 may monitor the second RRM measurement prediction to determine a second accuracy metric for the second RRM measurement prediction. The determination of the second accuracy metric may be based on predefined calculations.

[0131] These criteria are illustrated in the graph 610 in Figure 6b (Event C) and graph 620 in Figure 6c (Event D) .

[0132] In Figure 6b, the line 611 shows the plurality of radio quality differences. In the particular example in Figure 6b, the radio quality differences are RSRP differences. Each of the points on the line 611 represent a radio quality difference. Each point on the line 611 is either above or below the threshold. In this case, the points of radio quality difference are below (not meeting) the threshold until the UE apparatus 501 moves to an area of a cell where the applicable functionality becomes suitable and the points of the radio quality difference are above (meeting) the threshold.

[0133] The threshold may be the radio quality difference of a second functionality. The line 611 may represent a second functionality becoming more suitable. The line 601 in Figure 6a may represent a first functionality becoming less suitable.

[0134] The UE apparatus 501 may report the accuracy metric to the network apparatus 502 in dependence on: an average radio quality difference of the plurality of RRM measurement predictions during the monitoring windows / occasions not meeting an average RRM measurement threshold; and an average radio quality difference of the plurality of second RRM measurement predictions during the monitoring windows / occasions meeting a second average RRM measurement threshold. Put simply, if the first applicable functionality is not meeting the first criteria, and the second functionality is meeting the second criteria, then the accuracy metric may be reported. The accuracy metric may include the first accuracy metric and the second accuracy metric. The first average RRM measurement threshold and the second average RRM measurement threshold may be the same. The first average RRM measurement threshold and the second average RRM measurement threshold may be different.

[0135] In Figure 6c, the line 621 shows the plurality of radio quality differences for the first functionality. The line 622 shows the plurality of radio quality differences for the second functionality. In the particular example in Figure 6c, the radio quality differences are RSRP differences. Each of the points on the line 621 and the line 622 represent a radio quality difference. In this case, the points of radio quality difference of the first functionality are above (meeting) the threshold until the UE apparatus 501 moves to an area of a cell where the first functionality becomes not suitable and the points of the radio quality difference during the monitoring windows / occasions are below (not meeting) the threshold. Similarly, the points of radio quality difference of the second functionality during the monitoring windows / occasions are below (not meeting) the threshold until the UE apparatus 501 moves to an area of a cell where the second functionality becomes suitable and the points of the radio quality difference are above (meeting) the threshold.

[0136] The UE apparatus 501 may report the accuracy metric to the network apparatus 502 in dependence on an average radio quality difference of the plurality of RRM measurement predictions during the monitoring windows / occasions being worse than an average radio quality difference of the plurality of second RRM measurement predictions. Put simply, if the average radio quality difference of the first applicable functionality is worse than the average radio quality difference of the second functionality, then the accuracy metric may be reported. The accuracy metric may include the first accuracy metric and the second accuracy metric.

[0137] In response to reporting the accuracy metric to the network apparatus 502 which indicates the currently enabled applicable functionality is performing worse than the currently applicable second functionality (for example for either of the reasons above: meeting threshold or simply being worse) , the UE apparatus 501 may receive a functionality switch command from the network apparatus 502. The network apparatus 502 may send the functionality switch command to the UE apparatus 502.

[0138] In response to receiving the functionality switch command from the network apparatus 502, the UE apparatus 501 may disable the currently enabled applicable first functionality and enable the currently applicable second functionality.

[0139] Fourth Embodiment

[0140] The following reporting criteria are for the case when a not configured applicable functionality used for RRM measurement prediction during the monitoring windows / occasions has all measurement instances of RSRP difference within a prediction window < Threshold2.

[0141] For this event, it is assumed that the network can activate / configure more than one applicable functionality where one is used for RRM measurement prediction while the other is purely for monitoring purpose. This allows the network to decide to switch to the other applicable functionalities. Example events:

[0142] Event E: The average RSRP difference of an applicable functionality / model during the monitoring windows / occasions less than a threshold. This may be averaged through multiple windows.

[0143] Event F: No measurement instance of RSRP difference of an applicable functionality / model during the monitoring windows / occasions is greater than a threshold for a time-to-trigger period.

[0144] The UE apparatus 501 may obtain a third RRM measurement prediction of a currently enabled applicable third functionality. The UE apparatus 501 may measure the measurement prediction to obtain it. The UE apparatus 501 may obtain the third RRM measurement by predicting the third RRM measurement. Alternatively, the UE apparatus 501 may receive the third RRM measurement prediction from another source. The third RRM measurement prediction may comprise a predicted beam measurement (BM) and / or a cell level measurement.

[0145] The UE apparatus 501 may monitor the third RRM measurement prediction to determine a third accuracy metric for the third RRM measurement prediction. The determination of the third accuracy metric may be based on predefined calculations.

[0146] The UE apparatus 501 may report the accuracy metric to the network apparatus 502 in dependence on an average radio quality difference of the plurality of second RRM measurement predictions during the monitoring windows / occasions meeting a second average RRM measurement threshold. Put simply, if the second applicable functionality is meeting the second criteria, then the accuracy metric may be reported. The accuracy metric may include the first accuracy metric and the second accuracy metric. The first average RRM measurement threshold and the second average RRM measurement threshold may be the same. The first average RRM measurement threshold and the second average RRM measurement threshold may be different.

[0147] The UE apparatus 501 may report the accuracy metric to the network apparatus 502 in dependence on all radio quality differences of the plurality of second RRM measurement predictions during the monitoring windows / occasions meeting a second average RRM measurement threshold. Put simply, if all the radio quality differences of the second applicable functionality are better than the second threshold, then the accuracy metric may be reported. The accuracy metric may include the first accuracy metric and the second accuracy metric.

[0148] In response to reporting the accuracy metric to the network apparatus 502 which indicates the currently enabled applicable first functionality or the currently enabled applicable third functionality is performing worse than the currently applicable second functionality (for example for either of the reasons above: average or all points of second functionality meeting threshold) , the UE apparatus 501 may receive a further functionality switch command from the network apparatus 502. The network apparatus 502 may send the further functionality switch command to the UE apparatus 502.

[0149] In response to receiving the further functionality switch command from the network apparatus 502, the UE apparatus 501 may disable the currently enabled applicable first functionality and / or the currently enabled applicable third functionality and enable the currently applicable second functionality.

[0150] Fifth Embodiment

[0151] In this embodiment, it may be assumed that the different applicable functionalities are e.g. due to that each functionality has a different observation window for measuring the actual RRM measurement and has a corresponding different predicted window for making RRM measurement prediction. The UE apparatus 501 may try out the different windows to report the difference. For example, applicable functionality#1 has observation window 40ms while applicable functionality#2 has observation window 80ms. This is illustrated in Figure 4a. For the inter-frequency case where inter cell prediction is performed, the different applicable functionalities may use a different frequency for actual measurement to predict the RRM measurement of the frequency for inference.

[0152] As an illustrative manner for the different types of prediction:

[0153] In the case of intra / inter-frequency temporal domain (intra-cell) prediction, the different applicable functionalities can be differentiated by at least but not limited to the observation / prediction window where actual  measurement is performed and the periodicity of the observation / prediction window and the number of SMTC instances in the observation and predicted window.

[0154] In the case of intra / inter-frequency spatial domain (intra-cell) prediction, the different applicable functionalities can be differentiated by the beams to be measured and by the beams to be predicted within a SMTC instances.

[0155] In the case of inter-frequency inter cell prediction and multiple cell prediction, the different applicable functionalities can be differentiated by at least but not limited to the intra cell prediction case, but also the frequency (-ies) or cells to be used as actual measurements for prediction of other frequencies or cells.

[0156] Advantages

[0157] The following features may provide the following advantages:

[0158] 1. A method of initiating the AI / ML monitoring measurements / metrics / KPI by the UE to the network which makes decision on whether to apply AI / ML operation for RRM measurement prediction.

[0159] Main idea of the invention in the triggering method of the AI / ML performance monitoring reporting for RRM measurement prediction.

[0160] 2. As in 1, the UE reports the monitoring metrics to the network at every monitoring window / occasions as configured by the network. The monitoring window / occasions are periodic in nature and are configured by the network.

[0161] First embodiment that the reporting will be made on every monitoring window or occasion which occur periodically. Simple solution.

[0162] 3. As in 1, the UE reports the monitoring metrics to the network based on configured criteria based on the monitoring metrics defined.

[0163] Second to fourth embodiments that the reporting will be based on some criteria, instead of sending at every monitoring window / occasion periodically. Reduce overhead relative to 2.

[0164] 4. As in 1, the UE reports to the network when the activated functionality / model used for RRM measurement prediction performs below par (e.g. average RSRP difference between actual and predicted measurement is above a certain threshold) .

[0165] Second embodiment and 1st criteria for deciding on when to report when the current applicable AI / ML functionality is not predicting well. This is e.g. for a scenario where there is only 1 applicable functionality, and the application is no longer suitable.

[0166] 5. As in 1, the UE reports to the network when the activated functionality / model used for RRM measurement prediction is not as good as another applicable functionality (functionalities) .

[0167] Third embodiment and 2nd criteria for deciding on when to report when the prediction of the current applicable AI / ML functionality is not as good as another applicable functionality. This is e.g. for a scenario where 1 applicable functionality becomes less suitable than another applicable functionality due to radio environment e.g. going from rural to urban environment.

[0168] 6. As in 1, the UE reports to the network when a not configured applicable functionality used for RRM measurement prediction performs better (e.g. average RSRP difference between actual and predicted measurement is below a certain threshold) .

[0169] Fourth embodiment and 3rd criteria for deciding on when to report when the prediction of the current applicable functionality is worse than a configured threshold while the prediction of another applicable functionality is better than a configured threshold. Similar scenario to 5.

[0170] 7. As in 1, other than reporting an event as in 4, 5 and 6, the UE can also report which applicable functionality / model is preferred or the preferred inference configuration as in 1 should be used for the inference operation.

[0171] Additional contents that are possible to be included and also a preferred applicable functionality not currently configured. The advantage is to be able to provide additional information to network for management decision e.g. to perform switching from the configured functionality to a preferred functionality.

[0172] 8. As in 2 and 3, all the reporting configuration (e.g. reporting events in 6 to 8, preferred applicable functionality / model, preferred inference configuration) are to be configured by the network during measurement configuration via L1 / L2 / L3 signaling.

[0173] This is just to include that all the reporting contents are / can be configured by the network.

[0174] 9. As in 4 and 5, in the case of intra-frequency temporal domain prediction, the different applicable functionalities can be differentiated by at least but not limited to the observation / prediction window where actual measurement is performed and the periodicity of the observation / prediction window and the number of SMTC instances in the observation and predicted window.

[0175] This is to define what functionality / configuration is possible for the intra-frequency temporal domain prediction.

[0176] 10. As in 4 and 5, in the case of intra-frequency spatial domain prediction, the different applicable functionalities can be differentiated by the beams to be measured and by the beams to be predicted within a SMTC instances.

[0177] This is to define what functionality / configuration is possible for the intra-frequency spatial domain prediction.

[0178] 11. As in 4 and 5, in the case of inter-frequency intra cell prediction, the different applicable functionalities can be differentiated by at least but not limited to 8 and 9.

[0179] This is to define what functionality / configuration is possible for the inter-frequency intra-cell prediction, which will define in the same as 9 and 10.

[0180] 12. As in 4 and 5, in the case of inter-frequency inter cell prediction and multiple cells / frequencies prediction, the different applicable functionalities can be differentiated by at least but not limited to 8 and 9, but also the frequency (-ies) or cells to be used as actual measurements for prediction of other frequencies or cells.

[0181] This is to define what functionality / configuration is possible for the inter-frequency frequency domain (inter-cell) prediction.

[0182] Method and Apparatus

[0183] Figure 7 summarises an example of a method 700. At step 701, the method 700 comprises obtaining a radio resource management (RRM) measurement prediction of a currently enabled applicable first functionality. At step 702, the method 700 comprises monitoring the RRM measurement prediction to determine an accuracy metric for the RRM measurement prediction. At step 703, the method 700 comprises reporting the accuracy metric to a network apparatus in dependence on meeting predetermined criteria.

[0184] Figure 8 summarises an example of a method 800. At step 801, the method 800 comprises sending a radio resource control (RRC) reconfiguration message containing setup command to a user equipment (UE) apparatus. At step 802, the method 800 comprises receiving an accuracy metric from the UE apparatus in dependence on meeting predetermined criteria, the accuracy metric being determined by the UE apparatus by monitoring a radio resource management (RRM) measurement prediction of a currently enabled applicable first functionality, the RRM measurement prediction being obtained by the UE apparatus.

[0185] An example of UE apparatus 501 configured to implement the method 700 is schematically illustrated in Figure 9. An example of network apparatus 502 configured to implement the method 800 is schematically illustrated in Figure 9. The UE apparatus 501 and the network apparatus 502 may carry out the procedure illustrated in Figure 4. The UE apparatus 501 and / or the network apparatus 502 may be implemented on an electronic device, such as a computer, laptop, tablet, or smart phone. The UE apparatus 501 and the network apparatus 502 may be connected by a connection 920. The connection 920 may comprise a network connection 920, such as the internet or Wi-Fi.

[0186] The UE apparatus 501 and the network apparatus 502 comprise a processor 601, 611 configured to process the datasets in the manner described herein. For example, the processor 901, 911 may be implemented as a computer program running on a programmable device such as a Central Processing Unit (CPU) . The UE apparatus 501 and the network apparatus 502 comprise a memory 902, 912 which is arranged to communicate with the processor 901, 911. Memory 902, 912 may be a non-volatile memory. The processor 901, 911 may also comprise a cache (not shown in Figure 9) , which may be used to temporarily store data from memory 902, 912. The UE apparatus 501 and the network apparatus 502 may comprise more than one processor 901, 911 and more than one memory 902, 912. The memory  902, 912 may store data that is executable by the processor 901, 911. The processor 901, 911 may be configured to operate in accordance with a computer program stored in non-transitory form on a machine-readable storage medium. The computer program may store instructions for causing the processor to perform its methods in the manner described herein. The method steps described herein may be carried out by a computer-readable storage medium. The method steps described herein may be carried out by a computer program product.

[0187] The applicant hereby discloses in isolation each individual feature described herein and any combination of two or more such features, to the extent that such features or combinations are capable of being carried out based on the present specification as a whole in the light of the common general knowledge of a person skilled in the art, irrespective of whether such features or combinations of features solve any problems disclosed herein, and without limitation to the scope of the claims. The applicant indicates that aspects of the present invention may consist of any such individual feature or combination of features. In view of the foregoing description, it will be evident to a person skilled in the art that various modifications may be made within the scope of the invention.

Claims

A user equipment, UE, apparatus (501) , the UE apparatus (501) comprising one or more processors and a memory storing in non-transient form data defining program code executable by the one or more processors, wherein the program code is executable by the one or more processors so that the UE apparatus (501) is configured to:obtain a radio resource management, RRM, measurement prediction of a currently enabled applicable first functionality;monitor the RRM measurement prediction to determine an accuracy metric for the RRM measurement prediction; andreport the accuracy metric to a network apparatus (502) in dependence on meeting predetermined criteria.A UE apparatus (501) according to claim 1, wherein the UE apparatus (501) is configured to report the accuracy metric to the network apparatus (502) periodically.A UE apparatus (501) according to claim 2, wherein the UE apparatus (501) is configured to monitor and report the accuracy metric to the network apparatus (502) periodically at predetermined monitoring and reporting occasions and / or in predetermined monitoring / reporting windows.A UE apparatus (501) according to any preceding claim, wherein the UE apparatus (501) is configured to report the accuracy metric to the network apparatus (502) each time an RRM measurement prediction is obtained.A UE apparatus (501) according to claim 3, wherein the UE apparatus (501) is configured to obtain the RRM measurement prediction periodically, and optionally wherein the UE apparatus (501) is configured to obtain the RRM measurement prediction periodically at predetermined prediction occasions and / or in predetermined prediction windows.A UE apparatus (501) according to any preceding claim, wherein the UE apparatus (501) is configured to monitor the RRM measurement prediction to determine the accuracy metric for the RRM measurement prediction by comparing a radio quality difference between the RRM measurement prediction and an actual RRM measurement.A UE apparatus (501) according to any preceding claim, wherein the UE apparatus (501) is configured to report the accuracy metric to the network apparatus (502) in dependence on the accuracy metric not meeting a predetermined accuracy threshold.A UE apparatus (501) according to claim 6 or 7, wherein the accuracy metric is based on the radio quality difference of a plurality of RRM measurement predictions.A UE apparatus (501) according to claim 8, wherein the UE apparatus (501) is configured to:report the accuracy metric to the network apparatus (502) in dependence on a predetermined number of the plurality of RRM measurement predictions having a radio quality difference not meeting an RRM measurement threshold; and / orreport the accuracy metric to the network apparatus (502) in dependence on an average radio quality difference of the plurality of RRM measurement predictions not meeting an average RRM measurement threshold.A UE apparatus (501) according to any preceding claim, wherein the UE apparatus (501) is configured to, in response to reporting the accuracy metric to the network apparatus (502) which does not meet predetermined criteria, receive a functionality disable command from the network apparatus (502) , and optionally wherein the UE apparatus (501) is configured to, in response to receiving the functionality disable command from the network apparatus (502) , disable the currently enabled applicable first functionality.A UE apparatus (501) according to any preceding claim, wherein the UE apparatus (501) is configured to:obtain a second RRM measurement prediction of a currently applicable second functionality; andmonitor the second RRM measurement prediction to determine a second accuracy metric for the second RRM measurement prediction.A UE apparatus (501) according to claim 11 when dependent on claim 8, wherein the UE apparatus (501) is configured to report the accuracy metric to the network apparatus (502) in dependence on an average radio quality difference of the plurality of RRM measurement predictions being worse than an average radio quality difference of the plurality of second RRM measurement predictions.A UE apparatus (501) according to claim 11 or 12 when dependent on claim 8, wherein the UE apparatus (501) is configured to report the accuracy metric to the network apparatus (502) in dependence on:an average radio quality difference of the plurality of RRM measurement predictions not meeting an average RRM measurement threshold; andan average radio quality difference of the plurality of second RRM measurement predictions meeting a second average RRM measurement threshold.A UE apparatus (501) according to any of claims 11 to 13, wherein the UE apparatus (501) is configured to, in response to reporting the accuracy metric to the network apparatus (502) which indicates the currently enabled applicable functionality is performing worse than the currently applicable second functionality, receive a functionality switch command from the network apparatus (502) , and optionally wherein the UE apparatus (501) is configured to, in response to receiving the functionality switch command from the network apparatus (502) , disable the currently enabled applicable functionality and enable the currently applicable second functionality.A UE apparatus (501) according to any preceding claim, wherein the UE apparatus (501) is configured to:obtain a third RRM measurement prediction of a currently enabled applicable third functionality; andmonitor the third RRM measurement prediction to determine a third accuracy metric for the third RRM measurement prediction.A UE apparatus (501) according to claim 15 when dependent on claim 8 or 11, wherein the UE apparatus (501) is configured to:report the accuracy metric to the network apparatus (502) in dependence on an average radio quality difference of the plurality of second RRM measurement predictions meeting a second average RRM measurement threshold; and / orreport the accuracy metric to the network apparatus (502) in dependence on all radio quality differences of the plurality of second RRM measurement predictions meeting a second average RRM measurement threshold.A UE apparatus (501) according to claim 15 or 16 when dependent on claim 11, wherein the UE apparatus (501) is configured to, in response to reporting the accuracy metric to the network apparatus (502) which indicates the currently enabled applicable first functionality or the currently enabled applicable third functionality is performing worse than the currently applicable second functionality, receive a further functionality switch command from the network apparatus (502) , and optionally wherein the UE apparatus (501) is configured to, in response to receiving the further functionality switch command from the network apparatus (502) , disable the currently enabled applicable first functionality or the currently enabled applicable third functionality and enable the currently applicable second functionality.A network apparatus (502) , the network apparatus (502) comprising one or more processors and a memory storing in non-transient form data defining program code executable by the one or more processors, wherein the program code is executable by the one or more processors so that the network apparatus (502) is configured to:send a radio resource control (RRC) reconfiguration message containing setup command to a user equipment, UE, apparatus (501) ; andreceive an accuracy metric from the UE apparatus (501) in dependence on meeting predetermined criteria, the accuracy metric being determined by the UE apparatus (501) by monitoring a radio resource management, RRM, measurement prediction of a currently enabled applicable first functionality, the RRM measurement prediction being obtained by the UE apparatus (501) .A method, carried out by a user equipment, UE, apparatus (501) , comprising the steps of:obtaining a radio resource management, RRM, measurement prediction of a currently enabled applicable first functionality;monitoring the RRM measurement prediction to determine an accuracy metric for the RRM measurement prediction; andreporting the accuracy metric to a network apparatus (502) in dependence on meeting predetermined criteria.A method, carried out by a network apparatus (502) , comprising the steps of:sending a radio resource control (RRC) reconfiguration message containing setup command to a user equipment, UE, apparatus (501) ; andreceiving an accuracy metric from the UE apparatus (501) in dependence on meeting predetermined criteria, the accuracy metric being determined by the UE apparatus (501) by monitoring a radio resource management, RRM, measurement prediction of a currently enabled applicable first functionality, the RRM measurement prediction being obtained by the UE apparatus (501) .

Images