Systems and methods for UE triggered performance monitoring of CSI predictions of UE-side ai / ML models

UE-triggered performance monitoring mechanisms for AI/ML models in wireless communication systems address inefficiencies by providing timely and accurate monitoring, enabling optimal functionality fallback decisions and improving CSI prediction reliability.

WO2026232407A1PCT designated stage Publication Date: 2026-11-12APPLE INC
View PDF 0 Cites 0 Cited by

Patent Information

Application Number
PCT/CN2025/093474
Authority / Receiving Office
WO · WO
Patent Type
Applications
Current Assignee / Owner
Filing Date
2025-05-08
Publication Date
2026-11-12

AI Technical Summary

Technical Problem

Existing wireless communication systems face challenges in effectively monitoring the performance of UE-side AI/ML models for CSI predictions, leading to inefficiencies in functionality fallback decisions and potential suboptimal operation.

Method used

Implementing UE-triggered performance monitoring mechanisms for AI/ML models, including L1-based and L3-based reporting, MAC CE-based, and RRC-based reporting, to facilitate timely and efficient monitoring of AI/ML model performance, allowing for functionality fallback decisions based on inferencing performance metrics.

Benefits of technology

Enables accurate and timely monitoring of AI/ML model performance, enabling informed functionality fallback decisions and optimizing network operations, thereby enhancing the reliability and efficiency of CSI predictions.

✦ Generated by Eureka AI based on patent content.

Smart Images

  • Figure CN2025093474_12112026_PF_FP_ABST
    Figure CN2025093474_12112026_PF_FP_ABST
Patent Text Reader

Abstract

Systems and methods for user equipment (UE) triggered performance monitoring of channel state information (CSI) predictions of UE-side artificial intelligence (AI) / machine learning (ML) models are discussed herein. A UE receives, from a base station, configuration information indicating a condition for providing a first inferencing performance metric for an AI / ML model within an applicable functionality reporting message that indicates an applicability of the AI / ML model; calculates the first inferencing performance metric for the AI / ML model; determines that the condition is met; includes, in response to the determination the condition is met, the first inferencing performance metric in the applicable functionality reporting message; and sends the applicable functionality reporting message to the base station. Other mechanisms are also discussed. Corresponding mechanisms at a network (base station) side are also discussed.
Need to check novelty before this filing date? Find Prior Art

Description

SYSTEMS AND METHODS FOR UE TRIGGERED PERFORMANCE MONITORING OF CSI PREDICTIONS OF UE-SIDE AI / ML MODELSTECHNICAL FIELD

[0001] This application relates generally to wireless communication systems, including wireless communication systems using artificial intelligence (AI)  / machine learning (ML) models.BACKGROUND

[0002] Wireless mobile communication technology uses various standards and protocols to transmit data between a base station and a wireless communication device. Wireless communication system standards and protocols can include, for example, 3rd Generation Partnership Project (3GPP) Long Term Evolution (LTE) (e.g., 4G) , 3GPP New Radio (NR) (e.g., 5G) , and Institute of Electrical and Electronics Engineers (IEEE) 802.11 standard for Wireless Local Area Networks (WLAN) (commonly known to industry groups as  ) .

[0003] As contemplated by the 3GPP, different wireless communication systems' standards and protocols can use various radio access networks (RANs) for communicating between a base station of the RAN (which may also sometimes be referred to generally as a RAN node, a network node, or simply a node) and a wireless communication device known as a user equipment (UE) . 3GPP RANs can include, for example, Global System for Mobile communications (GSM) , Enhanced Data Rates for GSM Evolution (EDGE) RAN (GERAN) , Universal Terrestrial Radio Access Network (UTRAN) , Evolved Universal Terrestrial Radio Access Network (E-UTRAN) , and / or Next-Generation Radio Access Network (NG-RAN) .

[0004] Each RAN may use one or more radio access technologies (RATs) to perform communication between the base station and the UE. For example, the GERAN implements GSM and / or EDGE RAT, the UTRAN implements Universal Mobile Telecommunication System (UMTS) RAT or other 3GPP RAT, the E-UTRAN implements LTE RAT (sometimes simply referred to as LTE) , and NG-RAN implements NR RAT (sometimes referred to herein as 5G RAT, 5G NR RAT, or simply NR) . In certain deployments, the E-UTRAN may also implement NR RAT. In certain deployments, NG-RAN may also implement LTE RAT.

[0005] A base station used by a RAN may correspond to that RAN. One example of an E-UTRAN base station is an Evolved Universal Terrestrial Radio Access Network (E-UTRAN) Node B (also commonly denoted as evolved Node B, enhanced Node B, eNodeB, or eNB) . One example of an NG-RAN base station is a next generation Node B (also sometimes referred to as a g Node B or gNB) .

[0006] A RAN provides its communication services with external entities through its connection to a core network (CN) . For example, E-UTRAN may utilize an Evolved Packet Core (EPC) while NG-RAN may utilize a 5G Core Network (5GC) .

[0007] Frequency bands for 5G NR may be separated into two or more different frequency ranges. For example, Frequency Range 1 (FR1) may include frequency bands operating in sub-6 gigahertz (GHz) frequencies, some of which are bands that may be used by previous standards, and may potentially be extended to cover new spectrum offerings from 410 megahertz (MHz) to 7125 MHz. Frequency Range 2 (FR2) may include frequency bands from 24.25 GHz to 52.6 GHz. Note that in some systems, FR2 may also include frequency bands from 52.6 GHz to 71 GHz (or beyond) . Bands in the millimeter wave (mmWave) range of FR2 may have smaller coverage but potentially higher available bandwidth than bands in FR1. Skilled persons will recognize these frequency ranges, which are provided by way of example, may change from time to time or from region to region.BRIEF DESCRIPTION OF THE SEVERAL VIEWS OF THE DRAWINGS

[0008] To easily identify the discussion of any particular element or act, the most significant digit or digits in a reference number refer to the figure number in which that element is first introduced.

[0009] FIG. 1 illustrates a procedure between a UE and a base station for controlling a use of an AI / ML model at the UE.

[0010] FIG. 2 illustrates a first CSI prediction case corresponding to a use of an AI / ML model for CSI prediction.

[0011] FIG. 3 illustrates a second CSI prediction case corresponding to a use of an AI / ML model for CSI prediction.

[0012] FIG. 4 illustrates a MAC CE as may be used in UE triggered AI / ML model performance monitoring reporting mechanisms discussed herein.

[0013] FIG. 5 illustrates a MAC-CellGroupConfig IE as may be used according to various embodiments discussed herein.

[0014] FIG. 6 illustrates a procedure between a UE and a base station for UE triggered RRC-based AI / ML model performance monitoring reporting where an inferencing performing metric is reported within an applicability functionality reporting message.

[0015] FIG. 7 illustrates a procedure between a UE and a base station for UE triggered RRC-based AI / ML model performance monitoring reporting where a performance monitoring report containing an inferencing performing metric for an AI / ML model is triggered by a UAI message sent by the UE.

[0016] FIG. 8 illustrates a method of a UE, according to embodiments discussed herein.

[0017] FIG. 9 illustrates a method of a base station, according to embodiments discussed herein.

[0018] FIG. 10 illustrates a method of a UE, according to embodiments discussed herein.

[0019] FIG. 11 illustrates a method of a base station, according to embodiments discussed herein.

[0020] FIG. 12 illustrates a method of a UE, according to embodiments discussed herein.

[0021] FIG. 13 illustrates a method of a base station, according to embodiments discussed herein.

[0022] FIG. 14 illustrates a method of a UE, according to embodiments discussed herein.

[0023] FIG. 15 illustrates a method of a base station, according to embodiments discussed herein.

[0024] FIG. 16 illustrates a method of a UE, according to embodiments discussed herein.

[0025] FIG. 17 illustrates a method of a base station, according to embodiments discussed herein.

[0026] FIG. 18 illustrates an example architecture of a wireless communication system, according to embodiments disclosed herein.

[0027] FIG. 19 illustrates a system for performing signaling between a wireless device and a network device, according to embodiments disclosed herein.DETAILED DESCRIPTION

[0028] Various embodiments are described with regard to a UE. However, reference to a UE is merely provided for illustrative purposes. The example embodiments may be utilized with any electronic component that may establish a connection to a network and is configured with the hardware, software, and / or firmware to exchange information and data with the network. Therefore, the UE as described herein is used to represent any appropriate electronic component.

[0029] Various embodiments related to performance monitoring for artificial intelligence (AI)  / machine learning (ML) models are discussed herein. In some example, performance monitoring for AI / ML models for channel state information (CSI) feedback prediction (e.g., temporal CSI feedback prediction) are discussed . Note that as used herein, the terms “CSI” and “CSI feedback” may be used interchangeably.

[0030] With respect to performance monitoring for functionality-based lifecycle management (LCM) for CSI prediction cases using UE-side AI / ML models, various aspects may be considered.

[0031] In a first such aspect, a UE calculates inferencing performance metric (s) for the AI / ML model for CSI prediction. Then, the UE reports performance monitoring output based on those inferencing performance metric (s) that facilitates, as needed, a functionality fallback decision (e.g., to a CSI feedback mechanism that does not use AI / ML model inferencing) at the network side. Details of the performance monitoring output may be defined in some instances. In some instances, the network may configure threshold criteria for such a use of UE-side performance monitoring. The network makes decision (s) with respect to functionality fallback operation (or not) .

[0032] In a second aspect, a UE reports predicted CSI and / or corresponding ground-truth CSI to the network. The network uses this information to calculate inferencing performance metric (s) for the AI / ML model. Then, the network makes decision (s) with respect to functionality fallback operation (or not) .

[0033] In a third aspect, a UE calculates inferencing performance metric (s) for the AI / ML model. The UE then reports the inferencing performance metric (s) to the network. The network then makes decision (s) with respect to functionality fallback operation (or not) .

[0034] Corresponding to one or more of these aspects, it may be that functionality selection / activation / deactivation / switching as defined for other UE-side use cases can be reused, if applicable. Further, details for the configuration of and procedure for performance monitoring may vary. Details for the configuration of channel state information reference signal (s) (CSI-RS (s) ) that are used / measured as part of the performance monitoring may vary.

[0035] The inferencing performance metric (s) used may include, for example, intermediate key inferencing performance metric (s) (KPI (s) ) (e.g., a normalized mean squared error (NMSE) metric type and / or a squared generalized cosine similarity (SGCS) metric type) .

[0036] UE report types may include, for example, a periodic reporting type, a semi-persistent reporting type, an aperiodic reporting type, and / or and event driven reporting type, as the case may be. Down selection may be used.

[0037] Corresponding to such aspects, it is contemplated that a UE may make decision within the same functionality with respect to model selection, activation, deactivation, and / or switching operation that is transparent to the network.

[0038] For cases of CSI prediction using UE-sided AI / ML models, reporting contents corresponding to the use of UE-assisted performance monitoring of the AI / ML model may be according to one of various alternatives.

[0039] In a first alternative, an SGCS value that is calculated based on predicted CSI for one inference report and ground truth CSI is reported.

[0040] In a second alternative, an SGCS value that is calculated based on predicted CSI for one inference report and ground truth CSI is reported. Further, another SGCS value that is calculated based on the ground truth CSI and another (non-predicted, ground truth) CSI corresponding to a latest CSI-RS transmission occasion that is not later than a CSI reference resource of the inference reporting instance is reported.

[0041] In a third alternative, reporting contents may include statistic (s) (e.g., mean, x%cumulative density function (CDF) of SGCS value) of / for inference reporting instances within a configured monitoring window. The monitoring window may be configured by the network. With respect to the monitoring window, various signaling aspects may be considered.

[0042] In various cases, reporting may be performed on a per prediction instance basis, a selected prediction instance (s) basis, and / or as averaged over prediction instances.

[0043] Various aspects with respect to a report frequency granularity may be considered. For example, the frequency granularity may be a per wideband granularity, a per subband granularity, and / or an averaged over subband (or selected subband) granularity.

[0044] In various cases, reporting may be performed on a per layer basis, on a first layer basis, and / or on an averaged over layer basis.

[0045] Various examples discussed herein relate to mechanisms for quantization and / or report mechanisms.

[0046] FIG. 1 illustrates a procedure 100 between a UE 102 and a base station 104 for controlling a use of an AI / ML model at the UE 102.

[0047] First, the base station 104 sends the UE 102 a UECapabilityEnquiry message 106.

[0048] In response, the UE 102 sends the base station 104 a UECapabilityInformation message 108 that informs the base station 104 of one or more capability (s) of the UE 102 with respect to the use of one or more AI / ML models.

[0049] The base station 104 then sends the UE 102 an RRCReconfiguration message 110.

[0050] In response, the UE 102 sends the base station 104 applicable functionality reporting information 112. This applicable functionality reporting information 112 may indicate where or not an AI / ML model is applicable at the UE 102. An AI / ML model may be applicable or not based on, for example, a determination of whether the AI / ML model is sufficiently trained and / or accurate for the current operational environment of the UE. A functionality of an AI / ML model (and thus the AI / ML model) may be applicable when the UE is ready to apply that functionality for inferencing purposes.

[0051] The base station 104 then sends the UE 102 an RRCReconfigurationComplete message 114. This RRCReconfigurationComplete message 114 instructs the UE 102 in a manner of operating 116 the AI / ML model. As shown, such instructions may relate to aspects such as activation of the AI / ML model, deactivation of the AI / ML model, the use of inferencing at the AI / ML model, the monitoring of the AI / ML model, etc.

[0052] Embodiments herein relate to cases where uplink assistance information (UAI) is supported, where an RRCReconfigurationComplete message can be used to report applicable functionality information from a UE to a base station (e.g., an RRCReconfigurationComplete message that carries the applicable functionality reporting information 112 may be used) . It may be beneficial to generate alignment between vendors with respect to particular manner (s) in which applicable functionality (s) are signaled. Various contents for such applicability reporting may be contemplated.

[0053] In some cases, it may be that an inference configuration can be signaled to a UE in response to an indication of capability information from the UE (e.g., in the RRCReconfiguration message 110 that is sent by the UE 102 in response to the UECapabilityInformation message 108 that is sent by the base station 104) .

[0054] Embodiments herein relate cases where a UE reports, to the network, that a (previously) applicable AI / ML model / functionality has become non-applicable (and / or vice-versa) . Related signaling aspects (e.g., whether this report uses an explicit indication and / or communicates the change implicitly) are considered. Various different such embodiments may use various signaling schemes (e.g., based on whether the reporting is regarding an active AI / ML functionality / model or an inactive AI / ML functionality / model) .

[0055] In various embodiments, data collection initiation and / or configuration for data collection is understood to be under network control. Various aspects with respect to how the network determines whether data collection should be initiated may be considered. For example, data collection may be triggered via a UE request (from a UE directly and / or from a UE server) in some cases.

[0056] With respect to performance monitoring reports providing inferencing performance metrics for AI / ML models, various cases are contemplated. Some cases for performance monitoring reporting discussed herein relate to network triggered reports.

[0057] In some examples for network triggered reporting of inferencing performance metrics for AI / ML models, layer 1 (L1) -based configuration and reporting mechanisms are used. Corresponding to such L1-based mechanisms, aspects discussed herein include: the association of a performance monitoring reference signal with an inferencing reference signal and / or report; the prioritization of L1-based performance monitoring reports versus other types of reports; and central processing unit (CPU) counting and processing timelines for the use of such L1-based performance monitoring reporting.

[0058] In some examples for network triggered reporting, layer 3 (L3) -based configurations for and reporting of inferencing performance metrics for AI / ML models are used. Discussion herein relates to report configurations used for such L3-based reports.

[0059] Other cases for performance monitoring reporting of inferencing performance metrics for AI / ML models discussed herein relate to UE triggered reports. In some examples for UE triggered reporting, L1-based reports are used. In some examples for UE triggered reporting, medium access control control element (MAC CE) -based reporting is used. In some examples for UE triggered reporting, UAI-based reporting that (re) uses an applicability report framework (e.g., as discussed in relation to FIG. 1 herein) is discussed.

[0060] Various embodiments herein discuss mechanisms for the quantization of SGCS value (s) as may be provided / sent in these types of AI / ML model performance monitoring reports.Network Triggered L1-Based UE-Side AI / ML Model Performance Monitoring Reporting

[0061] In some embodiments, a CSI-reportConfig information element (IE) may be used to trigger L1-based AI / ML model performance monitoring reporting.

[0062] FIG. 2 illustrates a first CSI prediction case 200 corresponding to a use of an AI / ML model for CSI prediction. The first CSI prediction case 200 contemplates the use of CSI-RSs for inference 202 that are configured on a periodic or semi-persistent (P / SP) basis (e.g., as instructed to the UE by a base station) . The UE can measure the CSI-RSs for inference 202 to determine ground-truth CSI for the corresponding times. In the illustrated example, the CSI-RSs for inference 202 occur at a 20 milliseconds (ms) periodicity. Correspondingly, the UE can use the AI / ML model to generate new instances of the predicted CSI 204 and / or update existing instances of the predicted CSI 204 at this periodicity. As such, this periodicity may be understood as an inferencing CSI-RS periodicity 206.

[0063] The CSI-RSs for inference 202 may be used for inference purposes. For example, the ground truth CSI measured from the CSI-RSs for inference 202 may be used as input to an AI / ML model for CSI prediction in order to generate one or more instances of predicted CSI 204, including for times other than the times of the CSI-RSs for inference 202. The predicted CSI 204 may be generated according to an N4 slot interval factor 208 of four, meaning that, in the illustrated case of the 20 ms inferencing CSI-RS periodicity 206 between CSI-RSs for inference 202, the predicted CSI 204 occur according to gaps 210 of five ms, as shown. Note that in alternative cases, a different N4 slot interval factor other than four may be used.

[0064] The network may also transmit and configure the UE for (e.g., using the CSI-reportConfig IE) measurement of performance monitoring CSI-RSs 212 (in addition to the transmission and corresponding measurement of the CSI-RSs for inference 202 as just described) . As shown, these performance monitoring CSI-RSs 212 may align with instances of predicted CSI 204. These performance monitoring CSI-RSs 212 may be measured by the UE in order to generate ground-truth CSI at / for the corresponding time. An instance of this ground-truth CSI is then comparable to the temporally corresponding instance of the predicted CSI 204 for purposes of monitoring a performance of the AI / ML model that generates the predicted CSI 204.

[0065] Corresponding to the first CSI prediction case 200, it may be that the performance monitoring CSI-RSs 212 are configured using one or multiple CSI-RS resource sets.

[0066] A performance monitoring periodicity 214 at which performance monitoring reports are sent (e.g., that are based on corresponding instances of the performance monitoring CSI-RSs 212) may be different from / independently configured from the inferencing CSI-RS periodicity 206 of the CSI-RSs for inference 202. For example, it may be that the performance monitoring periodicity 214 is 100 ms. One or more inferencing performance metrics (e.g., SGCS value (s) ) for the AI / ML model may be provided in a report that is sent according to the performance monitoring periodicity 214.

[0067] Alternatives for the configuration and use of the performance monitoring CSI-RSs 212 in the first CSI prediction case 200 are now described.

[0068] In a first alternative corresponding to the first CSI prediction case 200, one P / SP CSI-RS resource set is configured such that a corresponding performance monitoring CSI-RS 212 occurs in the same location (or, alternatively, within an only slightly shifted location) within each period of a performance monitoring periodicity 214.

[0069] The first CSI prediction case 200, viewed one way, corresponds to this case, and where two such P / SP CSI-RS resource sets for performance monitoring are configured. One CSI-RS resource set configuration indicates for the first performance monitoring CSI-RS 216 (and, according to the performance monitoring periodicity 214, the third performance monitoring CSI-RS 220, and so on over time) The other CSI-RS resource set configuration indicates for the second performance monitoring CSI-RS 218 (and, according to the performance monitoring periodicity 214, the fourth performance monitoring CSI-RS 222, and so on over time) .

[0070] In some cases, a reporting configuration calls for the reporting of an SGCS value corresponding to each instance of the performance monitoring CSI-RSs 212 within a period of the performance monitoring periodicity 214 in a report corresponding to that period of the performance monitoring periodicity 214.

[0071] In a second alternative corresponding to the first CSI prediction case 200, a P / SP CSI-RS resource burst set may be configured. This CSI-RS resource burst set uses the performance monitoring periodicity 214 a its configuration periodicity as well.

[0072] The first CSI prediction case 200, viewed one way, corresponds to this case, where one CSI-RS resource burst set configuration indicates for both of the first performance monitoring CSI-RS 216 and the second performance monitoring CSI-RS 218 (and, according to the performance monitoring periodicity 214, the third performance monitoring CSI-RS 220 and the fourth performance monitoring CSI-RS 222, and so on over time) . An indication of a separation of d slots between performance monitoring CSI-RSs of a same performance monitoring periodicity 214 (so, for example, between the first performance monitoring CSI-RS 216 and the second performance monitoring CSI-RS 218) may be provided in the CSI-RS resource burst set configuration .

[0073] In cases using CSI-RS resource burst set configurations, the number of CSI-RS resources configured for use according to the performance monitoring periodicity 214 may be less than or equal to the number of predicted CSI 204 within a period of the performance monitoring periodicity 214. Further, the CSI-RSs of the CSI-RS burst set may use the same number of ports as used by the CSI-RSs for inference 202.

[0074] FIG. 3 illustrates a second CSI prediction case 300 corresponding to a use of an AI / ML model for CSI prediction. The second CSI prediction case 300 contemplates the use of CSI-RSs for inference 302 that are configured on a periodic or semi-persistent (P / SP) basis (e.g., as instructed to the UE by a base station) . The UE can measure the CSI-RSs for inference 302 to determine ground-truth CSI for the corresponding times.

[0075] The CSI-RSs for inference 302 may be used for inference purposes. For example, the ground truth CSI measured from the CSI-RSs for inference 302 may be used as input to an AI / ML model for CSI prediction in order to generate one or more instances of predicted CSI 304. The UE can use the AI / ML model to generate new instances of the predicted CSI 204 and / or update existing instances of the predicted CSI 204 as new CSI-RSs for inference 302 are measured / corresponding new ground truth CSI is developed over time.

[0076] Note that according to the second CSI prediction case 300, the timings of the CSI-RSs for inference 302 are aligned to the times for which there is predicted CSI 304. Accordingly, ground-truth CSI for an instance of the CSI-RSs for inference 302 is comparable to the temporally corresponding instance of the predicted CSI 204 for purposes of monitoring a performance of the AI / ML model that generates the predicted CSI 204.

[0077] Note that due to the alignment of the CSI-RSs for inference 302 with the instances of the predicted CSI 304 through time, the second CSI prediction case 300 does not strictly require the configuration of any “additional” reference signals for particularized use in facilitating performance monitoring of the AI / ML model (e.g., such as the performance monitoring CSI-RSs 212 that are configured-for in the first CSI prediction case 200) .

[0078] Further, due to the alignment of the CSI-RSs for inference 302 with the instances of the predicted CSI 304 through time, second CSI prediction case 300 may exhibit fewer channel aging impacts stemming from scheduling delays than the first CSI prediction case 200. For example, a 5 ms periodicity for the CSI-RSs for inference 302 results in a (same) 5 ms prediction periodicity.

[0079] Corresponding to the second CSI prediction case 300, configuration information (e.g., in a CSI-ReportConfig IE) for performance monitoring aspects may be provided. Within this configuration information, an explicit configuration of an L1 reporting periodicity may be instructed.

[0080] As to configuration for the CSI-RSs themselves, in a first alternative, no additional CSI-RS configuration is provided. The UE uses a measurement of a closest one (e.g., an aligned one) of the CSI-RSs for inference 302 to determine ground truth CSI to compare to an instance of the predicted CSI 304 for purposes of performance monitoring of the AI / ML model that generates the predicted CSI 304.

[0081] In a second alternative, the configuration information defines a separate CSI-RS resource set that maps to a subset (in the time domain) of the CSI-RSs for inference 302, and measurements of this subset of the CSI-RSs for inference 302 are compared to the aligned ones of the predicted CSI 304 for purposes of performance monitoring of the AI / ML model that generates the predicted CSI 304. It is noted that corresponding to this second alternative, the separate CSI-RS resource set configures for the use of ports that overlap those already used by the CSI-RSs for inference 302 (thus the use of this separate CSI-RS resource set does not incur any actually additional CSI-RS transmission overhead) .

[0082] Aspects related to priorities of network triggered performance monitoring reporting using L1-based reports for AI / ML model performance monitoring are now discussed.

[0083] First, aspects for prioritizing between a first report that is an L1-based performance monitoring report for an AI / ML model (e.g., for CSI prediction) or that is an L1-based inference report for an AI / ML model and a second report that is a non-AI / ML-model-based report having a reporting quantity (e.g., a precoder matrix indicator (PMI) , a channel quality indicator (CQI) , and / or a rank indicator (RI) ) that is different than a reporting metric or quantity in the first report are discussed. In such circumstances, the first report and the second report may be relatively prioritized without consideration of AI / ML or non-AI / ML aspects. For example, an aperiodic report may take priority over a semi-persistently configured report, and / or a semi-persistently configured report may take priority over a periodic report. Further, a report sent on a physical uplink shared channel (PUSCH) may take priority over a report sent on a physical uplink control channel (PUCCH) . Still further, a report having a relatively higher layer 1 reference signal receive power (L1-RSRP) and / or a layer 1 reference signal receive quality (L1-RSRQ) may be prioritized. Still further, a report corresponding to a relatively lower applicable cell index and / or a relatively lower applicable reportConfigID value may be prioritized.

[0084] Aspects for prioritizing between a first report that is an L1-based performance monitoring report for an AI / ML model or that is an L1-based inference report for an AI / ML model and a second report that is a non-AI / ML-model-based report having a reporting quantity that is the same than a reporting metric or quantity in the first report are now discussed. In a first alternative, the second report is prioritized over the first report. In a second alternative, the first report is prioritized over the second report.

[0085] Aspects for prioritizing between a first report that is an inferencing report of for an AI / ML model use case and a second report that is an L1-based performance monitoring report for the same AI / ML model use case are now discussed. In a first alternative, the second report is prioritized over the first report. In a second alternative, the first report is prioritized over the second report.

[0086] Aspects related to a number of occupied CPUs and a timeline for CPU processing of L1-based reports for AI / ML model performance monitoring are now discussed.

[0087] In some cases, an L1-based AI / ML model performance monitoring report may include an SGCS value for an AI / ML model.

[0088] Assuming a case of an AI / ML model that performs CSI prediction, the following framework may be used to calculate an SGCS value. First, a first PMI is reconstructed based on W1 / W2 coefficients found in an inferencing report. Note that this may be considered a reverse operation of W1 / W2 coefficient generation as may be used in some wireless communication system codebook mechanisms (e.g., 3GPP Release 16 and / or Release 18 codebook mechanisms) . Accordingly, this reconstruction may represent an additional computation at the UE side.

[0089] Then, a second PMI is calculated based on a measurement of a performance monitoring reference signal (e.g., a performance monitoring CSI-RS) . Note that this operation may include codebook generation and codebook reconstruction (e.g., as two separate steps) to generate the second PMI as considered after quantization effects are accounted for.

[0090] Then, the SGCS is calculated based on the first PMI and the second PMI for this corresponding prediction instance. The calculated SGCS is then quantized and prepared for uplink (UL) transmission by the UE.

[0091] Various relaxations may be possible within the above framework. For example, when N4 = 1, codebookType is “typeII-Doppler-r18, ” the reportQuantity indicates for the SGCS metric type for performance monitoring, and the CSI-RS resource set is periodic or semi-persistent, a new value (or three times a value) may be used.

[0092] In another example, when N4 > 1, codebookType is “typeII-Doppler-r18, ” the reportQuantity indicates for the SGCS metric type for performance monitoring, and the CSI-RS resource set is periodic or semi-persistent, a new value, a 4 times value, or use of N4 = 1 may be used, based on UE capability.

[0093] In another example, when N4 > 4 and aperiodic triggering is used, (3*Z2+14 (K-1) m, 3*Z2′) or (3*Z2+Z2′+14 (K-1) m, 4*Z2′) may be used, based on UE capability.Network Triggered L3-Based UE-Side AI / ML Model Performance Monitoring Reporting

[0094] Embodiments herein for using network triggered monitoring reports for AI / ML models using L3-based reporting anticipate that the UE is able to determine a measurement reporting metric (e.g., an SGCS value) as between predicted CSI for a given time and a ground-truth CSI that is (later) determined at / for that given time, in the manner that is discussed elsewhere herein (see FIG. 2 and FIG. 3 and related discussion) . Such measurement reporting metrics may be reported within the L3-based reporting scheme.

[0095] Note that it is further contemplated that such an L3-based reporting mechanism facilitates the use of average values of such metrics as generated through / over time. For example, a UE may collect multiple “raw” SGCS values as between predicted CSI and corresponding ground truth CSI (e.g., as discussed in relation to FIG. 2 and / or FIG. 3) over multiple time instances and average these collected SGCS values into an average SGCS value. This average SGCS value may then be reported.

[0096] Various alternatives for an L3-based reporting mechanisms for network triggered performance monitoring reports for UE-side AI / ML models are now detailed.

[0097] In a first alternative, performance monitoring reporting metrics for an AI / ML model as calculated by the UE are provided to the base station according to an L3-based measurement reporting mechanism. In such cases, a measurement object (MO) configuration received from a base station provides configuration information for each of a performance monitoring reference signal and for an inferencing reference signal. For example, a P / SP CSI-RS resource set (s) may be configured that indicate (s) each of a CSI-RS used for performance monitoring and a CSI-RS used for inferencing / to generate predicted CSI.

[0098] Further, a reporting configuration may indicate an inferencing performance metric type to use (e.g., a reportQuantity value may indicate that an SGCS metric type is used) .

[0099] Finally, the base station may indicate to the UE that the MO uses the reporting configuration (e.g., the base station may indicate a PerformanceMonitoringID value or a measurementReportID value that links the MO configuration and the reporting configuration) .

[0100] Then, when the UE reports L3 measurements (e.g., via MeasureResults messages according to either periodic L3 radio resource management (RRM) reporting or event triggered reporting) , the UE includes within the report an inferencing performance metric for the AI / ML model. The UE may include a PerformanceMonitoringID / ameasurementReportID in the report. The UE may include a cell identifier (ID) (e.g., a physical cell identity (PCI) ) of the cell on for which the inferencing performance metric was calculated.

[0101] A second alternative for L3-based reporting mechanisms for network triggered performance monitoring reports for AI / ML models uses an applicability reporting framework (such as that discussed herein in relation to FIG. 1) . According to the second alternative, an RRCReconfigurationComplete message that provides applicability reporting for the AI / ML model may be used to deliver an inferencing performance metric. For example, returning to FIG. 1, it may be that after an RRCReconfiguration message 110 configures an applicability of the AI / ML model, the UE may report any available inferencing performance metric (s) in an RRCReconfigurationComplete message that is used to deliver the applicable functionality reporting information 112.

[0102] A third alternative for L3-based reporting mechanisms for network triggered performance monitoring reports for AI / ML models uses a logged measurement framework. According to this third alternative, the UE may store multiple inferencing performance metrics for the AI / ML model (e.g., multiple SGCS values or multiple average SGCS values) as collected / calculated over time in a local access stratum (AS) buffer. Multiple such inferencing performance metrics (e.g., all such inferencing performance metrics currently stored in the AS buffer) can be reported in a same reporting message (e.g., a single radio resource control (RRC) message) . In some cases, this reporting may occur in response to a request from the base station to provide the contents of the AS buffer to the base station (e.g., according to the use of an UEInformationRequest and UEInformationResponse messaging mechanism) .UE Triggered L1-Based UE-Side AI / ML Model Performance Monitoring Reporting

[0103] Various alternatives for L1-based reporting mechanisms for UE triggered performance monitoring reports for UE-side AI / ML models are now detailed.

[0104] In a first mode, the performance monitoring reporting is dynamically scheduled by uplink control information (UCI) . A UE transmits a PUCCH to request a resource for a second UL channel to carry a beam report. In some such cases, one or more bits can be added to an existing design (e.g., a 3GPP Release 19 UE initiated report PUCCH design, as defined in / for a multiple input multiple output (MIMO) UE initiated beam report) . In other such cases, a new UCI type may be configured for purposes of triggering performance monitoring reporting for an AI / ML model at the UE side.

[0105] The UE then detects a responsive downlink control information (DCI) format indicating a resource for a second UL channel that can be used to carry a performance monitoring report for the AI / ML model. The UE then sends the performance monitoring report this second UL channel.

[0106] The performance monitoring report may include, assuming various types of AI / ML models (including AI / ML models for beam management (BM) and / or for CSI prediction) , a reportConfigID indication for the reporting configuration for a corresponding inference report. In cases of AI / ML models for positioning, the performance monitoring report may include an indication of a positioning report corresponding to a positioning case 1.

[0107] The performance monitoring report may include a per-use-case inferencing performance metric over a certain time. This use may depend on an applicable use case event definition and / or an applicable performance output definition.

[0108] In a second mode, the UE transmits a PUCCH that indicate that a second UL channel will carry an event-based performance monitoring report for the AI / ML model at the UE. In a first alternative here, one or more additional bits can be added to an existing PUCCH design (e.g., to a 3GPP Release 19 UE initiated report PUCCH design) . In another alternative, a separate / independent PUCCH design that is for performance monitoring reports for AI / ML models may be used.

[0109] The UE then sends the performance monitoring report on the second UL channel as indicated.

[0110] The performance monitoring report may include, assuming various types of AI / ML models (including AI / ML models for BM and / or for CSI prediction) , a reportConfigID indication for the reporting configuration for a corresponding inference report. In cases of AI / ML models for positioning, the performance monitoring report may include an indication of a positioning report corresponding to positioning case 1.

[0111] The performance monitoring report may include a per-use-case inferencing performance metric over a certain time. This includes, for example, an indication of an average SGCS value, statistics of an SGCS value over a time window, beam accuracy over a configured time, etc.

[0112] Mechanisms for base station control of the performance of the second UL channel are now discussed. In a first alternative, the base station may configure a pre-defined time gap between the PUCCH and the second UL channel.

[0113] In a second alternative, a timer may be defined that is used to ensure that the UE sends the second UL channel within a reasonable time frame (e.g., from the PUCCH) . If timer expires, the second UL channel is not transmitted by the UE.UE Triggered MAC CE-Based UE-Side AI / ML Model Performance Monitoring Reporting

[0114] While UE L1-based reporting mechanisms can provide feedback relatively quickly, adoption of such solutions within existing wireless communication systems may correspond to a relatively large impact on the specification of such wireless communication systems. Accordingly, other reporting mechanisms involving relatively smaller impact on such specifications are discussed herein.

[0115] Various aspects for the use of MAC CE-based reporting mechanisms for UE triggered performance monitoring reports for UE-side AI / ML models are now discussed.

[0116] It is contemplated that a UE is able to transmit a MAC CE that includes a report for an AI / ML model at the UE whenever there is an existing PUSCH allocation. Such a MAC CE can be defined for various sub-use cases for AI / ML-based use case performance monitoring.

[0117] In a first alternative, one logical channel identifier (LCID) or extended logical channel identifier (eLCID) may be used for cases for reporting a performance of an AI / ML model (where the LCID indicates generally that a MAC CE includes AI / ML model performance reporting information) .

[0118] The particular use case referenced by (aportion of) the MAC CE is represented in a corresponding sub-field. Then, one of various different inferencing performance metric (s)  / performance monitoring outputs for the use case can be defined on a per sub-use case (where the sub-use case is also represented in another sub-field in the MAC CE) .

[0119] In a second alternative, a different LCID / eLCID is used corresponding to each possible sub-use case for a use case. In such circumstances, the content of each use case can be flexibly defined.

[0120] In whichever alternative, the MAC CE may be of a flexible size.

[0121] FIG. 4 illustrates a MAC CE 400 as may be used in UE triggered AI / ML model performance monitoring reporting mechanisms discussed herein. A first cell octet 406 includes indications for serving cells Ci (i = 1–8) of the UE. Each indication is used to communicate whether or not the UE reports inferencing performance metric (s)  / output (s) for i-th serving cell. In cases where the indication for a Ci-th cell is 1, the network understands that the MAC CE includes octets for that cell that indicate a use case, an applicable CSI-reportConfigID, and monitoring metric (s)  / output (s) . In cases where the indication for a Ci-th cell is 0, the network understands that no such fields / octets are present for that serving cell in the MAC CE.

[0122] The MAC CE 400 assumes a case where the first cell octet 406 includes an indication of 1 for the cell C1. Accordingly, there is a first cell octet set 402 for the cell C1. As illustrated, this first cell octet set 402 includes a use case field for a use case indication for cell C1, a sub-use case field for a sub-use case indication for cell C1, a cell ID field for a cell ID for cell C1, a CSI-reportConfigID field for reporting a corresponding CSI-reportConfigID for cell C1, and a metric (s) field for reporting one or more inferencing performance metric (s)  / output (s) for cell C1.

[0123] The MAC CE 400 further assumes a case where (more generally) the first cell octet 406 includes an indication of 1 for a cell Ci (where i may be equal of any of 2 …8) . Accordingly, there is a second cell octet set 404 for the cell Ci. As illustrated, this second cell octet set 404 includes a use case field for a use case indication for cell Ci, a sub-use case field for a sub-use case indication for cell Ci, a cell ID field for a cell ID for cell Ci, a CSI-reportConfigID field for reporting a corresponding CSI-reportConfigID for cell Ci, and a metric (s) field for reporting one or more inferencing performance metric (s)  / output (s) for cell Ci.

[0124] In some cases for MAC CE-based reporting mechanisms for UE triggered performance monitoring reports for AI / ML models, dedicated scheduling requests (SRs) may be used. For example, a dedicated SR may be mapped to the case of an availability of a MAC CE-based AI / ML model performance monitoring report. Then, in cases where the UE would like to send a MAC CE for the AI / ML model performance monitoring report and an UL grant is available at the UE, the UE transmits the MAC CE via the available UL grant. Further, in cases where the UE would like to send a MAC CE for the AI / ML model performance monitoring report, but where there is no available UL grant, the UE first sends the dedicated SR to the network and transmits the UL MAC CE according to a UL grant received in response to the dedicated SR.

[0125] In alternative cases where there is no available UL grant and where a dedicated SR is not configured to the UE, a random access channel (RACH) procedure may be triggered by the UE for the purposes of acquiring a UL grant for UAI transmission that carries an AI / ML model performance monitoring report.

[0126] FIG. 5 illustrates a MAC-CellGroupConfig IE 500 as may be used according to various embodiments discussed herein. The MAC-CellGroupConfig IE 500 may be sent to the UE from the network. As shown, the MAC-CellGroupConfig IE 500 includes a schedulingRequestID-AvailabilityMonitoring IE 502 that communicates an ID for a dedicated SR for use in a MAC CE-based AI / ML model performance monitoring reporting mechanism.UE Triggered RRC-Based UE-Side AI / ML Model Performance Monitoring Reporting

[0127] Various aspects for the use of RRC-based reporting mechanisms for UE triggered performance monitoring reports for UE-side AI / ML models are now discussed.

[0128] Various embodiments herein for UE triggered RRC-based AI / ML model performance monitoring reporting use an applicability reporting framework, such as that discussed herein in relation to FIG. 1 where a UE 102 may send applicable functionality reporting information 112 to a base station 104.

[0129] It is contemplated that multiple such messages containing applicable functionality reporting information can be sent over a period of time during which the applicability of the AI / ML model changes. Accordingly, it may be that the UE indicates that an AI / ML model is not applicable in a first such message, then that the UE indicates that the AI / ML model is applicable in a later such message, and then that the UE indicates that the AI / ML model is not applicable in a still later such message. For performance monitoring purposes, UAI can be configured to carry the report.

[0130] Alternatives for UE triggered RRC-based AI / ML model performance monitoring reporting are now discussed.

[0131] FIG. 6 illustrates a procedure 600 between a UE 602 and a base station 604 for UE triggered RRC-based AI / ML model performance monitoring reporting where an inferencing performing metric is reported within an applicability functionality reporting message. First, the UE 602 sends the base station 604 a UE capability report 606. The UE capability report 606 indicates to the base station 604 that the UE 602 supports an AI / ML model feature / feature group (FG) (and thus an AI / ML model) of interest.

[0132] The base station 604 then sends the UE 602 an RRCReconfiguration message 608 that configures to the UE to perform reporting for the AI / ML model at the UE side. As shown, the base station 604 can use the RRCReconfiguration message 608 to configure a condition under which an inferencing performance metric for the AI / ML model is to be reported along with AI / ML model applicability information (e.g., using an OtherConfig field of the RRCReconfiguration message 608) .

[0133] In some cases, the condition for including an inferencing performance metric with AI / ML model applicability information is that an applicability of the AI / ML model has changed from applicable to not applicable.

[0134] In some cases, the condition for including an inferencing performance metric with AI / ML model applicability information is that an applicability of the AI / ML model has changed from not applicable to applicable.

[0135] In some cases, the condition for including an inferencing performance metric with AI / ML model applicability information is that the inferencing performance metric is less than a second inferencing performance metric calculated using a current instance of ground truth CSI and a previous instance of ground truth CSI.

[0136] In some cases, the condition for including an inferencing performance metric with AI / ML model applicability information is that the inferencing performance metric is not less than a second inferencing performance metric calculated using a current instance of ground truth CSI and a previous instance of ground truth CSI.

[0137] In some cases, the condition for including an inferencing performance metric with AI / ML model applicability information is that an applicability of the AI / ML model has changed from applicable to not applicable and that the inferencing performance metric is less than a second inferencing performance metric calculated using a current instance of ground truth CSI and a previous instance of ground truth CSI.

[0138] In some cases, the condition for including an inferencing performance metric with AI / ML model applicability information is that an applicability of the AI / ML model has changed from not applicable to applicable and that the inferencing performance metric is not less than a second inferencing performance metric calculated using a current instance of ground truth CSI and a previous instance of ground truth CSI.

[0139] The UE 602 then to determines 610 whether the condition is met. If the condition is met, the UE sends the base station 604 a UAI message 612 that includes both an indication of the applicability of the AI / ML model and the inferencing performance metric for the AI / ML model. Due to the inclusion of the applicability indication, the UAI message 612 may be understood as a type of applicability functionality reporting message in some cases.

[0140] FIG. 7 illustrates a procedure 700 between a UE 702 and a base station 704 for UE triggered RRC-based AI / ML model performance monitoring reporting where a performance monitoring report containing an inferencing performing metric for an AI / ML model is triggered by a UAI message sent by the UE 702.

[0141] First, the UE 702 sends the base station 704 a UE capability report 706. The UE capability report 706 indicates to the base station 704 that the UE 702 supports an AI / ML model feature / FG (and thus an AI / ML model) of interest.

[0142] The base station 704 then sends the UE 702 an RRCReconfiguration message 708 that configures to the UE to perform reporting for the AI / ML model.

[0143] The UE 702 then determines 710 that there has been an applicability status change for the AI / ML model at the UE. In response, the UE 702 sends the base station 704 a first UAI message 712 that includes an indication of the applicability of the AI / ML model. Due to the inclusion of the applicability indication, the first UAI message 712 may be understood as a type of applicability functionality reporting message in some cases.

[0144] The base station 704 then determines 714, based on the newly reported applicability status of the AI / ML model, to check a performance of the AI / ML model / amonitored status of the AI / ML model (e.g., by checking an inferencing performance metric of the UE 702) . Accordingly, the base station 704 sends the UE 702 a request 716 to provide another UAI message in the form of a performance monitoring report having the inferencing performing metric of the AI / ML model. In some embodiments, the request 716 is sent via DCI. In some embodiments, the request 716 is sent via a MAC CE. In some embodiments, the request 716 is sent in a downlink (DL) RRC message.

[0145] The UE 702 then responds by sending the base station 704 the second UAI message 718 containing the inferencing performance metric, as requested.

[0146] Note that various alternatives (e.g., those discussed in FIG. 6 and / or FIG. 7) for UE triggered RRC-based AI / ML model performance monitoring reporting may facilitate the use of various different types of inferencing performance metrics in the reporting UAI message (including, without limitation, an average SGCS value as calculated according to one of the CSI-RS prediction mechanisms discussed in relation to FIG. 2 and / or FIG. 3) .Embodiments for Quantization of SGCS Values

[0147] Embodiments for the quantization of SGCS values are now discussed. Note that quantization mechanisms discussed herein may be used in various cases of SGCS values, including cases of raw SGCS values, average SGCS values, etc.

[0148] In a first option, an SGCS metric type is quantized between 0 and 1, with a step size of 0.01. Each possible SGCS value under this mechanism may use seven bits.

[0149] In a second option, an SGCS metric type uses a uniform quantization from x to 1, with a step size of 0.01. In cases where the value of the SGCS is low, providing the SGCS value according to the 0.01 step size precision may not be particularly useful, because the network treats all such cases of low SGCS in a same manner, regardless of particular value. Accordingly, to save on signaling overhead, a value x can be selected that defines out these low values of SGCS (e.g., that are less than x) such that a bit size used for the remaining non-low SGCS values does not have to account for the full range between 0 and 1. Accordingly, the number of bits used to communicate an SGCS value in such cases may be reduced as compared to the first option (e.g., may be six or five bits, depending on the value selected for x) . Note that in some embodiments, the value x may be a value such as 0.33 or 0.5.

[0150] In a third option, when multiple prediction instances are reported, it may be a typical case that the first prediction instance has a largest SGCS value, and later prediction instances have lower SGCS values. Corresponding to this typical case, it is beneficial to use differential signaling mechanisms due to the expected instances for lower SGCS. Accordingly, the first SGCS value may be a full SGCS value (e.g., that is quantized using the first option or the second option as previously discussed) . Then, the later SGCS values may be indicated using differential values to the first SGCS value and that are each quantized with a 0.01 step size.

[0151] Cases where SGCS-based statistics are reported in a performance monitoring report for an AI / ML model are now discussed. In cases using an average SGCS value, the average SGCS value over a time window can be reported separately (e.g., from other average SGCS values for different time windows) . In some cases, one of the first option, the second option, or the third option discussed above may be used to communicate such values.

[0152] Then, any additional SGCS value per instance within the window may be differentially coded on top of the average SGCS value. For example, for each monitoring instance, if one bit is used, a ‘1’ indicates an SGCS value that is higher than the average SGCS value, while a ‘0’ indicates that an SGCS value that is lower than the average SGCS value. If multiple bits are used, a quantization step is correspondingly used.

[0153] Note that in such cases for SGCS-based statistics are reported, an additional SGCS value (such as an SGCS at or exceeding 90%etc. ) , may be differentially coded on top of the average SGCS value.

[0154] Various embodiments herein discuss, by way of example, the use of SGCS values as inferencing reporting metrics in cases for performance monitoring for a UE-side AI / ML model for CSI prediction. However, it will be understood that various principles of the example procedures discussed herein apply generally to cases for UE assisted AI / ML model performance monitoring for UE-sided AI / ML models for functionalities other than CSI prediction. For example, performance monitoring mechanisms described herein may also be applied to cases of UE-sided AI / ML models for beam management, UE-sided parts of two-sided AI / ML models for CSI compression, etc.

[0155] FIG. 8 illustrates a method 800 of a UE, according to embodiments discussed herein. The method 800 includes receiving 802, from a base station, configuration information comprising an MO configuration for an MO that defines a first CSI-RS to use to generate first predicted CSI feedback for a time t1 and a second CSI-RS at the time t1 to use for performance monitoring; a reporting configuration that indicates for a use of an inferencing performance metric type in a measurement reporting message; and an indication that the MO uses the reporting configuration. The method 800 further includes generating 804, using an AI / ML model, based on a measurement of the first CSI-RS, the first predicted CSI feedback for the time t1. The method 800 further includes generating 806 first ground-truth CSI feedback for the time t1 based on a second measurement of the second CSI-RS at the time t1. The method 800 further includes calculating 808 an inferencing performance metric of the inferencing performance metric type based on the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the time t1. The method 800 further includes sending 810, to the base station, the measurement reporting message indicated by the reporting configuration, wherein the measurement reporting message comprises the inferencing performance metric.

[0156] In some embodiments of the method 800, the inferencing performance metric type comprises an SGCS metric type, and the inferencing performance metric comprises an SGCS value calculated using the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the time t1.

[0157] In some embodiments of the method 800, the MO configuration for the MO further defines a third CSI-RS to use to generate a second predicted CSI feedback for a time t2 and a fourth CSI-RS at the time t2 to use for the performance monitoring, and the method 800 further includes: generating, using the AI / ML model, based on a third measurement of the third CSI-RS, the second predicted CSI feedback for the time t2; and generating second ground-truth CSI feedback for the time t2 based on a fourth measurement of the fourth CSI-RS at the time t2; wherein the calculating the inferencing performance metric of the inferencing performance metric type is further based on the second predicted CSI feedback for the time t2 and the second ground-truth CSI feedback for the time t2. In some such embodiments, the inferencing performance metric type is a SGCS metric, and the inferencing performance metric comprises an average SGCS value that is an average of: a first SGCS value calculated using the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the time t1; and a second SGCS value calculated using the second predicted CSI feedback for the time t2 and the second ground-truth CSI feedback for the time t2.

[0158] In some embodiments of the method 800, the reporting configuration configures the UE for periodic measurement reporting message transmission, and the measurement reporting message is sent according to the configuration for the periodic measurement reporting message transmission.

[0159] In some embodiments, the method 800 further includes identifying a measurement reporting message transmission event, and the measurement reporting message is sent in response to the measurement reporting message transmission event.

[0160] In some embodiments of the method 800, the measurement reporting message further comprises an identifier for a cell of the first CSI-RS and the second CSI-RS.

[0161] FIG. 9 illustrates a method 900 of a base station, according to embodiments discussed herein. The method 900 includes sending 902, to a UE, configuration information comprising an MO configuration for an MO that defines a first CSI-RS to use to generate first predicted CSI feedback for a time t1 and a second CSI-RS at the time t1 to use for performance monitoring; a reporting configuration that indicates for a use of an inferencing performance metric type in a measurement reporting message; and an indication that the MO uses the reporting configuration. The method 900 further includes sending 904, to the UE, the first CSI-RS and the second CSI-RS. The method 900 further includes receiving 906, from the UE, the measurement reporting message indicated by the reporting configuration, wherein the measurement reporting message comprises an inferencing performance metric of the inferencing performance metric type that is based on the first predicted CSI feedback for the time t1 and first ground-truth CSI feedback for the second CSI-RS.

[0162] In some embodiments of the method 900, the inferencing performance metric type comprises an SGCS metric type, and the inferencing performance metric comprises an SGCS value calculated using the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the second CSI-RS.

[0163] In some embodiments of the method 900, the MO configuration for the MO further defines a third CSI-RS to use to generate a second predicted CSI feedback for a time t2 and a fourth CSI-RS at the time t2 to use for the performance monitoring, and the inferencing performance metric is further based on the second predicted CSI feedback for the time t2 and second ground-truth CSI feedback for the fourth CSI-RS. In some such embodiments, the inferencing performance metric type is an SGCS metric, and the inferencing performance metric comprises an average SGCS value that is an average of: a first SGCS value calculated using the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the second CSI-RS; and a second SGCS value calculated using the second predicted CSI feedback for the time t2 and the second ground-truth CSI feedback for the fourth CSI-RS.

[0164] In some embodiments of the method 900, the reporting configuration configures the UE for periodic measurement reporting message transmission, and wherein the measurement reporting message is received according to the configuration for the periodic measurement reporting message transmission.

[0165] In some embodiments of the method 900, the measurement reporting message is received in response to a measurement reporting message transmission event detected by the UE.

[0166] In some embodiments of the method 900, the measurement reporting message further comprises an identifier for a cell of the first CSI-RS and the second CSI-RS.

[0167] FIG. 10 illustrates a method 1000 of a UE, according to embodiments discussed herein. The method 1000 includes calculating 1002 an inferencing performance metric for an AI / ML model. The method 1000 further includes receiving 1004, from a base station, an RRC reconfiguration message that configures the UE to report an applicability of the AI / ML model. The method 1000 further includes sending 1006, to the base station, in response to the RRC reconfiguration message, an RRC reconfiguration complete message comprising an indication of the applicability of the AI / ML model and the inferencing performance metric.

[0168] In some embodiments, the method 1000 further includes generating, using the AI / ML model, first predicted CSI feedback for a time t1; and generating first ground-truth CSI feedback for the time t1 based on a first measurement of a first CSI-RS at the time t1; wherein the inferencing performance metric is calculated based on the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the time t1.

[0169] In some such embodiments, the inferencing performance metric comprises an SGCS value calculated using the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the time t1.

[0170] In some such embodiments, the method 1000 further includes generating, using the AI / ML model, a second predicted CSI feedback for a time t2; and generating second ground-truth CSI feedback for the time t2 based on a second measurement of a second CSI-RS at the time t2; wherein the calculating the inferencing performance metric is further based on the second predicted CSI feedback for the time t2 and the second ground-truth CSI feedback for the time t2. In some of these cases, the inferencing performance metric comprises an average SGCS value that is an average of: a first SGCS value calculated using the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the time t1; and a second SGCS value calculated using the second predicted CSI feedback for the time t2 and the second ground-truth CSI feedback for the time t2.

[0171] FIG. 11 illustrates a method 1100 of a base station, according to embodiments discussed herein. The method 1100 includes sending 1102, to a UE, an RRC reconfiguration message that configures the UE to report an applicability of an AI / ML model. The method 1100 further includes receiving 1104, from the UE, in response to the RRC reconfiguration message, an RRC reconfiguration complete message comprising an indication of the applicability of the AI / ML model and an inferencing performance metric for the AI / ML model.

[0172] In some embodiments, the method 1100 further includes sending, to the UE, a first CSI-RS at a time t1; wherein the inferencing performance metric is calculated based on first predicted CSI feedback for the time t1 and first ground-truth CSI feedback for the first CSI-RS.

[0173] In some such embodiments, the inferencing performance metric comprises an SGCS value calculated using the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the first CSI-RS.

[0174] In some such embodiments, the method 1100 further includes sending, to the UE, a second CSI-RS at a time t2; wherein the inferencing performance metric is further calculated based on second predicted CSI feedback for the time t2 and second ground-truth CSI feedback for the second CSI-RS. In some of these cases, the inferencing performance metric comprises an average SGCS value that is an average of: a first SGCS value calculated using the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the first CSI-RS; and a second SGCS value calculated using the second predicted CSI feedback for the time t2 and the second ground-truth CSI feedback for the second CSI-RS.

[0175] FIG. 12 illustrates a method 1200 of a UE, according to embodiments discussed herein. The method 1200 includes calculating 1202 a first inferencing performance metric for an AI / ML model. The method 1200 further includes storing 1204 the first inferencing performance metric in an AS buffer of the UE. The method 1200 further includes receiving 1206, from a base station, a request to provide contents of the AS buffer to the base station. The method 1200 further includes sending 1208, to the base station, in response to the request, a response message comprising the first inferencing performance metric.

[0176] In some embodiments of the method 1200, the AS buffer of the UE further contains a second inferencing performance metric; and the response message further comprises the second inferencing performance metric.

[0177] In some embodiments, the method 1200 further includes generating, using the AI / ML model, first predicted CSI feedback for a time t1; and generating first ground-truth CSI feedback for the time t1 based on a first measurement of a first CSI-RS at the time t1; wherein the first inferencing performance metric is calculated based on the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the time t1.

[0178] In some such embodiments, the first inferencing performance metric comprises an SGCS value calculated using the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the time t1.

[0179] In some such embodiments, the method 1200 further includes generating, using the AI / ML model, a second predicted CSI feedback for a time t2; and generating second ground-truth CSI feedback for the time t2 based on a second measurement of a second CSI-RS at the time t2; wherein the calculating the first inferencing performance metric is further based on the second predicted CSI feedback for the time t2 and the second ground-truth CSI feedback for the time t2. In some of these cases, the first inferencing performance metric comprises an average SGCS value that is an average of: a first SGCS value calculated using the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the time t1; and a second SGCS value calculated using the second predicted CSI feedback for the time t2 and the second ground-truth CSI feedback for the time t2.

[0180] FIG. 13 illustrates a method 1300 of a base station, according to embodiments discussed herein. The method 1300 includes sending 1302, to a UE, a request to provide contents of an AS buffer containing a first inferencing performance metric for an AI / ML model to the base station. The method 1300 further includes receiving 1304, from the UE, in response to the request, a response message comprising the first inferencing performance metric.

[0181] In some embodiments of the method 1300, the AS buffer of the UE further contains a second inferencing performance metric; and wherein the response message further comprises the second inferencing performance metric.

[0182] In some embodiments, the method 1300, further includes sending, to a user equipment, a first CSI-RS at a time t1; wherein the first inferencing performance metric is calculated based on first predicted CSI feedback for the time t1 and first ground-truth CSI feedback for the first CSI-RS.

[0183] In some such embodiments, the first inferencing performance metric comprises an SGCS value calculated using the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the first CSI-RS.

[0184] In some such embodiments, the method 1300 further includes sending, to the UE, a second CSI-RS at a time t2; wherein the first inferencing performance metric is further calculated based on second predicted CSI feedback for the time t2 and second ground-truth CSI feedback for the second CSI-RS. In some of these cases, the first inferencing performance metric comprises an average SGCS value that is an average of: a first SGCS value calculated using the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the first CSI-RS; and a second SGCS value calculated using the second predicted CSI feedback for the time t2 and the second ground-truth CSI feedback for the second CSI-RS.

[0185] FIG. 14 illustrates a method 1400 of a UE, according to embodiments discussed herein. The method 1400 includes receiving 1402, from a base station, configuration information indicating a condition for providing a first inferencing performance metric for an AI / ML model within an applicable functionality reporting message that indicates an applicability of the AI / ML model. The method 1400 further includes calculating 1404 the first inferencing performance metric for the AI / ML model. The method 1400 further includes determining 1406 that the condition is met. The method 1400 further includes including 1408, in response to the determination the condition is met, the first inferencing performance metric in the applicable functionality reporting message. The method 1400 further includes sending 1410 the applicable functionality reporting message to the base station.

[0186] In some embodiments, the method 1400 further includes generating, using the AI / ML model, first predicted CSI feedback for a time t1; and generating first ground-truth CSI feedback for the time t1 based on a first measurement of a first channel state information reference signal (CSI-RS) at the time t1; wherein the first inferencing performance metric is calculated based on the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the time t1.

[0187] In some such embodiments, the first inferencing performance metric comprises am SGCS value calculated using the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the time t1.

[0188] In some such embodiments, the method 1400 further includes generating, using the AI / ML model, second predicted CSI feedback for a time t2; and generating second ground-truth CSI feedback for the time t2 based on a second measurement of a second CSI-RS at the time t2; wherein the calculating the first inferencing performance metric is further based on the second predicted CSI feedback for the time t2 and the second ground-truth CSI for the time t2. In some of these cases, the first inferencing performance metric comprises an average SGCS value that is an average of: a first SGCS value calculated using the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the time t1; and a second SGCS value calculated using the second predicted CSI feedback for the time t2 and the second ground-truth CSI feedback for the time t2.

[0189] In some such embodiments, the method 1400 further includes calculating a second inferencing performance metric for the AI / ML model based on the first ground truth CSI feedback for the time t1 and second ground-truth CSI feedback for a time t0 that is prior to the time t1; wherein the condition comprises that the first inferencing performance metric for the AI / ML model is worse than the second inferencing performance metric. In some of these cases, the condition further comprises that the applicability of the AI / ML model has changed from applicable to not applicable.

[0190] In some such embodiments, the method 1400 further includes calculating a second inferencing performance metric for the AI / ML model based on the first ground truth CSI feedback for the time t1 and second ground-truth CSI feedback for a time t0 that is prior to the time t1; wherein the condition comprises that the first inferencing performance metric for the AI / ML model is not worse than the second inferencing performance metric. In some of these cases, the condition further comprises that the applicability of the AI / ML model has changed from not applicable to applicable.

[0191] In some embodiments of the method 1400, the condition comprises that the applicability of the AI / ML model has changed from applicable to not applicable.

[0192] In some embodiments of the method 1400, the condition comprises that the applicability of the AI / ML model has changed from applicable to not applicable.

[0193] FIG. 15 illustrates a method 1500 of a base station, according to embodiments discussed herein. The method 1500 includes sending 1502, to a UE, configuration information indicating a condition for providing a first inferencing performance metric for an AI / ML model within an applicable functionality reporting message that indicates an applicability of the AI / ML model. The method 1500 further includes receiving 1504, from the UE, in response to the configuration information, the applicability functionality reporting message indicating the applicability of the AI / ML model, the applicability functionality reporting message comprising the first inferencing performance metric.

[0194] In some embodiments, the method 1500 further includes sending, to the UE, a first CSI-RS at a time t1; wherein the first inferencing performance metric is based on predicted CSI feedback for the time t1 and first ground-truth CSI feedback for the time t1 that is based on the first CSI-RS.

[0195] In some such embodiments, the first inferencing performance metric comprises an SGCS value calculated using the predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the time t1.

[0196] In some such embodiments, the method 1500 further includes sending, to the UE, a second CSI-RS at a time t2; wherein the first inferencing performance metric is further based on second predicted CSI feedback for the time t2 and second ground-truth CSI feedback for the time t2 that is based on the second CSI-RS. In some of these cases, the first inferencing performance metric comprises an average SGCS value that is an average of: a first SGCS value calculated using the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the time t1; and a second SGCS value calculated using the second predicted CSI feedback for the time t2 and the second ground-truth CSI feedback for the time t2.

[0197] In some such embodiments, the condition comprises that the first inferencing performance metric for the AI / ML model is worse than a second inferencing performance metric for the AI / ML model calculated based on the first ground truth CSI feedback for the time t1 and second ground-truth CSI feedback for a time t0 that is prior to the time t1. In some of these cases, the condition further comprises that the applicability of the AI / ML model has changed from applicable to not applicable.

[0198] In some such embodiments, the condition comprises that the first inferencing performance metric for the AI / ML model is not worse than a second inferencing performance metric for the AI / ML model calculated based on the first ground truth CSI feedback for the time t1 and second ground-truth CSI feedback for a time t0 that is prior to the time t1. In some of these cases, the condition further comprises that the applicability of the AI / ML model has changed from not applicable to applicable.

[0199] In some embodiments of the method 1500, the condition comprises that the applicability of the AI / ML model has changed from applicable to not applicable.

[0200] In some embodiments of the method 1500, the condition comprises that the applicability of the AI / ML model has changed from not applicable to applicable.

[0201] FIG. 16 illustrates a method 1600 of a UE, according to embodiments discussed herein. The method 1600 includes sending 1602, to a base station, an applicable functionality reporting message that indicates an applicability of an AI / ML model. The method 1600 further includes receiving 1604, from the base station, in response to the applicable functionality reporting message, an instruction to provide the base station with an inferencing performance metric for the AI / ML model. The method 1600 further includes calculating 1606 the inferencing performance metric for the AI / ML model. The method 1600 further includes sending 1608, to the base station, in response to the instruction, a UAI message comprising the inferencing performance metric.

[0202] In some embodiments, the method 1600 further includes generating, using the AI / ML model, first predicted CSI feedback for a time t1; and generating first ground-truth CSI feedback for the time t1 based on a first measurement of a first CSI-RS at the time t1; wherein the inferencing performance metric is calculated based on the first predicted CSI feedback for the time t1 and the first ground-truth CSI for the time t1.

[0203] In some such embodiments, the inferencing performance metric comprises an SGCS value calculated using the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the time t1.

[0204] In some such embodiments, The method 1600 further includes generating, using the AI / ML model, second predicted CSI feedback for a time t2; and generating second ground-truth CSI feedback for the time t2 based on a second measurement of a second CSI-RS at the time t2; wherein the calculating the inferencing performance metric is further based on the second predicted CSI feedback for the time t2 and the second ground-truth CSI for the time t2. In some of these cases, the inferencing performance metric comprises an average SGCS value that is an average of: a first SGCS value calculated using the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the time t1; and a second SGCS value calculated using the second predicted CSI feedback for the time t2 and the second ground-truth CSI feedback for the time t2.

[0205] In some embodiments of the method 1600, the instruction is received in DCI.

[0206] In some embodiments of the method 1600, the instruction is received in a MAC CE.

[0207] In some embodiments of the method 1600, the instruction is received in an RRC message.

[0208] FIG. 17 illustrates a method 1700 of a base station, according to embodiments discussed herein. The method 1700 includes receiving 1702, from a UE, an applicable functionality reporting message that indicates an applicability of an AI / ML model. The method 1700 further includes determining 1704, in response to receiving the applicable functionality reporting message, to perform a monitoring of an inferencing performance metric for the AI / ML model. The method 1700 further includes sending 1706, to the UE, an instruction to provide the base station with the inferencing performance metric for the AI / ML model. The method 1700 further includes receiving 1708, from the UE, in response to the instruction, a UAI message comprising the inferencing performance metric.

[0209] In some embodiments, the method 1700 further includes sending, to the UE, a CSI-RS at a time t1; wherein the inferencing performance metric is based on a predicted CSI feedback for the time t1 and ground-truth CSI feedback for the time t1 that is based on the CSI-RS.

[0210] In some such embodiments, the inferencing performance metric comprises an SGCS value calculated using the predicted CSI feedback for the time t1 and the ground-truth CSI feedback for the time t1.

[0211] In some such embodiments, the method 1700 further includes sending, to the UE, a second CSI-RS at a time t2; wherein the inferencing performance metric is further based on second predicted CSI feedback for the time t2 and second ground-truth CSI feedback for the time t2 that is based on the second CSI-RS. In some of these cases, the inferencing performance metric comprises an average SGCS value that is an average of: a first SGCS value calculated using the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the time t1; and a second SGCS value calculated using the second predicted CSI feedback for the time t2 and the second ground-truth CSI feedback for the time t2.

[0212] In some embodiments of the method 1700, the instruction is sent in DCI.

[0213] In some embodiments of the method 1700, the instruction is sent in a MAC CE.

[0214] In some embodiments of the method 1700, the instruction is received in an RRC message.

[0215] FIG. 18 illustrates an example architecture of a wireless communication system 1800, according to embodiments disclosed herein. The following description is provided for an example wireless communication system 1800 that operates in conjunction with the LTE system standards and / or 5G or NR system standards as provided by 3GPP technical specifications.

[0216] As shown by FIG. 18, the wireless communication system 1800 includes UE 1802 and UE 1804 (although any number of UEs may be used) . In this example, the UE 1802 and the UE 1804 are illustrated as smartphones (e.g., handheld touchscreen mobile computing devices connectable to one or more cellular networks) , but may also comprise any mobile or non-mobile computing device configured for wireless communication.

[0217] The UE 1802 and UE 1804 may be configured to communicatively couple with a RAN 1806. In embodiments, the RAN 1806 may be NG-RAN, E-UTRAN, etc. The UE 1802 and UE 1804 utilize connections (or channels) (shown as connection 1808 and connection 1810, respectively) with the RAN 1806, each of which comprises a physical communications interface. The RAN 1806 can include one or more base stations (such as base station 1812 and base station 1814) that enable the connection 1808 and connection 1810.

[0218] In this example, the connection 1808 and connection 1810 are air interfaces to enable such communicative coupling, and may be consistent with RAT (s) used by the RAN 1806, such as, for example, an LTE and / or NR.

[0219] In some embodiments, the UE 1802 and UE 1804 may also directly exchange communication data via a sidelink interface 1816. The UE 1804 is shown to be configured to access an access point (shown as AP 1818) via connection 1820. By way of example, the connection 1820 can comprise a local wireless connection, such as a connection consistent with any IEEE 802.11 protocol, wherein the AP 1818 may comprise a  router. In this example, the AP 1818 may be connected to another network (for example, the Internet) without going through a CN 1824.

[0220] In embodiments, the UE 1802 and UE 1804 can be configured to communicate using orthogonal frequency division multiplexing (OFDM) communication signals with each other or with the base station 1812 and / or the base station 1814 over a multicarrier communication channel in accordance with various communication techniques, such as, but not limited to, an orthogonal frequency division multiple access (OFDMA) communication technique (e.g., for downlink communications) or a single carrier frequency division multiple access (SC-FDMA) communication technique (e.g., for uplink and ProSe or sidelink communications) , although the scope of the embodiments is not limited in this respect. The OFDM signals can comprise a plurality of orthogonal subcarriers.

[0221] In some embodiments, all or parts of the base station 1812 or base station 1814 may be implemented as one or more software entities running on server computers as part of a virtual network. In addition, or in other embodiments, the base station 1812 or base station 1814 may be configured to communicate with one another via interface 1822. In embodiments where the wireless communication system 1800 is an LTE system (e.g., when the CN 1824 is an EPC) , the interface 1822 may be an X2 interface. The X2 interface may be defined between two or more base stations (e.g., two or more eNBs and the like) that connect to an EPC, and / or between two eNBs connecting to the EPC. In embodiments where the wireless communication system 1800 is an NR system (e.g., when CN 1824 is a 5GC) , the interface 1822 may be an Xn interface. The Xn interface is defined between two or more base stations (e.g., two or more gNBs and the like) that connect to 5GC, between a base station 1812 (e.g., a gNB) connecting to 5GC and an eNB, and / or between two eNBs connecting to 5GC (e.g., CN 1824) .

[0222] The RAN 1806 is shown to be communicatively coupled to the CN 1824. The CN 1824 may comprise one or more network elements 1826, which are configured to offer various data and telecommunications services to customers / subscribers (e.g., users of UE 1802 and UE 1804) who are connected to the CN 1824 via the RAN 1806. The components of the CN 1824 may be implemented in one physical device or separate physical devices including components to read and execute instructions from a machine-readable or computer-readable medium (e.g., a non-transitory machine-readable storage medium) .

[0223] In embodiments, the CN 1824 may be an EPC, and the RAN 1806 may be connected with the CN 1824 via an S1 interface 1828. In embodiments, the S1 interface 1828 may be split into two parts, an S1 user plane (S1-U) interface, which carries traffic data between the base station 1812 or base station 1814 and a serving gateway (S-GW) , and the S1-MME interface, which is a signaling interface between the base station 1812 or base station 1814 and mobility management entities (MMEs) .

[0224] In embodiments, the CN 1824 may be a 5GC, and the RAN 1806 may be connected with the CN 1824 via an NG interface 1828. In embodiments, the NG interface 1828 may be split into two parts, an NG user plane (NG-U) interface, which carries traffic data between the base station 1812 or base station 1814 and a user plane function (UPF) , and the S1 control plane (NG-C) interface, which is a signaling interface between the base station 1812 or base station 1814 and access and mobility management functions (AMFs) .

[0225] Generally, an application server 1830 may be an element offering applications that use internet protocol (IP) bearer resources with the CN 1824 (e.g., packet switched data services) . The application server 1830 can also be configured to support one or more communication services (e.g., VoIP sessions, group communication sessions, etc. ) for the UE 1802 and UE 1804 via the CN 1824. The application server 1830 may communicate with the CN 1824 through an IP communications interface 1832.

[0226] FIG. 19 illustrates a system 1900 for performing signaling 1934 between a wireless device 1902 and a network device 1918, according to embodiments disclosed herein. The system 1900 may be a portion of a wireless communications system as herein described. The wireless device 1902 may be, for example, a UE of a wireless communication system. The network device 1918 may be, for example, a base station (e.g., an eNB or a gNB) of a wireless communication system.

[0227] The wireless device 1902 may include one or more processor (s) 1904. The processor (s) 1904 may execute instructions such that various operations of the wireless device 1902 are performed, as described herein. The processor (s) 1904 may include one or more baseband processors implemented using, for example, a central processing unit (CPU) , a digital signal processor (DSP) , an application specific integrated circuit (ASIC) , a controller, a field programmable gate array (FPGA) device, another hardware device, a firmware device, or any combination thereof configured to perform the operations described herein.

[0228] The wireless device 1902 may include a memory 1906. The memory 1906 may be a non-transitory computer-readable storage medium that stores instructions 1908 (which may include, for example, the instructions being executed by the processor (s) 1904) . The instructions 1908 may also be referred to as program code or a computer program. The memory 1906 may also store data used by, and results computed by, the processor (s) 1904.

[0229] The wireless device 1902 may include one or more transceiver (s) 1910 that may include radio frequency (RF) transmitter circuitry and / or receiver circuitry that use the antenna (s) 1912 of the wireless device 1902 to facilitate signaling (e.g., the signaling 1934) to and / or from the wireless device 1902 with other devices (e.g., the network device 1918) according to corresponding RATs.

[0230] The wireless device 1902 may include one or more antenna (s) 1912 (e.g., one, two, four, or more) . For embodiments with multiple antenna (s) 1912, the wireless device 1902 may leverage the spatial diversity of such multiple antenna (s) 1912 to send and / or receive multiple different data streams on the same time and frequency resources. This behavior may be referred to as, for example, multiple input multiple output (MIMO) behavior (referring to the multiple antennas used at each of a transmitting device and a receiving device that enable this aspect) . MIMO transmissions by the wireless device 1902 may be accomplished according to precoding (or digital beamforming) that is applied at the wireless device 1902 that multiplexes the data streams across the antenna (s) 1912 according to known or assumed channel characteristics such that each data stream is received with an appropriate signal strength relative to other streams and at a desired location in the spatial domain (e.g., the location of a receiver associated with that data stream) . Certain embodiments may use single user MIMO (SU-MIMO) methods (where the data streams are all directed to a single receiver) and / or multi user MIMO (MU-MIMO) methods (where individual data streams may be directed to individual (different) receivers in different locations in the spatial domain) .

[0231] In certain embodiments having multiple antennas, the wireless device 1902 may implement analog beamforming techniques, whereby phases of the signals sent by the antenna (s) 1912 are relatively adjusted such that the (joint) transmission of the antenna (s) 1912 can be directed (this is sometimes referred to as beam steering) .

[0232] The wireless device 1902 may include one or more interface (s) 1914. The interface (s) 1914 may be used to provide input to or output from the wireless device 1902. For example, a wireless device 1902 that is a UE may include interface (s) 1914 such as microphones, speakers, a touchscreen, buttons, and the like in order to allow for input and / or output to the UE by a user of the UE. Other interfaces of such a UE may be made up of transmitters, receivers, and other circuitry (e.g., other than the transceiver (s) 1910 / antenna (s) 1912 already described) that allow for communication between the UE and other devices and may operate according to known protocols (e.g.,  and the like) .

[0233] The wireless device 1902 may include a UE-side AI / ML model monitoring reporting module 1916. The UE-side AI / ML model monitoring reporting module 1916 may be implemented via hardware, software, or combinations thereof. For example, the UE-side AI / ML model monitoring reporting module 1916 may be implemented as a processor, circuit, and / or instructions 1908 stored in the memory 1906 and executed by the processor (s) 1904. In some examples, the UE-side AI / ML model monitoring reporting module 1916 may be integrated within the processor (s) 1904 and / or the transceiver (s) 1910. For example, the UE-side AI / ML model monitoring reporting module 1916 may be implemented by a combination of software components (e.g., executed by a DSP or a general processor) and hardware components (e.g., logic gates and circuitry) within the processor (s) 1904 or the transceiver (s) 1910.

[0234] The UE-side AI / ML model monitoring reporting module 1916 may be used for various aspects of the present disclosure, for example, aspects of FIG. 8, FIG. 10, FIG. 12, FIG. 14, and / or FIG. 16.

[0235] For example, the UE-side AI / ML model monitoring reporting module 1916 may configure the wireless device 1902 to receive, from a base station, configuration information comprising an MO configuration for an MO that defines a first CSI-RS to use to generate first predicted CSI feedback for a time t1 and a second CSI-RS at the time t1 to use for performance monitoring; a reporting configuration that indicates for a use of an inferencing performance metric type in a measurement reporting message; and an indication that the MO uses the reporting configuration; generate, using an AI / ML model, based on a measurement of the first CSI-RS, the first predicted CSI feedback for the time t1; generate first ground-truth CSI feedback for the time t1 based on a second measurement of the second CSI-RS at the time t1; calculate an inferencing performance metric of the inferencing performance metric type based on the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the time t1; and send, to the base station, the measurement reporting message indicated by the reporting configuration, wherein the measurement reporting message comprises the inferencing performance metric.

[0236] As another example, the UE-side AI / ML model monitoring reporting module 1916 may configure the wireless device 1902 to calculate an inferencing performance metric for an AI / ML model; receive, from a base station, an RRC reconfiguration message that configures the UE to report an applicability of the AI / ML model; and send, to the base station, in response to the RRC reconfiguration message, an RRC reconfiguration complete message comprising an indication of the applicability of the AI / ML model and the inferencing performance metric.

[0237] As another example, the UE-side AI / ML model monitoring reporting module 1916 may configure the wireless device 1902 to calculate a first inferencing performance metric for an AI / ML model; store the first inferencing performance metric in an AS buffer of the UE; receive from a base station, a request to provide contents of the AS buffer to the base station; and send, to the base station, in response to the request, a response message comprising the first inferencing performance metric.

[0238] As another example, the UE-side AI / ML model monitoring reporting module 1916 may configure the wireless device 1902 to receive, from a base station, configuration information indicating a condition for providing a first inferencing performance metric for an AI / ML model within an applicable functionality reporting message that indicates an applicability of the AI / ML model; calculate the first inferencing performance metric for the AI / ML model; determine that the condition is met; include, in response to the determination the condition is met, the first inferencing performance metric in the applicable functionality reporting message; and send the applicable functionality reporting message to the base station.

[0239] As another example, the UE-side AI / ML model monitoring reporting module 1916 may configure the wireless device 1902 to send, to a base station, an applicable functionality reporting message that indicates an applicability of an AI / ML model; receive, from the base station, in response to the applicable functionality reporting message, an instruction to provide the base station with an inferencing performance metric for the AI / ML model; calculated the inferencing performance metric for the AI / ML model; and send, to the base station, in response to the instruction, a UAI message comprising the inferencing performance metric.

[0240] The network device 1918 may include one or more processor (s) 1920. The processor (s) 1920 may execute instructions such that various operations of the network device 1918 are performed, as described herein. The processor (s) 1920 may include one or more baseband processors implemented using, for example, a CPU, a DSP, an ASIC, a controller, an FPGA device, another hardware device, a firmware device, or any combination thereof configured to perform the operations described herein.

[0241] The network device 1918 may include a memory 1922. The memory 1922 may be a non-transitory computer-readable storage medium that stores instructions 1924 (which may include, for example, the instructions being executed by the processor (s) 1920) . The instructions 1924 may also be referred to as program code or a computer program. The memory 1922 may also store data used by, and results computed by, the processor (s) 1920.

[0242] The network device 1918 may include one or more transceiver (s) 1926 that may include RF transmitter circuitry and / or receiver circuitry that use the antenna (s) 1928 of the network device 1918 to facilitate signaling (e.g., the signaling 1934) to and / or from the network device 1918 with other devices (e.g., the wireless device 1902) according to corresponding RATs.

[0243] The network device 1918 may include one or more antenna (s) 1928 (e.g., one, two, four, or more) . In embodiments having multiple antenna (s) 1928, the network device 1918 may perform MIMO, digital beamforming, analog beamforming, beam steering, etc., as has been described.

[0244] The network device 1918 may include one or more interface (s) 1930. The interface (s) 1930 may be used to provide input to or output from the network device 1918. For example, a network device 1918 that is a base station may include interface (s) 1930 made up of transmitters, receivers, and other circuitry (e.g., other than the transceiver (s) 1926 / antenna (s) 1928 already described) that enables the base station to communicate with other equipment in a core network, and / or that enables the base station to communicate with external networks, computers, databases, and the like for purposes of operations, administration, and maintenance of the base station or other equipment operably connected thereto.

[0245] The network device 1918 may include a UE-side AI / ML model monitoring reporting module 1932. The UE-side AI / ML model monitoring reporting module 1932 may be implemented via hardware, software, or combinations thereof. For example, the UE-side AI / ML model monitoring reporting module 1932 may be implemented as a processor, circuit, and / or instructions 1924 stored in the memory 1922 and executed by the processor (s) 1920. In some examples, the UE-side AI / ML model monitoring reporting module 1932 may be integrated within the processor (s) 1920 and / or the transceiver (s) 1926. For example, the UE-side AI / ML model monitoring reporting module 1932 may be implemented by a combination of software components (e.g., executed by a DSP or a general processor) and hardware components (e.g., logic gates and circuitry) within the processor (s) 1920 or the transceiver (s) 1926.

[0246] The UE-side AI / ML model monitoring reporting module 1932 may be used for various aspects of the present disclosure, for example, aspects of FIG. 9, FIG. 11, FIG. 13, FIG. 15, and / or FIG. 17.

[0247] For example, the UE-side AI / ML model monitoring reporting module 1932 may configure the network device 1918 to send, to a UE, configuration information comprising an MO configuration for an MO that defines a first CSI-RS to use to generate first predicted CSI feedback for a time t1 and a second CSI-RS at the time t1 to use for performance monitoring; a reporting configuration that indicates for a use of an inferencing performance metric type in a measurement reporting message; and an indication that the MO uses the reporting configuration; send, to the UE, the first CSI-RS and the second CSI-RS; and receive, from the UE, the measurement reporting message indicated by the reporting configuration, wherein the measurement reporting message comprises an inferencing performance metric of the inferencing performance metric type that is based on the first predicted CSI feedback for the time t1 and first ground-truth CSI feedback for the second CSI-RS.

[0248] As another example, the UE-side AI / ML model monitoring reporting module 1932 may configure the network device 1918 to send, to a UE, an RRC reconfiguration message that configures the UE to report an applicability of an AI / ML model; and receive, from the UE, in response to the RRC reconfiguration message, an RRC reconfiguration complete message comprising an indication of the applicability of the AI / ML model and an inferencing performance metric for the AI / ML model.

[0249] As another example, the UE-side AI / ML model monitoring reporting module 1932 may configure the network device 1918 to send, to a UE, a request to provide contents of an AS buffer containing a first inferencing performance metric for an AI / ML model to the base station; and receive, from the UE, in response to the request, a response message comprising the first inferencing performance metric.

[0250] As another example, the UE-side AI / ML model monitoring reporting module 1932 may configure the network device 1918 to send, to a UE, configuration information indicating a condition for providing a first inferencing performance metric for an AI / ML model within an applicable functionality reporting message that indicates an applicability of the AI / ML model; and receive, from the UE, in response to the configuration information, the applicability functionality reporting message indicating the applicability of the AI / ML model, the applicability functionality reporting message comprising the first inferencing performance metric.

[0251] As another example, the UE-side AI / ML model monitoring reporting module 1932 may configure the network device 1918 to receive, from a UE, an applicable functionality reporting message that indicates an applicability of an AI / ML model; determine, in response to receiving the applicable functionality reporting message, to perform a monitoring of an inferencing performance metric for the AI / ML model; send, to the UE, an instruction to provide the base station with the inferencing performance metric for the AI / ML model; and receive, from the UE, in response to the instruction, a UAI message comprising the inferencing performance metric.

[0252] Embodiments contemplated herein include an apparatus comprising means to perform one or more elements of any of the method 800, the method 1000, the method 1200, the method 1400, and / or the method 1600. This apparatus may be, for example, an apparatus of a UE (such as a wireless device 1902 that is a UE, as described herein) .

[0253] Embodiments contemplated herein include one or more non-transitory computer-readable media comprising instructions to cause an electronic device, upon execution of the instructions by one or more processors of the electronic device, to perform one or more elements of any of the method 800, the method 1000, the method 1200, the method 1400, and / or the method 1600. This non-transitory computer-readable media may be, for example, a memory of a UE (such as a memory 1906 of a wireless device 1902 that is a UE, as described herein) .

[0254] Embodiments contemplated herein include an apparatus comprising logic, modules, or circuitry to perform one or more elements of any of the method 800, the method 1000, the method 1200, the method 1400, and / or the method 1600. This apparatus may be, for example, an apparatus of a UE (such as a wireless device 1902 that is a UE, as described herein) .

[0255] Embodiments contemplated herein include an apparatus comprising: one or more processors and one or more computer-readable media comprising instructions that, when executed by the one or more processors, cause the one or more processors to perform one or more elements of any of the method 800, the method 1000, the method 1200, the method 1400, and / or the method 1600. This apparatus may be, for example, an apparatus of a UE (such as a wireless device 1902 that is a UE, as described herein) .

[0256] Embodiments contemplated herein include a signal as described in or related to one or more elements of any of the method 800, the method 1000, the method 1200, the method 1400, and / or the method 1600.

[0257] Embodiments contemplated herein include a computer program or computer program product comprising instructions, wherein execution of the program by a processor is to cause the processor to carry out one or more elements of any of the method 800, the method 1000, the method 1200, the method 1400, and / or the method 1600. The processor may be a processor of a UE (such as a processor (s) 1904 of a wireless device 1902 that is a UE, as described herein) . These instructions may be, for example, located in the processor and / or on a memory of the UE (such as a memory 1906 of a wireless device 1902 that is a UE, as described herein) .

[0258] Embodiments contemplated herein include an apparatus comprising means to perform one or more elements of any of the method 900, the method 1100, the method 1300, the method 1500, and / or the method 1700. This apparatus may be, for example, an apparatus of a base station (such as a network device 1918 that is a base station, as described herein) .

[0259] Embodiments contemplated herein include one or more non-transitory computer-readable media comprising instructions to cause an electronic device, upon execution of the instructions by one or more processors of the electronic device, to perform one or more elements of any of the method 900, the method 1100, the method 1300, the method 1500, and / or the method 1700. This non-transitory computer-readable media may be, for example, a memory of a base station (such as a memory 1922 of a network device 1918 that is a base station, as described herein) .

[0260] Embodiments contemplated herein include an apparatus comprising logic, modules, or circuitry to perform one or more elements of any of the method 900, the method 1100, the method 1300, the method 1500, and / or the method 1700. This apparatus may be, for example, an apparatus of a base station (such as a network device 1918 that is a base station, as described herein) .

[0261] Embodiments contemplated herein include an apparatus comprising: one or more processors and one or more computer-readable media comprising instructions that, when executed by the one or more processors, cause the one or more processors to perform one or more elements of any of the method 900, the method 1100, the method 1300, the method 1500, and / or the method 1700. This apparatus may be, for example, an apparatus of a base station (such as a network device 1918 that is a base station, as described herein) .

[0262] Embodiments contemplated herein include a signal as described in or related to one or more elements of any of the method 900, the method 1100, the method 1300, the method 1500, and / or the method 1700.

[0263] Embodiments contemplated herein include a computer program or computer program product comprising instructions, wherein execution of the program by a processing element is to cause the processing element to carry out one or more elements of any of the method 900, the method 1100, the method 1300, the method 1500, and / or the method 1700. The processor may be a processor of a base station (such as a processor (s) 1920 of a network device 1918 that is a base station, as described herein) . These instructions may be, for example, located in the processor and / or on a memory of the base station (such as a memory 1922 of a network device 1918 that is a base station, as described herein) .

[0264] For one or more embodiments, at least one of the components set forth in one or more of the preceding figures may be configured to perform one or more operations, techniques, processes, and / or methods as set forth herein. For example, a baseband processor as described herein in connection with one or more of the preceding figures may be configured to operate in accordance with one or more of the examples set forth herein. For another example, circuitry associated with a UE, base station, network element, etc. as described above in connection with one or more of the preceding figures may be configured to operate in accordance with one or more of the examples set forth herein.

[0265] Any of the above described embodiments may be combined with any other embodiment (or combination of embodiments) , unless explicitly stated otherwise. The foregoing description of one or more implementations provides illustration and description, but is not intended to be exhaustive or to limit the scope of embodiments to the precise form disclosed. Modifications and variations are possible in light of the above teachings or may be acquired from practice of various embodiments.

[0266] Embodiments and implementations of the systems and methods described herein may include various operations, which may be embodied in machine-executable instructions to be executed by a computer system. A computer system may include one or more general-purpose or special-purpose computers (or other electronic devices) . The computer system may include hardware components that include specific logic for performing the operations or may include a combination of hardware, software, and / or firmware.

[0267] It should be recognized that the systems described herein include descriptions of specific embodiments. These embodiments can be combined into single systems, partially combined into other systems, split into multiple systems or divided or combined in other ways. In addition, it is contemplated that parameters, attributes, aspects, etc. of one embodiment can be used in another embodiment. The parameters, attributes, aspects, etc. are merely described in one or more embodiments for clarity, and it is recognized that the parameters, attributes, aspects, etc. can be combined with or substituted for parameters, attributes, aspects, etc. of another embodiment unless specifically disclaimed herein.

[0268] It is well understood that the use of personally identifiable information should follow privacy policies and practices that are generally recognized as meeting or exceeding industry or governmental requirements for maintaining the privacy of users. In particular, personally identifiable information data should be managed and handled so as to minimize risks of unintentional or unauthorized access or use, and the nature of authorized use should be clearly indicated to users.

[0269] Although the foregoing has been described in some detail for purposes of clarity, it will be apparent that certain changes and modifications may be made without departing from the principles thereof. It should be noted that there are many alternative ways of implementing both the processes and apparatuses described herein. Accordingly, the present embodiments are to be considered illustrative and not restrictive, and the description is not to be limited to the details given herein, but may be modified within the scope and equivalents of the appended claims.

Claims

1.A method of a user equipment (UE) , comprising:receiving, from a base station, configuration information indicating a condition for providing a first inferencing performance metric for an artificial intelligence (AI)  / machine learning (ML) model within an applicable functionality reporting message that indicates an applicability of the AI / ML model;calculating the first inferencing performance metric for the AI / ML model;determining that the condition is met;including, in response to the determination the condition is met, the first inferencing performance metric in the applicable functionality reporting message; andsending the applicable functionality reporting message to the base station.2.The method of claim 1, further comprising:generating, using the AI / ML model, first predicted CSI feedback for a time t1; andgenerating first ground-truth CSI feedback for the time t1 based on a first measurement of a first channel state information reference signal (CSI-RS) at the time t1;wherein the first inferencing performance metric is calculated based on the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the time t1.3.The method of claim 2, wherein the first inferencing performance metric comprises a squared generalized cosine similarity (SGCS) value calculated using the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the time t1.4.The method of claim 2, further comprising:generating, using the AI / ML model, second predicted CSI feedback for a time t2; andgenerating second ground-truth CSI feedback for the time t2 based on a second measurement of a second CSI-RS at the time t2;wherein the calculating the first inferencing performance metric is further based on the second predicted CSI feedback for the time t2 and the second ground-truth CSI for the time t2.5.The method of claim 4, wherein the first inferencing performance metric comprises an average squared generalized cosine similarity (SGCS) value that is an average of:a first SGCS value calculated using the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the time t1; anda second SGCS value calculated using the second predicted CSI feedback for the time t2 and the second ground-truth CSI feedback for the time t2.6.The method of claim 2, further comprising calculating a second inferencing performance metric for the AI / ML model based on the first ground truth CSI feedback for the time t1 and second ground-truth CSI feedback for a time t0 that is prior to the time t1; wherein the condition comprises that the first inferencing performance metric for the AI / ML model is worse than the second inferencing performance metric.7.The method of claim 6, wherein the condition further comprises that the applicability of the AI / ML model has changed from applicable to not applicable.8.The method of claim 2, further comprising calculating a second inferencing performance metric for the AI / ML model based on the first ground truth CSI feedback for the time t1 and second ground-truth CSI feedback for a time t0 that is prior to the time t1; wherein the condition comprises that the first inferencing performance metric for the AI / ML model is not worse than the second inferencing performance metric.9.The method of claim 8, wherein the condition further comprises that the applicability of the AI / ML model has changed from not applicable to applicable.10.The method of claim 1, wherein the condition comprises that the applicability of the AI / ML model has changed from applicable to not applicable.11.The method of claim 1, wherein the condition comprises that the applicability of the AI / ML model has changed from not applicable to applicable.12.A method of a base station, comprising:sending, to a user equipment (UE) , configuration information indicating a condition for providing a first inferencing performance metric for an artificial intelligence (AI)  / machine learning (ML) model within an applicable functionality reporting message that indicates an applicability of the AI / ML model; andreceiving, from the UE, in response to the configuration information, the applicability functionality reporting message indicating the applicability of the AI / ML model, the applicability functionality reporting message comprising the first inferencing performance metric.13.The method of claim 12, further comprising sending, to the UE, a first channel state information reference signal (CSI-RS) at a time t1; wherein the first inferencing performance metric is based on predicted CSI feedback for the time t1 and first ground-truth CSI feedback for the time t1 that is based on the first CSI-RS.14.The method of claim 13, wherein the first inferencing performance metric comprises a squared generalized cosine similarity (SGCS) value calculated using the predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the time t1.15.The method of claim 13, further comprising sending, to the UE, a second CSI-RS at a time t2; wherein the first inferencing performance metric is further based on second predicted CSI feedback for the time t2 and second ground-truth CSI feedback for the time t2 that is based on the second CSI-RS.16.The method of claim 15, wherein the first inferencing performance metric comprises an average squared generalized cosine similarity (SGCS) value that is an average of:a first SGCS value calculated using the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the time t1; anda second SGCS value calculated using the second predicted CSI feedback for the time t2 and the second ground-truth CSI feedback for the time t2.17.The method of claim 13, wherein the condition comprises that the first inferencing performance metric for the AI / ML model is worse than a second inferencing performance metric for the AI / ML model calculated based on the first ground truth CSI feedback for the time t1 and second ground-truth CSI feedback for a time t0 that is prior to the time t1.18.The method of claim 17, wherein the condition further comprises that the applicability of the AI / ML model has changed from applicable to not applicable.19.The method of claim 13, wherein the condition comprises that the first inferencing performance metric for the AI / ML model is not worse than a second inferencing performance metric for the AI / ML model calculated based on the first ground truth CSI feedback for the time t1 and second ground-truth CSI feedback for a time t0 that is prior to the time t1.20.The method of claim 19, wherein the condition further comprises that the applicability of the AI / ML model has changed from not applicable to applicable.21.The method of claim 12, wherein the condition comprises that the applicability of the AI / ML model has changed from applicable to not applicable.22.The method of claim 12, wherein the condition comprises that the applicability of the AI / ML model has changed from not applicable to applicable.23.A method of a user equipment (UE) , comprising:sending, to a base station, an applicable functionality reporting message that indicates an applicability of an artificial intelligence (AI)  / machine learning (ML) model;receiving, from the base station, in response to the applicable functionality reporting message, an instruction to provide the base station with an inferencing performance metric for the AI / ML model;calculating the inferencing performance metric for the AI / ML model; andsending, to the base station, in response to the instruction, a UE assistance information (UAI) message comprising the inferencing performance metric.24.The method of claim 23, further comprising:generating, using the AI / ML model, first predicted CSI feedback for a time t1; andgenerating first ground-truth CSI feedback for the time t1 based on a first measurement of a first channel state information reference signal (CSI-RS) at the time t1;wherein the inferencing performance metric is calculated based on the first predicted CSI feedback for the time t1 and the first ground-truth CSI for the time t1.25.The method of claim 24, wherein the inferencing performance metric comprises a squared generalized cosine similarity (SGCS) value calculated using the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the time t1.26.The method of claim 24, further comprising:generating, using the AI / ML model, second predicted CSI feedback for a time t2; andgenerating second ground-truth CSI feedback for the time t2 based on a second measurement of a second CSI-RS at the time t2;wherein the calculating the inferencing performance metric is further based on the second predicted CSI feedback for the time t2 and the second ground-truth CSI for the time t2.27.The method of claim 26, wherein the inferencing performance metric comprises an average squared generalized cosine similarity (SGCS) value that is an average of:a first SGCS value calculated using the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the time t1; anda second SGCS value calculated using the second predicted CSI feedback for the time t2 and the second ground-truth CSI feedback for the time t2.28.The method of claim 23, wherein the instruction is received in downlink control information (DCI) .29.The method of claim 23, wherein the instruction is received in a medium access control control element (MAC CE) .30.The method of claim 23, wherein the instruction is received in a radio resource control (RRC) message.31.A method of a base station, comprising:receiving, from a user equipment (UE) , an applicable functionality reporting message that indicates an applicability of an artificial intelligence (AI)  / machine learning (ML) model;determining, in response to receiving the applicable functionality reporting message, to perform a monitoring of an inferencing performance metric for the AI / ML model;sending, to the UE, an instruction to provide the base station with the inferencing performance metric for the AI / ML model; andreceiving, from the UE, in response to the instruction, a UE assistance information (UAI) message comprising the inferencing performance metric.32.The method of claim 31, further comprising sending, to the UE, a channel state information reference signal (CSI-RS) at a time t1; wherein the inferencing performance metric is based on a predicted CSI feedback for the time t1 and ground-truth CSI feedback for the time t1 that is based on the CSI-RS.33.The method of claim 32, wherein the inferencing performance metric comprises a squared generalized cosine similarity (SGCS) value calculated using the predicted CSI feedback for the time t1 and the ground-truth CSI feedback for the time t1.34.The method of claim 32, further comprising sending, to the UE, a second CSI-RS at a time t2; wherein the inferencing performance metric is further based on second predicted CSI feedback for the time t2 and second ground-truth CSI feedback for the time t2 that is based on the second CSI-RS.35.The method of claim 34, wherein the inferencing performance metric comprises an average squared generalized cosine similarity (SGCS) value that is an average of:a first SGCS value calculated using the first predicted CSI feedback for the time t1 and the first ground-truth CSI feedback for the time t1; anda second SGCS value calculated using the second predicted CSI feedback for the time t2 and the second ground-truth CSI feedback for the time t2.36.The method of claim 31, wherein the instruction is sent in downlink control information (DCI) .37.The method of claim 31, wherein the instruction is sent in a medium access control control element (MAC CE) .38.The method of claim 31, wherein the instruction is received in a radio resource control (RRC) message.39.An apparatus comprising means to perform the method of any of claim 1 to claim 38.40.A computer-readable media comprising instructions to cause an electronic device, upon execution of the instructions by one or more processors of the electronic device, to perform the method of any of claim 1 to claim 38.41.An apparatus comprising logic, modules, or circuitry to perform the method of any of claim 1 to claim 38.42.A baseband processor for a user equipment (UE) that is configured to cause the UE to perform one or more elements of any one of claim 1 to claim 11 and claim 23 to claim 30.43.A baseband processor for a base station that is configured to cause the base station to perform one or more elements of any one of claim 12 to claim 22 and claim 31 to claim 38.