Performance monitoring of chained ai model in wireless communications

Abstract

Described herein are embodiments for performance monitoring of a chained artificial intelligence (AI) model in a wireless communication system. A network node may generate a performance monitoring configuration for a chained AI model. The chained AI model may comprise a first model whose output is an input to a second model. The performance monitoring configuration may include a first initiating input that is used by the first model to generate a prediction; and a second input that provides a reference for the prediction. A key performance indicator for the chained AI model may be determined based on the prediction and the reference. A life cycle management decision may be made for the chained AI model based on the key performance indicator.

Description

PERFORMANCE MONITORING OF CHAINED AI MODEL IN WIRELESS COMMUNICATIONSBACKGROUND

[0001] Wireless mobile communication technology uses various standards and protocols to transmit data between a base station and a wireless communication device. Wireless communication system standards and protocols can include, for example, 3rd Generation Partnership Project (3GPP) Long Term Evolution (LTE) (e.g., 4G) , 3GPP New Radio (NR) (e.g., 5G) , and Institute of Electrical and Electronics Engineers (IEEE) 802.11 standard for Wireless Local Area Networks (WLAN) (commonly known to industry groups as  ) .

[0002] As contemplated by the 3GPP, different wireless communication systems'standards and protocols can use various radio access networks (RANs) for communicating between a base station of the RAN (which may also sometimes be referred to generally as a RAN node, a network node, or simply a node) and a wireless communication device known as a user equipment (UE) . 3GPP RANs can include, for example, Global System for Mobile communications (GSM) , Enhanced Data Rates for GSM Evolution (EDGE) RAN (GERAN) , Universal Terrestrial Radio Access Network (UTRAN) , Evolved Universal Terrestrial Radio Access Network (E-UTRAN) , and / or Next-Generation Radio Access Network (NG-RAN) .

[0003] Each RAN may use one or more radio access technologies (RATs) to perform communication between the base station and the UE. For example, the GERAN implements GSM and / or EDGE RAT, the UTRAN implements Universal Mobile Telecommunication System (UMTS) RAT or other 3GPP RAT, the E-UTRAN implements LTE RAT (sometimes simply referred to as LTE) , and NG-RAN implements NR RAT (sometimes referred to herein as 5G RAT, 5G NR RAT, or simply NR) . In certain deployments, the E-UTRAN may also implement NR RAT. In certain deployments, NG-RAN may also implement LTE RAT.

[0004] A base station used by a RAN may correspond to that RAN. One example of an E-UTRAN base station is an Evolved Universal Terrestrial Radio Access Network (E-UTRAN) Node B (also commonly denoted as evolved Node B, enhanced Node B, eNodeB, or eNB) . One example of an NG-RAN base station is a next generation Node B (also sometimes referred to as a g Node B or gNB) .

[0005] A RAN provides its communication services with external entities through its connection to a core network (CN) . For example, E-UTRAN may utilize an Evolved Packet Core (EPC) while NG-RAN may utilize a 5G Core Network (5GC) .

[0006] Frequency bands for 5G NR may be separated into two or more different frequency ranges. For example, Frequency Range 1 (FR1) may include frequency bands operating in sub-6 gigahertz (GHz) frequencies, some of which are bands that may be used by previous standards, and may potentially be extended to cover new spectrum offerings from 410 megahertz (MHz) to 7125 MHz. Frequency Range 2 (FR2) may include frequency bands from 24.25 GHz to 52.6 GHz. Note that in some systems, FR2 may also include frequency bands from 52.6 GHz to 71 GHz (or beyond) . Bands in the millimeter wave (mmWave) range of FR2 may have smaller coverage but potentially higher available bandwidth than bands in FR1. Skilled persons will recognize these frequency ranges, which are provided by way of example, may change from time to time or from region to region.

[0007] BRIEF DESCRIPTION OF THE SEVERAL VIEWS OF THE DRAWINGS

[0008] To easily identify the discussion of any particular element or act, the most significant digit or digits in a reference number refer to the figure number in which that element is first introduced.

[0009] FIG. 1 illustrates a table that categorizes different cases of temporal domain aspects of AI / machine learning (ML) -based channel state information (CSI) compression using a two-sided model, in accordance with one or more embodiments of the present disclosure.

[0010] FIG. 2 illustrates an example of a chained AI model, in accordance with one or more embodiments of the present disclosure.

[0011] FIG. 3 illustrates the outputs and inputs of the chained AI model of FIG. 2 in accordance with some embodiments.

[0012] FIG. 4 illustrates an example of AI model chaining, in accordance with one or more embodiments of the present disclosure.

[0013] FIG. 5 illustrates example transmissions for end-to-end performance monitoring performed by a UE using an intermediate KPI in accordance with some embodiments.

[0014] FIG. 6 illustrates an aspect of the subject matter in accordance with one embodiment.

[0015] FIG. 7 illustrates example transmissions for end-to-end performance monitoring performed by a UE using an eventual KPI in accordance with some embodiments.

[0016] FIG. 8 illustrates example transmissions for end-to-end performance monitoring performed by a UE using an eventual KPI and legacy codebook in accordance with some embodiments.

[0017] FIG. 9 illustrates a method for a network node, according to some embodiments herein.

[0018] FIG. 10 illustrates a method for a UE, according to some embodiments herein.

[0019] FIG. 11 illustrates a method for a network node, according to some embodiments herein.

[0020] FIG. 12 illustrates a method for a UE, according to some embodiments herein.

[0021] FIG. 13 illustrates an example architecture of a wireless communication system, according to embodiments disclosed herein.

[0022] FIG. 14 illustrates a system for performing signaling between a wireless device and a network device, according to embodiments disclosed herein.DETAILED DESCRIPTION

[0023] Artificial intelligence (AI) models are being integrated into 3GPP wireless communication systems to improve network efficiency, performance, and user experience. For example, AI may be used to help automate network tasks, analyze data for better resource allocation, and optimize network operations for efficiency. Further, AI can predict traffic patterns, congestion, and user demands, allowing for proactive measures to maintain quality of service. AI can improve radio signal management. For example, AI can be used to predict and optimize CSI feedback, reducing overhead and improving accuracy; predict beamforming needs, minimizing latency and improving accuracy; and enhance positioning accuracy in challenging environments.

[0024] Often these problems may be complicated and rely on information at both the user equipment (UE) side and the network side. These complex problems may be broken down into more manageable stages. These stages may be represented by one or more AI models forming a chained AI model. Chained AI models represent a powerful approach to tackling intricate tasks by leveraging the specialized strengths of multiple AI models. These models are strategically connected, forming a sequence where the output from one becomes the refined input for the next. This collaborative effort allows the system to address problems that would be too complex for a single model to handle effectively. Each model in the chain acts as an expert, performing a specific task within the overall process, ultimately leading to a more comprehensive and accurate solution.

[0025] However, introducing multiple models presents complications regarding monitoring of the performance. This is especially true with chained AI models that include sub-models  at both the UE side and at the network side. Some embodiments herein provide methods of performance monitoring for chained AI models.

[0026] Various embodiments are described with regard to a UE. However, reference to a UE is merely provided for illustrative purposes. The example embodiments may be utilized with any electronic component that may establish a connection to a network and is configured with the hardware, software, and / or firmware to exchange information and data with the network. Therefore, the UE as described herein is used to represent any appropriate electronic component.

[0027] FIG. 1 illustrates a table 102 that categorizes different cases of temporal domain aspects of AI / machine learning (ML) -based channel state information (CSI) compression using a two-sided model, in accordance with one or more embodiments of the present disclosure. Configurations for models for CSI prediction and compression can be categorized into different cases as shown in the table 102.

[0028] In some embodiments, for a UE, past CSI information may include past model inputs and / or any information derived from past model inputs. For the network, past CSI information may include past CSI feedback instances and / or any information derived from them. In some embodiments of case 3 and case 4 shown in FIG. 1, the UE can perform prediction as a separate step or jointly with compression. Similarly, the network can perform prediction as a separate step or jointly with reconstruction. In some embodiments, users can report with option is selected and / or desired, the number of future slots, and whether a prediction is AI / ML-based.

[0029] In some embodiments, the column in the table 102 can refer to the slot (s) to which the CSI feedback in the report corresponds. In the illustrated embodiment, the table 102 includes either a present slot in the Target CSI slot (s) column or a future slot (s) in the Target CSI slot (s) for each case. The present slot can refer to the slot of the most recent channel state information reference signal (CSI-RS) measurement used to generate the CSI report. Future slot (s) can include at least one slot after the present slot and may include the present slot as well.

[0030] In at least one embodiment, case 3 in the table 102 can be associated with one or more embodiments of the present disclosure. Some embodiments of the present disclosure describe CSI compression that can be targeted to future slots. Additionally, the associated UE can be configured to use past CSI information. Furthermore, the associated network side of the system described herein can be configured to not use past CSI information.

[0031] FIG. 2 illustrates an example of a chained AI model 202, in accordance with one or more embodiments of the present disclosure. The chained AI model 202 can include multiple separate AI models. In some embodiments, the chained AI model 202 can be configured such that the output from one AI model can be the input of another AI model. These individual AI models of the chained AI model may be referred to as sub-models of the chain. The illustrated example chained AI model 202 is configured for CSI prediction and compression.

[0032] In some embodiments, the chained AI model 202 can include a CSI prediction AI model 204. The CSI prediction AI model 204 can be a single-sided AI model that can receive input from an external source (e.g., a network node) . The CSI prediction AI model 204 may output a prediction for CSI. In some embodiments, the CSI prediction AI model 204 can be chained to other AI models.

[0033] As shown in FIG. 2, the CSI prediction AI model 204 can be chained to a CSI compression model 206. The CSI compression model 206 can be a two-sided model. In some embodiments, the CSI compression model 206 can receive the output (e.g., CSI prediction) of the CSI prediction AI model 204 as an input. The CSI compression model 206 may be configured to output information. In at least one embodiment, the CSI compression model 206 can be a kind of encoder used to compress the CSI prediction output from the CSI prediction AI model 204. In some embodiments, the CSI compression model 206 can send joint encoded information for predicted CSI to other systems or models.

[0034] In one or more embodiments of the present disclosure, the CSI compression model 206 can send its output to a decoder model 208. The decoder model 208 can be located at a network node and configured to receive the joint encoding of the predicted CSI and decode the jointly encoded predicted CSI.

[0035] Many embodiments herein are discussed with reference to a chained model for CSI prediction and CSI compression, however the principles discussed with reference to such CSI chained models may be used for other chained AI models. Embodiments herein may provide methods of performance monitoring for chained AI models. The chained AI models may include CSI prediction and compression as well as other types of chained models. Additional examples of a chained models that principles discussed herein can be applied to include, FR1 CSI feedback that is used for FR2 beam management training. This may allow for cross-frequency beam management. For example, a chained AI model may use FR1 CSI and predict a FR2 beam. Another example of a chained model may be using CSI feedback (two-sided model) to gNB / Location Management Function (LMF) for positioning AI (one  sided model) . Another chained model may include a positioning AI output (one sided model) can be further used for positioning-based beam management (one sided model) . In some chained models positioning AI output (one sided model) can also be used for mobility optimization AI (one sided model) .

[0036] Note that some of the above examples include a two-side model output chained with a one-sided model and other examples include a one-sided model that is chained with another one-sided model. In some embodiments, a one-sided model output may be chained with a two-sided model. The embodiments provided herein may work with chained one-sided and / or two-sided models. A one-sided model (also referred to as single sided model) may refer to an AI model that is performed at the UE or at the network node. A two-sided model may refer to a function that is split across the UE and the network node.

[0037] Described herein are embodiments for performance monitoring for chained AI model. Some embodiments may monitor chained performance directly (e.g., end-to-end monitoring) . Some embodiments may monitor each model separately. Some embodiments may perform a combination of monitoring processes offering an in-between solution (e.g., directly and each model separately) .

[0038] FIG. 3 illustrates the outputs and inputs of the chained AI model of FIG. 2 in accordance with some embodiments. As shown, a UE may measure CSI-RS 302 which may be the input of the CSI prediction AI model. The CSI prediction AI model may output a CSI prediction 304 and send it as an input to the encoder. The encoder may report latent space information 306 to the decoder. The decoder may attempt to reconstruct or understand the CSI prediction 304 that was input into the encoder using the latent space information.

[0039] FIG. 4 illustrates an example of AI model chaining, in accordance with one or more embodiments of the present disclosure. The illustrated embodiment includes multiple models chained together to form the chained AI model 402. As show, the output of one model may be input into another model to form the chain. Thus, the chained AI model 402 can include one or more separate AI models that can be connected together via a series of inputs and outputs. The outputs of at least one AI model can be inputs to another AI model in the chained AI model 402.

[0040] In the illustrated embodiment, several models are chained together. In some embodiments a chained AI model may comprise fewer models or more models. In the illustrated embodiment, the chained AI model 402 includes a two-sided model comprising an encoder 404 and a decoder 406. The encoder 404 may encode CSI feedback, and the decoder may receive the output of the encoder as an input and extract the CSI.

[0041] The chained AI model 402 may also include one or more one sided models that use the output of the two-sided model. For example, the output of the decoder 406 may be an input to a FR2 beam management model 408 (one-sided model) . The FR2 beam management model 408 may predict an FR2 beam using FR1 CSI. Another one-sided model that may use the output of the decoder 406 as an input may be a CSI positioning model 410. The CSI positioning model 410 may use the CSI for predicting CSI positioning. In some embodiments, an output of a one-sided model may be input with another one sided model. For example, the output of the CSI positioning model 410 may be input into one or both of a mobility optimization model with positioning information 412 and beam management with position information 414.

[0042] Some embodiments herein provide details and examples of how performance monitoring of such chained models may be performed. In at least one embodiment, the chained AI model 402 can be monitored end-to-end. In some embodiments, each model may be monitored separately. In some embodiments, a combination of end-to-end monitoring and individual model monitoring may be performed.

[0043] FIG. 5 illustrates example transmissions for end-to-end performance monitoring performed by a network node using an intermediate key performance indicator (KPI) in accordance with some embodiments. In some embodiments, end-to-end performance monitoring may be performed by a network node. For network-side performance monitoring of chained CSI prediction and CSI compression model, a ground truth CSI-RS at the prediction instance may be configured and transmitted by the network node. The chained model that is monitored in FIG. 5 comprises a CSI prediction model, and a two-sided encoder and decoder model. This chained model is only an example and the principles discussed may apply to other chained models.

[0044] For example, the network node may send (e.g., via RRC) control information to a UE that includes various parameters for CSI-RS training configuration. The control information for the training configuration may provide parameters for a reference signal transmission to a UE for training a chained AI model. The control information may configure measurement reference signals that the UE is to measure (e.g. CSI transmissions for measurement 502) and use for inference during prediction instances of the chained AI model.

[0045] For example, the control information may include various configuration parameters for the CSI transmissions for measurement 502. For instance, the network node may indicate one or more of NZP-CSI-RS Resource, CSI-RS Ports, Subcarrier Spacing, Cyclic  Prefix Length, Reporting Criterion, and Reporting Quantities. The configuration parameters may define a measurement window where the UE is to measure the CSI-RS. The measurements may be used as an input for a CSI prediction model at the UE.

[0046] The control information may also provide configuration parameters CSI transmissions for ground truth 504. The CSI transmissions for ground truth 504 may include ground truth reference signals that are configured to align with prediction instances of the chained AI model. The UE may measure the CSI transmissions for ground truth 504. The UE may also use a CSI prediction model to predict the CSI-RS measurements of the CSI transmissions for ground truth 504. The CSI prediction model may use the measurements from the CSI transmissions for measurement 502 as an input. In some embodiments, the network node can configure aperiodic (ap) -CSI-RS transmission for performance monitoring, or semi-persistent (sp) -CSI-RS transmission for performance monitoring.

[0047] The UE may provide the network node with feedback of the ground truth. For example, the UE may report ground truth precoding matrix (CSI) based on CSI-RS measurement (e.g., ground truth CSI 506) . For example, the UE may process the channel information by calculating transmit covariance matrix, perform Singular Value Decomposition (SVD) , and calculate an eigen-vector. In some embodiments, the UE may compress the measurements of the ground truth CSI . Different compression schemes may be used. In some embodiments, the UE may use scaler quantization to compress the ground truth CSI 506. In some embodiments, the UE may use release 16 e-type 2 CSI quantization of each instance, potentially with extended parameter set such as L=10, M=10 to compress the ground truth CSI -506. In some embodiments, the UE may use release 18 Doppler code book with extended parameter set (such as Q=4 or 6, L=10, M=10) to compress the ground truth CSI 506.

[0048] The network node may receive the report of the ground truth CSI 506 and use the ground truth CSI 506 and the output of the chained AI model for performance monitoring. The chained model may include a CSI prediction model at the UE chained to a CSI encoder model at the UE and a decoder at the network node. In some embodiments, the network node may calculate the squared generalized cosine similarity (SGCS) of CSI reconstruction output (e.g., output of decoder) versus ground truth CSI. In some embodiments, the SGCS may be averaged over all predicted instance (N4=4 in the illustrated case) .

[0049] In some embodiments, end-to-end monitoring using intermediate KPI can be performed by the UE. FIG. 6 illustrates example transmissions for end-to-end performance monitoring performed by a UE using an intermediate KPI in accordance with some  embodiments. For UE side performance monitoring of chained CSI prediction and CSI compression model, the output CSI at the prediction instance may be used for intermediate KPI calculation. The chained model that is monitored in FIG. 6 comprises a CSI prediction model, and a two-sided encoder and decoder model. This chained model is only an example and the principles discussed may apply to other chained models.

[0050] In some embodiments, to get the decoder output, a UE side proxy decoder can be used to generate the output CSI-RS. In some embodiments, the proxy decoder can be trained using reference decoder specified or transferred from the network node, or the decoder training dataset may be provided by the network node.

[0051] Alternatively, in some embodiments, the network node may send the output CSI back to UE. In some embodiments, the network node may send a precoded CSI-RS. In some embodiments, the network node may transmit a quantized version of the output CSI through Physical Downlink Shared Channel (PDSCH) . In some embodiments, the network node may use scaler quantization. In some embodiments, the network node may use release 16 e-type 2 quantization of each instance, potentially with extended parameter set such as L=10, M=10. In some embodiments, the network node may use release 18 Doppler code book with extended parameter set (such as Q=4 or 6, L=10, M=10) .

[0052] The ground truth may be measured by the UE based on CSI-RS measurement, where performance monitoring CSI-RS are configured and transmitted by the network node. The network node can configure ap-CSI-RS transmission for performance monitoring, or sp-CSI-RS transmission for performance monitoring. The UE can calculate the SGCS of CSI reconstruction output versus ground truth CSI. In some embodiments, SGCS is averaged over all predicted instance (N4=4 in the illustrated case) .

[0053] For example, a network node may configure and send CSI-RS transmission for measurement 602 to the UE. The network node may also configure and send CSI-RS transmission for ground truth measurement 604 to the UE. The UE may use measurements from the CSI-RS transmission for measurement 602 as an input to a CSI prediction model. The CSI prediction model may perform a prediction based on the CSI-RS transmission for measurement 602. The CSI-RS transmission for ground truth measurement 604 may be reference signals that the UE can measure that align with the prediction instances of the CSI prediction model. The network node may also send CSI-RS transmission for output CSI 606. The separate CSI-RS transmission for output CSI 606 may be precoded using output CSI. The UE may calculate output CSI from the precoded CSI-RS transmission for output  CSI 606 and calculate SGCS comparing to ground truth. The UE may report the SGCS 608 back to the network node.

[0054] FIG. 7 illustrates example transmissions for end-to-end performance monitoring performed by a UE using an eventual KPI in accordance with some embodiments. Eventual KPI may use hypothetical block error rate (BLER) directly instead of SGCS. The chained model that is monitored in FIG. 7 comprises a CSI prediction model, and a two-sided encoder and decoder model. This chained model is only an example and the principles discussed may apply to other chained models. A network node may configure and send CSI-RS transmission for measurement 702 to the UE. The UE may use measurements from the CSI-RS transmission for measurement 702 as an input to a CSI prediction model.

[0055] Further, for UE side performance monitoring of chained CSI prediction and CSI compression model, two different CSI-RS sets may be configured and transmitted. Set 1 may be the ground truth which may be measured based on CSI-RS at prediction instance (e.g., CSI-RS transmission for ground truth measurement 704) , where performance monitoring CSI-RS are configured and transmitted by the network node. Set 2 may be precoded CSI-RS using output CSI (CSI-RS transmission for output CSI 706) . The output CSI refers to the CSI output from the chained model.

[0056] The UE may use hypothetical BLER as eventual KPI to monitor the performance of the chained model. For example, for set 1 CSI-RS measurement, UE can calculate the hypothetical BLER using ideal precoding matrix based on CSI-RS measurement. legacy codebook (R16 or R18 codebook) . For set 2 CSI-RS measurement, UE can calculate the hypothetical BLER based on precoded CSI-RS.

[0057] The feedback 708 sent by the UE to the network node can be a function of the hypothetical BLER. For example, in some embodiment, if the hypothetical BLER of set 2 is close to the set 1 (within a threshold where the threshold may be configured by the gNB) , chained AI model performance is good.

[0058] FIG. 8 illustrates example transmissions for end-to-end performance monitoring performed by a UE using an eventual KPI and legacy codebook in accordance with some embodiments. The chained model that is monitored in FIG. 8 comprises a CSI prediction model, and a two-sided encoder and decoder model. This chained model is only an example and the principles discussed may apply to other chained models.

[0059] In some embodiments, it may be assumed that the CSI prediction is accurate using the set 1 CSI-RS measurement for ground truth. A more conservative approach may be to compare with sample and hold, plus legacy codebook as baseline for AI performance. For  example, the network node and UE may use legacy codebook calculations for CSI-RS transmission for measurement 802. In some embodiments, the legacy codebook may be calculated based on a last measurement of measurement window. Set 1 (e.g., CSI-RS transmission for ground truth measurement 804) may be the ground truth and may be measured based on CSI-RS at prediction instances, where performance monitoring CSI-RS are configured and transmitted by the network node. Set 2 (e.g., CSI-RS transmission for output CSI 806) may be the precoded CSI-RS using output CSI (e.g., the output of the chained model) . For set 1 CSI-RS measurement, the UE can calculate the hypothetical BLER using legacy codebook (R16 or R18 codebook) from last sample of measurement window. For set 2 CSI-RS measurement, UE can calculate the hypothetical BLER based on precoded CSI-RS. If the function of the hypothetical BLER of set 2 is better than set 1, the chained AI model perform may be considered better than legacy codebook without prediction. The UE can report the monitoring metrics (e.g., feedback 808) back to the network periodically, or based on event driven report.

[0060] The UE may use hypothetical BLER as eventual KPI to monitor the performance of the chained model. For example, for set 1 CSI-RS measurement, UE can calculate the hypothetical BLER using ideal precoding matrix based on CSI-RS measurement. legacy codebook (R16 or R18 codebook) . For set 2 CSI-RS measurement, UE can calculate the hypothetical BLER based on precoded CSI-RS.

[0061] In some embodiments, the UE may use hypothetical BLER as eventual KPI to monitor the performance of the chained model. For example, for set 1 CSI-RS measurement, UE can calculate the hypothetical BLER using ideal precoding matrix based on CSI-RS measurement 804. For set 2 CSI-RS measurement, UE can calculate the hypothetical BLER based on precoded CSI-RS. The feedback 808 sent by the UE to the network node can be a function of the hypothetical BLER. For example, in some embodiment, if the hypothetical BLER of set 2 is close to the set 1 (within a threshold where the threshold may be configured by the gNB) , chained AI model performance is good.

[0062] As discussed, when the chained model comprises a CSI prediction model and a CSI encoder / decoder model, the UE or the network node may check CSI prediction and CSI compression performance jointly. In some embodiments, for life cycle management (e.g., activation / de-activation / switching) , are done for the prediction and compression AI model together. For example, if the performance of the chained model is good, the whole chained model (e.g., all of the sub-models) may be activated. If the performance of the chained model is bad, all of the models in the chained models may be disabled. If another chained model is determined to be better for a situation, the whole chained model may be switched.

[0063] In some embodiments, each of the models within a chained AI model may monitored separately. For example, for the CSI chained model shown in FIG. 2, the UE or network node may check CSI prediction and CSI compression (e.g., encoder / decoder) performance independently. For CSI prediction performance, UE side performance monitoring or hybrid performance monitoring can be used. UE side performance monitoring may refer to when the UE monitors SGCS and sends monitoring results to the network node. Hybrid performance monitoring may refer to when the UE calculates the intermediate KPI and sends it to the network node for a decision.

[0064] For example, the network node may configure and send CSI transmission for measurement that may be the input of the prediction mode and may also configure and send CSI transmission for ground truth during a prediction instance. In some embodiments, the UE may calculate the SGCS of predicted CSI versus measured CSI-RS at a prediction instance. In some embodiments, the UE may make decision based on the SGCS, and trigger an event for network life cycle management. In some embodiments, the UE may send the SGCS back to the network for the network to decide on functionality life cycle management.

[0065] For CSI compression performance monitoring, network side or UE side monitoring may be used. For example, in some embodiments for network side performance monitoring, the ground truth CSI for CSI compression may be the output of CSI prediction model (not the CSI-RS measurement at the prediction instance) . The network may calculate the SGCS based on ground truth CSI and output CSI. In some embodiments, for UE side performance monitoring, similarly, the output CSI may be either transmitted from the network node to the UE or generated using proxy model. Different models may be monitored by different entities. For example, some models may be monitored by the UE and other models may be monitored by the network node.

[0066] In some embodiments, separate threshold is used for each AI model. For example, regarding the CSI chained model shown in FIG. 2, the network may configure a first threshold for the prediction model and a second threshold for the compression model.

[0067] Further, life cycle management decisions (e.g., activation / de-activation / switching) may be determined separately for the models in the chain. In some embodiments, each model of the chain may be enabled or disabled independently. For example, a system may use legacy CSI prediction with AI based CSI compression, if CSI prediction model does not meet the threshold. Further, the system may use legacy CSI feedback with AI based CSI prediction, if CSI compression model does not meet the threshold.

[0068] In some embodiments, a combination of end-to-end monitoring and separate monitoring may be used. For example, in some embodiments, end-to-end monitoring may be used as basic monitoring. When end-to-end performance monitoring results are bad, the system may enable separate modeling (e.g., individual monitoring for each of the models in the chain) to identify the potential cause and a corresponding life cycle management decision.

[0069] In some embodiments, different entities may use different solutions. For example, the network may use end-to-end performance monitoring to monitor the chained model as a whole, and the UE may use monitor models separately (separate monitoring) to monitor one or more individual models (e.g., CSI prediction model performance) .

[0070] In some embodiments, there may be other combination solutions used. For example, the separate monitoring output can be regarded as hard information. A system may improve performance by introducing some soft information (e.g., Probability of prediction) . With soft information, the performance can be further enhanced by introducing several rounds of iteration.

[0071] FIG. 9 illustrates a method 900 for a network node, according to some embodiments herein. The illustrated method 900 includes configuring 902 a reference signal transmission for a UE for training a chained AI model, the reference signal transmission comprising: measurement reference signals that the UE is to measure and use for inference during prediction instances of the chained AI model, and ground truth reference signals that are configured to align with the prediction instances of the chained AI model. The method 900 further includes transmitting 904 the reference signal transmission including the measurement reference signals and ground truth reference signals to the UE. The method 900 further includes receiving 906 feedback from the UE based on the ground truth reference signals.

[0072] In some embodiments of the method 900, the chained model comprises a CSI prediction model at the UE chained to a CSI encoder model at the UE and a decoder at the network node.

[0073] In some embodiments, the method 900 further comprises monitoring end-to-end performance of the chained AI model at the network node based on the feedback, wherein the feedback comprises measurements from the ground truth reference signals, determining an output from the chained AI model for the prediction instances, and calculating SGCS of the output versus the measurements from the ground truth reference signals. In some such embodiments, the measurements from the ground truth reference signals are compressed  using scaler quantization, e-type 2 quantization of each instance, or Doppler code book with extended parameter set. In some other such embodiments, the SGCS is averaged over all the prediction instances.

[0074] In some embodiments of the method 900, end-to-end monitoring of the chained AI model is performed by the UE and the method 900 further comprises: training or transferring a proxy sub-model to the UE, the proxy sub-model representing a final portion of the chained AI model located at the network node, wherein the feedback comprises SGCS of an output of the proxy sub-model versus the measurements from the ground truth reference signals.

[0075] In some embodiments of the method 900, end-to-end monitoring of the chained AI model is performed by the UE and the method 900 further comprises: sending, to the UE, an output of the chained AI model, wherein the feedback comprises SGCS of the output versus the measurements from the ground truth reference signals. In some such embodiments, sending the output comprises sending precoded reference signals or sending a quantized version of the output through PDSCH.

[0076] In some embodiments of the method 900, the feedback comprises metrics based on a comparison of a hypothetical BLER of the ground truth reference signals and precoded reference signals using an output from the chained AI mode.

[0077] In some embodiments, the method 900 further comprises activating the AI chain model, de-activating the AI chain model, or switching to a different AI chain model based on the feedback.

[0078] In some embodiments, the method 900 further comprises monitoring sub-models of the AI chained model separately. In some such embodiments, the sub-models on the UE are evaluated by the UE and the sub-models on the network node are evaluated by the network node. In some other such embodiments, lifecycle management of each of the sub-models are based on separate thresholds.

[0079] In some embodiments, the method 900 further comprises monitoring end-to-end performance of the chained AI model, and in response to the end-to-end performance being bad enabling monitoring of each sub-model of the AI chained model separately.

[0080] In some embodiments of the method 900, the network node monitors end-to-end performance of the chained AI model, and the UE monitors sub-models of the AI chained model separately.

[0081] FIG. 10 illustrates a method 1000 for a UE, according to some embodiments herein. The illustrated method 1000 includes receiving 1002, from a network node, a configuration  for a reference signal transmission for training a chained AI model, the reference signal transmission comprising: measurement reference signals that the UE is to measure and use for inference during prediction instances of the chained AI model, and ground truth reference signals that are configured to align with the prediction instances of the chained AI model. The method 1000 includes receiving 1004 the reference signal transmission including the measurement reference signals and ground truth reference signals from the network node. The method 1000 further includes sending 1006 feedback to the network node based on the ground truth reference signals.

[0082] In some embodiments of the method 1000, the chained model comprises a CSI prediction model at the UE chained to a CSI encoder model at the UE and a decoder at the network node.

[0083] In some embodiments of the method 1000, the network node performs end-to-end performance monitoring of the chained AI model at the network node based on the feedback, wherein the feedback comprises measurements from the ground truth reference signals. Some such embodiments further comprise compressing the measurements from the ground truth reference signals using scaler quantization, e-type 2 quantization of each instance, or Doppler code book with extended parameter set.

[0084] In some embodiments of the method 1000, end-to-end monitoring of the chained AI model is performed by the UE and the method 1000 further comprises: training or receiving a proxy sub-model from the network node, the proxy sub-model representing a final portion of the chained AI model located at the network node, wherein the feedback comprises SGCS of an output of the proxy sub-model versus the measurements from the ground truth reference signals.

[0085] In some embodiments of the method 1000, end-to-end monitoring of the chained AI model is performed by the UE and the method 1000 further comprises: receiving, from the network node, an output of the chained AI model, wherein the feedback comprises SGCS of the output versus the measurements from the ground truth reference signals. In some such embodiments, the SGCS is averaged over all the prediction instances. In some other such embodiments, the output is received via precoded reference signals or sending a quantized version of the output through PDSCH.

[0086] In some embodiments of the method 1000, the feedback comprises metrics based on a comparison of a BLER of the ground truth reference signals and precoded reference signals using an output from the chained AI mode.

[0087] In some embodiments, the method 1000 further comprises activating the AI chain model, de-activating the AI chain model, or switching to a different AI chain model based on the feedback.

[0088] In some embodiments, the method 1000 further comprises monitoring sub-models of the AI chained model separately. In some such embodiments, the sub-models on the UE are evaluated by the UE and the sub-models on the network node are evaluated by the network node. In some other such embodiments, lifecycle management of each of the sub-models are based on separate thresholds.

[0089] In some embodiments, the method 1000 further comprises monitoring end-to-end performance of the chained AI model, and in response to the end-to-end performance being bad enabling monitoring of each sub-model of the AI chained model separately.

[0090] In some embodiments of the method 1000, the network node monitors end-to-end performance of the chained AI model, and the UE monitors sub-models of the AI chained model separately.

[0091] FIG. 11 illustrates a method 1100 for a network node, according to some embodiments herein. The illustrated method 11 includes generating 1102 a performance monitoring configuration for a chained AI model, wherein the chained AI model comprises a first model whose output is an input to a second model, wherein the performance monitoring configuration comprises: a first initiating input that is used by the first model to generate a prediction, and a second input that provides a reference for the prediction. The method 1100 further includes determining 1104 a key performance indicator for the chained AI model based on the prediction and the reference. The method 1100 further includes sending 1106 a life cycle management decision for the chained AI model based on the key performance indicator.

[0092] In some embodiments of the method 1100, the chained AI model comprises a CSI prediction model and a CSI compression model.

[0093] In some embodiments of the method 1100, the first model is configured for FR1 CSI feedback and the second model is configured for FR2 beam management training based on the FR1 CSI feedback.

[0094] In some embodiments of the method 1100, the first model is configured to generate CSI feedback and the second model is configured for positioning based on the CSI feedback.

[0095] In some embodiments of the method 1100, the first model is configured for positioning and the second model is configured for positioning based beam management.

[0096] In some embodiments of the method 1100, the first model is configured for positioning and the second model is configured for mobility optimization AI based on an output of the first model.

[0097] In some embodiments of the method 1100, the network node performs end-to-end monitoring of the chained AI model using an intermediate key performance indicator.

[0098] In some embodiments, the method 1100 further comprises receiving SGCS or a metric based on a hypothetical BLER from a UE.

[0099] In some embodiments of the method 1100, the key performance indicator is monitored separately for each sub-model within the chained AI model, and the life cycle management decision is made separately for each of the sub-models.

[0100] In some embodiments of the method 1100, the key performance indicator is monitored for end-to-end performance, and in response to poor performance as indicated by the key performance indicator, performing separate monitoring for each sub-model within the chained AI model.

[0101] FIG. 12 illustrates a method 1200 for a UE, according to some embodiments herein. The illustrated method 1200 includes receiving 1202, from a network node, a performance monitoring configuration for a chained AI model, wherein the chained AI model comprises a first model whose output is an input to a second model, wherein the performance monitoring configuration comprises: a first initiating input that is used by the first model to generate a prediction, and a second input that provides a reference for the prediction. The method 1200 further includes determining 1204 a key performance indicator for the chained AI model based on the prediction and the reference. The method 1200 further includes sending 1206 feedback to the network node based on the key performance indicator.

[0102] In some embodiments of the method 1200, the chained AI model comprises a CSI prediction model and a CSI compression model.

[0103] In some embodiments of the method 1200, the first model is configured for FR1 CSI feedback and the second model is configured for FR2 beam management training based on the FR1 CSI feedback.

[0104] In some embodiments of the method 1200, the first model is configured to generate CSI feedback and the second model is configured for positioning based on the CSI feedback.

[0105] In some embodiments of the method 1200, the network node performs end-to-end monitoring of the chained AI model using an intermediate key performance indicator.

[0106] In some embodiments, the method 1200 further comprises sending to the network node a SGCS or a metric based on a hypothetical BLER from a UE.

[0107] In some embodiments of the method 1200, the key performance indicator is monitored separately for each sub-model within the chained AI model, and the life cycle management decision is made separately for each of the sub-models.

[0108] In some embodiments of the method 1200, the key performance indicator is monitored for end-to-end performance, and in response to poor performance as indicated by the key performance indicator, performing separate monitoring for each sub-model within the chained AI model.

[0109] FIG. 13 illustrates an example architecture of a wireless communication system 1302, according to embodiments disclosed herein. The following description is provided for an example wireless communication system 1302 that operates in conjunction with the LTE system standards and / or 5G or NR system standards as provided by 3GPP technical specifications.

[0110] As shown by FIG. 13, the wireless communication system 1302 includes UE 1304 and UE 1306 (although any number of UEs may be used) . In this example, the UE 1304 and the UE 1306 are illustrated as smartphones (e.g., handheld touchscreen mobile computing devices connectable to one or more cellular networks) , but may also comprise any mobile or non-mobile computing device configured for wireless communication.

[0111] The UE 1304 and UE 1306 may be configured to communicatively couple with a RAN 1308. In embodiments, the RAN 1308 may be NG-RAN, E-UTRAN, etc. The UE 1304 and UE 1306 utilize connections (or channels) (shown as connection 1310 and connection 1312, respectively) with the RAN 1308, each of which comprises a physical communications interface. The RAN 1308 can include one or more base stations (such as base station 1314 and base station 1314) that enable the connection 1310 and connection 1312.

[0112] In this example, the connection 1310 and connection 1312 are air interfaces to enable such communicative coupling, and may be consistent with RAT (s) used by the RAN 1308, such as, for example, an LTE and / or NR.

[0113] In some embodiments, the UE 1304 and UE 1306 may also directly exchange communication data via a sidelink interface 1318. The UE 1306 is shown to be configured to access an access point (shown as AP 1320) via connection 1322. By way of example, the connection 1322 can comprise a local wireless connection, such as a connection consistent with any IEEE 802.11 protocol, wherein the AP 1320 may comprise a router. In this  example, the AP 1320 may be connected to another network (for example, the Internet) without going through a CN 1326.

[0114] In embodiments, the UE 1304 and UE 1306 can be configured to communicate using orthogonal frequency division multiplexing (OFDM) communication signals with each other or with the base station 1314 and / or the base station 1316 over a multicarrier communication channel in accordance with various communication techniques, such as, but not limited to, an orthogonal frequency division multiple access (OFDMA) communication technique (e.g., for downlink communications) or a single carrier frequency division multiple access (SC-FDMA) communication technique (e.g., for uplink and ProSe or sidelink communications) , although the scope of the embodiments is not limited in this respect. The OFDM signals can comprise a plurality of orthogonal subcarriers.

[0115] In some embodiments, all or parts of the base station 1314 or base station 1316 may be implemented as one or more software entities running on server computers as part of a virtual network. In addition, or in other embodiments, the base station 1314 or base station 1316 may be configured to communicate with one another via interface 1324. In embodiments where the wireless communication system 1302 is an LTE system (e.g., when the CN 1326 is an EPC) , the interface 1324 may be an X2 interface. The X2 interface may be defined between two or more base stations (e.g., two or more eNBs and the like) that connect to an EPC, and / or between two eNBs connecting to the EPC. In embodiments where the wireless communication system 1302 is an NR system (e.g., when CN 1326 is a 5GC) , the interface 1324 may be an Xn interface. The Xn interface is defined between two or more base stations (e.g., two or more gNBs and the like) that connect to 5GC, between a base station 1314 (e.g., a gNB) connecting to 5GC and an eNB, and / or between two eNBs connecting to 5GC (e.g., CN 1326) .

[0116] The RAN 1308 is shown to be communicatively coupled to the CN 1326. The CN 1326 may comprise one or more network elements 1328, which are configured to offer various data and telecommunications services to customers / subscribers (e.g., users of UE 1304 and UE 1306) who are connected to the CN 1326 via the RAN 1308. The components of the CN 1326 may be implemented in one physical device or separate physical devices including components to read and execute instructions from a machine-readable or computer-readable medium (e.g., a non-transitory machine-readable storage medium) .

[0117] In embodiments, the CN 1326 may be an EPC, and the RAN 1308 may be connected with the CN 1326 via an S1 interface 1330. In embodiments, the S1 interface 1330 may be split into two parts, an S1 user plane (S1-U) interface, which carries traffic  data between the base station 1314 or base station 1316 and a serving gateway (S-GW) , and the S1-MME interface, which is a signaling interface between the base station 1314 or base station 1316 and mobility management entities (MMEs) .

[0118] In embodiments, the CN 1326 may be a 5GC, and the RAN 1308 may be connected with the CN 1326 via an NG interface 1330. In embodiments, the NG interface 1330 may be split into two parts, an NG user plane (NG-U) interface, which carries traffic data between the base station 1314 or base station 1316 and a user plane function (UPF) , and the S1 control plane (NG-C) interface, which is a signaling interface between the base station 1314 or base station 1316 and access and mobility management functions (AMFs) .

[0119] Generally, an application server 1332 may be an element offering applications that use internet protocol (IP) bearer resources with the CN 1326 (e.g., packet switched data services) . The application server 1332 can also be configured to support one or more communication services (e.g., VoIP sessions, group communication sessions, etc. ) for the UE 1304 and UE 1304 via the CN 1326. The application server 1332 may communicate with the CN 1326 through an IP communications interface 1334.

[0120] FIG. 1 illustrates a system 1402 for performing signaling 1436 between a wireless device 1404 and a network device 1420, according to embodiments disclosed herein. The system 1402 may be a portion of a wireless communications system as herein described. The wireless device 1404 may be, for example, a UE of a wireless communication system. The network device 1420 may be, for example, a base station (e.g., an eNB or a gNB) of a wireless communication system.

[0121] The wireless device 1404 may include one or more processor (s) 1406. The processor (s) 1406 may execute instructions such that various operations of the wireless device 1404 are performed, as described herein. The processor (s) 1406 may include one or more baseband processors implemented using, for example, a central processing unit (CPU) , a digital signal processor (DSP) , an application specific integrated circuit (ASIC) , a controller, a field programmable gate array (FPGA) device, another hardware device, a firmware device, or any combination thereof configured to perform the operations described herein.

[0122] The wireless device 1404 may include a memory 1408. The memory 1408 may be a non-transitory computer-readable storage medium that stores instructions 1410 (which may include, for example, the instructions being executed by the processor (s) 1406) . The instructions 1410 may also be referred to as program code or a computer program. The memory 1408 may also store data used by, and results computed by, the processor (s) 1406.

[0123] The wireless device 1404 may include one or more transceiver (s) 1412 that may include radio frequency (RF) transmitter circuitry and / or receiver circuitry that use the antenna (s) 1414 of the wireless device 1404 to facilitate signaling (e.g., the signaling 1436) to and / or from the wireless device 1404 with other devices (e.g., the network device 1420) according to corresponding RATs.

[0124] The wireless device 1404 may include one or more antenna (s) 1414 (e.g., one, two, four, or more) . For embodiments with multiple antenna (s) 1414, the wireless device 1404 may leverage the spatial diversity of such multiple antenna (s) 1414 to send and / or receive multiple different data streams on the same time and frequency resources. This behavior may be referred to as, for example, multiple input multiple output (MIMO) behavior (referring to the multiple antennas used at each of a transmitting device and a receiving device that enable this aspect) . MIMO transmissions by the wireless device 1404 may be accomplished according to precoding (or digital beamforming) that is applied at the wireless device 1404 that multiplexes the data streams across the antenna (s) 1414 according to known or assumed channel characteristics such that each data stream is received with an appropriate signal strength relative to other streams and at a desired location in the spatial domain (e.g., the location of a receiver associated with that data stream) . Certain embodiments may use single user MIMO (SU-MIMO) methods (where the data streams are all directed to a single receiver) and / or multi user MIMO (MU-MIMO) methods (where individual data streams may be directed to individual (different) receivers in different locations in the spatial domain) .

[0125] In certain embodiments having multiple antennas, the wireless device 1404 may implement analog beamforming techniques, whereby phases of the signals sent by the antenna (s) 1414 are relatively adjusted such that the (joint) transmission of the antenna (s) 1414 can be directed (this is sometimes referred to as beam steering) .

[0126] The wireless device 1404 may include one or more interface (s) 1416. The interface (s) 1416 may be used to provide input to or output from the wireless device 1404. For example, a wireless device 1404 that is a UE may include interface (s) 1416 such as microphones, speakers, a touchscreen, buttons, and the like in order to allow for input and / or output to the UE by a user of the UE. Other interfaces of such a UE may be made up of transmitters, receivers, and other circuitry (e.g., other than the transceiver (s) 1412 / antenna (s) 1414 already described) that allow for communication between the UE and other devices and may operate according to known protocols (e.g.,  and the like) .

[0127] The wireless device 1404 may include a chained model performance monitoring module 1418. The chained model performance monitoring module 1418 may be implemented via hardware, software, or combinations thereof. For example, the chained model performance monitoring module 1418 may be implemented as a processor, circuit, and / or instructions 1410 stored in the memory 1408 and executed by the processor (s) 1406. In some examples, the chained model performance monitoring module 1418 may be integrated within the processor (s) 1406 and / or the transceiver (s) 1412. For example, the chained model performance monitoring module 1418 may be implemented by a combination of software components (e.g., executed by a DSP or a general processor) and hardware components (e.g., logic gates and circuitry) within the processor (s) 1406 or the transceiver (s) 1412.

[0128] The chained model performance monitoring module 1418 may be used for various aspects of the present disclosure, for example, aspects of FIGS. 1-13.

[0129] The network device 1420 may include one or more processor (s) 1422. The processor (s) 1422 may execute instructions such that various operations of the network device 1420 are performed, as described herein. The processor (s) 1422 may include one or more baseband processors implemented using, for example, a CPU, a DSP, an ASIC, a controller, an FPGA device, another hardware device, a firmware device, or any combination thereof configured to perform the operations described herein.

[0130] The network device 1420 may include a memory 1424. The memory 1424 may be a non-transitory computer-readable storage medium that stores instructions 1426 (which may include, for example, the instructions being executed by the processor (s) 1422) . The instructions 1426 may also be referred to as program code or a computer program. The memory 1424 may also store data used by, and results computed by, the processor (s) 1422.

[0131] The network device 1420 may include one or more transceiver (s) 1428 that may include RF transmitter circuitry and / or receiver circuitry that use the antenna (s) 1430 of the network device 1420 to facilitate signaling (e.g., the signaling 1436) to and / or from the network device 1420 with other devices (e.g., the wireless device 1404) according to corresponding RATs.

[0132] The network device 1420 may include one or more antenna (s) 1430 (e.g., one, two, four, or more) . In embodiments having multiple antenna (s) 1430, the network device 1420 may perform MIMO, digital beamforming, analog beamforming, beam steering, etc., as has been described.

[0133] The network device 1420 may include one or more interface (s) 1432. The interface (s) 1432 may be used to provide input to or output from the network device 1420. For example, a network device 1420 that is a base station may include interface (s) 1432 made up of transmitters, receivers, and other circuitry (e.g., other than the transceiver (s) 1428 / antenna (s) 1430 already described) that enables the base station to communicate with other equipment in a core network, and / or that enables the base station to communicate with external networks, computers, databases, and the like for purposes of operations, administration, and maintenance of the base station or other equipment operably connected thereto.

[0134] The network device 1420 may include a chained model performance monitoring module 1434. The chained model performance monitoring module 1434 may be implemented via hardware, software, or combinations thereof. For example, the chained model performance monitoring module 1434 may be implemented as a processor, circuit, and / or instructions 1426 stored in the memory 1424 and executed by the processor (s) 1422. In some examples, the chained model performance monitoring module 1434 may be integrated within the processor (s) 1422 and / or the transceiver (s) 1428. For example, the chained model performance monitoring module 1434 may be implemented by a combination of software components (e.g., executed by a DSP or a general processor) and hardware components (e.g., logic gates and circuitry) within the processor (s) 1422 or the transceiver (s) 1428.

[0135] The chained model performance monitoring module 1434 may be used for various aspects of the present disclosure, for example, aspects of FIGS. 1-13.

[0136] Embodiments contemplated herein include an apparatus comprising means to perform one or more elements of any of the method 1000 and the method 1200. This apparatus may be, for example, an apparatus of a UE (such as a wireless device 1404 that is a UE, as described herein) .

[0137] Embodiments contemplated herein include one or more non-transitory computer-readable media comprising instructions to cause an electronic device, upon execution of the instructions by one or more processors of the electronic device, to perform one or more elements of any of the method 1000 and the method 1200. This non-transitory computer-readable media may be, for example, a memory of a UE (such as a memory 1408 of a wireless device 1404 that is a UE, as described herein) .

[0138] Embodiments contemplated herein include an apparatus comprising logic, modules, or circuitry to perform one or more elements of any of the method 1000 and the method  1200. This apparatus may be, for example, an apparatus of a UE (such as a wireless device 1404 that is a UE, as described herein) .

[0139] Embodiments contemplated herein include an apparatus comprising: one or more processors and one or more computer-readable media comprising instructions that, when executed by the one or more processors, cause the one or more processors to perform one or more elements of any of the method 1000 and the method 1200. This apparatus may be, for example, an apparatus of a UE (such as a wireless device 1404 that is a UE, as described herein) .

[0140] Embodiments contemplated herein include a signal as described in or related to one or more elements of any of the method 1000 and the method 1200.

[0141] Embodiments contemplated herein include a computer program or computer program product comprising instructions, wherein execution of the program by a processor is to cause the processor to carry out one or more elements of any of the method 1000 and the method 1200. The processor may be a processor of a UE (such as a processor (s) 1406 of a wireless device 1404 that is a UE, as described herein) . These instructions may be, for example, located in the processor and / or on a memory of the UE (such as a memory 1408 of a wireless device 1404 that is a UE, as described herein) .

[0142] Embodiments contemplated herein include an apparatus comprising means to perform one or more elements of any of the method 900 and the method 1100. This apparatus may be, for example, an apparatus of a base station (such as a network device 1420 that is a base station, as described herein) .

[0143] Embodiments contemplated herein include one or more non-transitory computer-readable media comprising instructions to cause an electronic device, upon execution of the instructions by one or more processors of the electronic device, to perform one or more elements of any of the method 900 and the method 1100. This non-transitory computer-readable media may be, for example, a memory of a base station (such as a memory 1424 of a network device 1420 that is a base station, as described herein) .

[0144] Embodiments contemplated herein include an apparatus comprising logic, modules, or circuitry to perform one or more elements of any of the method 900 and the method 1100. This apparatus may be, for example, an apparatus of a base station (such as a network device 1420 that is a base station, as described herein) .

[0145] Embodiments contemplated herein include an apparatus comprising: one or more processors and one or more computer-readable media comprising instructions that, when executed by the one or more processors, cause the one or more processors to perform one or  more elements of any of the method 900 and the method 1100. This apparatus may be, for example, an apparatus of a base station (such as a network device 1420 that is a base station, as described herein) .

[0146] Embodiments contemplated herein include a signal as described in or related to one or more elements of any of the method 900 and the method 1100.

[0147] Embodiments contemplated herein include a computer program or computer program product comprising instructions, wherein execution of the program by a processing element is to cause the processing element to carry out one or more elements of any of the method 900 and the method 1100. The processor may be a processor of a base station (such as a processor (s) 1422 of a network device 1420 that is a base station, as described herein) . These instructions may be, for example, located in the processor and / or on a memory of the base station (such as a memory 1424 of a network device 1420 that is a base station, as described herein) .

[0148] For one or more embodiments, at least one of the components set forth in one or more of the preceding figures may be configured to perform one or more operations, techniques, processes, and / or methods as set forth herein. For example, a baseband processor as described herein in connection with one or more of the preceding figures may be configured to operate in accordance with one or more of the examples set forth herein. For another example, circuitry associated with a UE, base station, network element, etc. as described above in connection with one or more of the preceding figures may be configured to operate in accordance with one or more of the examples set forth herein.

[0149] Any of the above described embodiments may be combined with any other embodiment (or combination of embodiments) , unless explicitly stated otherwise. The foregoing description of one or more implementations provides illustration and description, but is not intended to be exhaustive or to limit the scope of embodiments to the precise form disclosed. Modifications and variations are possible in light of the above teachings or may be acquired from practice of various embodiments.

[0150] Embodiments and implementations of the systems and methods described herein may include various operations, which may be embodied in machine-executable instructions to be executed by a computer system. A computer system may include one or more general-purpose or special-purpose computers (or other electronic devices) . The computer system may include hardware components that include specific logic for performing the operations or may include a combination of hardware, software, and / or firmware.

[0151] It should be recognized that the systems described herein include descriptions of specific embodiments. These embodiments can be combined into single systems, partially combined into other systems, split into multiple systems or divided or combined in other ways. In addition, it is contemplated that parameters, attributes, aspects, etc. of one embodiment can be used in another embodiment. The parameters, attributes, aspects, etc. are merely described in one or more embodiments for clarity, and it is recognized that the parameters, attributes, aspects, etc. can be combined with or substituted for parameters, attributes, aspects, etc. of another embodiment unless specifically disclaimed herein.

[0152] It is well understood that the use of personally identifiable information should follow privacy policies and practices that are generally recognized as meeting or exceeding industry or governmental requirements for maintaining the privacy of users. In particular, personally identifiable information data should be managed and handled so as to minimize risks of unintentional or unauthorized access or use, and the nature of authorized use should be clearly indicated to users.

[0153] Although the foregoing has been described in some detail for purposes of clarity, it will be apparent that certain changes and modifications may be made without departing from the principles thereof. It should be noted that there are many alternative ways of implementing both the processes and apparatuses described herein. Accordingly, the present embodiments are to be considered illustrative and not restrictive, and the description is not to be limited to the details given herein, but may be modified within the scope and equivalents of the appended claims.

Claims

1.A method for a network node, the method comprising:configuring a reference signal transmission for a user equipment (UE) for training a chained artificial intelligence (AI) model, the reference signal transmission comprising:measurement reference signals that the UE is to measure and use for inference during prediction instances of the chained AI model; andground truth reference signals that are configured to align with the prediction instances of the chained AI model;transmitting the reference signal transmission including the measurement reference signals and ground truth reference signals to the UE; andreceiving feedback from the UE based on the ground truth reference signals.2.The method of claim 1, wherein the chained model comprises a channel state information (CSI) prediction model at the UE chained to a CSI encoder model at the UE and a decoder at the network node.3.The method of claim 1, further comprising:monitoring end-to-end performance of the chained AI model at the network node based on the feedback, wherein the feedback comprises measurements from the ground truth reference signals;determining an output from the chained AI model for the prediction instances; andcalculating squared generalized cosine similarity (SGCS) of the output versus the measurements from the ground truth reference signals.4.The method of claim 3, wherein the measurements from the ground truth reference signals are compressed using scaler quantization, e-type 2 quantization of each instance, or Doppler code book with extended parameter set.5.The method of claim 3, wherein the SGCS is averaged over all the prediction instances.6.The method of claim 1, wherein end-to-end monitoring of the chained AI model is performed by the UE and the method further comprises:training or transferring a proxy sub-model to the UE, the proxy sub-model representing a final portion of the chained AI model located at the network node,wherein the feedback comprises squared generalized cosine similarity (SGCS) of an output of the proxy sub-model versus the measurements from the ground truth reference signals.7.The method of claim 1, wherein end-to-end monitoring of the chained AI model is performed by the UE and the method further comprises:sending, to the UE, an output of the chained AI model;wherein the feedback comprises squared generalized cosine similarity (SGCS) of the output versus the measurements from the ground truth reference signals.8.The method of claim 7, wherein sending the output comprises sending precoded reference signals or sending a quantized version of the output through Physical Downlink Shared Channel (PDSCH) .9.The method of claim 1, wherein the feedback comprises metrics based on a comparison of a hypothetical Block Error Ration (BLER) of the ground truth reference signals and precoded reference signals using an output from the chained AI mode.10.The method of claim 1, further comprising activating the AI chain model, de-activating the AI chain model, or switching to a different AI chain model based on the feedback.11.The method of claim 1, further comprising monitoring sub-models of the AI chained model separately.12.The method of claim 11, wherein the sub-models on the UE are evaluated by the UE and the sub-models on the network node are evaluated by the network node.13.The method of claim 11, wherein lifecycle management of each of the sub-models are based on separate thresholds.14.The method of claim 1, further comprising monitoring end-to-end performance of the chained AI model, and in response to the end-to-end performance being bad enabling monitoring of each sub-model of the AI chained model separately.15.The method of claim 1, wherein the network node monitors end-to-end performance of the chained AI model, and the UE monitors sub-models of the AI chained model separately.16.A method for a user equipment (UE) , the method comprising:receiving, from a network node, a configuration for a reference signal transmission for training a chained artificial intelligence (AI) model, the reference signal transmission comprising:measurement reference signals that the UE is to measure and use for inference during prediction instances of the chained AI model; andground truth reference signals that are configured to align with the prediction instances of the chained AI model;receiving the reference signal transmission including the measurement reference signals and ground truth reference signals from the network node; andsending feedback to the network node based on the ground truth reference signals.17.The method of claim 16, wherein the chained model comprises a channel state information (CSI) prediction model at the UE chained to a CSI encoder model at the UE and a decoder at the network node.18.The method of claim 16, wherein the network node performs end-to-end performance monitoring of the chained AI model at the network node based on the feedback, wherein the feedback comprises measurements from the ground truth reference signals.19.The method of claim 18, further comprising compressing the measurements from the ground truth reference signals using scaler quantization, e-type 2 quantization of each instance, or Doppler code book with extended parameter set.20.The method of claim 16, wherein end-to-end monitoring of the chained AI model is performed by the UE and the method further comprises:training or receiving a proxy sub-model from the network node, the proxy sub-model representing a final portion of the chained AI model located at the network node,wherein the feedback comprises squared generalized cosine similarity (SGCS) of an output of the proxy sub-model versus the measurements from the ground truth reference signals.21.The method of claim 16, wherein end-to-end monitoring of the chained AI model is performed by the UE and the method further comprises:receiving, from the network node, an output of the chained AI model;wherein the feedback comprises squared generalized cosine similarity (SGCS) of the output versus the measurements from the ground truth reference signals.22.The method of claim 21, wherein the SGCS is averaged over all the prediction instances.23.The method of claim 21, wherein the output is received via precoded reference signals or sending a quantized version of the output through Physical Downlink Shared Channel (PDSCH) .24.The method of claim 16, wherein the feedback comprises metrics based on a comparison of a Block Error Ration (BLER) of the ground truth reference signals and precoded reference signals using an output from the chained AI mode.25.The method of claim 16, further comprising activating the AI chain model, de-activating the AI chain model, or switching to a different AI chain model based on the feedback.26.The method of claim 16, further comprising monitoring sub-models of the AI chained model separately.27.The method of claim 26, wherein the sub-models on the UE are evaluated by the UE and the sub-models on the network node are evaluated by the network node.28.The method of claim 26, wherein lifecycle management of each of the sub-models are based on separate thresholds.29.The method of claim 16, further comprising monitoring end-to-end performance of the chained AI model, and in response to the end-to-end performance being bad enabling monitoring of each sub-model of the AI chained model separately.30.The method of claim 16, wherein the network node monitors end-to-end performance of the chained AI model, and the UE monitors sub-models of the AI chained model separately.31.A method for a network node, the method comprising:generating a performance monitoring configuration for a chained artificial intelligence (AI) model, wherein the chained AI model comprises a first model whose output is an input to a second model, wherein the performance monitoring configuration comprises:a first initiating input that is used by the first model to generate a prediction; anda second input that provides a reference for the prediction;determining a key performance indicator for the chained AI model based on the prediction and the reference; andsending a life cycle management decision for the chained AI model based on the key performance indicator.32.The method of claim 31, wherein the chained AI model comprises a channel state information (CSI) prediction model and a CSI compression model.33.The method of claim 31, wherein the first model is configured for Frequency Range 1 (FR1) CSI feedback and the second model is configured for Frequency Range 2 (FR2) beam management training based on the FR1 CSI feedback.34.The method of claim 31, wherein the first model is configured to generate CSI feedback and the second model is configured for positioning based on the CSI feedback.35.The method of claim 31, wherein the first model is configured for positioning and the second model is configured for positioning based beam management.36.The method of claim 31, wherein the first model is configured for positioning and the second model is configured for mobility optimization AI based on an output of the first model.37.The method of claim 31, wherein the network node performs end-to-end monitoring of the chained AI model using an intermediate key performance indicator.38.The method of claim 31, further comprising receiving squared generalized cosine similarity (SGCS) or a metric based on a hypothetical Block Error Ration (BLER) from a UE.39.The method of claim 31, wherein the key performance indicator is monitored separately for each sub-model within the chained AI model, and the life cycle management decision is made separately for each of the sub-models.40.The method of claim 31, wherein the key performance indicator is monitored for end-to-end performance, andin response to poor performance as indicated by the key performance indicator, performing separate monitoring for each sub-model within the chained AI model.41.A method for a user equipment (UE) , the method comprising:receiving, from a network node, a performance monitoring configuration for a chained artificial intelligence (AI) model, wherein the chained AI model comprises a first model whose output is an input to a second model, wherein the performance monitoring configuration comprises:a first initiating input that is used by the first model to generate a prediction; anda second input that provides a reference for the prediction;determining a key performance indicator for the chained AI model based on the prediction and the reference; andsending feedback to the network node based on the key performance indicator.42.The method of claim 41, wherein the chained AI model comprises a channel state information (CSI) prediction model and a CSI compression model.43.The method of claim 41, wherein the first model is configured for Frequency Range 1 (FR1) CSI feedback and the second model is configured for Frequency Range 2 (FR2) beam management training based on the FR1 CSI feedback.44.The method of claim 41, wherein the first model is configured to generate CSI feedback and the second model is configured for positioning based on the CSI feedback.45.The method of claim 41, wherein the network node performs end-to-end monitoring of the chained AI model using an intermediate key performance indicator.46.The method of claim 41, further comprising sending to the network node a squared generalized cosine similarity (SGCS) or a metric based on a hypothetical Block Error Ration (BLER) from a UE.47.The method of claim 41, wherein the key performance indicator is monitored separately for each sub-model within the chained AI model, and the life cycle management decision is made separately for each of the sub-models.48.The method of claim 41, wherein the key performance indicator is monitored for end-to-end performance, andin response to poor performance as indicated by the key performance indicator, performing separate monitoring for each sub-model within the chained AI model.49.An apparatus comprising means to perform the method of any of claim 1 to claim 48.50.A computer-readable media comprising instructions to cause an electronic device, upon execution of the instructions by one or more processors of the electronic device, to perform the method of any of claim 1 to claim 48.51.A computer-readable media comprising instructions to cause an electronic device, upon execution of the instructions by one or more processors of the electronic device, to perform the method of any of claim 1 to claim 48.52.An apparatus comprising logic, modules, or circuitry to perform the method of any of claim 1 to claim 48.53.A system for providing wireless communication comprising means to perform the method of any of claim 1 to claim 48.54.A baseband processor for a user equipment (UE) that is configured to cause the UE to perform one or more elements of the method of any of claims 16-30, and 41-48.55.A baseband processor for a base station that is configured to cause the base station to perform one or more elements of the method of any of claims 1-15, and 31-40.

Images