Method of performance monitoring for a processing procedure

Abstract

A method includes determining at least one performance metric of a processing procedure performed by a wireless terminal device, and reporting, by the wireless terminal device to a wireless access network node, the at least one performance metric. In other embodiments, a method includes reporting, by the wireless terminal device to a wireless access network node, actual channel measurement information and / or predicted channel information for at least one dedicated occasion, whereby the wireless access network node may calculate at least one performance metric of the processing procedure based, at least in part, on the actual channel measurement information and / or the predicted channel information.

Description

METHOD OF PERFORMANCE MONITORING FOR A PROCESSING PROCEDURETECHNICAL FIELD

[0001] This disclosure generally relates to performance monitoring of processing procedures.BACKGROUND

[0002] Artificial Intelligence / Machine Learning (AI / ML) has been studied and used in various fields, which can be used to extract features that cannot be derived by mathematical methods. Generally, an AI / ML model can implicitly learn the mapping relationship between the data via model training based on a dataset. Then, the AI / ML model can generate a set of outputs based on a set of inputs. However, due to the fact that AI / ML model performance is strongly related to the training dataset, generalization of an AI / ML model is a problem because an AI / ML model may not perform well in a scenario / configuration that is different from a training scenario / configuration.

[0003] There are also some studies to improve the efficiency of wireless communication systems. In those cases, a User Equipment (UE) may be deployed with AI / ML models in order to obtain more accurate Channel State Information (CSI) and feedback for the network. However, due to the AI / ML model generalization problem, an AI / ML model may not perform well in a scenario / configuration that is different from training scenario / configuration. As such, the performance of an AI / ML model may be reduced across different scenarios / configurations.SUMMARY

[0004] This disclosure generally relates to performance monitoring of processing procedures. It is important to have a performance monitoring procedure on processing procedures that may involve an AI / ML model. If the AI / ML model cannot satisfy a performance target, the AI / ML model may be deactivated / updated / switched to another AI / ML model / fallback to legacy scheme. Therefore, performance monitoring on an AI / ML model is crucial since it may influence the system performance directly. In current communication system, no sufficient monitoring scheme / procedure on AI / ML models exists. The present disclosure addresses such deficiencies and involves monitoring related methods on the AI / ML model and / or a processing procedure involving an AI / ML model.

[0005] In various embodiments, the AL / ML model can refer to a general term, which is to describe that a UE is capable of performing a processing procedure, a functionality, or a feature. The functionality, processing procedure, or feature may include, involve, or be enabled at by an AI / ML models in accordance with various embodiments. In addition, a UE-side model may refer to a general term, which is to describe a UE-side model that is capable of one-sided UE model, or UE-part model of a two-sided model.

[0006] In some exemplary implementations, a method performed by a wireless terminal device includes determining at least one performance metric of the processing procedure, wherein the processing procedure is performed by the wireless terminal device, and reporting, by the wireless terminal device to a wireless access network node, the at least one performance metric. The method may include measuring actual channel measurement information; generating, using the processing procedure, predicted channel information; and calculating the at least one performance metric based, at least in part, on the predicted channel information and the actual channel measurement information. Similarly, a method performed by a wireless access network node may include receiving, from a wireless terminal device, at least one performance metric of the processing procedure, wherein the processing procedure is performed by the wireless terminal device.

[0007] In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, the method may include the wireless terminal device determining the at least one performance metric of the processing procedure of at least one occasion, and reporting to the wireless access network node the at least one performance metric of the at least one occasion. The occasion may comprise at least one time unit, time slot, or symbol. The method may include the wireless terminal device 104 receiving an indication of at least one dedicated occasion to indicate performance of the processing procedure; determining the at least one performance metric of the processing procedure of the at least one dedicated occasion based, at least in part, on actual channel measurement information and predicted channel information of the at least one dedicated occasion; and reporting the at least one performance metric of the at least one dedicated occasion.

[0008] In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, the method may include the wireless access network node receiving the at least one performance metric of the processing procedure of at least one occasion. In various examples, the occasion comprises at least one time unit, time slot, or symbol. The method may also include indicating an indication of at least one dedicated occasion to indicate performance of the processing procedure, and receiving the at least one performance metric of the at least one dedicated occasion.

[0009] In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, the method may include the wireless terminal device receiving an indication of a plurality of dedicated occasions to indicate performance of the processing procedure; determining the at least one performance metric of the processing procedure of a subset of the plurality of dedicated occasions based, at least in part, on actual channel measurement information and predicted channel information of the subset of the plurality of dedicated occasions; and reporting the at least one performance metric of the subset of the plurality of dedicated occasions. In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, the method may include the wireless access network node indicating an indication of a plurality of dedicated occasions to indicate performance of the processing procedure, and receiving at least one performance metric of a subset of the plurality of dedicated occasions.

[0010] In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, the method may include the wireless terminal device receiving an indication of a plurality of dedicated occasions to indicate performance of the processing procedure; determining the at least one performance metric of the processing procedure of the plurality of dedicated occasions as an average performance metric of the plurality of dedicated occasions based, at least in part, on actual channel measurement information and predicted channel information of the plurality of dedicated occasions; and reporting the average performance metric of the plurality of dedicated occasions. In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, the method may include the wireless access network node indicating an indication of a plurality of dedicated occasions to indicate performance of the processing procedure; and receiving an average performance metric of the plurality of dedicated occasions.

[0011] In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, the method may include the wireless terminal device receiving an indication of a plurality of dedicated occasions to indicate performance of the processing procedure; determining the at least one performance metric of the processing procedure of the plurality of dedicated occasions as at least one average performance metric of at least one group of the plurality of dedicated occasions based, at least in part, on actual channel measurement information and predicted channel information of the plurality of dedicated occasions; and reporting the at least one average performance metric of the at least one group of the plurality of dedicated occasions. In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, the method may include the wireless access network node  indicating an indication of a plurality of dedicated occasions to indicate performance of the processing procedure; and receiving at least one average performance metric of at least one group of the plurality of dedicated occasions.

[0012] In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, the method may include the wireless terminal device receiving an indication of a plurality of dedicated occasions to indicate performance of the processing procedure; determining the at least one performance metric of the processing procedure of a subset of the plurality of dedicated occasions as at least one average performance metric of the subset of the plurality of dedicated occasions based, at least in part, on actual channel measurement information and predicted channel information of the subset of the plurality of dedicated occasions; and reporting the at least one average performance metric of the subset of the plurality of dedicated occasions. In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, the method may include the wireless access network node indicating an indication of a plurality of dedicated occasions to indicate performance of the processing procedure; and receiving at least one average performance metric of a subset of the plurality of dedicated occasions.

[0013] In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, the method may include the wireless terminal device receiving an indication of a plurality of dedicated occasions to indicate performance of the processing procedure; determining the at least one performance metric of the processing procedure of a subset of the plurality of dedicated occasions as at least one average performance metric of at least one group of the subset of the plurality of dedicated occasions based, at least in part, on actual channel measurement information and predicted channel information of the subset of the plurality of dedicated occasions; and reporting the at least one average performance metric of the at least one group of the subset of the plurality of dedicated occasions. In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, the method may include the wireless access network node indicating an indication of a plurality of dedicated occasions to indicate performance of the processing procedure; and receiving at least one average performance metric of at least one group of a subset of the plurality of dedicated occasions.

[0014] In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, the method may include the wireless terminal device determining a validity time of the predicted channel information, and / or determining the validity time of the predicted channel information based, at least in part, on the performance metric, and / or determining the performance metric with a granularity of performance metric calculation. In some exemplary implementations, which may be combined  with any of the other exemplary implementations disclosed herein, the method may include the wireless access network node receiving a validity time of predicted channel information determined by the processing procedure of the wireless terminal device, and / or indicating a granularity of performance metric calculation to be performed by the wireless terminal device.

[0015] In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, the method may include the wireless terminal device reporting channel related information, and / or generating, using the processing procedure, predicted channel information, wherein reporting the channel related information includes reporting the predicted channel information and actual channel measurement information. In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, the method may include the wireless access network node receiving channel related information, and / or receiving predicted channel information and actual channel measurement information, wherein the predicted channel information is generating by the wireless terminal device using the processing procedure.

[0016] In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, the method may include the wireless terminal device generating, using the processing procedure, predicted channel information, wherein reporting the channel related information includes reporting difference information between actual channel measurement information and the predicted channel information; and reporting the predicted channel information. In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, the method may include the wireless access network node receiving predicted channel information and difference information between actual channel measurement information and the predicted channel information, wherein the predicted channel information is generating by the wireless terminal device using the processing procedure.

[0017] In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, a method may include a wireless terminal device measuring actual channel measurement information in at least one dedicated occasion to indicate performance of the processing procedure, and reporting, to a wireless access network node, the actual channel measurement information for the at least one dedicated occasion. In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, a method may include a wireless access network node receiving, from a wireless terminal device, actual channel measurement information for at least one dedicated occasion, and calculating at least one performance metric of the processing procedure based, at least in part, on the actual  channel measurement information.

[0018] In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, a method may include a wireless terminal device generating, using the processing procedure, predicted channel information for at least one dedicated occasion to indicate performance of the processing procedure, wherein the processing procedure is performed by the wireless terminal device, and reporting, to a wireless access network node, the predicted channel information for the at least one dedicated occasion. In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, a method may include a wireless access network node receiving predicted channel information for at least one dedicated occasion to indicate performance of the processing procedure, and calculating at least one performance metric of the processing procedure based, at least in part, on the predicted channel information, wherein the processing procedure is performed by the wireless terminal device.

[0019] In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, the method may include the wireless terminal device reporting the channel related information by reporting partial channel related information, and / or generating, using the processing procedure, predicted channel information, wherein reporting the channel related information includes reporting the predicted channel information along with the at least one performance metric. In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, the method may include the wireless access network node receiving partial channel related information, and / or receiving predicted channel information along with the at least one performance metric, wherein the predicted channel information is generating by the wireless terminal device using the processing procedure.

[0020] In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, the method may include the wireless terminal device receiving a configuration of the processing procedure determined by the wireless access network node based at least in part on the at least one performance metric. The configuration may comprise a number of prediction occasions, a length of a prediction window, or a length of time span of the processing procedure of the wireless terminal device, and / or a periodicity of prediction occasions of the processing procedure of the wireless terminal device. The method may include receiving the configuration of the processing procedure via at least one of Medium Access Control Control Element (MAC-CE) or Downlink Control Information (DCI) signaling.

[0021] In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, the method may include the wireless access network node configuring the  processing procedure of the wireless terminal device based at least in part on the at least one performance metric; and indicating the configuration of the processing procedure. The configuring may comprise configuring a number of prediction occasions, a length of a prediction window, or a length of time span of the processing procedure of the wireless terminal device, and / or a periodicity of prediction occasions of the processing procedure of the wireless terminal device. The method may also include indicating the configuration of the processing procedure via at least one of Medium Access Control Control Element (MAC-CE) or Downlink Control Information (DCI) signaling.

[0022] In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, the method may include the wireless terminal device performing performance monitoring of the processing procedure, wherein the processing procedure is performed by the wireless terminal device; and reporting an indication regarding the performance monitoring. The indication may include an indicator regarding a result of the performance monitoring. The method may include performing the performance monitoring of the processing procedure based, at least in part, on a performance threshold, and / or reporting the indication regarding the performance monitoring comprising a one-bit indication of whether the processing procedure is valid or invalid, and / or receiving the performance threshold, and / or reporting the performance threshold, and / or determining the performance threshold.

[0023] In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, the method may include the wireless access network node receiving an indication regarding performance monitoring of the processing procedure, wherein the processing procedure is performed by the wireless terminal device, and wherein the performance monitoring is performed by the wireless terminal device. The indication may include an indicator regarding a result of the performance monitoring. The method may also include receiving the indication regarding the performance monitoring comprising an indication whether the processing procedure is valid or invalid, and / or receiving the indication regarding the performance monitoring comprising an indication whether the processing procedure satisfies a performance threshold, and / or indicating the performance threshold for use by the wireless terminal device in performance monitoring of the processing procedure. The indication whether the processing procedure satisfies a performance threshold may comprise a one-bit indication of whether the processing procedure is valid or invalid based, at least in part, on the performance threshold. The method may also include receiving the performance threshold.

[0024] In some exemplary implementations, which may be combined with any of the other exemplary  implementations disclosed herein, the method may include the wireless terminal device reporting the indication regarding the performance monitoring comprising an indication regarding a current performance level of the processing procedure. In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, the method may include the wireless access network node receiving the indication regarding the performance monitoring comprising an indication regarding a current performance level of the processing procedure. The indication regarding the current performance level of the processing procedure may comprise a plurality of bits to indicate the current performance level.

[0025] In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, the method may include the wireless terminal device reporting a suggestion indication comprising a suggesting as to whether the wireless access network node should perform a decision process regarding the processing procedure, and / or reporting a suggestion indication comprising a plurality of bits indication a particular suggested decision regarding to the processing procedure. In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, the method may include the wireless access network node receiving a suggestion indication comprising a suggesting as to whether the wireless access network node should perform a decision process regarding the processing procedure, and / or receiving a suggestion indication comprising a plurality of bits indication a particular suggested decision regarding to the processing procedure.

[0026] In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, the method may include the wireless terminal device receiving a configuration of the processing procedure, wherein the configuration is based, at least in part, on the indication regarding the performance monitoring, and / or determining a course of action with respect to the processing procedure of the wireless terminal device based on the performance monitoring of the processing procedure, and / or reporting the course of action with respect to the processing procedure determined by the wireless terminal device.

[0027] In some exemplary implementations, which may be combined with any of the other exemplary implementations disclosed herein, the method may include the wireless access network node determining a course of action with respect to the processing procedure of the wireless terminal device based on the indication regarding the performance monitoring, and / or configuring the processing procedure of the wireless terminal device based on the indication regarding the performance monitoring, and indicating the configuration of the processing procedure, and / or receiving a course of action determined by the wireless terminal device with respect to the processing procedure of the wireless terminal device based on the performance monitoring of the  processing procedure.

[0028] In some other implementations, an apparatus for wireless communication such as a network device is disclosed. The network device may include one or more processors and one or more memories, wherein the one or more processors are configured to read computer code from the one or more memories to implement any one of the methods above. The apparatus for wireless communication may be the wireless access network node (e.g., base station) or the wireless terminal device (e.g., UE) .

[0029] In yet some other implementations, a computer program product is disclosed. The computer program product may include a non-transitory computer-readable medium with computer code stored thereupon, the computer code, when executed by one or more processors, causing the one or more processors to implement any one of the methods above.

[0030] The above embodiments and other aspects and alternatives of their implementations are explained in greater detail in the drawings, the descriptions, and the claims below.BRIEF DESCRIPTION OF THE DRAWINGS

[0031] FIG. 1 shows a wireless access network with an exemplary uplink, downlink, and control channel configuration.

[0032] FIG. 2 shows various example processing components of the wireless terminal device and the wireless access network node of FIG. 1.

[0033] FIG. 3 shows an illustrative example of a method of determining performance metrics in accordance with various embodiments.

[0034] FIG. 4 shows another illustrative example of a method of determining performance metrics in accordance with various embodiments.

[0035] FIGS. 5, 6, 7, 8, 9, 10, and 11 each show an illustrative example of a method of reporting performance metrics in accordance with various embodiments.DETAILED DESCRIPTION

[0036] The technology and examples of implementations and / or embodiments described in this disclosure can be used to facilitate over-the-air radio resource allocation, configuration, and signaling in wireless access networks as well as operational configuration of a UE and / or a base station within the wireless access networks,  including monitoring and / or configuring processing procedures that may involve or be enabled by AI / ML models. The term “exemplary” is used to mean “an example of” and unless otherwise stated, does not imply an ideal or preferred example, implementation, or embodiment. Section headers are used in the present disclosure to facilitate understanding of the disclosed implementations and are not intended to limit the disclosed technology in the sections only to the corresponding section. The disclosed implementations may be further embodied in a variety of different forms and, therefore, the scope of this disclosure or claimed subject matter is intended to be construed as not being limited to any of the embodiments set forth below. The various implementations may be embodied as methods, devices, components, systems, or non-transitory computer readable media. Accordingly, embodiments of this disclosure may, for example, take the form of hardware, software, firmware or any combination thereof.

[0037] Wireless Network Overview

[0038] A wireless communication network may include a radio access network for providing network access to wireless terminal devices, and a core network for routing data between the access networks or between the wireless network and other types of data networks. In a wireless access network, radio resources are provided for allocation and used for transmitting data and control information. FIG. 1 shows an exemplary wireless access network 100 including a wireless access network node (WANN) or wireless base station 102 (herein referred to as wireless base station, base station, wireless access node, wireless access network node, or WANN) and a wireless terminal device or user equipment (UE) 104 (herein referred to as user equipment, UE, terminal device, or wireless terminal device) that communicates with one another via over-the-air (OTA) radio communication resources 106. The wireless access network 100 may be implemented as, as for example, a 2G, 3G, 4G / LTE, 5G, or 6G cellular radio access network. Correspondingly, the base station 102 may be implemented as a 2G base station, a 3G node B, an LTE eNB, or a 5G / 6G New Radio (NR) gNB. The user equipment 104 may be implemented as mobile or fixed communication devices installed with mobile identity modules for accessing the base station 102. The user equipment 104 may include but is not limited to mobile phones, laptop computers, tablets, personal digital assistants, wearable devices, distributed remote sensor devices, and desktop computers. Alternatively, the wireless access network 100 may be implemented as other types of radio access networks, such as Wi-Fi, Bluetooth, ZigBee, and WiMax networks.

[0039] FIG. 2 further shows example processing components of the WANN 102 and the UE 104 of FIG. 1. The UE 104, for example, may include transceiver circuitry 206 coupled to one or more antennas 208 to effectuate wireless communication with the WANN 102 (or to other UEs) . The transceiver circuitry 206 may  also be coupled to a processor 210, which may also be coupled to a memory 212 or other storage devices. The memory 212 may be transitory or non-transitory and may store therein computer instructions or code which, when read and executed by the processor 210, cause the processor 210 to implement various ones of the, functions, methods, and processes of the UE 104 described herein. The memory 212 may also be utilized and allocated for buffering UL and DL transmissions in each band / carrier. The memory 212 may include multiple memory modules assigned to different functions (such as program memory, base band memory, and / or RF memory, to name a few) . Likewise, the WANN 102 may include transceiver circuitry 214 coupled to one or more antennas 216, which may include an antenna tower 218 in various forms, to effectuate wireless communications with the UE 104. The transceiver circuitry 214 may be coupled to one or more processors 220, which may further be coupled to a memory 222 or other storage devices. The memory 222 may be transitory or non-transitory and may store therein instructions or code that, when read and executed by the one or more processors 220, cause the one or more processors 220 to implement various functions, methods, and processes of the WANN 102 described herein.

[0040] Wireless Communication Resource Scheduling / Signaling

[0041] Returning to FIG. 1, the radio communication resources for the over-the-air interface 106 may include a combination of frequency, time, and / or spatial communication resources organized into various resource units or elements in frequency, time, and / or space. The radio communication resources 106 in frequency domain may include portions of licensed radio frequency bands, portions of unlicensed ration frequency bands, or portions of a mix of both licensed and unlicensed radio frequency bands. The radio communication resources 106 available for carrying the wireless communication signals between the base station 102 and user equipment 104 may be further divided into physical downlink channels 110 for transmitting wireless signals from the base station 102 to the user equipment 104 and physical uplink channels 120 for transmitting wireless signals from the user equipment 104 to the base station 102. The physical downlink channels 110 may further include physical downlink control channels (PDCCHs) 112 and physical downlink shared channels (PDSCHs) 114. Likewise, the physical uplink channels 120 may further include physical uplink control channels (PUCCHs) 122 and physical uplink shared channels (PUSCHs) 124. For simplification, other types of downlink and uplink channels are not shown in FIG. 1 but are within the scope of the current disclosure. The control channels PDCCHs 112 and PUCCHs 122 may be used for carrying control information in the form of control messages 116 and 126, herein referred to as Downlink Control Information (DCI) messages or Uplink Control Information (UCI) messages. The shared channels (shared between data and control  information) PDSCHs 114 and PUSCHs 124 may be allocated and used for communicating downlink data transmissions 118 and uplink data transmissions 128 between the base station 102 and the user equipment 104.

[0042] The allocation and configuration of the radio communication resources associated with the data channels, such as the PDSCHs and the PUSCHs may be provided by one or more resource scheduling DCIs carried in the PDCCHs. The PDCCHs may be shared by a plurality of UEs in the access network. In various approaches, a particular UE may be configured to perform blind decode procedures on a preconfigured UE-specific Search Space (USS) to detect and identify a payload of a resource scheduling DCI carried in the PDCCH that specifically targets the particular UE. The blind decoding may be performed on preconfigured monitoring occasions of the PDCCH associated with USS. Such monitoring occasions may be referred to as a set of PDCCH candidates. Each PDCCH candidate may be associated with a set of Control Channel Elements (CCEs) . The UE may specifically use its Radio Network Temporary Identifier (RNTI) to decode the PDCCH candidates. The RNTI may be used to demask a PDCCH candidate’s CRC. If no CRC error is detected, the UE determines that PDCCH candidate carries its own control information. The UE may then process the DCI and extract the resource allocation information pertaining to the PDSCH and / or PUSCH for receiving and / or transmitting data.

[0043] Description of New Mechanisms for Performance Monitoring of a Processing Procedure

[0044] In accordance with the present disclosure, methods are disclosed to provide for performance monitoring of a processing procedure. As mentioned above, the processing procedure may be performed entirely or partially by an AI / ML model, may involve an AI / ML model, and / or be enabled by an AI / ML model. As such, in various embodiments, the processing procedure may comprise processing using AI or ML model.

[0045] Due to the AI / ML model generalization problem discussed above, an AI / ML model may not perform well in a deployment scenario / configuration that is different from the training scenario / configuration. Considering the limited capability of an AI / ML model subject to generalization, the disclosed performance monitoring related procedure applied for AI / ML model is needed. In some cases, the performance monitoring related procedure on a UE-side AI / ML model can be performed at the network side (e.g., at the base station 102) and / or the UE 104 side.

[0046] In some embodiments, performance monitoring procedures on a processing procedure involving or enabled by a UE-side AI / ML model is performed at the network side (e.g., at the base station 102) . In some embodiments, the UE 104 reports performance metric (s) to the network side.

[0047] In some embodiments, performance metric (s) can be evaluated based on intermediate key performance indicators (KPI) . In some embodiments, intermediate KPI can be calculated according to similarity (e.g., Cosine similarity (CS)  / Generalization Cosine Similarity (GCS)  / Square Generalization Cosine Similarity (SGCS) ) . In some embodiments, intermediate KPI can be calculated according to difference / distance (e.g., Euclidean Distance / Mean Square Error (MSE) or Normalized Mean Square Error (NMSE) ) .

[0048] In an example, an AI / ML model is applied for Channel State Information (CSI) prediction. As shown in FIG. 3, the predicted channel information and the actual channel measurement (e.g., via reference signal measurement) are denoted by Hpredict and H, respectively. The AI / ML model input is based on actual channel measurements in some previous occasions (e.g., observation occasions) , labelled Hprevious, and the AI / ML model output is the predicted channel information Hpredict. In various embodiments, performance metric (s) can be calculated based on the predicted channel information and actual channel.

[0049] In another example, the AI / ML model is applied for CSI prediction. As shown in FIG. 4, predicted eigenvector (s)  / precoder information and actual eigenvector (s)  / precoder information derived from channel measurement and some processing procedures (e.g., Singular vector decomposition (SVD) on channel measurement) are denoted by Vpredictand V, respectively. The AI / ML model input may be based on actual channel measurements in some previous occasions (e.g., observation occasions) Vprevious, and the AI / ML model output is the predicted channel information Vpredict. In various embodiments, performance metric (s) can be calculated based on the predicted eigenvector (s)  / precoder information and actual eigenvector (s)  / precoder information.

[0050] In some embodiments, performance metric (s) can be evaluated based on eventual KPI. In some embodiments, eventual KPI can be calculated according to system metrics (e.g., Throughput / Average Throughput / Cell-edge Throughput / 5%-tail Throughput) . In some embodiments, eventual KPI can be calculated according to accuracy metrics (e.g., Bit Error Ratio (BER)  / Block Error Ratio (BLER)  / Hypothetical BLER) . In some embodiments, eventual KPI can be calculated according to reliability metrics (e.g., Signal to Noise Ratio (SNR)  / Signal to Interference plus Noise Ratio (SINR)  / Modulation and Coding Scheme (MCS) ) .

[0051] In accordance with various embodiments, a method of performance monitoring of a processing procedure performed by a wireless terminal device 104 may include determining at least one performance metric of the processing procedure, wherein the processing procedure is performed by the wireless terminal device 104, and reporting, by the wireless terminal device 104 to a wireless access network node 102, the at least one  performance metric. The method may include the wireless terminal device 104 measuring actual channel measurement information; generating, using the processing procedure, predicted channel information; and calculating the at least one performance metric based, at least in part, on the predicted channel information and the actual channel measurement information.

[0052] Similarly, a method of performance monitoring of a processing procedure performed by a wireless access network node 102 may include receiving, by the wireless access network node 102 from a wireless terminal device 104, at least one performance metric of the processing procedure, wherein the processing procedure is performed by the wireless terminal device.

[0053] In some embodiments, performance metric (s) of at least one occasion are reported to the network (e.g., to the base station 102) .

[0054] In some embodiments, as is illustrated in FIG. 5, the network (e.g., the base station 102) may indicate one dedicated occasion to indicate the model performance, and the UE 104 may report the performance metric of the dedicated occasion.

[0055] In an example, the AI / ML model may be for channel prediction. That is, the AI / ML model input may be based on actual channel measurements in some previous occasions (e.g., observation occasions) . Then, the AI / ML model output may be the predicted channel measurements in some future occasions (e.g., prediction occasions) . The UE 104 may not be required to acquire actual channel measurements of prediction occasions. However, if an occasion is indicated as a dedicated occasion (e.g., monitoring occasion) to indicate the model performance, the UE 104 may acquire both actual channel measurement and predicted channel measurement. Then, the UE 104 can calculate the performance metric on actual channel measurement and predicted channel measurement, and may report the performance metric to the network (e.g., the base station 102) for performance monitoring and subsequent decisions on the current AI / ML functionality / model by the network (e.g., the base station 102) . Note, the monitoring occasion (s) could be dedicated monitoring occasions, and / or occasions within the predicted occasions.

[0056] In some embodiments, the network (e.g., base station 102) may indicate more than one dedicated occasion to indicate the model performance, and the UE 104 may report the performance metric (s) of the dedicated occasions.

[0057] In an example, the AI / ML model is for channel prediction. That is, the AI / ML model input is based on actual channel measurements in some previous occasions (e.g., observation occasions) . Then, the AI / ML  model output is the predicted channel measurements in some future occasions (e.g., prediction occasions) . The UE 104 is not required to acquire actual channel measurements of prediction occasions. However, if some occasions are indicated as dedicated occasions (e.g., monitoring occasions) to indicate the model performance, the UE 104 may need to acquire both actual channel measurement and predicted channel measurement. Then, as is illustrated in FIG, 6, the UE 104 can calculate the performance metrics on actual channel measurement and predicted channel measurement of each occasion and can report the performance metrics of each occasion to the network (e.g., base station 102) for performance monitoring and subsequent decisions on the current AI / ML functionality / model by network. For example, using Square Generalization Cosine Similarity (SGCS) as the performance metric, SGCS values of the first three monitoring occasions may be 0.9, 0.9, 0.85, which are reported by the UE 104 to the network (e.g., base station 102) , respectively.

[0058] In accordance with various embodiments, the method performed by the wireless terminal device 104 may include determining the at least one performance metric of the processing procedure of at least one occasion, and reporting to the wireless access network node 102 the at least one performance metric of the at least one occasion. In various examples, the occasion comprises at least one time unit, time slot, or symbol. The method may include the wireless terminal device 104 receiving, from the wireless access network node 102, an indication of at least one dedicated occasion to indicate performance of the processing procedure. The method may also include determining, by the wireless terminal device 104, the at least one performance metric of the processing procedure of the at least one dedicated occasion based, at least in part, on actual channel measurement information and predicted channel information of the at least one dedicated occasion, and reporting, by the wireless terminal device 104 to the wireless access network node 102, the at least one performance metric of the at least one dedicated occasion.

[0059] Similarly, the method performed by the wireless access network node 102 may include receiving, from the wireless terminal device 104, the at least one performance metric of the processing procedure of at least one occasion. In various examples, the occasion comprises at least one time unit, time slot, or symbol. The method may also include the wireless access network node 102 indicating, to the wireless terminal device 104, an indication of at least one dedicated occasion to indicate performance of the processing procedure, and receiving, from the wireless terminal device 104, the at least one performance metric of the at least one dedicated occasion.

[0060] In another example, as illustrated in FIG. 7, the UE 104 can calculate the performance metrics on actual channel measurement and predicted channel measurement of partial occasions, and can report the  performance metrics of corresponding partial occasions to the network (e.g., the base station 102) for performance monitoring and subsequent decisions on the current AI / ML functionality / model by the network. For example, using SGCS as the performance metric, the SGCS values of the first four monitoring occasions may be 0.5, 0.5, 0.45, 0.43. The UE 104 may not need to report all the results of monitoring occasions, which results in overhead reduction, because the performance is so bad according to the first two results that the current AI / ML model does not work well, and reporting the last two results would be redundant.

[0061] In accordance with various embodiments, the method performed by the wireless terminal device 104 may include receiving, from the wireless access network node 102, an indication of a plurality of dedicated occasions to indicate performance of the processing procedure. The method may also include determining, by the wireless terminal device 104, the at least one performance metric of the processing procedure of a subset of the plurality of dedicated occasions based, at least in part, on actual channel measurement information and predicted channel information of the subset of the plurality of dedicated occasions; and reporting, by the wireless terminal device 104 to the wireless access network node 102, the at least one performance metric of the subset of the plurality of dedicated occasions. Similarly, the method performed by the wireless access network node 102 may include indicating, to the wireless terminal device 104, an indication of a plurality of dedicated occasions to indicate performance of the processing procedure, and receiving, from the wireless terminal device 104, at least one performance metric of a subset of the plurality of dedicated occasions.

[0062] In another example, as illustrated in FIG. 8, the UE 104 can calculate the performance metrics on actual channel measurement and predicted channel measurement of each of the occasions, and can report an average performance metric over each of the occasions to the network (e.g., base station 102) for performance monitoring and subsequent decisions on the current AI / ML functionality / model by network. For example, using SGCS as the performance metric, and the SGCS values of the first three monitoring occasions may be 0.9, 0.9, 0.85. Then, the UE 104 may report an average value over the three monitoring occasions to network, which is 0.88.

[0063] In accordance with various embodiments, the method performed by the wireless terminal device 104 may include receiving, from the wireless access network node 102, an indication of a plurality of dedicated occasions to indicate performance of the processing procedure. The method may also include determining, by the wireless terminal device 104, the at least one performance metric of the processing procedure of the plurality of dedicated occasions as an average performance metric of the plurality of dedicated occasions based, at least in part, on actual channel measurement information and predicted channel information of the plurality of  dedicated occasions; and reporting, by the wireless terminal device 104 to the wireless access network node 102, the average performance metric of the plurality of dedicated occasions. Similarly, the method performed by the wireless access network node 102 may include indicating, to the wireless terminal device 104, an indication of a plurality of dedicated occasions to indicate performance of the processing procedure; and receiving, from the wireless terminal device 104, an average performance metric of the plurality of dedicated occasions.

[0064] In another example, as illustrated in FIG. 9, the UE 104 can calculate the performance metrics on actual channel measurement and predicted channel measurement of groups of occasions, and can report a group of average performance metrics over each occasion group to the network (e.g., the base station 102) for performance monitoring and subsequent decisions on the current AI / ML functionality / model by the network. For example, using SGCS as the performance metric, the SGCS values of six monitoring occasions may be 0.9, 0.9, 0.85, 0.8, 0.75, 0.7. The six monitoring occasions can be divided into, e.g., two groups, and the UE 104 can report an average value over each occasion group to the network, which is 0.88 and 0.75, respectively, in this example.

[0065] In accordance with various embodiments, the method performed by the wireless terminal device 104 may include receiving, from the wireless access network node 102, an indication of a plurality of dedicated occasions to indicate performance of the processing procedure. The method may also include determining, by the wireless terminal device 104, the at least one performance metric of the processing procedure of the plurality of dedicated occasions as at least one average performance metric of at least one group of the plurality of dedicated occasions based, at least in part, on actual channel measurement information and predicted channel information of the plurality of dedicated occasions; and reporting, by the wireless terminal device 104 to the wireless access network node 102, the at least one average performance metric of the at least one group of the plurality of dedicated occasions. Similarly, the method performed by the wireless access network node 102 may include indicating, to the wireless terminal device 104, an indication of a plurality of dedicated occasions to indicate performance of the processing procedure; and receiving, from the wireless terminal device 104, at least one average performance metric of at least one group of the plurality of dedicated occasions.

[0066] In another example, as illustrated in FIG. 10, the UE 104 may calculate the performance metrics on actual channel measurement and predicted channel measurement of each / partial occasions, and may report an average performance metric over corresponding partial occasions to the network (e.g., base station 102) for performance monitoring and subsequent decisions on the current AI / ML functionality / model by the network.

[0067] In accordance with various embodiments, the method performed by the wireless terminal device 104 may include receiving, from the wireless access network node 102, an indication of a plurality of dedicated occasions to indicate performance of the processing procedure. The method may also include determining, by the wireless terminal device 104, the at least one performance metric of the processing procedure of a subset of the plurality of dedicated occasions as at least one average performance metric of the subset of the plurality of dedicated occasions based, at least in part, on actual channel measurement information and predicted channel information of the subset of the plurality of dedicated occasions; and reporting, by the wireless terminal device 104 to the wireless access network node 102, the at least one average performance metric of the subset of the plurality of dedicated occasions. Similarly, the method performed by the wireless access network node 102 may include indicating, by the wireless access network node 102 to the wireless terminal device 104, an indication of a plurality of dedicated occasions to indicate performance of the processing procedure; and receiving, by the wireless access network node 102 from the wireless terminal device 104, at least one average performance metric of a subset of the plurality of dedicated occasions.

[0068] In an example, as illustrated in FIG. 11, the UE 104 can calculate the performance metrics on actual channel measurement and predicted channel measurement of groups of occasions, and can report a group of average performance metrics over corresponding partial occasion groups to the network (e.g., the base station 102) for performance monitoring and subsequent decisions on the current AI / ML functionality / model by the network.

[0069] In accordance with various embodiments, the method performed by the wireless terminal device 104 may include receiving, from the wireless access network node 102, an indication of a plurality of dedicated occasions to indicate performance of the processing procedure. The method may also include determining, by the wireless terminal device 104, the at least one performance metric of the processing procedure of a subset of the plurality of dedicated occasions as at least one average performance metric of at least one group of the subset of the plurality of dedicated occasions based, at least in part, on actual channel measurement information and predicted channel information of the subset of the plurality of dedicated occasions; and reporting, by the wireless terminal device 104 to the wireless access network node 102, the at least one average performance metric of the at least one group of the subset of the plurality of dedicated occasions. Similarly, the method performed by the wireless access network node 102 may include indicating, to the wireless terminal device 104, an indication of a plurality of dedicated occasions to indicate performance of the processing procedure; and receiving, from the wireless terminal device 104, at least one average performance metric of at least one group of a subset of the  plurality of dedicated occasions.

[0070] In some embodiments, performance metric (s) may include a validity time. In an example, the AI / ML model is applied for CSI prediction. If the UE 104 can predict the CSI in the future time occasions, then it is understood that the UE 104 has the capability to estimate the validity time of the predicted CSI, e.g., according to offline testing / online inference. The validity time can be evaluated by the performance metrics, which satisfies some threshold. For example, the performance of an AI / ML model in the monitoring occasions is valid if the SCGS value is over a threshold of 0.8. Then, the validity time can be the statistical length of valid prediction occasions / slots. Therefore, the UE 104 can report a validity time in the CSI report to the network (e.g., the base station 102) for identifying the performance of the AI / ML model and further configurations. To guarantee the network (e.g., base station 102) can trust the metric of validity time reported by UE 104, some coordination between the UE 104 and the network (e.g., base station 102) may be needed for confirming the validity of the threshold.

[0071] In some embodiments, performance metric (s) can be evaluated in different granularity. In one approach, the network (e.g., base station 102) can indicate to the UE 104 the granularity of performance metric calculation. In another approach the UE 104 can select the granularity of performance metric calculation and report to the network (e.g., base station 102) that the performance metric is based on which granularity. In some embodiments, the granularity includes time-domain granularity (e.g., OFDM symbols, single slot / multiple slots, etc. ) . In some embodiments, the granularity includes spatial-domain granularity (e.g., antenna port / port group, etc. ) . In some embodiments, the granularity includes frequency-domain granularity (e.g., resource element (RE) , resource element group (REG) , physical resource block (PRB) , sub-band, etc. ) .

[0072] In accordance with various embodiments, the method performed by the wireless terminal device 104 may include determining a validity time of the predicted channel information. The method may include the wireless terminal device 104 determining the validity time of the predicted channel information based, at least in part, on the performance metric. The method may include the wireless terminal device 104 determining the performance metric with a granularity of performance metric calculation. Similarly, the method performed by the wireless access network node 102 may include receiving, from the wireless terminal device 104, a validity time of predicted channel information determined by the processing procedure of the wireless terminal device. The method may also include the wireless access network node 102 indicating, to the wireless terminal device 104, a granularity of performance metric calculation to be performed by the wireless terminal device.

[0073] In some embodiments, the UE 104 may report channel related information to the network side (e.g., the base station 102) . In some embodiment, the UE 104 may report both actual channel measurement and predicted channel measurement of the dedicated occasion in a measurement report. In an example, the AI / ML model may be applied for CSI prediction. In some embodiments, the actual channel measurement may include traditional codebook based precoding matrix indicator (PMI) . In some embodiment, the actual channel measurement may include high-resolution channel information. In an example, high-resolution quantization methods (e.g., scalar quantization / vector quantization) , and in another example, high-resolution codebook based PMI (e.g., codebook with new parameter combinations) .

[0074] In accordance with various embodiments, the method performed by the wireless terminal device 104 may include reporting, to the wireless access network node 102, channel related information. The method may include the wireless terminal device 104 generating, using the processing procedure, predicted channel information, wherein reporting the channel related information includes reporting, to the wireless access network node 102, the predicted channel information and actual channel measurement information. Similarly, the method performed by the wireless access network node 102 may include receiving, from the wireless terminal device 104, channel related information. The method may also include the wireless access network node 102 receiving, from the wireless terminal device 104, predicted channel information and actual channel measurement information, wherein the predicted channel information is generating by the wireless terminal device using the processing procedure.

[0075] In some embodiment, difference information between actual channel measurement and predicted channel measurement can be reported along with predicted channel measurement of the dedicated occasion in a measurement report (or along with actual channel measurement) . In some embodiments, the difference information can be evaluated by error function, e.g., Euclidean distance, MSE, NMSE, etc. In some embodiments, the difference information can be evaluated by similarity function, e.g., GCS, SGCS, etc.

[0076] In accordance with various embodiments, the method performed by the wireless terminal device 104 may include generating, using the processing procedure, predicted channel information, wherein reporting the channel related information includes reporting, to the wireless access network node 102, difference information between actual channel measurement information and the predicted channel information; and reporting, to the wireless access network node 102, the predicted channel information. Similarly, the method performed by the wireless access network node 102 may include receiving, from the wireless terminal device 104, predicted channel information and difference information between actual channel measurement information  and the predicted channel information, wherein the predicted channel information is generating by the wireless terminal device using the processing procedure.

[0077] In some embodiments, only the actual channel measurement of the dedicated occasion (s) to indicate performance of the processing procedure is reported in a measurement report. Then, the network (e.g., base station 102) may calculate the performance metric (s) based on the actual channel measurement of the dedicated occasion (s) and the channel measurement of the previous occasion (s) to identify the channel variation information for the network to monitor the performance of the processing procedure. In some embodiments, the channel variation information can be evaluated by error function, e.g., Euclidean distance, MSE, NMSE, etc. In some embodiment, the channel variation information can be evaluated by similarity function, e.g., GCS, SGCS, etc. In various examples, the network (e.g., base station 102) may perform any of the methods for calculating the performance metric (s) discussed above as being performed by the UE 104.

[0078] In accordance with various embodiments, a method performed by a wireless terminal device 104 may include measuring actual channel measurement information in at least one dedicated occasion to indicate performance of the processing procedure, and reporting, to a wireless access network node 102, the actual channel measurement information for the at least one dedicated occasion. Similarly, a method performed by a wireless access network node 102 may include receiving, from a wireless terminal device 104, actual channel measurement information for at least one dedicated occasion to indicate performance of the processing procedure, and calculating at least one performance metric of the processing procedure based, at least in part, on the actual channel measurement information.

[0079] In some embodiments, only the predicted channel measurement of the dedicated occasion (s) to indicate performance of the processing procedure is reported in a measurement report. Then, the network (e.g., base station 102) may calculate the performance metric (s) based on the predicted channel measurement of the dedicated occasion (s) and the channel measurement of the previous occasion (s) to identify the channel variation information for the network to monitor the performance of the processing method. In some embodiments, the channel variation information can be evaluated by error function, e.g., Euclidean distance, MSE, NMSE, etc. In some embodiment, the channel variation information can be evaluated by similarity function, e.g., GCS, SGCS, etc. In various examples, the network (e.g., base station 102) may perform any of the methods for calculating the performance metric (s) discussed above as being performed by the UE 104.

[0080] In accordance with various embodiments, a method performed by a wireless terminal device 104 may include generating, using the processing procedure, predicted channel information for at least one dedicated  occasion to indicate performance of the processing procedure, wherein the processing procedure is performed by the wireless terminal device, and reporting, to a wireless access network node 102, the predicted channel information for the at least one dedicated occasion. Similarly, a method performed by a wireless access network node 102 may include receiving, from a wireless terminal device 104, predicted channel information for at least one dedicated occasion to indicate performance of the processing procedure, and calculating at least one performance metric of the processing procedure based, at least in part, on the predicted channel information, wherein the processing procedure is performed by the wireless terminal device.

[0081] In some embodiment, the UE 104 may report both actual channel measurement and compressed channel information of the dedicated occasion in a measurement report. In an example, the AI / ML model may be applied for CSI compression. In some embodiments, the actual channel measurement includes traditional codebook based precoding matrix indicator (PMI) . In some embodiments, the actual channel measurement includes high-resolution channel information. In an example, high-resolution quantization methods (e.g., scalar quantization / vector quantization) , or high-resolution codebook based PMI (e.g., codebook with new parameter combinations) are utilized.

[0082] In some embodiments, the UE 104 may report partial channel related information to the network side (e.g., to the base station 102) .

[0083] In an example, the AI / ML model may be applied for CSI prediction. The UE may calculate the performance metrics based on actual channel measurement and predicted channel measurement in 4 monitoring occasions, e.g., SGCS values, which may be 0.9, 0.85, 0.65, 0.6 respectively, for example. According to the performance metrics, the UE 104 can observe that the prediction performance is bad in the last two occasions, and the UE 104 may not report the channel information about the last two occasions since the inaccurate CSI would be harmful to system performance at the network. In addition, the UE 104 can save some CSI feedback overhead if only partial channel related information is reported. Note that the UE 106 may explicitly / implicitly indicate to the network the number of reported occasions of channel related information.

[0084] In an example, the AI / ML model is again applied for CSI prediction. After some initial rounds of reporting occasions, the network (e.g., the base station 102) calculates the average performance metrics based on the reported actual channel measurement and predicted channel measurement in 4 monitoring occasions, e.g., SGCS values, which may be 0.9, 0.85, 0.65, 0.6, respectively, for example. According to the performance metrics, the network (e.g., base station 102) may observe that the general prediction performance is bad in the last two occasions, and the network can indicate to the UE 104 not to report the channel information about the  last two occasions in future monitoring procedure since the inaccurate CSI is useless for the network, and there is no need to waste uplink resource to report the channel information. In addition, the network (e.g., base station 102) can modify the resource allocation for the UE 104 according to the monitoring results.

[0085] In accordance with various embodiments, the method performed by the wireless terminal device 104 may include reporting the channel related information by reporting, to the wireless access network node 102, partial channel related information. Similarly, the method performed by the wireless access network node 102 may include receiving, from the wireless terminal device 104, partial channel related information.

[0086] In some embodiments, the UE 104 may report channel related information with performance metrics to the network side (e.g., to the base station 102) . In an example, the AI / ML model may be applied for CSI prediction. The UE 104 may calculate the performance metrics based on actual channel measurement and predicted channel measurement in 4 monitoring occasions, e.g., SGCS values, which may be 0.9, 0.85, 0.65, 0.6, respectively, for example. To reduce the feedback overhead, the UE 104 can report the predicted channel measurement of the monitoring occasion (s) along with the performance metric (s) at that occasion / those occasions to the network for identifying the performance of the AI / ML model. In this way, the UE 104 doesn’ t have to report actual channel measurement in the measurement report, which would incur a large feedback overhead cost.

[0087] In accordance with various embodiments, the method performed by the wireless terminal device 104 may include generating, using the processing procedure, predicted channel information, wherein reporting the channel related information includes reporting, to the wireless access network node 102, the predicted channel information along with the at least one performance metric. Similarly, the method performed by the wireless access network node 102 may include receiving, from the wireless terminal device 104, predicted channel information along with the at least one performance metric, wherein the predicted channel information is generating by the wireless terminal device 104 using the processing procedure.

[0088] In some embodiments, the network (e.g., the base station 102) can dynamically configure and / or modify configurations according to the result of performance monitoring. In one approach, the network (e.g., base station 102) can dynamically configure / modify the length of prediction occasions / prediction window via signaling. For example, the UE 104 may report the performance metrics of multiple monitoring occasions, e.g., SGCS values, to the network. The network can infer the performance variation through the values of metrics. In an example, the SGCS values reported by UE 104 may be 0.9, 0.85, 0.7, 0.6 respectively in 4 monitoring occasions, for example. The network (e.g., base station 102) can judge that the current AI / ML model cannot  predict well in farther prediction occasions. Therefore, the network can reduce the length of prediction occasions  / prediction window for the ongoing AI / ML model used by the UE 104 via signaling to guarantee the prediction performance.

[0089] In another approach, the network (e.g., base station) can dynamically configure and / or modify the periodicity of prediction occasions via signaling. For example, the UE 104 can report the performance metrics of multiple monitoring occasions, e.g., SGCS values, to the network. The network can infer the performance variation through the values of metrics. In an example, the SGCS values reported by UE may be 0.9, 0.85, 0.7, 0.6 respectively in 4 monitoring occasions with the periodicity of 5ms, for example. The network (e.g., base station) can judge that the current AI / ML model cannot predict well in farther prediction occasions. Therefore, the network may reduce the periodicity of prediction occasions, e.g., 2.5ms, for the on-going AI / ML model used by the UE 104 via signaling to guarantee the prediction performance.

[0090] In some embodiments, dynamic configuration according to the result of performance monitoring can be configured via Medium Access Control Control Element (MAC-CE) signaling and indicated to the UE 104.

[0091] In some embodiments, dynamic configuration according to the result of performance monitoring can be configured via Downlink Control Information (DCI) signaling and indicated to the UE 104.

[0092] In accordance with various embodiments, the method performed by the wireless terminal device 104 may include receiving, from the wireless access network node 102, a configuration of the processing procedure determined by the wireless access network node based at least in part on the at least one performance metric. In certain embodiments, the configuration comprises a number of prediction occasions, a length of a prediction window, or a length of time span of the processing procedure of the wireless terminal device. In other embodiments, the configuration comprises a periodicity of prediction occasions of the processing procedure of the wireless terminal device. The method may include the wireless terminal device 104 receiving, from the wireless access network node 102, the configuration of the processing procedure via at least one of Medium Access Control Control Element (MAC-CE) or Downlink Control Information (DCI) signaling.

[0093] Similarly, the method performed by the wireless access network node 102 may include configuring the processing procedure of the wireless terminal device based at least in part on the at least one performance metric; and indicating, to the wireless terminal device 104, the configuration of the processing procedure. In various embodiments, the configuring comprises configuring, by the wireless access network node 102, a  number of prediction occasions, a length of a prediction window, or a length of time span of the processing procedure of the wireless terminal device. In various embodiments, the configuring comprises configuring, by the wireless access network node 102, a periodicity of prediction occasions of the processing procedure of the wireless terminal device. The method may also include the wireless access network node 102 indicating, to the wireless terminal device 104, the configuration of the processing procedure via at least one of Medium Access Control Control Element (MAC-CE) or Downlink Control Information (DCI) signaling.

[0094] In some embodiments, the network (e.g., base station 102) makes decision (s) on the processing procedure according to the result of performance monitoring. In some embodiments, the network may need to make decisions on the processing procedure according to the monitoring performance to guarantee the system performance / efficiency. For example, if a processing procedure is enabled by AI / ML models, the performance may degrade significantly when model generalization is not good. So, appropriate decisions made by the network can alleviate this situation. When the network (e.g., base station 102) identifies that the performance of the current AI / ML model remains poor during a period of time, model switching / updating may be needed for better performance. Otherwise, fallback to legacy mechanism can at least work to maintain an acceptable performance. In some embodiments, if a processing procedure is enabled by AI / ML models / functionalities, decisions include at least model / functionality selection / switching / updating / activation / deactivation / fallback to legacy scheme.

[0095] In some embodiments, performance monitoring procedures on a processing procedure involving or enabled by a UE-side AI / ML model is performed at the UE side. In some embodiments, the UE 104 reports an indication to network side. In some embodiments, the indication includes an indicator about the result of performance monitoring. The result of performance monitoring can be subject to the performance metric of one or more monitoring occasions.

[0096] In an example, the UE 104 can report a, for example, 1-bit indicator in the measurement report to the network (e.g., the base station 102) to indicate whether the AI / ML model is valid or invalid. If the value is 0, it may mean that the current AI / ML model is invalid, and the value of 1 may mean that the AI / ML model is valid, and vice versa. In an example, the UE 104 can report a, for example, 1-bit indicator in the measurement report to the network to indicate whether the AI / ML model performance satisfies a certain threshold. If the value is 0, it may mean that the current AI / ML model performance metric cannot meet the threshold, and the value of 1 may mean that the AI / ML model performance metric can meet the threshold. In some embodiments, the threshold can be configured by the network (e.g., the base station 102) , and indicated to the UE 104. A  common understanding on the threshold is needed between the UE 104 and the network 102.

[0097] In another example, the UE 104 can report a, for example, 1-bit indicator and an additional value of a threshold in the measurement report to the network (e.g., the base station 102) to indicate whether the AI / ML model performance satisfies a certain threshold. If the value is 0, it may mean that the current AI / ML model performance metric cannot meet the threshold, and the value of 1 may mean that the AI / ML model performance metric can meet the threshold. In some embodiments, the threshold is set by the UE 104, which is transparent to the network. So, the value of the threshold should also be reported to the network to help guarantee the network is aware of the result of monitoring performance and trusts the result. Again, a common understanding on the threshold is needed between UE and network.

[0098] In accordance with various embodiments, a method performed by the wireless terminal device 104 may include performing performance monitoring of the processing procedure, wherein the processing procedure is performed by the wireless terminal device; and reporting, to the wireless access network node 102, an indication regarding the performance monitoring. In certain examples, the indication includes an indicator regarding a result of the performance monitoring. The method may include the wireless terminal device 104 performing the performance monitoring of the processing procedure based, at least in part, on a performance threshold. The method may include the wireless terminal device 104 reporting, to the wireless access network node 102, the indication regarding the performance monitoring comprising a one-bit indication of whether the processing procedure is valid or invalid. The method may include the wireless terminal device 104 receiving, from the wireless access network node 102, the performance threshold. The method may include the wireless terminal device 104 reporting, to the wireless access network node 102, the performance threshold. The method may include the wireless terminal device 104 determining the performance threshold.

[0099] Similarly, the method performed by the wireless access network node 102 may include receiving, from a wireless terminal device 104, an indication regarding performance monitoring of the processing procedure, wherein the processing procedure is performed by the wireless terminal device, and wherein the performance monitoring is performed by the wireless terminal device. In certain embodiments, the indication includes an indicator regarding a result of the performance monitoring. The method may also include the wireless access network node 102 receiving, from the wireless terminal device 104, the indication regarding the performance monitoring comprising an indication whether the processing procedure is valid or invalid. The method may also include the wireless access network node 102 receiving, from the wireless terminal device 104, the indication regarding the performance monitoring comprising an indication whether the processing procedure  satisfies a performance threshold. The method may also include the wireless access network node 102 indicating, to the wireless terminal device 104, the performance threshold for use by the wireless terminal device in performance monitoring of the processing procedure. In certain embodiments, the indication whether the processing procedure satisfies a performance threshold comprises a one-bit indication of whether the processing procedure is valid or invalid based, at least in part, on the performance threshold. The method may also include the wireless access network node 102 receiving, from the wireless terminal device 104, the performance threshold.

[0100] In some embodiments, the indication includes an indicator about the current performance level. In an example, the UE 104 can report a K-bit indicator of performance level in the measurement report to the network (e.g., the base station 102) to indicate the performance level of current AI / ML functionality / model. The performance level may be associated with the performance metric, which may include at least intermediate KPI and eventual KPI. The mapping relationship between performance level and performance metric can be shown in the below table, for example, which is known to both the UE 104 and the network. For example, the following Table 1 shows an example mapping relationship between performance level and SGCS:

[0101] Table 1

[0102] The above Table 1 is simply an example, and different performance metrics / granularities of performance metric / mapping relationships between indicator and performance metric can also be applicable.

[0103] In accordance with various embodiments, the method performed by the wireless terminal device 104 may include reporting, to the wireless access network node 102, the indication regarding the performance monitoring comprising an indication regarding a current performance level of the processing procedure. Similarly, the method performed by the wireless access network node 102 may include receiving, from the wireless terminal device 104, the indication regarding the performance monitoring comprising an indication regarding a current performance level of the processing procedure. In certain embodiments, the indication regarding the current performance level of the processing procedure comprises a plurality of bits to indicate the current performance level.

[0104] In some embodiments, the indication includes an indicator about a decision recommendation to the network. In an example, the UE 104 can report a, for example, 1-bit indicator in the measurement report to the network (e.g., base station 102) to suggest to the network whether subsequent decisions on the AI / ML functionality / model should be performed. If the value is 0, it may mean a suggestion of continuing using the current AI / ML functionality / model, and that there is no need to perform subsequent decisions on the current AI / ML functionality / model. A value of 1 may mean that the UE 104 suggests the network performs some decisions on the current AI / ML functionality / model. The, for example, 1-bit indicator can also implicitly indicate the validity of the current AI / ML model performance, for example, the value 0 may implicitly indicate that the current AI / ML functionality / model performs well, and the value 1 may implicitly indicate that the current AI / ML functionality / model may suffer from performance degradation. In some embodiments, the functionality / model decisions include at least selection / switching / updating / activation / deactivation / fallback to legacy scheme.

[0105] In an example, the UE 104 can report an X-bit indicator in one field in the measurement report to the network to suggest to the network a certain subsequent decision on the AI / ML functionality / model that should be performed. The indicator table, for example, Table 2 below, may include the choices of various decisions, which are known to both the UE 104 and the network. For example, if the indicator is 000, it means UE suggests network to do fallback decision to the legacy scheme.

[0106] Table 2

[0107] The above table is simply an example, and different mapping relationships between indicators and functionality / model can also be applicable.

[0108] In accordance with various embodiments, the method performed by the wireless terminal device 104 may include reporting, to the wireless access network node 102, a suggestion indication comprising a suggesting as to whether the wireless access network node should perform a decision process regarding the processing procedure. The method may include the wireless terminal device 104 reporting, to the wireless  access network node 102, a suggestion indication comprising a plurality of bits indication a particular suggested decision regarding to the processing procedure. Similarly, the method performed by the wireless access network node 102 may include receiving, from the wireless terminal device 104, a suggestion indication comprising a suggesting as to whether the wireless access network node should perform a decision process regarding the processing procedure. The method may also include the wireless access network node 102 receiving, from the wireless terminal device 104, a suggestion indication comprising a plurality of bits indication a particular suggested decision regarding to the processing procedure.

[0109] In some embodiments, the network (e.g., the base station 102) makes decision (s) on the processing procedure according to the result of performance monitoring. In some embodiments, the network needs to make decisions on the processing procedure according to the monitoring performance to guarantee the system performance / efficiency. For example, if a processing procedure is enabled by AI / ML models, the performance may degrade significantly when model generalization is not good. So, appropriate decisions made by the network can alleviate this situation. When the network identifies that the performance of the current AI / ML models in certain functionality remains poor during a period of time, model / functionality switching / updating may be needed for better performance. Otherwise, fallback to a legacy mechanism can at least work to maintain an acceptable performance. In some embodiments, if a processing procedure is enabled by AI / ML models / functionalities, decisions may at least include model / functionality selection / switching / updating / activation / deactivation / fallback to legacy scheme.

[0110] In accordance with various embodiments, the method performed by the wireless terminal device 104 may include receiving, from the wireless access network node 102, a configuration of the processing procedure, wherein the configuration is based, at least in part, on the indication regarding the performance monitoring. Similarly, the method performed by the wireless access network node 102 may include determining a course of action with respect to the processing procedure of the wireless terminal device based on the indication regarding the performance monitoring. The method may also include the wireless access network node 102 configuring the processing procedure of the wireless terminal device based on the indication regarding the performance monitoring, and indicating, to the wireless terminal device 104, the configuration of the processing procedure.

[0111] In some embodiments, the UE 104 may make decision (s) on the processing procedure according to the result of performance monitoring. In some embodiments, the UE 104 may make decision (s) on the processing procedure according to the monitoring performance to guarantee the system performance / efficiency.  For example, if a processing process is enabled by AI / ML models, the performance may degrade significantly when model generalization is not good. So, appropriate decisions made by the UE 104 can quickly alleviate this situation. In the same AI / ML functionality, the UE 104 may have multiple models which can achieve the same functionality (e.g., the same model configuration / applicable scenarios, etc. ) . When the UE 104 identifies that the performance of a current AI / ML model remains poor during a period of time, decision (s) on the models within the same functionality can be transparent to the network (e.g., model switching) for quick performance compensation. Otherwise, the UE 104 is not expected to make decision (s) on the model / functionality when model / functionality is not workable.

[0112] In some embodiments, the UE 104 may make decision (s) on the processing procedure according to the monitoring performance, and may report the decision (s) to the network to guarantee the system performance  / efficiency. For example, if a processing procedure is enabled by AI / ML models, the performance may degrade significantly when model generalization is not good. So, appropriate decisions made by the UE 104 can quickly alleviate this situation. In the same AI / ML functionality, the UE may have multiple models which can achieve the same functionality (e.g., the same model configuration / applicable scenarios, etc. ) . When the UE 104 identifies that the performance of a current AI / ML model remains poor during a period of time, decision (s) on the models within the same functionality (e.g., model switching) may be made for quick performance compensation. Then, the UE 104 can report the decision (s) to the network in order that network can be aware of the performance variation of AI / ML models. Otherwise, the UE 104 is not expected to make decision (s) on the model / functionality when model / functionality is not workable.

[0113] In some embodiments, if a processing procedure is enabled by AI / ML models / functionalities, decisions at least includes model / functionality selection / switching / updating / activation / deactivation / fallback to legacy scheme.

[0114] In accordance with various embodiments, the method performed by the wireless terminal device 104 may include determining a course of action with respect to the processing procedure of the wireless terminal device based on the performance monitoring of the processing procedure. The method may include the wireless terminal device 104 reporting, to the wireless access network node 102, the course of action with respect to the processing procedure determined by the wireless terminal device. Similarly, the method performed by the wireless access network node 102 may include receiving, from the wireless terminal device 104, a course of action determined by the wireless terminal device 104 with respect to the processing procedure of the wireless terminal device 104 based on the performance monitoring of the processing procedure.

[0115] The description and accompanying drawings above provide specific example embodiments and implementations. The described subject matter may, however, be embodied in a variety of different forms and, therefore, covered or claimed subject matter is intended to be construed as not being limited to any example embodiments set forth herein. A reasonably broad scope for claimed or covered subject matter is intended. Among other things, for example, subject matter may be embodied as methods, devices, components, systems, or non-transitory computer-readable media for storing computer codes. Accordingly, embodiments may, for example, take the form of hardware, software, firmware, storage media or any combination thereof. For example, the method embodiments described above may be implemented by components, devices, or systems including memory and processors by executing computer codes stored in the memory.

[0116] Throughout the specification and claims, terms may have nuanced meanings suggested or implied in context beyond an explicitly stated meaning. Likewise, the phrase “in one embodiment / implementation / example / approach” as used herein does not necessarily refer to the same embodiment and the phrase “in another embodiment / implementation / example / approach” as used herein does not necessarily refer to a different embodiment. It is intended, for example, that claimed subject matter includes combinations of example embodiments in whole or in part.

[0117] In general, terminology may be understood at least in part from usage in context. For example, terms, such as “and” , “or” , or “and / or, ” as used herein may include a variety of meanings that may depend at least in part on the context in which such terms are used. Typically, “or” if used to associate a list, such as A, B or C, is intended to mean A, B, and C, here used in the inclusive sense, as well as A, B or C, here used in the exclusive sense. In addition, the term “one or more” as used herein, depending at least in part upon context, may be used to describe any feature, structure, or characteristic in a singular sense or may be used to describe combinations of features, structures or characteristics in a plural sense. Similarly, terms, such as “a, ” “an, ” or “the, ” may be understood to convey a singular usage or to convey a plural usage, depending at least in part upon context. In addition, the term “based on” may be understood as not necessarily intended to convey an exclusive set of factors and may, instead, allow for existence of additional factors not necessarily expressly described, again, depending at least in part on context.

[0118] Reference throughout this specification to features, advantages, or similar language does not imply that all of the features and advantages that may be realized with the present solution should be or are included in any single implementation thereof. Rather, language referring to the features and advantages is understood to mean that a specific feature, advantage, or characteristic described in connection with an embodiment is  included in at least one embodiment of the present solution. Thus, discussions of the features and advantages, and similar language, throughout the specification may, but do not necessarily, refer to the same embodiment.

[0119] Furthermore, the described features, advantages and characteristics of the present solution may be combined in any suitable manner in one or more embodiments. One of ordinary skill in the relevant art will recognize, in light of the description herein, that the present solution can be practiced without one or more of the specific features or advantages of a particular embodiment. In other instances, additional features and advantages may be recognized in certain embodiments that may not be present in all embodiments of the present solution.

Claims

1.A method of performance monitoring of a processing procedure, comprising:determining, by a wireless terminal device, at least one performance metric of the processing procedure, wherein the processing procedure is performed by the wireless terminal device; andreporting, by the wireless terminal device to a wireless access network node, the at least one performance metric.2.The method according to claim 1, comprising:measuring, by the wireless terminal device, actual channel measurement information;generating, by the wireless terminal device using the processing procedure, predicted channel information; andcalculating, by the wireless terminal device, the at least one performance metric based, at least in part, on the predicted channel information and the actual channel measurement information.3.The method according to any one of claims 1-2, comprising:determining, by the wireless terminal device, the at least one performance metric of the processing procedure of at least one occasion; andreporting, by the wireless terminal device to the wireless access network node, the at least one performance metric of the at least one occasion.4.The method according to claim 3,wherein the occasion comprises at least one time unit, time slot, or symbol.5.The method according to any one of claims 3-4, comprising:receiving, by the wireless terminal device from the wireless access network node, an indication of at least one dedicated occasion to indicate performance of the processing procedure;determining, by the wireless terminal device, the at least one performance metric of the processing procedure of the at least one dedicated occasion based, at least in part, on actual channel measurement information and predicted channel information of the at least one dedicated occasion; andreporting, by the wireless terminal device to the wireless access network node, the at least one performance metric of the at least one dedicated occasion.6.The method according to any one of claims 3-4, comprising:receiving, by the wireless terminal device from the wireless access network node, an indication of a plurality of dedicated occasions to indicate performance of the processing procedure;determining, by the wireless terminal device, the at least one performance metric of the processing procedure of a subset of the plurality of dedicated occasions based, at least in part, on actual channel measurement information and predicted channel information of the subset of the plurality of dedicated occasions; andreporting, by the wireless terminal device to the wireless access network node, the at least one performance metric of the subset of the plurality of dedicated occasions.7.The method according to any one of claims 3-4, comprising:receiving, by the wireless terminal device from the wireless access network node, an indication of a plurality of dedicated occasions to indicate performance of the processing procedure;determining, by the wireless terminal device, the at least one performance metric of the processing procedure of the plurality of dedicated occasions as an average performance metric of the plurality of dedicated occasions based, at least in part, on actual channel measurement information and predicted channel information of the plurality of dedicated occasions; andreporting, by the wireless terminal device to the wireless access network node, the average performance metric of the plurality of dedicated occasions.8.The method according to any one of claims 3-4, comprising:receiving, by the wireless terminal device from the wireless access network node, an indication of a plurality of dedicated occasions to indicate performance of the processing procedure;determining, by the wireless terminal device, the at least one performance metric of the processing procedure of the plurality of dedicated occasions as at least one average performance metric of at least one group of the plurality of dedicated occasions based, at least in part, on actual channel measurement information and predicted channel information of the plurality of dedicated occasions; andreporting, by the wireless terminal device to the wireless access network node, the at least one average performance metric of the at least one group of the plurality of dedicated occasions.9.The method according to any one of claims 3-4, comprising:receiving, by the wireless terminal device from the wireless access network node, an indication of a plurality of dedicated occasions to indicate performance of the processing procedure;determining, by the wireless terminal device, the at least one performance metric of the processing procedure of a subset of the plurality of dedicated occasions as at least one average performance metric of the subset of the plurality of dedicated occasions based, at least in part, on actual channel measurement information and predicted channel information of the subset of the plurality of dedicated occasions; andreporting, by the wireless terminal device to the wireless access network node, the at least one average performance metric of the subset of the plurality of dedicated occasions.10.The method according to any one of claims 3-4, comprising:receiving, by the wireless terminal device from the wireless access network node, an indication of a plurality of dedicated occasions to indicate performance of the processing procedure;determining, by the wireless terminal device, the at least one performance metric of the processing procedure of a subset of the plurality of dedicated occasions as at least one average performance metric of at least one group of the subset of the plurality of dedicated occasions based, at least in part, on actual channel measurement information and predicted channel information of the subset of the plurality of dedicated occasions; andreporting, by the wireless terminal device to the wireless access network node, the at least one average performance metric of the at least one group of the subset of the plurality of dedicated occasions.11.The method according to any one of claims 2-10, comprising:determining, by the wireless terminal device, a validity time of the predicted channel information.12.The method according to claim 11, comprising:determining, by the wireless terminal device, the validity time of the predicted channel information based, at least in part, on the performance metric.13.The method according to any one of claims 2-12, comprising:determining, by the wireless terminal device, the performance metric with a granularity of performance metric calculation.14.The method according to any one of claims 1-13, comprising:reporting, by the wireless terminal device to the wireless access network node, channel related information.15.The method according to claim 14, comprising:generating, by the wireless terminal device using the processing procedure, predicted channel information;wherein reporting the channel related information comprises:reporting, by the wireless terminal device to the wireless access network node, the predicted channel information and actual channel measurement information.16.The method according to claim 14, comprising:generating, by the wireless terminal device using the processing procedure, predicted channel information;wherein reporting the channel related information comprises:reporting, by the wireless terminal device to the wireless access network node, difference information between actual channel measurement information and the predicted channel information; andreporting, by the wireless terminal device to the wireless access network node, the predicted channel information.17.The method according to claim 14,wherein reporting the channel related information comprises:reporting, by the wireless terminal device to the wireless access network node, partial channel related information.18.The method according to claim 14, comprising:generating, by the wireless terminal device using the processing procedure, predicted channel information;wherein reporting the channel related information comprises:reporting, by the wireless terminal device to the wireless access network node, the predicted channel information along with the at least one performance metric.19.The method according to any one of claims 1-18, comprising:receiving, by the wireless terminal device from the wireless access network node, a configuration of the processing procedure determined by the wireless access network node based at least in part on the at least one performance metric.20.The method according to claim 19,wherein the configuration comprises a number of prediction occasions, a length of a prediction window, or a length of time span of the processing procedure of the wireless terminal device.21.The method according to any one of claims 19-20,wherein the configuration comprises a periodicity of prediction occasions of the processing procedure of the wireless terminal device.22.The method according to any one of claims 19-21, comprising:receiving, by the wireless terminal device from the wireless access network node, the configuration of the processing procedure via at least one of Medium Access Control Control Element (MAC-CE) or Downlink Control Information (DCI) signaling.23.The method according to any one of claims 1-22,wherein the processing procedure comprises processing using an artificial intelligence (AI) or machine learning (ML) model.24.A method of performance monitoring of a processing procedure, comprising:receiving, by a wireless access network node from a wireless terminal device, at least one performance metric of the processing procedure, wherein the processing procedure is performed by the wireless terminal device.25.The method according to claim 24, comprising:receiving, by the wireless access network node from the wireless terminal device, the at least one performance metric of the processing procedure of at least one occasion.26.The method according to claim 25,wherein the occasion comprises at least one time unit, time slot, or symbol.27.The method according to any one of claims 25-26, comprising:indicating, by the wireless access network node to the wireless terminal device, an indication of at least one dedicated occasion to indicate performance of the processing procedure; andreceiving, by the wireless access network node from the wireless terminal device, the at least one performance metric of the at least one dedicated occasion.28.The method according to any one of claims 25-26, comprising:indicating, by the wireless access network node to the wireless terminal device, an indication of a plurality of dedicated occasions to indicate performance of the processing procedure; andreceiving, by the wireless access network node from the wireless terminal device, at least one performance metric of a subset of the plurality of dedicated occasions.29.The method according to any one of claims 25-26, comprising:indicating, by the wireless access network node to the wireless terminal device, an indication of a plurality of dedicated occasions to indicate performance of the processing procedure; andreceiving, by the wireless access network node from the wireless terminal device, an average performance metric of the plurality of dedicated occasions.30.The method according to any one of claims 25-26, comprising:indicating, by the wireless access network node to the wireless terminal device, an indication of a plurality of dedicated occasions to indicate performance of the processing procedure; andreceiving, by the wireless access network node from the wireless terminal device, at least one average performance metric of at least one group of the plurality of dedicated occasions.31.The method according to any one of claims 25-26, comprising:indicating, by the wireless access network node to the wireless terminal device, an indication of a plurality of dedicated occasions to indicate performance of the processing procedure; andreceiving, by the wireless access network node from the wireless terminal device, at least one average performance metric of a subset of the plurality of dedicated occasions.32.The method according to any one of claims 25-26, comprising:indicating, by the wireless access network node to the wireless terminal device, an indication of a plurality of dedicated occasions to indicate performance of the processing procedure; andreceiving, by the wireless access network node from the wireless terminal device, at least one average performance metric of at least one group of a subset of the plurality of dedicated occasions.33.The method according to any one of claims 24-32, comprising:receiving, by the wireless access network node from the wireless terminal device, a validity time of predicted channel information determined by the processing procedure of the wireless terminal device.34.The method according to any one of claims 24-33, comprising:indicating, by the wireless access network node to the wireless terminal device, a granularity of performance metric calculation to be performed by the wireless terminal device.35.The method according to any one of claims 24-34, comprising:receiving, by the wireless access network node from the wireless terminal device, channel related information.36.The method according to claim 35, comprising:receiving, by the wireless access network node from the wireless terminal device, predicted channel information and actual channel measurement information, wherein the predicted channel information is generating by the wireless terminal device using the processing procedure.37.The method according to claim 35, comprising:receiving, by the wireless access network node from the wireless terminal device, predicted channel information and difference information between actual channel measurement information and the predicted channel information, wherein the predicted channel information is generating by the wireless terminal device using the processing procedure.38.The method according to claim 35, comprising:receiving, by the wireless access network node from the wireless terminal device, partial channel related information.39.The method according to claim 35, comprising:receiving, by the wireless access network node from the wireless terminal device, predicted channel information along with the at least one performance metric, wherein the predicted channel information is generating by the wireless terminal device using the processing procedure.40.The method according to any one of claims 24-39, comprising:configuring, by the wireless access network node, the processing procedure of the wireless terminal device based at least in part on the at least one performance metric; andindicating, to the wireless terminal device, the configuration of the processing procedure.41.The method according to claim 40,wherein the configuring comprises:configuring, by the wireless access network node, a number of prediction occasions, a length of a prediction window, or a length of time span of the processing procedure of the wireless terminal device.42.The method according to any one of claims 40-41,wherein the configuring comprises:configuring, by the wireless access network node, a periodicity of prediction occasions of the processing procedure of the wireless terminal device.43.The method according to any one of claims 40-42, comprising:indicating, to the wireless terminal device, the configuration of the processing procedure via at least one of Medium Access Control Control Element (MAC-CE) or Downlink Control Information (DCI) signaling.44.A method of performance monitoring of a processing procedure, comprising:performing, by a wireless terminal device, performance monitoring of the processing procedure, wherein the processing procedure is performed by the wireless terminal device; andreporting, by the wireless terminal device to a wireless access network node, an indication regarding the performance monitoring.45.The method according to claim 44,wherein the indication includes an indicator regarding a result of the performance monitoring.46.The method according to any one of claims 44-45, comprising:performing, by the wireless terminal device, the performance monitoring of the processing procedure based, at least in part, on a performance threshold.47.The method according to claim 46, comprising:reporting, by the wireless terminal device to the wireless access network node, the indication regarding the performance monitoring comprising a one-bit indication of whether the processing procedure is valid or invalid.48.The method according to any one of claims 46-47, comprising:receiving, by the wireless terminal device from the wireless access network node, the performance threshold.49.The method according to any one of claims 46-47, comprising:reporting, by the wireless terminal device to the wireless access network node, the performance threshold.50.The method according to any one of claims 46-47 and 49, comprising:determining, by the wireless terminal device, the performance threshold.51.The method according to any one of claims 44-50, comprising:reporting, by the wireless terminal device to the wireless access network node, the indication regarding the performance monitoring comprising an indication regarding a current performance level of the processing procedure.52.The method according to claim 51,wherein the indication regarding the current performance level of the processing procedure comprises a plurality of bits to indicate the current performance level.53.The method according to any one of claims 44-52, comprising:reporting, by the wireless terminal device to the wireless access network node, a suggestion indication comprising a suggesting as to whether the wireless access network node should perform a decision process regarding the processing procedure.54.The method according to any one of claims 44-53, comprising:reporting, by the wireless terminal device to the wireless access network node, a suggestion indication comprising a plurality of bits indication a particular suggested decision regarding to the processing procedure.55.The method according to any one of claims 44-54, comprising:receiving, by the wireless terminal device from the wireless access network node, a configuration of the processing procedure, wherein the configuration is based, at least in part, on the indication regarding the performance monitoring.56.The method according to any one of claims 44-54, comprising:determining, by the wireless terminal device, a course of action with respect to the processing procedure of the wireless terminal device based on the performance monitoring of the processing procedure.57.The method according to claim 56, comprising:reporting, by the wireless terminal device to the wireless access network node, the course of action with respect to the processing procedure determined by the wireless terminal device.58.The method according to any one of claims 44-57,wherein the processing procedure comprises processing using an artificial intelligence (AI) or machine learning (ML) model.59.A method of performance monitoring of a processing procedure, comprising:receiving, by a wireless access network node from a wireless terminal device, an indication regarding performance monitoring of the processing procedure, wherein the processing procedure is performed by the wireless terminal device, and wherein the performance monitoring is performed by the wireless terminal device.60.The method according to claim 59,wherein the indication includes an indicator regarding a result of the performance monitoring.61.The method according to any one of claims 59-60, comprising:receiving, by the wireless access network node from the wireless terminal device, the indication regarding the performance monitoring comprising an indication whether the processing procedure is valid or invalid.62.The method according to any one of claims 59-61, comprising:receiving, by the wireless access network node from the wireless terminal device, the indication regarding the performance monitoring comprising an indication whether the processing procedure satisfies a performance threshold.63.The method according to claim 62, comprising:indicating, by the wireless access network node to the wireless terminal device, the performance threshold for use by the wireless terminal device in performance monitoring of the processing procedure.64.The method according to claim 63,wherein the indication whether the processing procedure satisfies a performance threshold comprises a one-bit indication of whether the processing procedure is valid or invalid based, at least in part, on the performance threshold.65.The method according to any one of claims 62-64, comprising:receiving, by the wireless access network node from the wireless terminal device, the performance threshold.66.The method according to any one of claims 59-65, comprising:receiving, by the wireless access network node from the wireless terminal device, the indication regarding the performance monitoring comprising an indication regarding a current performance level of the processing procedure.67.The method according to claim 66,wherein the indication regarding the current performance level of the processing procedure comprises a plurality of bits to indicate the current performance level.68.The method according to any one of claims 59-67, comprising:receiving, by the wireless access network node from the wireless terminal device, a suggestion indication comprising a suggesting as to whether the wireless access network node should perform a decision process regarding the processing procedure.69.The method according to any one of claims 59-68, comprising:receiving, by the wireless access network node from the wireless terminal device, a suggestion indication comprising a plurality of bits indication a particular suggested decision regarding to the processing procedure.70.The method according to any one of claims 59-69, comprising:determining, by the wireless access network node, a course of action with respect to the processing procedure of the wireless terminal device based on the indication regarding the performance monitoring.71.The method according to claim 70, comprising:configuring, by the wireless access network node, the processing procedure of the wireless terminal device based on the indication regarding the performance monitoring; andindicating, to the wireless terminal device, the configuration of the processing procedure.72.The method according to any one of claims 59-69, comprising:receiving, by the wireless access network node from the wireless terminal device, a course of action determined by the wireless terminal device with respect to the processing procedure of the wireless terminal device based on the performance monitoring of the processing procedure.73.The method according to any one of claims 59-72,wherein the processing procedure comprises processing using an artificial intelligence (AI) or machine learning (ML) model.74.A method of performance monitoring of a processing procedure, comprising:measuring, by the wireless terminal device, actual channel measurement information in at least one dedicated occasion to indicate performance of the processing procedure; andreporting, by the wireless terminal device to a wireless access network node, the actual channel measurement information for the at least one dedicated occasion.75.A method of performance monitoring of a processing procedure, comprising:receiving, by a wireless access network node from a wireless terminal device, actual channel measurement information for at least one dedicated occasion to indicate performance of the processing procedure; andcalculating, by the wireless access network node, at least one performance metric of the processing procedure based, at least in part, on the actual channel measurement information.76.A method of performance monitoring of a processing procedure, comprising:generating, by the wireless terminal device using the processing procedure, predicted channel information for at least one dedicated occasion to indicate performance of the processing procedure, wherein the processing procedure is performed by the wireless terminal device; andreporting, by the wireless terminal device to a wireless access network node, the predicted channel information for the at least one dedicated occasion.77.A method of performance monitoring of a processing procedure, comprising:receiving, by a wireless access network node from a wireless terminal device, predicted channel information for at least one dedicated occasion to indicate performance of the processing procedure; andcalculating, by the wireless access network node, at least one performance metric of the processing procedure based, at least in part, on the predicted channel information, wherein the processing procedure is performed by the wireless terminal device.78.An apparatus for wireless communication comprising a processor that is configured to carry out the method of any of claims 1-77.79.A non-transitory computer readable medium having code stored thereon, the code when executed by a processor, causing the processor to implement the method recited in any of claims 1-77.

Images