Artificial intelligence / machine learning model performance monitoring based on an availability of beam prediction monitoring reference signals

Abstract

Methods, systems, and devices for wireless communications are described. For instance, a user equipment (UE) may measure first channel characteristics associated with a first set of beams, where predicted channel characteristics associated with a second set of beams is based on the first channel characteristics. In some cases, the predicted channel characteristics may be generated by the UE using an artificial intelligence / machine learning model / function. The UE may measure second channel characteristics associated with at least a subset of beams of the second set of beams and the UE may transmit a message associated with a metric that indicates performance of the machine learning model. In some examples, the metric may be based on a difference between the measured second channel characteristics of different beams, and may be further based on an ordering of beams based on the predicted channel characteristics.

Description

ARTIFICIAL INTELLIGENCE / MACHINE LEARNING MODEL PERFORMANCE MONITORING BASED ON AN AVAILABILITY OF BEAM PREDICTION MONITORING REFERENCE SIGNALS

[0001] INTRODUCTION

[0002] The following relates to wireless communications, and more specifically to managing performance monitoring for artificial intelligence (AI)  / machine learning (ML) models and / or functions.

[0003] Wireless communications systems are widely deployed to provide various types of communication content such as voice, video, packet data, messaging, broadcast, and so on. These systems may be capable of supporting communication with multiple users by sharing the available system resources (e.g., time, frequency, and power) . Examples of such multiple-access systems include fourth generation (4G) systems such as Long Term Evolution (LTE) systems, LTE-Advanced (LTE-A) systems, or LTE-A Pro systems, and fifth generation (5G) systems which may be referred to as New Radio (NR) systems. These systems may employ technologies such as code division multiple access (CDMA) , time division multiple access (TDMA) , frequency division multiple access (FDMA) , orthogonal FDMA (OFDMA) , or discrete Fourier transform spread orthogonal frequency division multiplexing (DFT-S-OFDM) . A wireless multiple-access communications system may include one or more base stations, each supporting wireless communication for communication devices, which may be known as user equipment (UE) .SUMMARY

[0004] A method for wireless communications by a user equipment (UE) is described. The method may include measuring one or more first channel characteristics associated with a first set of beams, where one or more predicted channel characteristics associated with a second set of beams are based on the one or more first channel characteristics, where the one or more predicted channel characteristics are generated by the UE using a machine learning model, measuring one or more second channel characteristics associated with at least a subset of beams of the second set of beams based on receiving a set of one or more reference signals via at least the subset of beams, and transmitting a first message associated with a first metric that indicates  performance of the machine learning model, the first metric is based on a comparison of a first value and a second value, where the first value includes a first channel characteristic of the one or more second channel characteristics that corresponds to a first beam of the at least the subset of beams of the second set of beams, and where the second value includes a second channel characteristic of the one or more second channel characteristics corresponding to a second beam of the at least the subset of beams of the second set of beams or a predicted channel characteristic of the one or more predicted channel characteristics corresponding to the first beam.

[0005] An apparatus for wireless communications at a user equipment (UE) is described. The apparatus may include one or more memories, and one or more processors coupled with the one or more memories. The one or more processors may be configured to cause the UE to measure one or more first channel characteristics associated with a first set of beams, where one or more predicted channel characteristics associated with a second set of beams are based on the one or more first channel characteristics, where the one or more predicted channel characteristics are generated by the UE using a machine learning model, measure one or more second channel characteristics associated with at least a subset of beams of the second set of beams based on receiving a set of one or more reference signals via at least the subset of beams, and transmit a first message associated with a first metric that indicates performance of the machine learning model, the first metric is based on a comparison of a first value and a second value, where the first value includes a first channel characteristic of the one or more second channel characteristics that corresponds to a first beam of the at least the subset of beams of the second set of beams, and where the second value includes a second channel characteristic of the one or more second channel characteristics corresponding to a second beam of the at least the subset of beams of the second set of beams or a predicted channel characteristic of the one or more predicted channel characteristics corresponding to the first beam.

[0006] A UE for wireless communications is described. The UE may include means for measuring one or more first channel characteristics associated with a first set of beams, where one or more predicted channel characteristics associated with a second set of beams is based on the one or more first channel characteristics, where the one or more predicted channel characteristics are generated by the UE using a machine  learning model, means for measuring one or more second channel characteristics associated with at least a subset of beams of the second set of beams based on receiving a set of one or more reference signals via at least the subset of beams, and means for transmitting a first message associated with a first metric that indicates performance of the machine learning model, the first metric is based on a comparison of a first value and a second value, where the first value includes a first channel characteristic of the one or more second channel characteristics that corresponds to a first beam of the at least the subset of beams of the second set of beams, and where the second value includes a second channel characteristic of the one or more second channel characteristics corresponding to a second beam of the at least the subset of beams of the second set of beams or a predicted channel characteristic of the one or more predicted channel characteristics corresponding to the first beam.

[0007] A non-transitory computer-readable medium storing code for wireless communications is described. The code may include instructions executable by one or more processors to measure one or more first channel characteristics associated with a first set of beams, where one or more predicted channel characteristics associated with a second set of beams is based on the one or more first channel characteristics, where the one or more predicted channel characteristics are generated by the UE using a machine learning model, measure one or more second channel characteristics associated with at least a subset of beams of the second set of beams based on receiving a set of one or more reference signals via at least the subset of beams, and transmit a first message associated with a first metric that indicates performance of the machine learning model, the first metric is based on a comparison of a first value and a second value, where the first value includes a first channel characteristic of the one or more second channel characteristics that corresponds to a first beam of the at least the subset of beams of the second set of beams, and where the second value includes a second channel characteristic of the one or more second channel characteristics corresponding to a second beam of the at least the subset of beams of the second set of beams or a predicted channel characteristic of the one or more predicted channel characteristics corresponding to the first beam.

[0008] Some examples of the method, user equipment (UEs) , and non-transitory computer-readable medium described herein may further include operations, features,  means, or instructions for receiving a respective reference signal of the set of one or more reference signals via each beam of the second set of beams in accordance with one or more monitoring instances, where the one or more second channel characteristics may be measured for each beam based on receiving the set of one or more reference signals and measuring one or more third channel characteristics associated with the second set of beams based on receiving the set of one or more reference signals, where a respective metric indicating the performance of the machine learning model may be associated with each monitoring instance of the one or more monitoring instances.

[0009] Some examples of the method, user equipment (UEs) , and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for transmitting a second message that indicates a second metric, the second metric indicating the performance of the machine learning model for a first monitoring instance of the one or more monitoring instances and may be associated with the one or more third channel characteristics, where the second message may be transmitted in accordance with a first reporting occasion associated with the first monitoring instance, the first reporting occasion may be after a second reporting occasion that may be associated with a second monitoring instance of the one or more monitoring instances and transmission of the first message.

[0010] Some examples of the method, user equipment (UEs) , and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for transmitting, via the first message, an indication of the first metric or a second metric, or both, the second metric indicating the performance of the machine learning model for one of the one or more monitoring instances and may be associated with the one or more third channel characteristics, where the first message may be transmitted in accordance with a reporting occasion that may be associated with a set of multiple monitoring instances.

[0011] Some examples of the method, user equipment (UEs) , and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for generating a set of statistics based on the first metric and a second metric, the second metric indicating the performance of the machine learning model for one of the one or more monitoring instances and may be associated with the one or more third channel characteristics, the set of statistics may be associated with a  set of multiple monitoring instances and transmitting an indication of the set of statistics via the first message.

[0012] Some examples of the method, user equipment (UEs) , and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for receiving the set of one or more reference signals via respective subsets of the second set of beams in accordance with one or more monitoring instances, where the one or more second channel characteristics may be measured for a first subset of beams of the second set of beams in accordance with a first monitoring instance of the one or more monitoring instances and measuring one or more third channel characteristics for a second subset of beams of the second set of beams based on receiving the set of one or more reference signals, where the second subset of beams may be different from the first subset of beams, where a respective metric indicating the performance of the machine learning model may be associated with each monitoring instance of the one or more monitoring instances.

[0013] Some examples of the method, user equipment (UEs) , and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for determining that a value of a channel characteristic associated with a beam from the first subset of beams may be below a threshold channel characteristic value based on measuring the one or more second channel characteristics, where the first channel characteristic may be excluded from the comparison based on the value of the first channel characteristic.

[0014] In some examples of the method, user equipment (UEs) , and non-transitory computer-readable medium described herein, the second value includes the predicted channel characteristic corresponding to the first beam, the first metric may be based on a set of multiple comparisons, each comparison of the set of multiple comparisons may be of a respective first value and a respective second value, the respective first value includes a respective channel characteristic of the one or more second channel characteristics that corresponds to a respective beam of the second set of beams, and the respective second value includes a respective predicted channel characteristic of the one or more predicted channel characteristics corresponding to the respective beam.

[0015] In some examples of the method, user equipment (UEs) , and non-transitory computer-readable medium described herein, the first metric may be based on a quantity of beams included in the first subset of beams, the one or more predicted channel characteristics for the beams of the first subset of beams, the one or more second channel characteristics for the beams of the first subset of beams, or a combination thereof.

[0016] Some examples of the method, user equipment (UEs) , and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for transmitting a second message that indicates a second metric indicating the performance of the machine learning model for a second monitoring instance of the one or more monitoring instances, the second metric may be associated with the one or more third channel characteristics for the second subset of beams, where the second message may be transmitted in accordance with a first reporting occasion associated with the second monitoring instance, the first reporting occasion may be after a second reporting occasion that may be associated with the first monitoring instance and transmission of the first message.

[0017] Some examples of the method, user equipment (UEs) , and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for transmitting, via the first message, an indication of the first metric or a second metric, or both, the second metric indicating the performance of the machine learning model for one of the one or more monitoring instances, and the second metric and may be associated with the one or more third channel characteristics for the second subset of beams, where the first message may be transmitted in accordance with a reporting occasion that may be associated with a set of multiple monitoring instances.

[0018] Some examples of the method, user equipment (UEs) , and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for generating a set of statistics based on the first metric and a second metric indicating the performance of the machine learning model, the second metric may be associated with one of the one or more monitoring instances and may be associated with the one or more third channel characteristics for the second subset of  beams, the set of statistics may be associated with a set of multiple monitoring instances and transmitting an indication of the set of statistics via the first message.

[0019] In some examples of the method, user equipment (UEs) , and non-transitory computer-readable medium described herein, the first message indicates a failure in the performance of the machine learning model based on a threshold which the first metric satisfies.

[0020] Some examples of the method, user equipment (UEs) , and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for incrementing a counter above a second threshold based on the threshold which the first metric satisfies, where the first message indicates the failure based on the second threshold which the counter may be incremented above.

[0021] Some examples of the method, user equipment (UEs) , and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for resetting the counter based on a third threshold which an amount of time that the counter may have been below the second threshold satisfies.

[0022] Some examples of the method, user equipment (UEs) , and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for determining an order of at least the subset of beams in accordance with the one or more predicted channel characteristics, where the comparison may be based on the order.

[0023] In some examples of the method, user equipment (UEs) , and non-transitory computer-readable medium described herein, the first value may be based on the first beam corresponding to the predicted channel characteristic with a highest value among the one or more predicted channel characteristics and the second value may be based on the second channel characteristic including a highest value among the one or more second channel characteristics.

[0024] Some examples of the method, user equipment (UEs) , and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for receive signaling that includes an indication to perform beam prediction for the second set of beams, where a channel state information report  configuration may be modified based on the signaling and transmit a fourth message that includes information associated with the performance of the machine learning model, and where transmission of the fourth message may be based on modification of the channel state information report configuration.

[0025] In some examples of the method, user equipment (UEs) , and non-transitory computer-readable medium described herein, the information indicates respective one or more predicted channel characteristics with highest values among the one or more one or more predicted channel characteristics, one or more beam identifiers of the second set of beams associated with the respective one or more predicted channel characteristics with the highest values, respective second channel characteristics with highest values among the one or more second channel characteristics, one or more beam identifiers of the second set of beams associated with the respective second channel characteristics with the highest values, or any combination thereof.

[0026] Some examples of the method, user equipment (UEs) , and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for receiving signaling associated with a channel state information report, where the signaling includes an indication to switch to operations that exclude the machine learning model based on one or more metrics associated with the machine learning model failing to satisfy a threshold.

[0027] In some examples of the method, user equipment (UEs) , and non-transitory computer-readable medium described herein, the signaling associated with the channel state information report includes a channel state information report setting, a medium access control (MAC) control element activation of a semi-persistent channel state information report, report configuration information associated with an aperiodic channel state information report, or a channel state information resource configuration.

[0028] In some examples of the method, user equipment (UEs) , and non-transitory computer-readable medium described herein, the one or more first channel characteristics include a respective measured reference signal receive power for each of the first set of beams, the one or more second channel characteristics include a respective measured reference signal receive power for each beam of the at least the subset of beams of the second set of beams, and the one or more predicted channel  characteristics includes a respective predicted reference signal receive power for each beam of the subset of beams.

[0029] A method for wireless communications by a UE is described. The method may include measuring one or more first channel characteristics associated with a first set of beams, where one or more predicted channel characteristics associated with a second set of beams is based on the one or more first channel characteristics, where the one or more predicted channel characteristics are generated by the UE using a machine learning model, transmitting a report message indicating a subset of beams from the second set of beams based on the one or more predicted channel characteristics, receiving a control message indicating a beam of the subset of beams based on the report message, measuring a second channel characteristic associated with the beam based on receiving a demodulation reference signal via the beam, and transmitting a message associated with a first metric that indicates performance of the machine learning model, where the first metric is based on a comparison of a first value and a second value, the first value including the second channel characteristic, and the second value that includes a predicted channel characteristic of the one or more predicted channel characteristics corresponding to the beam.

[0030] An apparatus for wireless communications at a UE is described. The apparatus may include one or more memories, and one or more processors coupled with the one or more memories. The one or more processors may be configured to cause the UE to measure one or more first channel characteristics associated with a first set of beams, where one or more predicted channel characteristics associated with a second set of beams is based on the one or more first channel characteristics, where the one or more predicted channel characteristics are generated by the UE using a machine learning model, transmit a report message indicating a subset of beams from the second set of beams based on the one or more predicted channel characteristics, receive a control message indicating a beam of the subset of beams based on the report message, measure a second channel characteristic associated with the beam based on receiving a demodulation reference signal via the beam, and transmit a message associated with a first metric that indicates performance of the machine learning model, where the first metric is based on a comparison of a first value and a second value, the first value including the second channel characteristic, and the second value that includes a  predicted channel characteristic of the one or more predicted channel characteristics corresponding to the beam.

[0031] A UE for wireless communications is described. The UE may include means for measuring one or more first channel characteristics associated with a first set of beams, where one or more predicted channel characteristics associated with a second set of beams is based on the one or more first channel characteristics, where the one or more predicted channel characteristics are generated by the UE using a machine learning model, means for transmitting a report message indicating a subset of beams from the second set of beams based on the one or more predicted channel characteristics, means for receiving a control message indicating a beam of the subset of beams based on the report message, means for measuring a second channel characteristic associated with the beam based on receiving a demodulation reference signal via the beam, and means for transmitting a message associated with a first metric that indicates performance of the machine learning model, where the first metric is based on a comparison of a first value and a second value, the first value including the second channel characteristic, and the second value that includes a predicted channel characteristic of the one or more predicted channel characteristics corresponding to the beam.

[0032] A non-transitory computer-readable medium storing code for wireless communications is described. The code may include instructions executable by one or more processors to measure one or more first channel characteristics associated with a first set of beams, where one or more predicted channel characteristics associated with a second set of beams is based on the one or more first channel characteristics, where the one or more predicted channel characteristics are generated by the UE using a machine learning model, transmit a report message indicating a subset of beams from the second set of beams based on the one or more predicted channel characteristics, receive a control message indicating a beam of the subset of beams based on the report message, measure a second channel characteristic associated with the beam based on receiving a demodulation reference signal via the beam, and transmit a message associated with a first metric that indicates performance of the machine learning model, where the first metric is based on a comparison of a first value and a second value, the first value including the second channel characteristic, and the second value that includes a  predicted channel characteristic of the one or more predicted channel characteristics corresponding to the beam.

[0033] Some examples of the method, user equipment (UEs) , and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for transmitting a second message that indicates a second metric, the second metric indicating the performance of the machine learning model for a first monitoring instance of one or more monitoring instances, where the second message may be transmitted in accordance with a first reporting occasion associated with the first monitoring instance, the first reporting occasion may be after a second reporting occasion that may be associated with a second monitoring instance of the one or more monitoring instances and transmission of the message.

[0034] Some examples of the method, user equipment (UEs) , and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for transmitting, via the message, an indication of the first metric or a second metric, or both, the second metric indicating the performance of the machine learning model for one of one or more monitoring instances, where the message may be transmitted in accordance with a reporting occasion that may be associated with a set of multiple monitoring instances.

[0035] Some examples of the method, user equipment (UEs) , and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for generating a set of statistics based on the first metric and a second metric, the second metric indicating the performance of the machine learning model for one of one or more monitoring instances, the set of statistics may be associated with a set of multiple monitoring instances and transmitting an indication of the set of statistics via the message.

[0036] In some examples of the method, user equipment (UEs) , and non-transitory computer-readable medium described herein, each beam of the subset of beams may have a respective predicted channel characteristic higher than that of each beam of the second set of beams excluded from the subset of beams.

[0037] In some examples of the method, user equipment (UEs) , and non-transitory computer-readable medium described herein, the subset of beams may have an order in  accordance with the one or more predicted channel characteristics, and the message indicating the beam indicates a position of the beam in the order.

[0038] In some examples of the method, user equipment (UEs) , and non-transitory computer-readable medium described herein, the message indicates the first metric, a third metric that may be based on the first metric and a second metric that indicates the performance of the machine learning model, a failure in the performance of the machine learning model, or any combination thereof.

[0039] In some examples of the method, user equipment (UEs) , and non-transitory computer-readable medium described herein, the first set of beams may be associated with a different temporal characteristic, a different spatial characteristic, or both from the second set of beams.

[0040] A method for wireless communications by a network entity is described. The method may include outputting a set of one or more reference signals via at least a subset of beams from a set of beams and obtaining a first message associated with a first metric that indicates performance of a machine learning model, where the first metric is based on a difference between a first value and a second value, where the first value includes a first channel characteristic corresponding to a first beam of the at least the subset of beams of the set of beams, and where the second value includes a second channel characteristic corresponding to a second beam of the at least the subset of beams or a predicted channel characteristic corresponding to the first beam.

[0041] An apparatus for wireless communications at a network entity is described. The apparatus may include one or more memories, and one or more processors coupled with the one or more memories. The one or more processors may be configured to cause the network entity to output a set of one or more reference signals via at least a subset of beams from a set of beams and obtain a first message associated with a first metric that indicates performance of a machine learning model, where the first metric is based on a difference between a first value and a second value, where the first value includes a first channel characteristic corresponding to a first beam of the at least the subset of beams of the set of beams, and where the second value includes a second channel characteristic corresponding to a second beam of the at least the subset of beams or a predicted channel characteristic corresponding to the first beam.

[0042] A network entity for wireless communications is described. The network entity may include means for outputting a set of one or more reference signals via at least a subset of beams from a set of beams and means for obtaining a first message associated with a first metric that indicates performance of a machine learning model, where the first metric is based on a difference between a first value and a second value, where the first value includes a first channel characteristic corresponding to a first beam of the at least the subset of beams of the set of beams, and where the second value includes a second channel characteristic corresponding to a second beam of the at least the subset of beams or a predicted channel characteristic corresponding to the first beam.

[0043] A non-transitory computer-readable medium storing code for wireless communications is described. The code may include instructions executable by one or more processors to output a set of one or more reference signals via at least a subset of beams from a set of beams and obtain a first message associated with a first metric that indicates performance of a machine learning model, where the first metric is based on a difference between a first value and a second value, where the first value includes a first channel characteristic corresponding to a first beam of the at least the subset of beams of the set of beams, and where the second value includes a second channel characteristic corresponding to a second beam of the at least the subset of beams or a predicted channel characteristic corresponding to the first beam.

[0044] Some examples of the method, network entities, and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for outputting a respective reference signal of the set of one or more reference signals via each beam of the set of beams in accordance with one or more monitoring instances, where one or more channel characteristics for each beam may be based on the set of one or more reference signals, and where a respective metric indicating the performance of the machine learning model may be associated with each monitoring instance of the one or more monitoring instances.

[0045] Some examples of the method, network entities, and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for obtaining a second message that indicates a second metric, the second metric indicating the performance of the machine learning model for a first  monitoring instance of the one or more monitoring instances, where the second message may be obtained in accordance with a first reporting occasion associated with the first monitoring instance, the first reporting occasion may be after a second reporting occasion that may be associated with a second monitoring instance of the one or more monitoring instances and obtaining the first message.

[0046] Some examples of the method, network entities, and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for obtaining, via the first message, an indication of the first metric or a second metric, or both, the second metric indicating the performance of the machine learning model for one of the one or more monitoring instances, where the first message may be obtained in accordance with a reporting occasion that may be associated with a set of multiple monitoring instances.

[0047] Some examples of the method, network entities, and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for obtaining an indication of a set of statistics via the first message, the set of statistics may be based on the first metric and a second metric, the second metric indicating the performance of the machine learning model for one of the one or more monitoring instances, and the set of statistics may be associated with a set of multiple monitoring instances.

[0048] Some examples of the method, network entities, and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for outputting the set of one or more reference signals via a first subset of beams of the set of beams in accordance with one or more monitoring instances, where one or more channel characteristics for the first subset of beams may be based on the set of one or more reference signals and in accordance with a first monitoring instance of the one or more monitoring instances and outputting the set of one or more reference signals via a second subset of beams of the set of beams in accordance with the one or more monitoring instances, where one or more channel characteristics for the second subset of beams may be based on the set of one or more reference signals and in accordance with a second monitoring instance of the one or more monitoring instances, the second subset of beams may be different from the first subset of beams.

[0049] Some examples of the method, network entities, and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for obtaining a third message that indicates the first subset of beams or the second subset of beams, or both, based on one or more predictions by the machine learning model, where the set of one or more reference signals may be output via the first subset of beams or the second subset of beams, or both, based on the third message.

[0050] In some examples of the method, network entities, and non-transitory computer-readable medium described herein, the first subset of beams or the second subset of beams, or both, may be predetermined in accordance with a beam pattern and the set of one or more reference signals may be output via the first subset of beams or the second subset of beams, or both, based on the beam pattern.

[0051] In some examples of the method, network entities, and non-transitory computer-readable medium described herein, the second value includes the predicted channel characteristic corresponding to the first beam, the first metric may be based on a set of multiple comparisons, each comparison of the set of multiple comparisons may be of a respective first value and a respective second value, the respective first value includes a respective channel characteristic that corresponds to a respective beam of the set of beams, and the respective second value includes a respective predicted channel characteristic corresponding to the respective beam.

[0052] In some examples of the method, network entities, and non-transitory computer-readable medium described herein, the first metric may be based on a quantity of beams included in the first subset of beams, a set of one or more predicted channel characteristics for the beams of the first subset of beams, channel characteristics for the beams of the first subset of beams, or a combination thereof.

[0053] Some examples of the method, network entities, and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for obtaining a second message that indicates a second metric, the second metric indicating the performance of the machine learning model for the second monitoring instance of the one or more monitoring instances, where the second message may be obtained in accordance with a first reporting occasion associated with the  second monitoring instance, the first reporting occasion may be after a second reporting occasion that may be associated with the first monitoring instance and obtaining the first message.

[0054] Some examples of the method, network entities, and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for obtaining, via the first message, an indication of the first metric or a second metric, or both, the second metric indicating the performance of the machine learning model for one of the one or more monitoring instances, where the first message may be obtained in accordance with a reporting occasion that may be associated with a set of multiple monitoring instances.

[0055] Some examples of the method, network entities, and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for obtaining an indication of a set of statistics via the first message, the set of statistics may be based on the first metric and a second metric, the second metric indicating the performance of the machine learning model for one of the one or more monitoring instances, and the set of statistics may be associated with a set of multiple monitoring instances.

[0056] In some examples of the method, network entities, and non-transitory computer-readable medium described herein, the first message indicates a failure in the performance of the machine learning model based on a threshold which the first metric satisfies.

[0057] In some examples of the method, network entities, and non-transitory computer-readable medium described herein, the first value may be based on the first beam corresponding to a predicted channel characteristic with a highest value among a set of multiple predicted channel characteristics and the second value may be based on the second channel characteristic including a highest value among a set of multiple second channel characteristics.

[0058] A method for wireless communications by a network entity is described. The method may include obtaining a report message indicating a subset of beams from a set of beams based on one or more predicted channel characteristics, outputting a control message indicating a beam of the subset of beams based on the report message, and  obtaining a message associated with a first metric that indicates performance of a machine learning model, where the first metric is based on difference between a first value and a second value, the first value including a second channel characteristic based on a demodulation reference signal associated with the beam, and the second value including a predicted channel characteristic corresponding to the beam.

[0059] An apparatus for wireless communications at a network entity is described. The apparatus may include one or more memories, and one or more processors coupled with the one or more memories. The one or more processors may be configured to cause the network entity to obtain a report message indicating a subset of beams from a set of beams based on one or more predicted channel characteristics, output a control message indicating a beam of the subset of beams based on the report message, and obtain a message associated with a first metric that indicates performance of a machine learning model, where the first metric is based on difference between a first value and a second value, the first value including a second channel characteristic based on a demodulation reference signal associated with the beam, and the second value including a predicted channel characteristic corresponding to the beam.

[0060] A network entity for wireless communications is described. The network entity may include means for obtaining a report message indicating a subset of beams from a set of beams based on one or more predicted channel characteristics, means for outputting a control message indicating a beam of the subset of beams based on the report message, and means for obtaining a message associated with a first metric that indicates performance of a machine learning model, where the first metric is based on difference between a first value and a second value, the first value including a second channel characteristic based on a demodulation reference signal associated with the beam, and the second value including a predicted channel characteristic corresponding to the beam.

[0061] A non-transitory computer-readable medium storing code for wireless communications is described. The code may include instructions executable by one or more processors to obtain a report message indicating a subset of beams from a set of beams based on one or more predicted channel characteristics, output a control message indicating a beam of the subset of beams based on the report message, and obtain a message associated with a first metric that indicates performance of a machine learning  model, where the first metric is based on difference between a first value and a second value, the first value including a second channel characteristic based on a demodulation reference signal associated with the beam, and the second value including a predicted channel characteristic corresponding to the beam.

[0062] Some examples of the method, network entities, and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for obtaining a second message that indicates a second metric, the second metric indicating the performance of the machine learning model for a first monitoring instance of one or more monitoring instances, where the second message may be obtained in accordance with a first reporting occasion associated with the first monitoring instance, the first reporting occasion may be after a second reporting occasion that may be associated with a second monitoring instance of the one or more monitoring instances and obtaining the message.

[0063] Some examples of the method, network entities, and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for obtaining, via the message, an indication of the first metric or a second metric, or both, the second metric indicating the performance of the machine learning model for one of one or more monitoring instances, where the message may be obtained in accordance with a reporting occasion that may be associated with a set of multiple monitoring instances.

[0064] Some examples of the method, network entities, and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for obtaining an indication of a set of statistics via the message, the set of statistics may be based on the first metric and a second metric, the second metric indicating the performance of the machine learning model for one of one or more monitoring instances, and the set of statistics may be associated with a set of multiple monitoring instances.

[0065] In some examples of the method, network entities, and non-transitory computer-readable medium described herein, each beam of the subset of beams may have a respective predicted channel characteristic higher than that of each beam of the set of beams excluded from the subset of beams.

[0066] In some examples of the method, network entities, and non-transitory computer-readable medium described herein, the subset of beams may have an order in accordance with respective one or more predicted channel characteristics and the message indicating the beam indicates a position of the beam in the order.

[0067] In some examples of the method, network entities, and non-transitory computer-readable medium described herein, the message indicates the first metric, a third metric that may be based on the first metric and a second metric that indicates the performance of the machine learning model, a failure in the performance of the machine learning model, or any combination thereof.BRIEF DESCRIPTION OF THE DRAWINGS

[0068] FIG. 1 shows an example of a wireless communications system that supports AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure.

[0069] FIG. 2 shows an example of a network architecture that supports AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure.

[0070] FIG. 3 shows an example of a process that supports AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure.

[0071] FIGs. 4A and 4B show examples of wireless communications systems that support AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure.

[0072] FIGs. 5A and 5B show examples of performance monitoring schemes that support AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure.

[0073] FIGs. 6A and 6B show examples of performance monitoring schemes that support AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure.

[0074] FIGs. 7A and 7B show examples of performance monitoring schemes that support AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure.

[0075] FIG. 8 shows an example of a performance monitoring scheme that supports AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure.

[0076] FIG. 9 shows an example of a process flow that supports AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure.

[0077] FIG. 10 shows an example of a process flow that supports AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure.

[0078] FIGs. 11 and 12 show block diagrams of devices that support AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure.

[0079] FIG. 13 shows a block diagram of a communications manager that supports AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure.

[0080] FIG. 14 shows a diagram of a system including a device that supports AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure.

[0081] FIGs. 15 and 16 show block diagrams of devices that support AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure.

[0082] FIG. 17 shows a block diagram of a communications manager that supports AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure.

[0083] FIG. 18 shows a diagram of a system including a device that supports AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure.

[0084] FIGs. 19 through 22 show flowcharts illustrating methods that support AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure.DETAILED DESCRIPTION

[0085] A user equipment (UE) may support AI and / or ML-based operations, such as beam prediction. Such a UE may collect data measurements (e.g., reference signal received power (RSRP) measurements, signal-to-interference-plus-noise-ratio (SINR) measurements, channel impulse response (CIR) measurements, or the like) for one or more directional beams based on measurements of reference signals (e.g., synchronization system blocks (SSBs) , channel state information (CSI) reference signals (CSI-RSs) , or other reference signals) For example, a UE may measure signals received via directional beams by which SSBs are transmitted / received and / or using directional beams via which CSI-RSs are transmitted / received. The UE may train a given AI / ML model / functionality using measurements of a first set of beams of a network entity to predict measurements for a set of second, future beams of the network entity, where predicting the measurements. Further, a trained AI / ML model / functionality may use measurements of a third set of beams to predict measurements for a fourth set of beams, which may be a process referred to as beam inference. In some cases, inference may refer to one or more processes of inputting data through a trained AI / ML model to make predictions. The beams of the network entity  whose measurements are predicted or output from the AI / ML model (e.g., the first set of beams or the third set of beams, which may correspond to the same set of beams) may be referred to as a set A beams and the beams of the network entity whose measurements are input to the AI / ML model (e.g., the second set of beams or the fourth set of beams, which may correspond to the same set of beams) may be referred to as set B beams. In some examples, predicting measurements may include computing values for measurements of the set of future beams without relying on actual measurements performed for the set of future beams by the UE.

[0086] In some cases, the UE may predict which beam is a relatively best beam for communicating messages with a network entity, where the beam being indicated as the best beam may refer to the beam being associated with a channel characteristic (e.g., Layer 1 Reference Signal Receive Power (L1-RSRP) ) that maximizes or minimizes a metric when compared with the other beams of the first set of beams. In order to determine which beam of the first set of beams is the best beam, the UE may measure one or more first channel characteristics of a second set of beams, referred to as the set B beams, and may use the measurements from the second set of beams and an ML model to generate one or more predicted channel characteristics of the first set of beams. For instance, the UE may measure L1-RSRPs of a first set of one or more reference signals received over the second set of beams and may use an ML model to predict L1-RSRPs of the set A beams. The measured L1-RSRPs of the first set of one or more reference signals may be an example of the one or more first channel characteristics and the predicted L1-RSRPs may be an example of the one or more predicted channel characteristics. The UE may determine that the beam associated with the best predicted channel characteristic (e.g., with the highest L1-RSRP) is the best beam. The second set of beams (e.g., Set B beams) may include one or more beams.

[0087] In some examples, the ML model may produce an inaccurate output. For instance, the UE may determine a predicted best beam from the ML model, but if the UE were to measure the Set A beams, the best beam of the measured Set A beams may differ from the predicted best beam, where the best beam of the measured Set A beams may be referred to as the actual best beam. A beam being the best beam of the measured set A beams may refer to the beam being associated with a channel characteristic (e.g., L1-RSRP) that maximizes or minimizes a metric when compared with the other  measured beams of the set A beams. The ML model may predict a beam different from the actual best beam due to one or more of a variety of factors, such as overfitting of measurement data, too few samples of measurement data, or a sudden change in environment of the UE and / or network entity, among other factors. If the actual best beam differs from the predicted best beam, the UE may fail to successfully communicate messages with the network entity. For instance, inaccurate beam prediction performance by an ML model may affect communications quality and efficiency, among other issues. As such, techniques that enable the UE and network to evaluate the performance of the ML model may enable improvements for determining whether the actual best beam differs from the predicted best beam.

[0088] The techniques described herein relate to techniques that enable a network entity and / or a UE to evaluate the performance of the ML model (e.g., an ML model used by the UE, which may utilize a neural network, such as a feed forward (FF) or deep feed forward (DFF) neural network, a recurrent neural network (RNN) , a long / short term memory (LSTM) neural network, or another type of neural network) . For instance, the UE may be configured with prediction instances over which the UE may receive a second set of one or more reference signals (e.g., dedicated reference signals) from the network entity over at least a subset of the first set of beams. The UE may measure one or more second channel characteristics (e.g., measured L1-RSRPs) of the at least the subset of the first set of beams using the second set of one or more reference signals and may determine a metric that indicates a performance of the ML model. For instance, the UE may determine the metric as a difference between the actual highest measured L1-RSRP among that measured for the at least the subset of the set of first beams and the L1-RSRP of the beam predicted to have the highest L1-RSRP among the at least the subset of the set of first beams. Alternatively, the metric may be determined by averaging the absolute value of differences between the measured L1-RSRP for each beam of the at least the subset of the set of first beams and the predicted L1-RSRP for the same beam.

[0089] Additionally, or alternatively, the UE may transmit a report message to the network entity indicating a subset of beams (e.g., the K top beams of the first set of beams with the highest predicted L1-RSRP, where K≥1) . The network entity may transmit a control message to the UE indicating a beam of the subset of beams and the  UE may receive a demodulation reference signal (DMRS) via the indicated beam. The UE may measure a second channel characteristic associated with the beam (e.g., an L1-RSRP) using the received DMRS and may determine a metric that indicates the performance of the ML model. For instance, the metric may be determined as a difference between the measured L1-RSRP for the DMRS received over the indicated beam and the predicted L1-RSRP for the same beam.

[0090] In either case, after determining the metric, the UE may transmit a message associated with the metric to the network entity. For instance, the UE may indicate a value of the metric to the network entity (e.g., per prediction instance or per multiple prediction instances) . Additionally, or alternatively, the UE may indicate a statistic derived from aggregated metrics determined over multiple prediction instances (e.g., averages of metrics, standard deviation of metric) . Additionally, or alternatively, the UE may indicate a monitoring failure instance (MFI) if above a threshold quantity of metrics determined for multiple prediction instances satisfies a threshold amount within a configured or preconfigured duration.

[0091] Determining metrics indicating the performance of the ML model may enable the network entity and / or the UE to evaluate a performance of the ML model and to make one or more adjustments that may improve communications quality or efficiency. For instance, one or more parameters of the ML model may be adjusted to make the ML model more accurate, or the UE may switch to one or more other ML models that enable relatively improved beam prediction and inference. In some cases, performance monitoring of beam prediction ML models may enable the UE to switch to other techniques that may not use the ML model for determining which beam of the set A beams is a best beam (e.g., non-ML techniques) .

[0092] Aspects of the disclosure are initially described in the context of wireless communications systems. Additional aspects of the disclosure are described in the context of performance monitoring schemes. Aspects of the disclosure are further illustrated by and described with reference to apparatus diagrams, system diagrams, and flowcharts that relate to AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signal.

[0093] FIG. 1 shows an example of a wireless communications system 100 that supports AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure. The wireless communications system 100 may include one or more devices, such as one or more network devices (e.g., network entities 105) , one or more UEs 115, and a core network 130. In some examples, the wireless communications system 100 may be an LTE network, an LTE-A network, an LTE-A Pro network, an NR network, or a network operating in accordance with other systems and radio technologies, including future systems and radio technologies not explicitly mentioned herein.

[0094] The network entities 105 may be dispersed throughout a geographic area to form the wireless communications system 100 and may include devices in different forms or having different capabilities. In various examples, a network entity 105 may be referred to as a network element, a mobility element, a radio access network (RAN) node, or network equipment, among other nomenclature. In some examples, network entities 105 and UEs 115 may wirelessly communicate via communication link (s) 125 (e.g., a radio frequency (RF) access link) . For example, a network entity 105 may support a coverage area 110 (e.g., a geographic coverage area) over which the UEs 115 and the network entity 105 may establish the communication link (s) 125. The coverage area 110 may be an example of a geographic area over which a network entity 105 and a UE 115 may support the communication of signals according to one or more radio access technologies (RATs) .

[0095] The UEs 115 may be dispersed throughout a coverage area 110 of the wireless communications system 100, and each UE 115 may be stationary, or mobile, or both at different times. The UEs 115 may be devices in different forms or having different capabilities. Some example UEs 115 are illustrated in FIG. 1. The UEs 115 described herein may be capable of supporting communications with various types of devices in the wireless communications system 100 (e.g., other wireless communication devices, including UEs 115 or network entities 105) , as shown in FIG. 1.

[0096] As described herein, a node of the wireless communications system 100, which may be referred to as a network node, or a wireless node, may be a network entity 105 (e.g., any network entity described herein) , a UE 115 (e.g., any UE described  herein) , a network controller, an apparatus, a device, a computing system, one or more components, or another suitable processing entity configured to perform any of the techniques described herein. For example, a node may be a UE 115. As another example, a node may be a network entity 105. As another example, a first node may be configured to communicate with a second node or a third node. In one aspect of this example, the first node may be a UE 115, the second node may be a network entity 105, and the third node may be a UE 115. In another aspect of this example, the first node may be a UE 115, the second node may be a network entity 105, and the third node may be a network entity 105. In yet other aspects of this example, the first, second, and third nodes may be different relative to these examples. Similarly, reference to a UE 115, network entity 105, apparatus, device, computing system, or the like may include disclosure of the UE 115, network entity 105, apparatus, device, computing system, or the like being a node. For example, disclosure that a UE 115 is configured to receive information from a network entity 105 also discloses that a first node is configured to receive information from a second node.

[0097] In some examples, network entities 105 may communicate with a core network 130, or with one another, or both. For example, network entities 105 may communicate with the core network 130 via backhaul communication link (s) 120 (e.g., in accordance with an S1, N2, N3, or other interface protocol) . In some examples, network entities 105 may communicate with one another via backhaul communication link (s) 120 (e.g., in accordance with an X2, Xn, or other interface protocol) either directly (e.g., directly between network entities 105) or indirectly (e.g., via the core network 130) . In some examples, network entities 105 may communicate with one another via a midhaul communication link 162 (e.g., in accordance with a midhaul interface protocol) or a fronthaul communication link 168 (e.g., in accordance with a fronthaul interface protocol) , or any combination thereof. The backhaul communication link (s) 120, midhaul communication links 162, or fronthaul communication links 168 may be or include one or more wired links (e.g., an electrical link, an optical fiber link) or one or more wireless links (e.g., a radio link, a wireless optical link) , among other examples or various combinations thereof. A UE 115 may communicate with the core network 130 via a communication link 155.

[0098] One or more of the network entities 105 or network equipment described herein may include or may be referred to as a base station 140 (e.g., a base transceiver station, a radio base station, an NR base station, an access point, a radio transceiver, a NodeB, an eNodeB (eNB) , a next-generation NodeB or giga-NodeB (either of which may be referred to as a gNB) , a 5G NB, a next-generation eNB (ng-eNB) , a Home NodeB, a Home eNodeB, or other suitable terminology) . In some examples, a network entity 105 (e.g., a base station 140) may be implemented in an aggregated (e.g., monolithic, standalone) base station architecture, which may be configured to utilize a protocol stack that is physically or logically integrated within one network entity (e.g., a network entity 105 or a single RAN node, such as a base station 140) .

[0099] In some examples, a network entity 105 may be implemented in a disaggregated architecture (e.g., a disaggregated base station architecture, a disaggregated RAN architecture) , which may be configured to utilize a protocol stack that is physically or logically distributed among multiple network entities (e.g., network entities 105) , such as an integrated access and backhaul (IAB) network, an open RAN (O-RAN) (e.g., a network configuration sponsored by the O-RAN Alliance) , or a virtualized RAN (vRAN) (e.g., a cloud RAN (C-RAN) ) . For example, a network entity 105 may include one or more of a central unit (CU) , such as a CU 160, a distributed unit (DU) , such as a DU 165, a radio unit (RU) , such as an RU 170, a RAN Intelligent Controller (RIC) , such as an RIC 175 (e.g., a Near-Real Time RIC (Near-RT RIC) , a Non-Real Time RIC (Non-RT RIC) ) , a Service Management and Orchestration (SMO) system, such as an SMO system 180, or any combination thereof. An RU 170 may also be referred to as a radio head, a smart radio head, a remote radio head (RRH) , a remote radio unit (RRU) , or a transmission reception point (TRP) . One or more components of the network entities 105 in a disaggregated RAN architecture may be co-located, or one or more components of the network entities 105 may be located in distributed locations (e.g., separate physical locations) . In some examples, one or more of the network entities 105 of a disaggregated RAN architecture may be implemented as virtual units (e.g., a virtual CU (VCU) , a virtual DU (VDU) , a virtual RU (VRU) ) .

[0100] The split of functionality between a CU 160, a DU 165, and an RU 170 is flexible and may support different functionalities depending on which functions (e.g., network layer functions, protocol layer functions, baseband functions, RF functions, or  any combinations thereof) are performed at a CU 160, a DU 165, or an RU 170. For example, a functional split of a protocol stack may be employed between a CU 160 and a DU 165 such that the CU 160 may support one or more layers of the protocol stack and the DU 165 may support one or more different layers of the protocol stack. In some examples, the CU 160 may host upper protocol layer (e.g., layer 3 (L3) , layer 2 (L2) ) functionality and signaling (e.g., Radio Resource Control (RRC) , service data adaption protocol (SDAP) , Packet Data Convergence Protocol (PDCP) ) . The CU 160 (e.g., one or more CUs) may be connected to a DU 165 (e.g., one or more DUs) or an RU 170 (e.g., one or more RUs) , or some combination thereof, and the DUs 165, RUs 170, or both may host lower protocol layers, such as layer 1 (L1) (e.g., physical (PHY) layer) or L2 (e.g., radio link control (RLC) layer, medium access control (MAC) layer) functionality and signaling, and may each be at least partially controlled by the CU 160. Additionally, or alternatively, a functional split of the protocol stack may be employed between a DU 165 and an RU 170 such that the DU 165 may support one or more layers of the protocol stack and the RU 170 may support one or more different layers of the protocol stack. The DU 165 may support one or multiple different cells (e.g., via one or multiple different RUs, such as an RU 170) . In some cases, a functional split between a CU 160 and a DU 165 or between a DU 165 and an RU 170 may be within a protocol layer (e.g., some functions for a protocol layer may be performed by one of a CU 160, a DU 165, or an RU 170, while other functions of the protocol layer are performed by a different one of the CU 160, the DU 165, or the RU 170) . A CU 160 may be functionally split further into CU control plane (CU-CP) and CU user plane (CU-UP) functions. A CU 160 may be connected to a DU 165 via a midhaul communication link 162 (e.g., F1, F1-c, F1-u) , and a DU 165 may be connected to an RU 170 via a fronthaul communication link 168 (e.g., open fronthaul (FH) interface) . In some examples, a midhaul communication link 162 or a fronthaul communication link 168 may be implemented in accordance with an interface (e.g., a channel) between layers of a protocol stack supported by respective network entities (e.g., one or more of the network entities 105) that are in communication via such communication links.

[0101] In some wireless communications systems (e.g., the wireless communications system 100) , infrastructure and spectral resources for radio access may support wireless backhaul link capabilities to supplement wired backhaul connections,  providing an IAB network architecture (e.g., to a core network 130) . In some cases, in an IAB network, one or more of the network entities 105 (e.g., network entities 105 or IAB node (s) 104) may be partially controlled by each other. The IAB node (s) 104 may be referred to as a donor entity or an IAB donor. A DU 165 or an RU 170 may be partially controlled by a CU 160 associated with a network entity 105 or base station 140 (such as a donor network entity or a donor base station) . The one or more donor entities (e.g., IAB donors) may be in communication with one or more additional devices (e.g., IAB node (s) 104) via supported access and backhaul links (e.g., backhaul communication link (s) 120) . IAB node (s) 104 may include an IAB mobile termination (IAB-MT) controlled (e.g., scheduled) by one or more DUs (e.g., DUs 165) of a coupled IAB donor. An IAB-MT may be equipped with an independent set of antennas for relay of communications with UEs 115 or may share the same antennas (e.g., of an RU 170) of IAB node (s) 104 used for access via the DU 165 of the IAB node (s) 104 (e.g., referred to as virtual IAB-MT (vIAB-MT) ) . In some examples, the IAB node (s) 104 may include one or more DUs (e.g., DUs 165) that support communication links with additional entities (e.g., IAB node (s) 104, UEs 115) within the relay chain or configuration of the access network (e.g., downstream) . In such cases, one or more components of the disaggregated RAN architecture (e.g., the IAB node (s) 104 or components of the IAB node (s) 104) may be configured to operate according to the techniques described herein.

[0102] In the case of the techniques described herein applied in the context of a disaggregated RAN architecture, one or more components of the disaggregated RAN architecture may be configured to support test as described herein. For example, some operations described as being performed by a UE 115 or a network entity 105 (e.g., a base station 140) may additionally, or alternatively, be performed by one or more components of the disaggregated RAN architecture (e.g., components such as an IAB node, a DU 165, a CU 160, an RU 170, an RIC 175, an SMO system 180) .

[0103] A UE 115 may include or may be referred to as a mobile device, a wireless device, a remote device, a handheld device, or a subscriber device, or some other suitable terminology, where the “device” may also be referred to as a unit, a station, a terminal, or a client, among other examples. A UE 115 may also include or may be referred to as a personal electronic device such as a cellular phone, a personal digital  assistant (PDA) , a tablet computer, a laptop computer, or a personal computer. In some examples, a UE 115 may include or be referred to as a wireless local loop (WLL) station, an Internet of Things (IoT) device, an Internet of Everything (IoE) device, or a machine type communications (MTC) device, among other examples, which may be implemented in various objects such as appliances, vehicles, or meters, among other examples.

[0104] In some examples, a UE 115 may support AI and / or ML models and / or functionalities, which the UE 115 may use to perform various wireless communications procedures (e.g., CSI prediction, beam selection, and / or beam prediction, among other examples) . In such cases, the UE 115 may generate inference data using one or more AI / ML models / functionalities. Additionally, or alternatively, the UE 115 may perform life cycle management (LCM) operations for a given AI / ML model and / or functionality (e.g., model or functionality selection, activation, deactivation, switching, and fallback, among other examples) based on one or more AI / ML models / functionalities. In some aspects, LCM may be model-based or functionality-based LCM procedures. As described herein, an AI functionality or AI model may be referred to as an ML functionality or ML model, or vice versa. That is, the terms “AI” and “ML” may, in some examples, be used interchangeably to refer to similar technologies, models, functions, algorithms, or any combination thereof. Similarly, the terms “model” and “functionality” may be used interchangeably. In some examples, ML operations may be considered a subset of AI operations. In any case, aspects of the features described herein may be referred to as AI functionalities, AI functions, AI models, AI services, AI operations, or the like, and such features may be similarly applicable to ML functionalities, ML functions, ML models, ML services, ML operations, or any combination thereof. Thus, reference to “ML” or “AI” may refer to ML, AI, or both, and the terms “AI” or “ML” should not be considered limiting to the scope of the claims or the disclosure.

[0105] Techniques described herein, in addition to or as an alternative to be carried out between UEs 115 and network entities 105, may be implemented via additional or alternative wireless devices, including IAB nodes 104, DUs 165, CUs 160, RUs 170, and the like. For example, in some implementations, aspects described herein may be implemented in the context of a disaggregated RAN architecture (e.g., open RAN  architecture) . In a disaggregated architecture, the RAN may be split into three areas of functionality corresponding to the CU 160, the DU 165, and the RU 170. The split of functionality between the CU 160, DU 165, and RU 170 is flexible and as such gives rise to numerous permutations of different functionalities depending upon which functions (e.g., MAC functions, baseband functions, radio frequency functions, and any combinations thereof) are performed at the CU 160, DU 165, and RU 170. For example, a functional split of the protocol stack may be employed between a DU 165 and an RU 170 such that the DU 165 may support one or more layers of the protocol stack and the RU 170 may support one or more different layers of the protocol stack.

[0106] Some wireless communications systems (e.g., wireless communications system 100) , infrastructure and spectral resources for NR access may additionally support wireless backhaul link capabilities in supplement to wireline backhaul connections, providing an IAB network architecture. One or more network entities 105 may include CUs 160, DUs 165, and RUs 170 and may be referred to as donor network entities 105 or IAB donors. One or more DUs 165 (e.g., and / or RUs 170) associated with a donor network entity 105 may be partially controlled by CUs 160 associated with the donor network entity 105. The one or more donor network entities 105 (e.g., IAB donors) may be in communication with one or more additional network entities 105 (e.g., IAB nodes 104) via supported access and backhaul links. IAB nodes 104 may support mobile terminal (MT) functionality controlled and / or scheduled by DUs 165 of a coupled IAB donor. In addition, the IAB nodes 104 may include DUs 165 that support communication links with additional entities (e.g., IAB nodes 104, UEs 115, etc. ) within the relay chain or configuration of the access network (e.g., downstream) . In such cases, one or more components of the disaggregated RAN architecture (e.g., one or more IAB nodes 104 or components of IAB nodes 104) may be configured to operate according to the techniques described herein.

[0107] In some examples, the wireless communications system 100 may include a core network 130 (e.g., a next generation core network (NGC) ) , one or more IAB donors, IAB nodes 104, and UEs 115, where IAB nodes 104 may be partially controlled by each other and / or the IAB donor. The IAB donor and IAB nodes 104 may be examples of aspects of network entities 105. IAB donor and one or more IAB nodes 104 may be configured as (e.g., or in communication according to) some relay chain.

[0108] For instance, an access network (AN) or RAN may refer to communications between access nodes (e.g., IAB donor) , IAB nodes 104, and one or more UEs 115. The IAB donor may facilitate connection between the core network 130 and the AN (e.g., via a wireline or wireless connection to the core network 130) . That is, an IAB donor may refer to a RAN node with a wireline or wireless connection to core network 130. The IAB donor may include a CU 160 and at least one DU 165 (e.g., and RU 170) , where the CU 160 may communicate with the core network 130 over an NG interface (e.g., some backhaul link) . The CU 160 may host L3 (e.g., RRC, SDAP, PDCP, etc. ) functionality and signaling. The at least one DU 165 and / or RU 170 may host lower layer, such as L1 and L2 (e.g., RLC, MAC, physical (PHY) , etc. ) functionality and signaling, and may each be at least partially controlled by the CU 160. The DU 165 may support one or multiple different cells. IAB donor and IAB nodes 104 may communicate over an F1 interface according to some protocol that defines signaling messages (e.g., F1 AP protocol) . Additionally, CU 160 may communicate with the core network over an NG interface (which may be an example of a portion of backhaul link) , and may communicate with other CUs 160 (e.g., a CU 160 associated with an alternative IAB donor) over an Xn-C interface (which may be an example of a portion of a backhaul link) .

[0109] IAB nodes 104 may refer to a RAN node that provides IAB functionality (e.g., access for UEs 115, wireless self-backhauling capabilities, etc. ) . IAB nodes 104 may include a DU 165 and an MT. A DU 165 may act as a distributed scheduling node towards child nodes associated with the IAB node 104, and the MT may act as a scheduled node towards parent nodes associated with the IAB node 104. That is, an IAB donor may be referred to as a parent node in communication with one or more child nodes (e.g., an IAB donor may relay transmissions for UEs through one or more other IAB nodes 104) . Additionally, an IAB node 104 may also be referred to as a parent node or a child node to other IAB nodes 104, depending on the relay chain or configuration of the AN. Therefore, the MT entity of IAB nodes 104 (e.g., MTs) may provide a Uu interface for a child node to receive signaling from a parent IAB node 104, and the DU interface (e.g., DUs 165) may provide a Uu interface for a parent node to signal to a child IAB node 104 or UE 115.

[0110] For example, IAB node 104 may be referred to a parent node associated with IAB node, and a child node associated with IAB donor. The IAB donor may include a CU 160 with a wireline (e.g., optical fiber) or wireless connection to the core network and may act as parent node to IAB nodes 104. For example, the DU 165 of IAB donor may relay transmissions to UEs 115 through IAB nodes 104, and may directly signal transmissions to a UE 115. The CU 160 of IAB donor may signal communication link establishment via an F1 interface to IAB nodes 104, and the IAB nodes 104 may schedule transmissions (e.g., transmissions to the UEs 115 relayed from the IAB donor) through the DUs 165. That is, data may be relayed to and from IAB nodes 104 via signaling over an NR Uu interface to MT of the IAB node 104. Communications with IAB node 104 may be scheduled by DU 165 of IAB donor and communications with IAB node 104 may be scheduled by DU 165 of IAB node 104.

[0111] In the case of the techniques described herein applied in the context of a disaggregated RAN architecture, one or more components of the disaggregated RAN architecture (e.g., one or more IAB nodes 104 or components of IAB nodes 104) may be configured to support techniques for large round trip times in random access channel procedures as described herein. For example, some operations described as being performed by a UE 115 or a network entity 105 may additionally or alternatively be performed by components of the disaggregated RAN architecture (e.g., IAB nodes, DUs, CUs, etc. ) .

[0112] As described herein, a node, which may be referred to as a node, a network node, a network entity, or a wireless node, may be a base station (e.g., any base station described herein) , a UE (e.g., any UE described herein) , a network controller, an apparatus, a device, a computing system, one or more components, and / or another suitable processing entity configured to perform any of the techniques described herein. For example, a network node may be a UE. As another example, a network node may be a base station. As another example, a first network node may be configured to communicate with a second network node or a third network node. In one aspect of this example, the first network node may be a UE, the second network node may be a base station, and the third network node may be a UE. In another aspect of this example, the first network node may be a UE, the second network node may be a base station, and the third network node may be a base station. In yet other aspects of this example, the  first, second, and third network nodes may be different relative to these examples. Similarly, reference to a UE, base station, apparatus, device, computing system, or the like may include disclosure of the UE, base station, apparatus, device, computing system, or the like being a network node. For example, disclosure that a UE is configured to receive information from a base station also discloses that a first network node is configured to receive information from a second network node. Consistent with this disclosure, once a specific example is broadened in accordance with this disclosure (e.g., a UE is configured to receive information from a base station also discloses that a first network node is configured to receive information from a second network node) , the broader example of the narrower example may be interpreted in the reverse, but in a broad open-ended way. In the example above where a UE being configured to receive information from a base station also discloses that a first network node being configured to receive information from a second network node, the first network node may refer to a first UE, a first base station, a first apparatus, a first device, a first computing system, a first one or more components, a first processing entity, or the like configured to receive the information; and the second network node may refer to a second UE, a second base station, a second apparatus, a second device, a second computing system, a second one or more components, a second processing entity, or the like.

[0113] As described herein, communication of information (e.g., any information, signal, or the like) may be described in various aspects using different terminology. Disclosure of one communication term includes disclosure of other communication terms. For example, a first network node may be described as being configured to transmit information to a second network node. In this example and consistent with this disclosure, disclosure that the first network node is configured to transmit information to the second network node includes disclosure that the first network node is configured to provide, send, output, communicate, or transmit information to the second network node. Similarly, in this example and consistent with this disclosure, disclosure that the first network node is configured to transmit information to the second network node includes disclosure that the second network node is configured to receive, obtain, or decode the information that is provided, sent, output, communicated, or transmitted by the first network node.

[0114] The electromagnetic spectrum is often subdivided, based on frequency / wavelength, into various classes, bands, channels, etc. In 5G NR two initial operating bands have been identified as frequency range designations FR1 (410 MHz –7.125 GHz) and FR2 (24.25 GHz –52.6 GHz) . It should be understood that although a portion of FR1 is greater than 6 GHz, FR1 is often referred to (interchangeably) as a “Sub-6 GHz” band in various documents and articles. A similar nomenclature issue sometimes occurs with regard to FR2, which is often referred to (interchangeably) as a “millimeter wave” band in documents and articles, despite being different from the extremely high frequency (EHF) band (30 GHz –300 GHz) which is identified by the International Telecommunications Union (ITU) as a “millimeter wave” band.

[0115] The frequencies between FR1 and FR2 are often referred to as mid-band frequencies. Recent 5G NR studies have identified an operating band for these mid-band frequencies as frequency range designation FR3 (7.125 GHz –24.25 GHz) . Frequency bands falling within FR3 may inherit FR1 characteristics and / or FR2 characteristics, and thus may effectively extend features of FR1 and / or FR2 into mid-band frequencies. In addition, higher frequency bands are currently being explored to extend 5G NR operation beyond 52.6 GHz. For example, three higher operating bands have been identified as frequency range designations FR4a or FR4–1 (52.6 GHz –71 GHz) , FR4 (52.6 GHz –114.25 GHz) , and FR5 (114.25 GHz –300 GHz) . Each of these higher frequency bands falls within the EHF band.

[0116] With the above aspects in mind, unless specifically stated otherwise, it should be understood that the term “sub-6 GHz” or the like if used herein may broadly represent frequencies that may be less than 6 GHz, may be within FR1, or may include mid-band frequencies. Further, unless specifically stated otherwise, it should be understood that the term “millimeter wave” or the like if used herein may broadly represent frequencies that may include mid-band frequencies, may be within FR2, FR4, FR4-a or FR4–1, and / or FR5, or may be within the EHF band.

[0117] The UEs 115 described herein may be able to communicate with various types of devices, such as UEs 115 that may sometimes operate as relays, as well as the network entities 105 and the network equipment including macro eNBs or gNBs, small cell eNBs or gNBs, or relay base stations, among other examples, as shown in FIG. 1.

[0118] The UEs 115 and the network entities 105 may wirelessly communicate with one another via the communication link (s) 125 (e.g., one or more access links) using resources associated with one or more carriers. The term “carrier” may refer to a set of RF spectrum resources having a defined PHY layer structure for supporting the communication link (s) 125. For example, a carrier used for the communication link (s) 125 may include a portion of an RF spectrum band (e.g., a bandwidth part (BWP) ) that is operated according to one or more PHY layer channels for a given RAT (e.g., LTE, LTE-A, LTE-A Pro, NR) . Each PHY layer channel may carry acquisition signaling (e.g., synchronization signals, system information) , control signaling that coordinates operation for the carrier, user data, or other signaling. The wireless communications system 100 may support communication with a UE 115 using carrier aggregation or multi-carrier operation. A UE 115 may be configured with multiple downlink component carriers and one or more uplink component carriers according to a carrier aggregation configuration. Carrier aggregation may be used with both frequency division duplexing (FDD) and time division duplexing (TDD) component carriers. Communication between a network entity 105 and other devices may refer to communication between the devices and any portion (e.g., entity, sub-entity) of a network entity 105. For example, the terms “transmitting, ” “receiving, ” or “communicating, ” when referring to a network entity 105, may refer to any portion of a network entity 105 (e.g., a base station 140, a CU 160, a DU 165, a RU 170) of a RAN communicating with another device (e.g., directly or via one or more other network entities, such as one or more of the network entities 105) .

[0119] Signal waveforms transmitted via a carrier may be made up of multiple subcarriers (e.g., using multi-carrier modulation (MCM) techniques such as orthogonal frequency division multiplexing (OFDM) or DFT-S-OFDM) . In a system employing MCM techniques, a resource element may refer to resources of one symbol period (e.g., a duration of one modulation symbol) and one subcarrier, in which case the symbol period and subcarrier spacing may be inversely related. The quantity of bits carried by each resource element may depend on the modulation scheme (e.g., the order of the modulation scheme, the coding rate of the modulation scheme, or both) , such that a relatively higher quantity of resource elements (e.g., in a transmission duration) and a relatively higher order of a modulation scheme may correspond to a relatively higher  rate of communication. A wireless communications resource may refer to a combination of an RF spectrum resource, a time resource, and a spatial resource (e.g., a spatial layer, a beam) , and the use of multiple spatial resources may increase the data rate or data integrity for communications with a UE 115.

[0120] The time intervals for the network entities 105 or the UEs 115 may be expressed in multiples of a basic time unit which may, for example, refer to a sampling period of Ts=1 /  (Δfmax·Nf) seconds, for which Δfmax may represent a supported subcarrier spacing, and Nf may represent a supported discrete Fourier transform (DFT) size. Time intervals of a communications resource may be organized according to radio frames each having a specified duration (e.g., 10 milliseconds (ms) ) . Each radio frame may be identified by a system frame number (SFN) (e.g., ranging from 0 to 1023) .

[0121] Each frame may include multiple consecutively-numbered subframes or slots, and each subframe or slot may have the same duration. In some examples, a frame may be divided (e.g., in the time domain) into subframes, and each subframe may be further divided into a quantity of slots. Alternatively, each frame may include a variable quantity of slots, and the quantity of slots may depend on subcarrier spacing. Each slot may include a quantity of symbol periods (e.g., depending on the length of the cyclic prefix prepended to each symbol period) . In some wireless communications systems, such as the wireless communications system 100, a slot may further be divided into multiple mini-slots associated with one or more symbols. Excluding the cyclic prefix, each symbol period may be associated with one or more (e.g., Nf) sampling periods. The duration of a symbol period may depend on the subcarrier spacing or frequency band of operation.

[0122] A subframe, a slot, a mini-slot, or a symbol may be the smallest scheduling unit (e.g., in the time domain) of the wireless communications system 100 and may be referred to as a transmission time interval (TTI) . In some examples, the TTI duration (e.g., a quantity of symbol periods in a TTI) may be variable. Additionally, or alternatively, the smallest scheduling unit of the wireless communications system 100 may be dynamically selected (e.g., in bursts of shortened TTIs (sTTIs) ) .

[0123] Physical channels may be multiplexed for communication using a carrier according to various techniques. A physical control channel and a physical data channel  may be multiplexed for signaling via a downlink carrier, for example, using one or more of time division multiplexing (TDM) techniques, frequency division multiplexing (FDM) techniques, or hybrid TDM-FDM techniques. A control region (e.g., a control resource set (CORESET) ) for a physical control channel may be defined by a set of symbol periods and may extend across the system bandwidth or a subset of the system bandwidth of the carrier. One or more control regions (e.g., CORESETs) may be configured for a set of the UEs 115. For example, one or more of the UEs 115 may monitor or search control regions for control information according to one or more search space sets, and each search space set may include one or multiple control channel candidates in one or more aggregation levels arranged in a cascaded manner. An aggregation level for a control channel candidate may refer to an amount of control channel resources (e.g., control channel elements (CCEs) ) associated with encoded information for a control information format having a given payload size. Search space sets may include common search space sets configured for sending control information to UEs 115 (e.g., one or more UEs) or may include UE-specific search space sets for sending control information to a UE 115 (e.g., a specific UE) .

[0124] In some examples, a network entity 105 (e.g., a base station 140, an RU 170) may be movable and therefore provide communication coverage for a moving coverage area, such as the coverage area 110. In some examples, coverage areas 110 (e.g., different coverage areas) associated with different technologies may overlap, but the coverage areas 110 (e.g., different coverage areas) may be supported by the same network entity (e.g., a network entity 105) . In some other examples, overlapping coverage areas, such as a coverage area 110, associated with different technologies may be supported by different network entities (e.g., the network entities 105) . The wireless communications system 100 may include, for example, a heterogeneous network in which different types of the network entities 105 support communications for coverage areas 110 (e.g., different coverage areas) using the same or different RATs.

[0125] The wireless communications system 100 may be configured to support ultra-reliable communications or low-latency communications, or various combinations thereof. For example, the wireless communications system 100 may be configured to support ultra-reliable low-latency communications (URLLC) . The UEs 115 may be designed to support ultra-reliable, low-latency, or critical functions. Ultra-reliable  communications may include private communication or group communication and may be supported by one or more services such as push-to-talk, video, or data. Support for ultra-reliable, low-latency functions may include prioritization of services, and such services may be used for public safety or general commercial applications. The terms ultra-reliable, low-latency, and ultra-reliable low-latency may be used interchangeably herein.

[0126] In some examples, a UE 115 may be configured to support communicating directly with other UEs (e.g., one or more of the UEs 115) via a device-to-device (D2D) communication link, such as a D2D communication link 135 (e.g., in accordance with a peer-to-peer (P2P) , D2D, or sidelink protocol) . In some examples, one or more UEs 115 of a group that are performing D2D communications may be within the coverage area 110 of a network entity 105 (e.g., a base station 140, an RU 170) , which may support aspects of such D2D communications being configured by (e.g., scheduled by) the network entity 105. In some examples, one or more UEs 115 of such a group may be outside the coverage area 110 of a network entity 105 or may be otherwise unable to or not configured to receive transmissions from a network entity 105. In some examples, groups of the UEs 115 communicating via D2D communications may support a one-to-many (1: M) system in which each UE 115 transmits to one or more of the UEs 115 in the group. In some examples, a network entity 105 may facilitate the scheduling of resources for D2D communications. In some other examples, D2D communications may be carried out between the UEs 115 without an involvement of a network entity 105.

[0127] The core network 130 may provide user authentication, access authorization, tracking, Internet Protocol (IP) connectivity, and other access, routing, or mobility functions. The core network 130 may be an evolved packet core (EPC) or 5G core (5GC) , which may include at least one control plane entity that manages access and mobility (e.g., a mobility management entity (MME) , an access and mobility management function (AMF) ) and at least one user plane entity that routes packets or interconnects to external networks (e.g., a serving gateway (S-GW) , a Packet Data Network (PDN) gateway (P-GW) , or a user plane function (UPF) ) . The control plane entity may manage non-access stratum (NAS) functions such as mobility, authentication, and bearer management for the UEs 115 served by the network entities  105 (e.g., base stations 140) associated with the core network 130. User IP packets may be transferred through the user plane entity, which may provide IP address allocation as well as other functions. The user plane entity may be connected to IP services 150 for one or more network operators. The IP services 150 may include access to the Internet, Intranet (s) , an IP Multimedia Subsystem (IMS) , or a Packet-Switched Streaming Service.

[0128] The wireless communications system 100 may operate using one or more frequency bands, which may be in the range of 300 megahertz (MHz) to 300 gigahertz (GHz) . Generally, the region from 300 MHz to 3 GHz is known as the ultra-high frequency (UHF) region or decimeter band because the wavelengths range from approximately one decimeter to one meter in length. UHF waves may be blocked or redirected by buildings and environmental features, which may be referred to as clusters, but the waves may penetrate structures sufficiently for a macro cell to provide service to the UEs 115 located indoors. Communications using UHF waves may be associated with smaller antennas and shorter ranges (e.g., less than one hundred kilometers) compared to communications using the smaller frequencies and longer waves of the high frequency (HF) or very high frequency (VHF) portion of the spectrum below 300 MHz.

[0129] The wireless communications system 100 may utilize both licensed and unlicensed RF spectrum bands. For example, the wireless communications system 100 may employ License Assisted Access (LAA) , LTE-Unlicensed (LTE-U) RAT, or NR technology using an unlicensed band such as the 5 GHz industrial, scientific, and medical (ISM) band. While operating using unlicensed RF spectrum bands, devices such as the network entities 105 and the UEs 115 may employ carrier sensing for collision detection and avoidance. In some examples, operations using unlicensed bands may be based on a carrier aggregation configuration in conjunction with component carriers operating using a licensed band (e.g., LAA) . Operations using unlicensed spectrum may include downlink transmissions, uplink transmissions, P2P transmissions, or D2D transmissions, among other examples.

[0130] A network entity 105 (e.g., a base station 140, an RU 170) or a UE 115 may be equipped with multiple antennas, which may be used to employ techniques such as transmit diversity, receive diversity, multiple-input multiple-output (MIMO)  communications, or beamforming. The antennas of a network entity 105 or a UE 115 may be located within one or more antenna arrays or antenna panels, which may support MIMO operations or transmit or receive beamforming. For example, one or more base station antennas or antenna arrays may be co-located at an antenna assembly, such as an antenna tower. In some examples, antennas or antenna arrays associated with a network entity 105 may be located at diverse geographic locations. A network entity 105 may include an antenna array with a set of rows and columns of antenna ports that the network entity 105 may use to support beamforming of communications with a UE 115. Likewise, a UE 115 may include one or more antenna arrays that may support various MIMO or beamforming operations. Additionally, or alternatively, an antenna panel may support RF beamforming for a signal transmitted via an antenna port.

[0131] Beamforming, which may also be referred to as spatial filtering, directional transmission, or directional reception, is a signal processing technique that may be used at a transmitting device or a receiving device (e.g., a network entity 105, a UE 115) to shape or steer an antenna beam (e.g., a transmit beam, a receive beam) along a spatial path between the transmitting device and the receiving device. Beamforming may be achieved by combining the signals communicated via antenna elements of an antenna array such that some signals propagating along particular orientations with respect to an antenna array experience constructive interference while others experience destructive interference. The adjustment of signals communicated via the antenna elements may include a transmitting device or a receiving device applying amplitude offsets, phase offsets, or both to signals carried via the antenna elements associated with the device. The adjustments associated with each of the antenna elements may be defined by a beamforming weight set associated with a particular orientation (e.g., with respect to the antenna array of the transmitting device or receiving device, or with respect to some other orientation) .

[0132] A network entity 105 or a UE 115 may use beam sweeping techniques as part of beamforming operations. For example, a network entity 105 (e.g., a base station 140, an RU 170) may use multiple antennas or antenna arrays (e.g., antenna panels) to conduct beamforming operations for directional communications with a UE 115. Some signals (e.g., synchronization signals, reference signals, beam selection signals, or other control signals) may be transmitted by a network entity 105 multiple times along  different directions. For example, the network entity 105 may transmit a signal according to different beamforming weight sets associated with different directions of transmission. Transmissions along different beam directions may be used to identify (e.g., by a transmitting device, such as a network entity 105, or by a receiving device, such as a UE 115) a beam direction for later transmission or reception by the network entity 105.

[0133] Some signals, such as data signals associated with a particular receiving device, may be transmitted by a transmitting device (e.g., a network entity 105 or a UE 115) along a single beam direction (e.g., a direction associated with the receiving device, such as another network entity 105 or UE 115) . In some examples, the beam direction associated with transmissions along a single beam direction may be determined based on a signal that was transmitted along one or more beam directions. For example, a UE 115 may receive one or more of the signals transmitted by the network entity 105 along different directions and may report to the network entity 105 an indication of the signal that the UE 115 received with a highest signal quality or an otherwise acceptable signal quality.

[0134] In some examples, transmissions by a device (e.g., by a network entity 105 or a UE 115) may be performed using multiple beam directions, and the device may use a combination of digital precoding or beamforming to generate a combined beam for transmission (e.g., from a network entity 105 to a UE 115) . The UE 115 may report feedback that indicates precoding weights for one or more beam directions, and the feedback may correspond to a configured set of beams across a system bandwidth or one or more sub-bands. The network entity 105 may transmit a reference signal (e.g., a cell-specific reference signal (CRS) , a channel state information reference signal (CSI-RS) ) , which may be precoded or unprecoded. The UE 115 may provide feedback for beam selection, which may be a precoding matrix indicator (PMI) or codebook-based feedback (e.g., a multi-panel type codebook, a linear combination type codebook, a port selection type codebook) . Although these techniques are described with reference to signals transmitted along one or more directions by a network entity 105 (e.g., a base station 140, an RU 170) , a UE 115 may employ similar techniques for transmitting signals multiple times along different directions (e.g., for identifying a beam direction  for subsequent transmission or reception by the UE 115) or for transmitting a signal along a single direction (e.g., for transmitting data to a receiving device) .

[0135] A receiving device (e.g., a UE 115) may perform reception operations in accordance with multiple receive configurations (e.g., directional listening) when receiving various signals from a transmitting device (e.g., a network entity 105) , such as synchronization signals, reference signals, beam selection signals, or other control signals. For example, a receiving device may perform reception in accordance with multiple receive directions by receiving via different antenna subarrays, by processing received signals according to different antenna subarrays, by receiving according to different receive beamforming weight sets (e.g., different directional listening weight sets) applied to signals received at multiple antenna elements of an antenna array, or by processing received signals according to different receive beamforming weight sets applied to signals received at multiple antenna elements of an antenna array, any of which may be referred to as “listening” according to different receive configurations or receive directions. In some examples, a receiving device may use a single receive configuration to receive along a single beam direction (e.g., when receiving a data signal) . The single receive configuration may be aligned along a beam direction determined based on listening according to different receive configuration directions (e.g., a beam direction determined to have a highest signal strength, highest signal-to-noise ratio (SNR) , or otherwise acceptable signal quality based on listening according to multiple beam directions) .

[0136] The wireless communications system 100 may be a packet-based network that operates according to a layered protocol stack. In the user plane, communications at the bearer or PDCP layer may be IP-based. An RLC layer may perform packet segmentation and reassembly to communicate via logical channels. A MAC layer may perform priority handling and multiplexing of logical channels into transport channels. The MAC layer also may implement error detection techniques, error correction techniques, or both to support retransmissions to improve link efficiency. In the control plane, an RRC layer may provide establishment, configuration, and maintenance of an RRC connection between a UE 115 and a network entity 105 or a core network 130 supporting radio bearers for user plane data. A PHY layer may map transport channels to physical channels.

[0137] In some cases, a UE 115 may predict which beam of a first set of beams, referred to as set A beams, is a best beam for communicating messages with a network entity 105, where the beam being the best beam may refer to the beam being associated with a channel characteristic (e.g., L1-RSRP) that maximizes or minimizes a metric relative to the other beams of the first set of beams. In order to determine which beam of the first set of beams is the best beam, the UE 115 may measure one or more first channel characteristics of a second set of beams, referred to as set B beams, and may use the measurements from the second set of beams and an ML model to generate one or more predicted channel characteristics of the first set of beams. For instance, the UE 115 may measure L1-RSRPs of a first set of one or more reference signals received over the second set of beams and may use an ML model to predict L1-RSRPs of the set A beams. The UE 115 may determine that the beam associated with the best predicted channel characteristic (e.g., with the highest L1-RSRP) is the best beam.

[0138] If the actual best beam differs from the predicted best beam (e.g., due to the ML model producing an inaccurate output) , the UE 115 may be more likely to fail to successfully communicate messages with the network entity 105. As such, techniques that enable the UE 115 to evaluate a performance of the ML model may enable the UE 115 to determine if the actual best beam differs from the predicted best beam. Thus, the UE 115 may be able to adjust one or more parameters of the ML model to make the ML model more accurate or may switch to other techniques that may not use the ML model for determining the beam.

[0139] The techniques described herein may relate to techniques that enable a network entity 105 and / or a UE 115 to evaluate the performance of the ML model. For instance, the UE 115 may be configured with prediction instances over which the UE 115 may receive a second set of one or more reference signals (e.g., dedicated reference signals) from the network entity 105 over at least a subset of the first set of beams. The UE 115 may measure one or more second channel characteristics (e.g., measured L1-RSRPs) of the at least the subset of the first set of beams using the second set of one or more reference signals and may determine a metric that indicates a performance of the ML model. For instance, the UE 115 may determine the metric as a difference between the actual highest measured L1-RSRP among that measured for the at least the subset of the set of first beams and the L1-RSRP of the beam predicted to have the highest L1- RSRP among the at least the subset of the set of first beams. Alternatively, the metric may be determined by averaging the absolute value of differences between the measured L1-RSRP for each beam of the at least the subset of the set of first beams and the predicted L1-RSRP for the same beam.

[0140] Additionally, or alternatively, the UE 115 may transmit a report message to the network entity 105 indicating a subset of beams (e.g., the K top beams of the first set of beams with the highest predicted L1-RSRP, where K≥1) . The network entity 105 may transmit a control message to the UE 115 indicating a beam of the subset of beams and the UE 115 may receive a DMRS via the indicated beam. The UE 115 may measure a second channel characteristic associated with the beam (e.g., an L1-RSRP) using the received DMRS and may determine a metric that indicates the performance of the ML model. For instance, the metric may be determined as a difference between the measured L1-RSRP for the DMRS received over the indicated beam and the predicted L1-RSRP for the same beam.

[0141] In either case, after determining the metric, the UE 115 may transmit a message associated with the metric to the network entity 105. For instance, the UE 115 may indicate a value of the metric to the network entity 105 (e.g., per prediction instance or per multiple prediction instances) . Additionally, or alternatively, the UE 115 may indicate a statistic derived from aggregated metrics determined over multiple prediction instances (e.g., averages of metrics, standard deviation of metric) . Additionally, or alternatively, the UE 115 may indicate a MFI if above a threshold quantity of metrics determined for multiple prediction instances satisfies a threshold amount within a configured or preconfigured duration.

[0142] UE communications manager 101 (e.g., a communications manager of a UE 115) may be configured to measure one or more first channel characteristics associated with a first set of beams, where one or more predicted channel characteristics associated with a second set of beams is based on the one or more first channel characteristics, where the one or more predicted channel characteristics are generated by the UE 115 through a machine learning model. Additionally, UE communications manager 101 may measure one or more second channel characteristics associated with at least a subset of beams of the second set of beams based on reception of a set of one or more reference  signals via at least the subset of beams. Additionally, UE communications manager may transmit a first message associated with a first metric that indicates performance of the machine learning model, the first metric based on a comparison of a first value and a second value, where the first value includes a first channel characteristic of the one or more second channel characteristics that corresponds to a first beam of the at least the subset of beams of the second set of beams, and where the second value includes a second channel characteristic of the one or more second channel characteristics corresponding to a second beam of the at least the subset of beams of the second set of beams or a predicted channel characteristic of the one or more predicted channel characteristics corresponding to the first beam.

[0143] Additionally, or alternatively, UE communications manager 101 may measure one or more first channel characteristics associated with a first set of beams, where one or more predicted channel characteristics associated with a second set of beams is based on the one or more first channel characteristics, where the one or more predicted channel characteristics are generated by the UE 115 through a machine learning model. UE communications manager 101 may transmit a report message that indicates a subset of beams from the second set of beams based on the one or more predicted channel characteristics and may receive a control message that indicates a beam of the subset of beams based on the report message. UE communications manager 101 may measure a second channel characteristic associated with the beam based on a reception of a demodulation reference signal via the beam and may transmit a message associated with a first metric that indicates performance of the machine learning model, where the first metric is based on a comparison of a first value and a second value, the first value including the second channel characteristic, and the second value that includes a predicted channel characteristic of the predict channel characteristics corresponding to the beam.

[0144] Network entity communications manager 102 (e.g., a communications manager of a network entity 105) may be configured to obtain a set of one or more reference signals via at least a subset of beams from a set of beams and may obtain a first message associated with a first metric that indicates performance of a machine learning model, the first metric based on a difference between a first value and a second value, where the first value includes a first channel characteristic corresponding to a  first beam of the at least the subset of the set of beams, and where the second value includes a second channel characteristic corresponding to a second beam of the at least the subset of beams or a predicted channel characteristic corresponding to the first beam.

[0145] Additionally, or alternatively, network entity communications manager 102 may be configured to obtain a report message that indicates a subset of beams from a set of beams based on one or more predicted channel characteristics and may output a control message that indicates a beam of the subset of beams based on the report message. Network entity communications manager 102 may obtain a message associated with a first metric that indicates performance of a machine learning model, where the first metric is based on a difference between a first value and a second value, where the first value includes a second channel characteristic based on a demodulation reference signal associated with the beam, and the second value includes a predicted channel characteristic corresponding to the beam.

[0146] FIG. 2 shows an example of a network architecture 200 (e.g., a disaggregated base station architecture, a disaggregated RAN architecture) that supports AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure. The network architecture 200 may illustrate an example for implementing one or more aspects of the wireless communications system 100. The network architecture 200 may include one or more CUs 160-a that may communicate directly with a core network 130-a via a backhaul communication link 120-a, or indirectly with the core network 130-a through one or more disaggregated network entities 105 (e.g., a Near-RT RIC 175-b via an E2 link, or a Non-RT RIC 175-a associated with an SMO 180-a (e.g., an SMO Framework) , or both) . A CU 160-a may communicate with one or more DUs 165-a via respective midhaul communication links 162-a (e.g., an F1 interface) . The DUs 165-a may communicate with one or more RUs 170-a via respective fronthaul communication links 168-a. The RUs 170-a may be associated with respective coverage areas 110-a and may communicate with UEs 115-a via one or more communication links 125-a. In some implementations, a UE 115-a may be simultaneously served by multiple RUs 170-a.

[0147] Each of the network entities 105 of the network architecture 200 (e.g., CUs 160-a, DUs 165-a, RUs 170-a, Non-RT RICs 175-a, Near-RT RICs 175-b, SMOs 180-a, Open Clouds (O-Clouds) 205, Open eNBs (O-eNBs) 210) may include one or more interfaces or may be coupled with one or more interfaces configured to receive or transmit signals (e.g., data, information) via a wired or wireless transmission medium. Each network entity 105, or an associated processor (e.g., controller) providing instructions to an interface of the network entity 105, may be configured to communicate with one or more of the other network entities 105 via the transmission medium. For example, the network entities 105 may include a wired interface configured to receive or transmit signals over a wired transmission medium to one or more of the other network entities 105. Additionally, or alternatively, the network entities 105 may include a wireless interface, which may include a receiver, a transmitter, or transceiver (e.g., an RF transceiver) configured to receive or transmit signals, or both, over a wireless transmission medium to one or more of the other network entities 105.

[0148] In some examples, a CU 160-a may host one or more higher layer control functions. Such control functions may include RRC, PDCP, SDAP, or the like. Each control function may be implemented with an interface configured to communicate signals with other control functions hosted by the CU 160-a. A CU 160-a may be configured to handle user plane functionality (e.g., CU-UP) , control plane functionality (e.g., CU-CP) , or a combination thereof. In some examples, a CU 160-a may be logically split into one or more CU-UP units and one or more CU-CP units. A CU-UP unit may communicate bidirectionally with the CU-CP unit via an interface, such as an E1 interface when implemented in an O-RAN configuration. A CU 160-a may be implemented to communicate with a DU 165-a, as necessary, for network control and signaling.

[0149] A DU 165-a may correspond to a logical unit that includes one or more functions (e.g., base station functions, RAN functions) to control the operation of one or more RUs 170-a. In some examples, a DU 165-a may host, at least partially, one or more of an RLC layer, a MAC layer, and one or more aspects of a PHY layer (e.g., a high PHY layer, such as modules for FEC encoding and decoding, scrambling, modulation and demodulation, or the like) depending, at least in part, on a functional  split, such as those defined by the 3rd Generation Partnership Project (3GPP) . In some examples, a DU 165-a may further host one or more low PHY layers. Each layer may be implemented with an interface configured to communicate signals with other layers hosted by the DU 165-a, or with control functions hosted by a CU 160-a.

[0150] In some examples, lower-layer functionality may be implemented by one or more RUs 170-a. For example, an RU 170-a, controlled by a DU 165-a, may correspond to a logical node that hosts RF processing functions, or low-PHY layer functions (e.g., performing fast Fourier transform (FFT) , inverse FFT (iFFT) , digital beamforming, physical random access channel (PRACH) extraction and filtering, or the like) , or both, based at least in part on the functional split, such as a lower-layer functional split. In such an architecture, an RU 170-a may be implemented to handle over the air (OTA) communication with one or more UEs 115-a. In some implementations, real-time and non-real-time aspects of control and user plane communication with the RU (s) 170-amay be controlled by the corresponding DU 165-a. In some examples, such a configuration may enable a DU 165-a and a CU 160-a to be implemented in a cloud-based RAN architecture, such as a vRAN architecture.

[0151] The SMO 180-a may be configured to support RAN deployment and provisioning of non-virtualized and virtualized network entities 105. For non-virtualized network entities 105, the SMO 180-a may be configured to support the deployment of dedicated physical resources for RAN coverage requirements which may be managed via an operations and maintenance interface (e.g., an O1 interface) . For virtualized network entities 105, the SMO 180-a may be configured to interact with a cloud computing platform (e.g., an O-Cloud 205) to perform network entity life cycle management (e.g., to instantiate virtualized network entities 105) via a cloud computing platform interface (e.g., an O2 interface) . Such virtualized network entities 105 can include, but are not limited to, CUs 160-a, DUs 165-a, RUs 170-a, and Near-RT RICs 175-b. In some implementations, the SMO 180-a may communicate with components configured in accordance with a 4G RAN (e.g., via an O1 interface) . Additionally, or alternatively, in some implementations, the SMO 180-a may communicate directly with one or more RUs 170-a via an O1 interface. The SMO 180-a also may include a Non-RT RIC 175-a configured to support functionality of the SMO 180-a.

[0152] The Non-RT RIC 175-a may be configured to include a logical function that enables non-real-time control and optimization of RAN elements and resources, AI or ML workflows including model training and updates, or policy-based guidance of applications / features in the Near-RT RIC 175-b. The Non-RT RIC 175-a may be coupled to or communicate with (e.g., via an A1 interface) the Near-RT RIC 175-b. The Near-RT RIC 175-b may be configured to include a logical function that enables near-real-time control and optimization of RAN elements and resources via data collection and actions over an interface (e.g., via an E2 interface) connecting one or more CUs 160-a, one or more DUs 165-a, or both, as well as an O-eNB 210, with the Near-RT RIC 175-b.

[0153] In some examples, to generate AI / ML models to be deployed in the Near-RT RIC 175-b, the Non-RT RIC 175-a may receive parameters or external enrichment information from external servers. Such information may be utilized by the Near-RT RIC 175-b and may be received at the SMO 180-a or the Non-RT RIC 175-a from non-network data sources or from network functions. In some examples, the Non-RT RIC 175-a or the Near-RT RIC 175-b may be configured to tune RAN behavior or performance. For example, the Non-RT RIC 175-a may monitor long-term trends and patterns for performance and employ AI or ML models to perform corrective actions through the SMO 180-a (e.g., reconfiguration via O1) or via generation of RAN management policies (e.g., A1 policies) .

[0154] In some examples, a UE 115-a may use a generated AI / ML model to predict a best beam of a first set of beams (e.g., set A beams) for communicating a message with a network entity or an aspect thereof (e.g., RU 170-a) . For instance, the UE 115-amay measure one or more first channel characteristics of a second set of beams, referred to as set B beams, and may use the measurements from the second set of beams and the AI / ML model to generate one or more predicted channel characteristics of the first set of beams. For instance, the UE 115 may measure L1-RSRPs of a first set of one or more reference signals received over the second set of beams and may use an ML model to predict L1-RSRPs of the set A beams. The UE 115 may determine that the beam associated with the best predicted channel characteristic (e.g., with the highest L1-RSRP) is the best beam.

[0155] The techniques described herein may enable the UE 115-a or a network entity to evaluate a performance of AI / ML model. For instance, the UE 115-a may determine a metric according to the techniques described herein that indicates the performance of the AI / ML model. The UE 115-a may provide a message to the network entity, where the message indicates the metric, a statistic generated from the metric, or an MFI.

[0156] FIG. 3 shows an example of a process 300 that supports AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure. The ML process 300 may be implemented at a network entity 105, or a UE 115, or both as described with reference to FIGs. 1 and 2.

[0157] The process 300 may include a ML algorithm 310. As illustrated, the ML algorithm 310 may be an example of a neural network, such as FF or DFF neural network, a RNN, a LSTM neural network, or any other type of neural network. However, any other ML algorithms may be supported. For example, the ML algorithm 310 may implement a nearest neighbor algorithm, a linear regression algorithm, a Bayes algorithm, a random forest algorithm, or any other ML algorithm. Further, the process 300 may involve supervised learning, unsupervised learning, semi-supervised learning, reinforcement learning, or any combination thereof.

[0158] The ML algorithm 310 may include an input layer 315, one or more hidden layers 320, and an output layer 325. In a fully connected neural network with one hidden layer 320, each hidden layer node 335 may receive a value from each input layer node 330 as input, where each input may be weighted. These neural network weights may be based on a cost function that is revised during training of the ML algorithm 310. Similarly, each output layer node 340 may receive a value from each hidden layer node 335 as input, where the inputs are weighted. If post-deployment training (e.g., online training) is supported, memory may be allocated to store errors and / or gradients for reverse matrix multiplication. These errors and / or gradients may support updating the ML algorithm 310 based on output feedback. Training the ML algorithm 310 may support computation of the weights (e.g., connecting the input layer nodes 330 to the hidden layer nodes 335 and the hidden layer nodes 335 to the output layer nodes 340) to map an input pattern to a desired output outcome. This training may result in a device- specific ML algorithm 310 based on the historic application data and data transfer for a specific network entity 105 or UE 115.

[0159] In some examples, input values 305 may be sent to the ML algorithm 310 for processing. In some examples, preprocessing may be performed according to a sequence of operations on the input values 305 such that the input values 305 may be in a format that is compatible with the ML algorithm 310. The input values 305 may be converted into a set of k input layer nodes 330 at the input layer 315. In some cases, different measurements may be input at different input layer nodes 330 of the input layer 315. Some input layer nodes 330 may be assigned default values (e.g., values of 0) if the number of input layer nodes 330 exceeds the number of inputs corresponding to the input values 305. As illustrated, the input layer 315 may include three input layer nodes 330-a, 330-b, and 330-c. However, it is to be understood that the input layer 315 may include any number of input layer nodes 330 (e.g., 20 input nodes) .

[0160] The ML algorithm 310 may convert the input layer 315 to a hidden layer 320 based on a number of input-to-hidden weights between the k input layer nodes 330 and the n hidden layer nodes 335. The ML algorithm 310 may include any number of hidden layers 320 as intermediate steps between the input layer 315 and the output layer 325. Additionally, each hidden layer 320 may include any number of nodes. For example, as illustrated, the hidden layer 320 may include four hidden layer nodes 335-a, 335-b, 335-c, and 335-d. However, it is to be understood that the hidden layer 320 may include any number of hidden layer nodes 335 (e.g., 10 input nodes) . In a fully connected neural network, each node in a layer may be based on each node in the previous layer. For example, the value of hidden layer node 335-a may be based on the values of input layer nodes 330-a, 330-b, and 330-c (e.g., with different weights applied to each node value) .

[0161] The ML algorithm 310 may determine values for the output layer nodes 340 of the output layer 325 following one or more hidden layers 320. For example, the ML algorithm 310 may convert the hidden layer 320 to the output layer 325 based on a number of hidden-to-output weights between the n hidden layer nodes 335 and the m output layer nodes 340. In some cases, n=m. Each output layer node 340 may correspond to a different output value 345 of the ML algorithm 310. As illustrated, the  ML algorithm 310 may include three output layer nodes 340-a, 340-b, and 340-c, supporting three different threshold values. However, it is to be understood that the output layer 325 may include any number of output layer nodes 340. In some examples, post-processing may be performed on the output values 345 according to a sequence of operations such that the output values 345 may be in a format that is compatible with reporting the output values 345.

[0162] In some examples, the ML algorithm 310 may be used to predict a best beam of a first set of beams (e.g., set A beams) for communicating a message with between a UE and a network entity (or an aspect thereof) . Additionally, as described herein, a UE may evaluate a performance of the ML algorithm 310.

[0163] FIGs. 4A and 4B show examples of wireless communications systems 400-aand 400-b that support AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure. In some examples, FIGs. 4A and / or 4B may be implemented by one or more aspects of wireless communications system 100. For instance, network entity 105-a and / or network entity 105-b may be an example of a network entity 105 as described with reference to FIG. 1. Additionally, or alternatively, UE 115-b and / or UE 115-c may be an example of a UE 115 as described with reference to FIG. 1.

[0164] In some examples, UE 115-b or UE 115-c may perform UE-side performance monitoring. For instance, UE 115-b may report a UE AI and / or ML capability indication to network entity 105-a. Additionally, or alternatively, UE 115-b may transmit a request for dedicated reference signals for performance monitoring to network entity 105-a. Network entity 105-a may transmit a dedicated reference signal transmission (e.g., based on the UE request) . The dedicated reference signal transmission may be periodic, semi-persistent, or aperiodic. After receiving the dedicated reference signal transmission, UE 115-b may compute monitoring key performance indicators (KPIs) (e.g., based on the dedicated reference signal measurements and / or the AI or ML inference outcome) . UE 115-b may provide information about the monitoring KPIs to network entity 105-a and may receive information about latent classification model (LCM) operation for UE-side AI and / or ML.UE 115-b may perform LCM operations at UE 115-b (e.g., AI and / or ML mode activation, deactivation, switch, or fallback) . UE 115-b may provide information about  the executed LCM operation at UE 115-b to network entity 105-a. Similar techniques may be performed for UE 115-c and network entity 105-b.

[0165] As depicted in FIG. 4A, a network entity 105-a may provide a first set of one or more reference signals 410-a over a first set of beams 405-a (e.g., set B beams) . At 415-a, UE 115-b may measure one or more first channel characteristics (e.g., one or more measured L1-RSRPs) associated with the first set of beams 405-a. At 420-a, UE 115-b may compute or generate one or more predicted channel characteristics (e.g., one or more predicted L1-RSRPs) using an ML model (e.g., an AI / ML model) , where the one or more predicted channel characteristics are associated with a second set of beams 425 (e.g., set A beams) .

[0166] Network entity 105-a may provide a second set of reference signals 430 (e.g., dedicated reference signals, beam performance monitoring reference signals) over the second set of beams 425. At 435, UE 115-b may measure one or more second channel characteristics associated with at least a subset of the second set of beams 425 based on receiving the second set of reference signals 430 (e.g., by measuring the second set of reference signals 430) . UE 115-b may determine, at 440-a, a first metric that indicates performance of the ML model, where the first metric may be based on a comparison of a first value and a second value. The first value may include a first channel characteristic of the one or more second channel characteristics (e.g., a measured L1-RSRP) that corresponds to a first beam of the at least the subset of beams of the second set of beams 425. The second value may include a second channel characteristic of the one or more second channel characteristics (e.g., another measured L1-RSRP) corresponding to a second beam of the at least the subset of beams of the second set of beams 425. Alternatively, the second value may include a predicted channel characteristic of the one or more predicted channel characteristics (e.g., a predicted L1-RSRP) corresponding to the first beam. Additional details may be described herein, for instance, with reference to FIGs. 5A through 6B. UE 115-b may transmit a message 445-a associated with the metric.

[0167] As depicted in FIG. 4B, a network entity 105-b may provide a first set of reference signals 410-b over a first set of beams 405-b (e.g., set B beams) . At 415-b, UE 115-c may measure one or more first channel characteristics (e.g., a measured L1-RSRP) associated with the first set of beams 405-b. At 420-b, UE 115-c may compute  or generate one or more predicted channel characteristics (e.g., a predicted L1-RSRP) using an ML model (e.g., an AI / ML model) , where the one or more predicted channel characteristics are associated with a second set of beams 460 (e.g., set A beams) .

[0168] UE 115-c may transmit a report message 450 indicating a subset of beams from the second set of beams 460 based on the one or more predicted channel characteristics determined at 420-b. Network entity 105-b may receive the report message 450. Network entity 105-b may transmit a control message 455 indicating a beam of the subset of beams based on the report message 450. UE 115-c may receive the control message 455.

[0169] Network entity 105-b may provide a downlink DMRS 465 (e.g., physical downlink shared channel (PDSCH) DMRS or physical downlink control channel (PDCCH) DMRS) over the indicated beam of the subset of beams. At 470, UE 115-c may measure a second channel characteristic (e.g., L1-RSRP) from the downlink DMRS 465 and, at 440-b, may determine a metric associated with the performance of the ML model. The metric may be based on a comparison a first value and a second value. The first value may include the second channel characteristic and the second value may include a predicted channel characteristic of the one or more predicted channel characteristics corresponding to the beam. Additional details may be described herein, for instance, with reference to FIGs. 7A and 7B. UE 115-c may transmit a message 445-b associated with the metric to network entity 105-b.

[0170] The techniques described herein may pertain to different options for performance monitoring metrics associated with UE-side AI and / or ML models. Performance monitoring metrics may depend on the availability of dedicated reference signals for performance monitoring. The dedicated reference signals for performance monitoring may be referred to as beam prediction monitoring reference signals (BPM-RS) . A performance monitoring instance may refer to a prediction instance in which the performance of an AI and / or ML model is to be evaluated. Various cases can be utilized depending on level of availability of BPM-RS, where performance monitoring metrics can be identified for each case. The first case, as illustrated in FIGs. 5A and / or 5B, involves BPM-RS being available over a full prediction target set (e.g., set A) for all performance monitoring instances. The second case, as illustrated in FIGs. 6A and / or 6B, involves BPM-RS being partially available over a subset (or subsets) of beams from  a prediction target set (e.g., set A) for each performance monitoring instance. The third case, as illustrated in FIGs. 7A and / or 7B, involves BPM-RS not being available in any performance monitoring instance.

[0171] In some examples, one or more methodologies for network involvement in monitoring the performance of UE-side AI and / or ML models may be employed. For instance, for each monitoring instance, UE 115-b or UE 115-c may report the per-instance calculated metric and / or the best beam IDs of the top-K beams. In some such examples, UE 115-b or UE 115-c may have one reporting occasion per monitoring instance. In such examples, no explicit criterion for beam prediction monitoring may be defined and / or network entity 105-a may determine performance by keeping track of the reported metrics over time for performance monitoring instances. In other examples, UE 115-b or UE 115-c may have one reporting occasion per multiple monitoring instances. UE 115-b or UE 115-c may be configured to accumulate the calculate monitoring metrics for multiple consecutive monitoring instances and report the accumulated metrics in a single report. For instance, there may be 20 monitoring instances in total for a given monitoring phase. UE 115-b or UE 115-c may be configured (e.g., through RRC configuration) to accumulate and report the metrics per 5, 10, or 20 (e.g., at the end of the monitoring phase) monitoring instances.

[0172] In other examples, UE 115-b or UE 115-c may report statistics of per-instance calculated metrics per multiple monitoring instances. For instance, UE 115-b or UE 115-c may be configured to compute certain statistics (e.g., mean standard deviation) related to multiple monitoring instances and may report the statistics to network entity 105-a or network entity 105-b. For instance, if there are 20 monitoring instances in total, for a given monitoring phase, UE 115-b or UE 115-c may be configured (e.g., through RRC configuration) to report the statistics per 5, 10, or 20 (e.g., at the end of the monitoring phase) monitoring instances. UE 115-b or UE 115-c may be configured to report an event based on the computed statistics (e.g., whether the mean of the calculated metrics is larger than a threshold) .

[0173] In yet other examples, UE 115-b or UE 115-c may be configured to report a MFI if UE 115-b or UE 115-c determines that a performance monitoring criterion shows above a configured maximum number of MFIs over a configured period. Additional details may be described herein, for instance, with reference to FIG. 8.

[0174] In some examples, active monitoring of UE-side AI and / or ML performance during inference may be performed. For instance, during the inference phase, UE 115-b may be configured by network entity 105-a to perform beam prediction on set A beams and the channel state information (CSI) report may be set accordingly. During the performance monitoring phase, UE 115-b may be configured to report one or more of the following content per performance monitoring instance: predicted top-K beam IDs (e.g., along with their corresponding predicted L1-RSRPs) and / or measured top-K beam IDs (e.g., along with their corresponding L1-RSRPs) from set A beams; measured top-K beam IDs (e.g., along with their corresponding L1-RSRPs) accompanied by the computing performance monitoring metrics; or predicted top-K beam IDs (e.g., along with their corresponding predicted L1-RSRPs) accompanied by the computed performance monitoring metrics. The switch between the inference phase and the monitoring phase may be performed based on changing the corresponding CSI report configurations to enable the content being reported as described herein. Based on the results of the metrics and / or criteria (e.g., in case of performance below a threshold amount) , the switch from performing UE-side AI and / or ML to performing alternative techniques (e.g., non-AI and / or non-ML based techniques) may be enabled by signaling associated with CSI reports (e.g., CSI report setting, MAC-CE activating semi-persistent CSI reports, CSI-AssociatedReportConfigInfo for aperiodic CSI reports, CSI resource setting) . Monitoring of inactive models may be concurrent with operation of non-AI and / or non-machine-learning models inference. In such examples, UE 115-b may continue to compute the performance monitoring metrics described herein (e.g., by comparing predictions to actual measurements) . If the performance of the AI and / or ML model goes above a threshold based on the computed metrics, the switch to AI and / or ML based operation may be accomplished by updating the CSI report configuration.

[0175] The techniques described herein may have one or more advantages. For instance, determining performance metrics may enable UE to determine if an AI and / or ML model has an accuracy below a threshold amount (e.g., to determine if the AI and / or ML model is failing) . This determination may enable the UE to fall back on other techniques for performing wireless communications or to tweak one or more parameters of the AI and / or ML model to have greater accuracy.

[0176] FIGs. 5A and 5B show examples of performance monitoring schemes 500-aand 500-b that support AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure. In some examples, performance monitoring schemes 500-aand 500-b may represent techniques for determining a performance monitoring metric (e.g., MCase1) when a BPM-RS is available over a full prediction target set (e.g., set A) for one or more performance monitoring instances (e.g., each performance monitoring instance) ) . Performance monitoring scheme 500-a may represent techniques for determining the performance monitoring metric during temporal beam prediction and performance monitoring scheme 500-b may represent techniques for determining the performance monitoring metric during spatial beam prediction.

[0177] As illustrated in FIG. 5A, a UE may use set B beams 505 received from a network entity 105-c at certain time instances to predict a best beam for set A beams 510 received at a later time instance (e.g., temporal prediction) . For instance, at time instance t-3 515-a, the UE may measure the set B beams 505 and may predict a best beam for the set A beams 510 based on the measurement of the set B beams 505 at time instance 515-a. Measurements of the set B beams 505 at subsequent time instances may depend on the measurement at those time instances and previous measurements. For instance, the UE may measure the set B beams 505 at time instance t0 515-d and may update the prediction of the best beam based on the set B measurements at time instance t-3 515-a and at time instance t0 515-d. Similarly, the UE may measure the set B beams 505 at time instance t+3 515-g and may update the prediction of the best beam based on the set B measurements at time instance t-3 515-a, at time instance t0 515-d, and at time instance t+3 515-g. A beam being a predicted best beam may refer to the beam having a channel characteristic that is predicted to maximize or minimizes a metric relative to the other beams of the set A beams (e.g., the beam with the highest L1-RSRP) . Additionally, in some examples, it should be noted that the UE may predict a channel characteristic (e.g., L1-RSRP) for each of the set A beams 510.

[0178] In some examples, the UE may determine a performance of the ML model used for determining the best beam based on receiving the set A beams 510. For instance, the UE may receive set A beams 510 corresponding to the entire set of set A beams 510 at certain time instances (e.g., time instances t-2 515-b, t-1 515-c, t+1  515-e, t+2 515-f, and t+4 515-h) , which may also be referred to as prediction instances, and may measure a channel characteristic of the set A beams 510 (e.g., L1-RSRP) via a set of reference signals (e.g., BPM-RSs) received over the set A beams 510. By measuring the channel characteristic, the UE may determine which of the set A beams 510 are the best actual beam. A beam being an actual best beam may refer to the beam having a channel characteristic that actually maximizes or minimizes a metric relative to the other beams of the set A beams.

[0179] For each time instance over which the UE measures the set A beams 510, the UE may determine or compute a metric (e.g., MCase1) that is based on the most recently predicted best beam and the actual best beam for that time instance. For instance, the UE may determine a first value of MCase1 based on the predicted best beam determined for time instance t-3 515-a and the actual best beam measured at time instance t-2 515-b. Additionally, the UE may determine a second value of MCase1 based on the predicted best beam determined for time instance t-3 515-a and the actual best beam measured at time instance t-1 515-c. The UE may also determine third and fourth values of MCase1 based on the predicted best beam determined for time instance t0 515-d and the actual best beam measured at time instance t+1 515-e and time instance t+2 515-f, respectively. Similarly, the UE may determine a fifth value of MCase1 based on the predicted best beam determined for time instance t+3 515-g and the actual best beam measured at time instance t+4 515-h.

[0180] In some examples, MCase1 may be determined as a difference (or the absolute value of the difference) between the measured L1-RSRP of the actual best beam from the set A beams 510 and the measured L1-RSRP of the predicted best beam from the set A beams 510. For instance, as illustrated in FIG. 5A, set A beams 510 may include beams A1 through A9. If the predicted best beam for the set A beams 510 at time instance t0 515-d is beam A3 (as illustrated in Table 1 below) and the actual best beam for the set A beams 510 at time instance t+1 515-e is beam A1 (also illustrated in Table 1 below) , then the value of MCase1 may be equal to the actual L1-RSRP for A1 minus the actual L1-RSRP for A3. For instance, MCase1=RSRP1-RSRP3.

[0181] Table 1: Predicted And Actual Best Beams (For Time Instances t0 And t+1)

[0182] As illustrated in FIG. 5B, a UE may use set B beams 505 received from a network entity 105-d at certain time instances to predict a best beam for set A beams 510 with different spatial properties (e.g., spatial prediction) . For instance, at time instance t0 520-a, the UE may measure the set B beams 505 and may predict a best beam for the set A beams 510 based on the measurement of the set B beams 505 at time instance t0 520-a. After receiving the set B beams 505, the UE may shortly thereafter (e.g., within or at a time duration Δt relative to receiving the set B beams 505) receive set A beams 510. For instance, the UE may receive the set A beams 510 at time instance t0+Δt 525-a. The UE may determine or compute the metric MCase1 based on the predicted best beam following time instance t0 and the actual best beam measured at time instance t0+Δt 525-a. In some examples, the set A beams 510 and set B beams 505 of FIG. 5B may have different spatial characteristics. For instance, each of the set B beams 505 may be associated with a respective beam 535 with a first beamwidth and each of the set A beams 510 may be associated with a respective beam 530 with a second beamwidth. In the present example, beam 535 may be a wide beam and beam 530 may be a narrow beam. However, beams 535 and 530 may have different beamwidths without deviating from the scope of the present disclosure.

[0183] After MCase1 is determined, the UE may transmit a message to the network entity (e.g., network entity 105-c or network entity 105-d) . The message may include MCase1, a statistic derived from one or more values of MCase1 (e.g., mean, standard deviation) , an indication of MFI determined according to MCase1, or a combination thereof.

[0184] FIGs. 6A and 6B show examples of performance monitoring schemes 600-aand 600-b that support AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure. In some examples, performance monitoring schemes 600-a and 600-b may represent techniques for determining a performance monitoring metric (e.g., MCase2) when a BPM-RS is available over a subset or subsets of beams from a prediction target (e.g., set A) for one or more performance monitoring instances (e.g., each performance monitoring instance) . Performance monitoring scheme 600-a may represent techniques for determining the performance monitoring metric during temporal beam prediction and performance monitoring scheme 600-b may represent techniques for determining the performance monitoring metric during spatial beam prediction.

[0185] As illustrated in FIG. 6A, a UE may use set B beams 605 for signals received from a network entity 105-e at certain time instances to predict a best beam for set A beams corresponding to a later time instance (e.g., temporal prediction) . For instance, at time instance t-3 615-b, the UE may measure the set B beams 605 and may predict a best beam for the set A beams based on the measurement of the set B beams 605 at time instance 615-a. Measurements of the set B beams 605 at subsequent time instances may depend on the measurement at those time instances and previous measurements. For instance, the UE may measure the set B beams 605 at time instance t0 615-d and may update the prediction of the best beam based on the set B measurements at time instance t-3 615-a and at time instance t0 615-d. Similarly, the UE may measure the set B beams 605 at time instance t+3 615-g and may update the prediction of the best beam based on the set B measurements at time instance t-3 615-a, at time instance t0 615-d, and at time instance t+3 615-g. A beam being a predicted best beam may refer to the beam having a channel characteristic that is predicted to maximize or minimizes a metric relative to the other beams of the set A beams (e.g., the beam with the highest L1-RSRP) . Additionally, in some examples, it should be noted that the UE may predict a channel characteristic (e.g., L1-RSRP) for each of the set A beams.

[0186] In some examples, the UE may determine a performance of the ML model used for determining the best beam based on receiving the set A beams. For instance,  the UE may receive set A beams corresponding to a subset of the set of set A beams (e.g., selected set A beams 610) at certain time instances (e.g., time instances t-2 615-b, t-1 615-c, t+1 615-e, t+2 615-f, and t+4 615-h) , which may also be referred to as prediction instances, and may measure a channel characteristic of the set A beams (e.g., L1-RSRP) via a set of reference signals (e.g., BPM-RSs) received over the respective subset of the set A beams. As an example, the set A beams may include beams A1 through A9 (as illustrated in FIG. 6A) . The pattern of BPM-RSs (e.g., which subset of beams of set A beams include a BPM-RS) for time instance t-2 615-b may include beams A1 through A3, the pattern for time instance t-1 615-c may include beams A2 through A4, the pattern for time instance t+1 615-e may include beams A4 through A6, the pattern for time instance t+2 615-f may include beams A6 through A8, and the pattern for time instance t+4 615-h may include beams A7 through A9. The remaining beams may be unselected Set A beams 630. For instance, the pattern of BPM-RSs (e.g., which subset of beams of set A beams include a BPM-RS) for time instance t-2 615-b may not include beams A4 through A9, the pattern for time instance t-1 615-c may not include beams A1 or A5 through A9, the pattern for time instance t+1 615-e may not include beams A1 through A3 or A7 through A9, the pattern for time instance t+2 615-f may not include beams A1 through A5 or A9, and the pattern for time instance t+4 615-h may not include beams A1 through A6.

[0187] It should be noted that different subsets of the set of set A beams may be configured without deviating from the scope of the present disclosure. For instance, each pattern of BPM-RSs may be disjoint from that configured for a previous or next time instance over which the set A beams are measured. Additionally, or alternatively, the pattern for BPM-RS for each monitoring instance may include the top-K beams predicted by the UE for that monitoring instance. In some examples, the pattern for BPM-RS may be configured by the network entity 105-e and the network entity 105-e may use information (e.g., UE position information, network side AI or ML beam prediction) to configure a customized BPM-RS pattern. In some cases, the pattern may alternate in a round-robin manner over time.

[0188] By measuring the channel characteristic, the UE may determine which beam of the respective subset of the set A beams (e.g., which beam of the selected set A beams 610 for a particular time instance) are the best actual beam within that subset. A  beam being an actual best beam of a subset of beams may refer to the beam having a channel characteristic that actually maximizes or minimizes a metric relative to the other beams of the subset of the set A beams. For each time instance over which the UE measures a respective subset of set A beams, the UE may determine or compute a metric (e.g., MCase2) that is based on the most recent beam predictions and the measured subset of set A beams. For instance, first and second values for MCase2 may be determined based on the beam predictions associated with time instance t-3 615-a and the respective measured subsets of beams for time instances t-2 615-b and t-1 615-c, respectively. Similarly, third and fourth values for MCase2 may be determined based on the beam predictions associated with time instance t0 615-d and the respective measured subsets of beams for time instances t+1 615-e and t+2 615-f, respectively. Additionally, a fifth value for MCase2 may be determined based on the beam predictions associated with time instance t+3 615-g and the respective measured subset of beams for time instance t+4 615-h.

[0189] For instance, in a first example, MCase2 may be determined as a difference (or the absolute value of the difference) between the measured L1-RSRP of the actual best beam of the subset of the set A beams and the measured L1-RSRP of whichever beam within the set A beams is the predicted best beam for that subset. For instance, as illustrated in FIG. 6A, set A beams may include beams A1 through A9 and the subset of set A beams over which the UE may receive BPM-RSs at time instance t+1 615-e may include beams A4 through A6. If the predicted best beam for the subset of the set A beams at time instance t+1 615-e (using the beam predictions determined from time instance t0 615-d) is beam A6 (as illustrated in Table 2 below) and the actual best beam for the subset of the set A beams at time instance t+1 615-e is beam A5, then the value of MCase2 may be equal to the actual L1-RSRP for A5 minus the actual L1-RSRP for A6. For instance, MCase2=RSRP5-RSRP6.

[0190] Table 2: Predicted And Actual Best Beams (For Time Instances t0 And t+1)

[0191] Alternatively, the difference between actual L1-RSRP measurements and predicted L1-RSRP measurements may be used to determine a beam performance metric (e.g., M′Case2) . For instance, assuming there are m BPM-RS beams in a given prediction monitoring instance, then Δi (1≤i≤m) =|measured L1-RSRP for ith beam –predicted L1-RSRP for ith beam. The per-instance metric M′Case2 may be defined in terms of Δi (1≤i≤m) . For example, if averaging over Δi, then As an example, as illustrated in FIG. 6A, set A beams may include beams A1 through A9 and the subset of set A beams over which the UE may receive BPM-RSs at time instance t+1 615-e may include beams A4 through A6. In such an example,  In some examples, the UE may be configured to skip the RSRP difference calculation for a beam or a number of beams (e.g., if the measured L1-RSRPs is lower than a configured threshold) .

[0192] As illustrated in FIG. 6B, a UE may use set B beams 605 received from a network entity 105-f at certain time instances to predict a best beam for the set A beams with different spatial properties (e.g., spatial prediction) . For instance, at time instance t-2 620-a, the UE may measure the set B beams 605 and may predict a best beam for the set A beams based on the measurement of the set B beams 605 at time instance t-2 620-a. After receiving the set B beams 605, the UE may shortly thereafter (e.g., within or at a time duration Δt relative to receiving the set B beams 605) receive a subset of the set A beams (e.g., beams A1 through A3) . For instance, the UE may receive the set A beams at time instance t-2+Δt. The UE may determine or compute the metric MCase2 or M′Case2 based on the predicted best beam for the subset (e.g., using the predictions determined at time instance t-2 620-a) and the actual best beam of the subset measured at time instance t-2+Δt. Similar techniques may be used for determining values of MCase2 or M′Case2 for the beams measured at time instance t+1+Δt 625-d (e.g., beams A3 through A5) and time instance t+4+Δt 625-g (e.g., beams A4 through A6) . For instance, MCase2 or M′Case2 may be determined based on the predicted best beam for the respective subset (e.g., using the predictions determined at time instance t+1 620-d and time instance t+4 620-g, respectively) and the actual best beam of the respective subset measured at time instance t+1+Δt and t+4+Δt, respectively. The other time instances  depicted in FIG. 6B may not be associated with measuring set A beams. For instance, even though set B beams may be measured (e.g., and used to train the ML model) at time instances t-1 620-b, t0 620-c, t+2 620-e, t+3 620-f, and t+5 620-h, corresponding set A beams may not be measured at time instances t-1+Δt 625-b, t0+Δt 625-c, t+2+Δt 620-e, t+3+Δt 620-f, and t+5+Δt 620-h, respectively. In such examples, no beam performance metric may be determined for these time instances or the beam performance metric may be determined as MCase3 (e.g., as described herein, with reference to FIGs. 5A and / or 5B) .

[0193] After MCase2 or M′Case2 is determined, the UE may transmit a message to the network entity (e.g., network entity 105-e or network entity 105-f) . The message may include MCase2 or M′Case2, a statistic derived from one or more values of MCase2 or M′Case2 (e.g., mean, standard deviation) , an indication of MFI determined according to MCase2 or M′Case2, or a combination thereof.

[0194] FIGs. 7A and 7B show examples of performance monitoring schemes 700-aand 700-b that support AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure. In some examples, performance monitoring schemes 700-aand 700-b may represent techniques for determining a performance monitoring metric (e.g., MCase3) when no BPM-RS is available for any performing monitoring instance. Performance monitoring scheme 700-a may represent techniques for determining the performance monitoring metric during temporal beam prediction and performance monitoring scheme 700-b may represent techniques for determining the performance monitoring metric during spatial beam prediction.

[0195] As illustrated in FIG. 7A, a UE may use set B beams 705 received from a network entity 105-g at certain time instances to predict a best beam for set A beams received at a later time instance (e.g., temporal prediction) . For instance, at time instance t-3 715-a, the UE may measure the set B beams 705 and may predict a best beam for the set A beams based on the measurement of the set B beams 705 at time instance 715-a. Measurements of the set B beams 705 at subsequent time instances may depend on the measurement at those time instances and previous measurements. For instance, the UE may measure the set B beams 705 at time instance t0 715-d and may  update the prediction of the best beam based on the set B measurements at time instance t-3 715-a and at time instance t0 715-d. Similarly, the UE may measure the set B beams 705 at time instance t+3 715-g and may update the prediction of the best beam based on the set B measurements at time instance t-3 715-a, at time instance t0 715-d, and at time instance t+3 715-g. A beam being a predicted best beam may refer to the beam having a channel characteristic that is predicted to maximize or minimizes a metric relative to the other beams of the set A beams (e.g., the beam with the highest L1-RSRP) . Additionally, in some examples, it should be noted that the UE may predict a channel characteristic (e.g., L1-RSRP) for each of the set A beams.

[0196] In some examples, FIG. 7A may depict a scenario in which no BPM-RS transmissions are provided over the set A beams. For instance, at time instances t-2 715-b, t-1 715-c, t+1 715-e, t+2 715-f, and t+4 715-h, which may also be referred to as prediction instances, the UE may fail to detect BPM-RSs associated with set A beams (e.g., beams A1 through A9 as depicted in FIG. 7A) . Accordingly, the UE may not have sufficient information to calculate MCase1, MCase2, or M′Case2 as described herein.

[0197] The techniques described herein may enable a UE to determine a performance monitoring metric without a corresponding reception of BPM-RSs. For instance, based on measurements up to and including time instance t0 715-d, the UE may report top-K predicted beams to a network entity 105-g (e.g., the network entity 105-g providing the set B beams 705) . Based on the UE report, the network entity 105-g may indicate a beam for time instance t+1 (e.g., A3) 715-d and may notify the UE whether it was the top-1, top-2, or top-Kth predicted beam by the UE. The UE may receive a downlink DMRS 710 (e.g., a PDSCH DMRS or a PDCCH DMRS) over the indicated beam (e.g., A3) and may compare it to a predicted L1-RSRP for the indicated beam. Based on the comparison, the UE may determine the performance monitoring metric (e.g., MCase3) . For instance, the UE may determine MCase3 as the absolute value of a difference between a measured L1-RSRP of an indicated TCI state (e.g., an indicated beam) for a BPM instance (e.g., based on the downlink DMRS 710) and the predicted L1-RSRP of the same beam (e.g., of the same TCI state) . In some examples, the predicted L1-RSRP for A3 may be based on the data collection during training phase in which labels are collected based on a measured L1-RSRP for set A beams (e.g., SSB and / or CSI-RS) . In some examples, the measured L1-RSRP for A3 may be based on an  energy-per-resource-element (EPRE) offset between the downlink DMRS and SSB or CSI / RS. It should be noted that the actual best beam from set A may be A3 or may be another beam. Beams which are not indicated may be referred to as unselected set A beams 730.

[0198] As illustrated in FIG. 7B, a UE may use set B beams 705 received from a network entity 105-h at certain time instances to predict a best beam for the set A beams with different spatial properties (e.g., spatial prediction) . For instance, at time instance t-2 720-a, the UE may measure the set B beams 705 and may predict a best beam for the set A beams based on the measurement of the set B beams 705 at time instance t-2 720-a. FIG. 7B may depict a scenario in which no BPM-RS transmissions are provided over the set A beams. For instance, at time instances t-2+Δt 725-a, t-1+Δt 725-b, t0+Δt 725-c, t+1+Δt 725-d, t+2+Δt 725-e, t+3+Δt 725-f, t+4+Δt 725-f, and t+5+Δt 725-h, which may also be referred to as prediction instances, the UE may fail to detect BPM-RSs associated with set A beams (e.g., beams A1 through A9) . Accordingly, the UE may determine or compute MCase3 according to the techniques described herein (e.g., as the absolute value of a difference between an L1-RSRP of an indicated TCI state and a predicted L1-RSRP for the same TCI state) . For instance, the UE may use the predicted L1-RSRP determined for a set A beam at t-2 and a measured DMRS associated with the same set A beam at t-2+Δt to determine a first value of MCase3.

[0199] After MCase3 is determined, the UE may transmit a message to the network entity (e.g., network entity 105-g or network entity 105-h) . The message may include MCase3, a statistic derived from one or more values of MCase3 (e.g., mean, standard deviation) , an indication of MFI determined according to MCase3, or a combination thereof.

[0200] FIG. 8 shows an example of a performance monitoring scheme 800 that supports AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure. In some examples, performance monitoring scheme 800 may represent techniques for determining when to report an MFI following a determination of one or more performance monitoring metrics (e.g., MCase1, MCase2, MCase3, M′Case2) .  Although the present example is directed to temporal beam prediction, it should be noted that similar techniques may be performed for spatial beam prediction without deviating from the scope of the present disclosure.

[0201] In some examples, a network entity 105-i may define a performance monitoring criterion based on a threshold (e.g., a configured maximum) number of monitoring failure instances (e.g., MFIs) over a configured period. An MFI event may be defined as MCase (e.g., MCase1, MCase2, MCase3, M′Case2) being greater than θi, where θi may be a function of the monitoring instance i (e.g., a threshold for the per-instance performance monitoring metric) . As an example, FIG. 8 illustrates a first group of timing instances 805-a, a second group of timing instances 805-b, and a third group of timing instances 805-c. Each group of timing instances may include a respective timing instance for measuring set B beams of network entity 105-i and a respective set of prediction instances for determining MCase values (e.g., for receiving BPM-RSs associated with Set A beams of network entity 105-i) . The first prediction instance for each set may have a first MFI event threshold θ1; the second prediction instance for each set may have a second MFI event threshold θ2; the third prediction instance for each set may have a third MFI event threshold θ3; and the fourth prediction instance for each set may have a fourth MFI event threshold θ4. If MCaseis greater than θi for a respective prediction instance, than an MFI event has occurred. For instance, if MCase is higher than θ1 at a first prediction instance of a set of prediction instances, then an MFI event has occurred. In some cases, θi may become less stringent for prediction instances farther from the respective timing instance for measuring set B beams. For instance, θ1≤θ2≤θ3≤θ4. In some examples, θi may be a function of the absolute values of best measured L1-RSRPs using BPM-RS in each monitoring instance, as illustrated in Table 3 below. Additionally, or alternatively, θi may be a function of signal to noise ratio (SINR) , a particular use case, or both.

[0202] Table 3: θi Values For Various RSRPbest, i

[0203] In some examples, the UE may include an monitoring failure detection (MFD) timer which the UE may start monitoring at the first occurrence of the MFI.  Additionally, or alternatively, the UE may include an MFI counter which counts up by one each time an instance of MFI occurs (e.g., each time an MFI event occurs) . In some examples, a maxCount threshold may be configured for the MFI counter. The maxCount threshold may be configured by a network entity 105-i. Values for θ and / or other parameters defined herein may be included in an RRC configuration (e.g., in RRC signaling) .

[0204] For a given quantity of consecutive performance monitoring instances, a UE may compare computed metrics (e.g., MCase) to a threshold to determine whether an MFI has occurred at each performance monitoring instance. At the first occurrence of MFI, the UE may start the MFD timer. With each MFI indicator, MAC may increase MFI counts by 1. If the total MFI counts reach the maxCount threshold before the MFD timer expires, then the UE may declare AI and / or ML failure to the network entity 105-i and AI and / or ML functionality may be deactivated. Otherwise, if the MFD timer expires before the total MFI counts reach the maxCount threshold, the UE may not declare AI or ML failure. Additionally, or alternatively, the UE may have total MFI counts reset to 0 and the MFD timer may be reset.

[0205] FIG. 9 shows an example of a process flow 900 that supports AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure. In some examples, process flow 900 may be implemented by one or more aspects of FIGs. 1 and / or 4A. For instance, network entity 105-j may be an example of a network entity 105 as described with reference to FIG. 1 and / or network entity 105-a as described with reference to FIG. 4A. Additionally, or alternatively, UE 115-d may be an example of a UE 115 as described with reference to FIG. 1 and / or UE 115-b as described with reference to FIG. 4A.

[0206] At 905, network entity 105-j may output a first set of one or more reference signals from a first set of beams (e.g., set B beams) . UE 115-d may receive the first set of one or more reference signals.

[0207] At 910, UE 115-d may measure one or more first channel characteristics associated with the first set of beams (e.g., based on the first set of one or more reference signals) .

[0208] At 915, UE 115-d may compute one or more predicted channel characteristics associated with a second set of beams (e.g., set A beams) based on the one or more first channel characteristics, the one or more predicted channel characteristics generated by UE 115-d using an ML model.

[0209] At 920, network entity 105-j may output a second set of one or more reference signals via at least a subset of beams from a second set of beams. UE 115-d may receive the second set of one or more reference signals.

[0210] At 925, UE 115-d may measure one or more second channel characteristics associated with the at least the subset of beams of the second set of beams (e.g., based on receiving the second set of one or more reference signals via the at least the subset of beams) . In some examples, UE 115-d may receive the second set of one or more reference signals via each beam of the second set of beams in accordance with one or more monitoring instances, where the one or more second channel characteristics are measured for each beam based on receiving the second set of one or more reference signals via each beam. In some such examples, UE 115-d may measure one or more third channel characteristics associated with the second set of beams based on receiving the second set of one or more reference signals via each beam, where a respective metric indicating the performance of the ML model is associated with each monitoring instance of the one or more monitoring instances.

[0211] At 930, UE 115-d may determine a first metric that indicates performance of the ML model. The first metric may be based on a comparison a first value and a second value, where the first value includes a first channel characteristic of the one or more second channel characteristics that corresponds to a first beam of the at least the subset of beams of the second set of beams, and where the second value includes a second channel characteristic of the one or more second channel characteristics corresponding to a second beam of the at least the subset of beams of the second set of beams or a predicted channel characteristic of the one or more predicted channel characteristics corresponding to the first beam.

[0212] At 935, UE 115-d may transmit the first message. network entity 105-j may obtain the first message. In some examples, UE 115-d may transmit a second message that indicates a second metric, the second metric indicating the performance of the ML  model for a first monitoring instance of the one or more monitoring instances and is associated with the one or more third channel characteristics, where the second message is transmitted in accordance with a first reporting occasion associated with the first monitoring instance, the first reporting occasion after a second reporting occasion that is associated with a second monitoring instance of the one or more monitoring instances and transmission of the first message. In some examples, UE 115-d may transmit, via the first message, an indication of the first metric or the second metric. In such examples, the first message may be transmitted in accordance with a reporting occasion that is associated with a set of monitoring instances. In some examples, UE 115-d may generate a set of statistics based on the first metric and the second metric. In such examples, the set of statistics may be associated with a set of monitoring instances and UE 115-d may transmit an indication of the set of statistics via the first message.

[0213] In some examples, UE 115-d may receive the second set of one or more reference signals via respective subsets of the second set of beams in accordance with one or more monitoring instances, where the one or more second channel characteristics are measured for a first subset of beams of the second set of beams in accordance with a first monitoring instance of the one or more monitoring instances. In some such examples, UE 115-d may measure one or more third channel characteristics for a second subset of beams of the second set of beams based on receiving the second set of one or more reference signals via the second subset of beams, the second subset of beams different from the first subset of beams, where a respective metric indicating the performance of the ML model is associated with each monitoring instance of the one or more monitoring instances. In some such examples, UE 115-d may determine that a value of a channel characteristic associated with a beam from the first subset of beams is below a threshold channel characteristic value based on measuring the one or more second channel characteristics, where the one or more first channel characteristics is excluded from the comparison based on the value of the first channel characteristic. Additionally, or alternatively, the second value may include the predicted channel characteristic corresponding to the first beam and the first metric may be based on a set of comparisons, each comparison of the set of comparisons of a respective first value and a respective second value, the respective first value including a respective channel characteristic of the one or more second channel characteristics that corresponds to a  respective beam of the second set of beams, and the respective second value including a respective predicted channel characteristic of the one or more predicted channel characteristics corresponding to the respective beam. Additionally, or alternatively, the first metric is based on a quantity of beams included in the first subset of beams, the one or more predicted channel characteristics for the beams of the first subset of beams, the one or more second channel characteristics for the beams of the first subset of beams, or a combination thereof.

[0214] In some examples, UE 115-d may transmit a second message that indicates a second metric indicating the performance of the ML model for a second monitoring instance of the one or more monitoring instances, the second metric is associated with the one or more third channel characteristics for the second subset of beams, where the second message is transmitted in accordance with a first reporting occasion associated with the second monitoring instance, the first reporting occasion is after a second reporting occasion that is associated with the first monitoring instance and transmission of the first message. In some examples, UE 115-d may transmit, via the first message, an indication of the first metric or a second metric, or both, the second metric indicating the performance of the ML model for one of the one or more monitoring instances, and the second metric and is associated with the one or more third channel characteristics for the second subset of beams, where the first message is transmitted in accordance with a reporting occasion that is associated with a plurality of monitoring instances. In some examples, UE 115-d may generate a set of statistics based on the first metric and a second metric indicating the performance of the ML model, the second metric is associated with one of the one or more monitoring instances and is associated with the one or more third channel characteristics for the second subset of beams, the set of statistics is associated with a set of monitoring instances. Additionally, UE 115-d may transmit an indication of the set of statistics via the first message.

[0215] In some examples, the first message indicates a failure in the performance of the ML model based on a threshold which the first metric satisfies. In some such examples, UE 115-d may increment a counter above a second threshold based on the threshold which the first metric satisfies, where the first message indicates the failure based on the second threshold which the counter is incremented above. In some such  examples, UE 115-d may reset the counter based on a third threshold which an amount of time that the counter has been below the second threshold satisfies.

[0216] In some examples, UE 115-d may determine an order of at least the subset of beams in accordance with the one or more predicted channel characteristics, where the comparison is based on the order. In some such examples, the first value is based on the first beam corresponding to the predicted channel characteristic with a highest value among the one or more predicted channel characteristics and the second value is based on the second channel characteristic including a highest value among the one or more second channel characteristics.

[0217] In some examples, UE 115-d may receive signaling (e.g., from network entity 105-j) including an indication to perform beam prediction for the second set of beams. In some such examples, a CSI report configuration may be updated (e.g., modified, changed) based on the signaling (e.g., signaling configuring UE 115-d to switch between an inference phase and a performance monitoring phases) . In some examples, UE 115-d may transmit a fourth message including information associated with the performance of the ML model, where transmission of the fourth message is based on the CSI report configuration being modified. In some aspects, the information included in the fourth message may include an indication of the first metric. In some examples, the information included in the fourth message indicates respective predicted channel characteristics with highest values among the one or more predicted channel characteristics, one or more beam identifiers of the second set of beams associated with the respective predicted channel characteristics with the highest values, respective second channel characteristics with highest values among the one or more second channel characteristics, one or more beam identifiers of the second set of beams associated with the respective second channel characteristics with the highest values, or any combination thereof.

[0218] In some examples, UE 115-d may receive signaling associated with a CSI report, where the signaling includes an indication for UE 115-d to switch to using operations that exclude the ML model based on one or more metrics associated with the ML model failing to satisfy a threshold (e.g., the one or more metrics being less than some threshold metrics) . UE 115-d may accordingly operate using techniques, schemes, and / or modes to perform various operations without the use of the ML model (e.g.,  using conventional techniques) , for example, until the one or more metrics satisfy the threshold. The signaling associated with the CSI report includes a channel state information report setting, a MAC-CE activation of a semi-persistent channel state information report, report configuration information associated with an aperiodic channel state information report, or a channel state information resource setting. In some examples, the one or more first channel characteristics include a respective measured reference signal receive power for each of the first set of beams, the one or more second channel characteristics include a respective measured reference signal receive power for each beam of the at least the subset of beams of the second set of beams, and the one or more predicted channel characteristics include a respective predicted reference signal receive power for each beam of the subset of beams.

[0219] FIG. 10 shows an example of a process flow 1000 that supports AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure. In some examples, process flow 1000 may be implemented by one or more aspects of FIGs. 1 and / or 4B. For instance, network entity 105-k may be an example of a network entity 105 as described with reference to FIG. 1 and / or network entity 105-b as described with reference to FIG. 4B. Additionally, or alternatively, UE 115-e may be an example of a UE 115 as described with reference to FIG. 1 and / or UE 115-c as described with reference to FIG. 4B.

[0220] At 1005, network entity 105-k may output a first set of one or more reference signals from a first set of beams (e.g., set B beams) . UE 115-e may receive the first set of one or more reference signals.

[0221] At 1010, UE 115-e may measure one or more first channel characteristics associated with the first set of beams.

[0222] At 1015, UE 115-e may compute one or more predicted channel characteristics associated with a second set of beams (e.g., set A beams) based on the one or more first channel characteristics, the one or more predicted channel characteristics generated by UE 115-e using an ML model.

[0223] At 1020, UE 115-e may transmit a report message indicating a subset of beams from the second set of beams based on the one or more predicted channel characteristics. Network entity 105-k may obtain the report message.

[0224] At 1025, network entity 105-k may output a control message indicating a beam of the subset of beams based on the report message. UE 115-e may receive the message.

[0225] At 1030, network entity 105-k may output a demodulation reference signal (e.g., over the indicated beam) . UE 115-e may receive the demodulation reference signal.

[0226] At 1035, UE 115-e may measure a second channel characteristic associated with the indicated beam based on receiving the demodulation reference signal via the beam.

[0227] At 1040, UE 115-e may determine a first metric that indicates performance of the ML model. The first metric may be based on a comparison of a first value and a second value, the first value including the second channel characteristic, and the second value including a predicted channel characteristic of the one or more predicted channel characteristics corresponding to the beam.

[0228] At 1045, UE 115-e may transmit a message associated with the first metric. Network entity 105-k may obtain the message. In some examples, UE 115-e may transmit a second message that indicates a second metric, the second metric indicating the performance of the ML model for a first monitoring instance of one or more monitoring instances, where the second message is transmitted in accordance with a first reporting occasion associated with the first monitoring instance, the first reporting occasion is after a second reporting occasion that is associated with a second monitoring instance of the one or more monitoring instances and transmission of the message. In some examples, UE 115-e may transmit, via the message, an indication of the first metric or the second metric, where the message is transmitted in accordance with a reporting occasion that is associated with a plurality of monitoring instances. In some examples, UE 115-e may generate a set of statistics based on the first metric and the second metric, the set of statistics associated with a set of monitoring instances, and may transmit an indication of the set of statistics via the message.

[0229] In some examples, each beam of the subset of beams has a respective predicted channel characteristic higher than that of each beam of the second set of beams excluded from the subset of beams. In some examples, the subset of beams has an order in accordance with the one or more predicted channel characteristics, and the message indicating the beam indicates a position of the beam in the order. In some examples, the message indicates the first metric, a third metric that is based on the first metric and a second metric that indicates the performance of the ML model, a failure in the performance of the ML model, or any combination thereof. In some examples, the first set of beams is associated with a different temporal characteristic, a different spatial characteristic, or both from the second set of beams.

[0230] FIG. 11 shows a block diagram 1100 of a device 1105 that supports AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure. The device 1105 may be an example of aspects of a UE 115 as described herein. The device 1105 may include a receiver 1110, a transmitter 1115, and a communications manager 1120. The device 1105, or one or more components of the device 1105 (e.g., the receiver 1110, the transmitter 1115, the communications manager 1120) , may include at least one processor, which may be coupled with at least one memory, to, individually or collectively, support or enable the described techniques. Each of these components may be in communication with one another (e.g., via one or more buses) .

[0231] The receiver 1110 may provide a means for receiving information such as packets, user data, control information, or any combination thereof associated with various information channels (e.g., control channels, data channels, information channels related to AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals) . Information may be passed on to other components of the device 1105. The receiver 1110 may utilize a single antenna or a set of multiple antennas.

[0232] The transmitter 1115 may provide a means for transmitting signals generated by other components of the device 1105. For example, the transmitter 1115 may transmit information such as packets, user data, control information, or any combination thereof associated with various information channels (e.g., control channels, data channels, information channels related to AI / ML model performance monitoring based  on an availability of beam prediction monitoring reference signals) . In some examples, the transmitter 1115 may be co-located with a receiver 1110 in a transceiver module. The transmitter 1115 may utilize a single antenna or a set of multiple antennas.

[0233] The communications manager 1120, the receiver 1110, the transmitter 1115, or various combinations or components thereof may be examples of means for performing various aspects of AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals as described herein. For example, the communications manager 1120, the receiver 1110, the transmitter 1115, or various combinations or components thereof may be capable of performing one or more of the functions described herein.

[0234] In some examples, the communications manager 1120, the receiver 1110, the transmitter 1115, or various combinations or components thereof may be implemented in hardware (e.g., in communications management circuitry) . The hardware may include at least one of a processor, a digital signal processor (DSP) , a central processing unit (CPU) , an application-specific integrated circuit (ASIC) , a field-programmable gate array (FPGA) or other programmable logic device, a microcontroller, discrete gate or transistor logic, discrete hardware components, or any combination thereof configured as or otherwise supporting, individually or collectively, a means for performing the functions described in the present disclosure. In some examples, at least one processor and at least one memory coupled with the at least one processor may be configured to perform one or more of the functions described herein (e.g., by one or more processors, individually or collectively, executing instructions stored in the at least one memory) .

[0235] Additionally, or alternatively, the communications manager 1120, the receiver 1110, the transmitter 1115, or various combinations or components thereof may be implemented in code (e.g., as communications management software or firmware) executed by at least one processor (e.g., referred to as a processor-executable code) . If implemented in code executed by at least one processor, the functions of the communications manager 1120, the receiver 1110, the transmitter 1115, or various combinations or components thereof may be performed by a general-purpose processor, a DSP, a CPU, an ASIC, an FPGA, a microcontroller, or any combination of these or other programmable logic devices (e.g., configured as or otherwise supporting,  individually or collectively, a means for performing the functions described in the present disclosure) .

[0236] In some examples, the communications manager 1120 may be configured to perform various operations (e.g., receiving, obtaining, monitoring, outputting, transmitting) using or otherwise in cooperation with the receiver 1110, the transmitter 1115, or both. For example, the communications manager 1120 may receive information from the receiver 1110, send information to the transmitter 1115, or be integrated in combination with the receiver 1110, the transmitter 1115, or both to obtain information, output information, or perform various other operations as described herein.

[0237] The communications manager 1120 may support wireless communications in accordance with examples as disclosed herein. For example, the communications manager 1120 is capable of, configured to, or operable to support a means for measuring one or more first channel characteristics associated with a first set of beams, where one or more predicted channel characteristics associated with a second set of beams is based on the one or more first channel characteristics, the one or more predicted channel characteristics are generated by the UE using an ML model. The communications manager 1120 is capable of, configured to, or operable to support a means for measuring one or more second channel characteristics associated with at least a subset of beams of the second set of beams based on receiving a set of one or more reference signals via at least the subset of beams. The communications manager 1120 is capable of, configured to, or operable to support a means for transmitting a first message associated with a first metric that indicates performance of the ML model, the first metric is based on a comparison of a first value and a second value, where the first value includes a first channel characteristic of the one or more second channel characteristics that corresponds to a first beam of the at least the subset of beams of the second set of beams, and where the second value includes a second channel characteristic of the one or more second channel characteristics corresponding to a second beam of the at least the subset of beams of the second set of beams or a predicted channel characteristic of the one or more predicted channel characteristics corresponding to the first beam.

[0238] Additionally, or alternatively, the communications manager 1120 may support wireless communications in accordance with examples as disclosed herein. For example, the communications manager 1120 is capable of, configured to, or operable to support a means for measuring one or more first channel characteristics associated with a first set of beams, where one or more predicted channel characteristics associated with a second set of beams is based on the one or more first channel characteristics, the one or more predicted channel characteristics are generated by the UE using an ML model. The communications manager 1120 is capable of, configured to, or operable to support a means for transmitting a report message indicating a subset of beams from the second set of beams based on the one or more predicted channel characteristics. The communications manager 1120 is capable of, configured to, or operable to support a means for receiving a control message indicating a beam of the subset of beams based on the report message. The communications manager 1120 is capable of, configured to, or operable to support a means for measuring a second channel characteristic associated with the beam based on receiving a demodulation reference signal via the beam. The communications manager 1120 is capable of, configured to, or operable to support a means for transmitting a message associated with a first metric that indicates performance of the ML model, where the first metric is based on a comparison of a first value and a second value, the first value including the second channel characteristic, and the second value including a predicted channel characteristic of the one or more predicted channel characteristics corresponding to the beam.

[0239] By including or configuring the communications manager 1120 in accordance with examples as described herein, the device 1105 (e.g., at least one processor controlling or otherwise coupled with the receiver 1110, the transmitter 1115, the communications manager 1120, or a combination thereof) may support techniques for the device 1105 to determine whether an accuracy of the ML model is below a threshold amount and to determine its behavior accordingly (e.g., to fall back to other techniques for performing wireless communications or to tweak one or more parameters of the ML model to have greater accuracy) .

[0240] The communications manager 1120 may be an example of means for performing various aspects of AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals as described herein. The  communications manager 1120, or its sub-components, may be implemented in hardware (e.g., in communications management circuitry) . The circuitry may comprise of processor, DSP, an ASIC, an FPGA or other programmable logic device, discrete gate or transistor logic, discrete hardware components, or any combination thereof designed to perform the functions described in the present disclosure.

[0241] In another implementation, the communications manager 1120, or its sub-components, may be implemented in code (e.g., as communications management software or firmware) executed by a processor, or any combination thereof. If implemented in code executed by a processor, the functions of the communications manager 1120, or its sub-components may be executed by a general-purpose processor, a DSP, an ASIC, an FPGA or other programmable logic device.

[0242] In some examples, the communications manager 1120 may be configured to perform various operations (e.g., receiving, determining, transmitting) using or otherwise in cooperation with the receiver 1110, the transmitter 1115, or both.

[0243] FIG. 12 shows a block diagram 1200 of a device 1205 that supports AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure. The device 1205 may be an example of aspects of a device 1105 or a UE 115 as described herein. The device 1205 may include a receiver 1210, a transmitter 1215, and a communications manager 1220. The device 1205, or one or more components of the device 1205 (e.g., the receiver 1210, the transmitter 1215, the communications manager 1220) , may include at least one processor, which may be coupled with at least one memory, to support the described techniques. Each of these components may be in communication with one another (e.g., via one or more buses) .

[0244] The receiver 1210 may provide a means for receiving information such as packets, user data, control information, or any combination thereof associated with various information channels (e.g., control channels, data channels, information channels related to AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals) . Information may be passed on to other components of the device 1205. The receiver 1210 may utilize a single antenna or a set of multiple antennas.

[0245] The transmitter 1215 may provide a means for transmitting signals generated by other components of the device 1205. For example, the transmitter 1215 may transmit information such as packets, user data, control information, or any combination thereof associated with various information channels (e.g., control channels, data channels, information channels related to AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals) . In some examples, the transmitter 1215 may be co-located with a receiver 1210 in a transceiver module. The transmitter 1215 may utilize a single antenna or a set of multiple antennas.

[0246] The device 1205, or various components thereof, may be an example of means for performing various aspects of AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals as described herein. For example, the communications manager 1220 may include a channel characteristic measuring component 1225, a performance message transmitter 1230, a beam report message transmitter 1235, a control message receiver 1240, or any combination thereof. The communications manager 1220 may be an example of aspects of a communications manager 1120 as described herein. In some examples, the communications manager 1220, or various components thereof, may be configured to perform various operations (e.g., receiving, obtaining, monitoring, outputting, transmitting) using or otherwise in cooperation with the receiver 1210, the transmitter 1215, or both. For example, the communications manager 1220 may receive information from the receiver 1210, send information to the transmitter 1215, or be integrated in combination with the receiver 1210, the transmitter 1215, or both to obtain information, output information, or perform various other operations as described herein.

[0247] The communications manager 1220 may support wireless communications in accordance with examples as disclosed herein. The channel characteristic measuring component 1225 is capable of, configured to, or operable to support a means for measuring one or more first channel characteristics associated with a first set of beams, where one or more predicted channel characteristics associated with a second set of beams is based on the one or more first channel characteristics, the one or more predicted channel characteristics are generated by the UE using an ML model. The channel characteristic measuring component 1225 is capable of, configured to, or operable to support a means for measuring one or more second channel characteristics  associated with at least a subset of beams of the second set of beams based on receiving a set of one or more reference signals via at least the subset of beams. The performance message transmitter 1230 is capable of, configured to, or operable to support a means for transmitting a first message associated with a first metric that indicates performance of the ML model, the first metric is based on a comparison of a first value and a second value, where the first value includes a first channel characteristic of the one or more second channel characteristics that corresponds to a first beam of the at least the subset of beams of the second set of beams, and where the second value includes a second channel characteristic of the one or more second channel characteristics corresponding to a second beam of the at least the subset of beams of the second set of beams or a predicted channel characteristic of the one or more predicted channel characteristics corresponding to the first beam.

[0248] Additionally, or alternatively, the communications manager 1220 may support wireless communications in accordance with examples as disclosed herein. The channel characteristic measuring component 1225 is capable of, configured to, or operable to support a means for measuring one or more first channel characteristics associated with a first set of beams, where one or more predicted channel characteristics associated with a second set of beams is based on the one or more first channel characteristics, the one or more predicted channel characteristics are generated by the UE using an ML model. The beam report message transmitter 1235 is capable of, configured to, or operable to support a means for transmitting a report message indicating a subset of beams from the second set of beams based on the one or more predicted channel characteristics. The control message receiver 1240 is capable of, configured to, or operable to support a means for receiving a control message indicating a beam of the subset of beams based on the report message. The channel characteristic measuring component 1225 is capable of, configured to, or operable to support a means for measuring a second channel characteristic associated with the beam based on receiving a demodulation reference signal via the beam. The performance message transmitter 1230 is capable of, configured to, or operable to support a means for transmitting a message associated with a first metric that indicates performance of the ML model, where the first metric is based on a comparison of a first value and a second value, the first value including the second channel characteristic, and the second value  including a predicted channel characteristic of the one or more predicted channel characteristics corresponding to the beam.

[0249] The communications manager 1220 may be an example of means for performing various aspects of AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals as described herein. The communications manager 1220, or its sub-components, may be implemented in hardware (e.g., in communications management circuitry) . The circuitry may comprise of processor, DSP, an ASIC, an FPGA or other programmable logic device, discrete gate or transistor logic, discrete hardware components, or any combination thereof designed to perform the functions described in the present disclosure.

[0250] In another implementation, the communications manager 1220, or its sub-components, may be implemented in code (e.g., as communications management software or firmware) executed by a processor, or any combination thereof. If implemented in code executed by a processor, the functions of the communications manager 1220, or its sub-components may be executed by a general-purpose processor, a DSP, an ASIC, an FPGA or other programmable logic device.

[0251] In some examples, the communications manager 1220 may be configured to perform various operations (e.g., receiving, determining, transmitting) using or otherwise in cooperation with the receiver 1210, the transmitter 1215, or both.

[0252] FIG. 13 shows a block diagram 1300 of a communications manager 1320 that supports AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure. The communications manager 1320 may be an example of aspects of a communications manager 1120, a communications manager 1220, or both, as described herein. The communications manager 1320, or various components thereof, may be an example of means for performing various aspects of AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals as described herein. For example, the communications manager 1320 may include a channel characteristic measuring component 1325, a performance message transmitter 1330, a beam report message transmitter 1335, a control message receiver 1340, a reference signal receiver 1345, an order determination component  1350, a signaling receiver 1355, a CSI report configuration update component 1360, a statistics generator 1365, a counter incrementing component 1370, a counter reset component 1375, or any combination thereof. Each of these components, or components or subcomponents thereof (e.g., one or more processors, one or more memories) , may communicate, directly or indirectly, with one another (e.g., via one or more buses) .

[0253] The communications manager 1320 may support wireless communications in accordance with examples as disclosed herein. The channel characteristic measuring component 1325 is capable of, configured to, or operable to support a means for measuring one or more first channel characteristics associated with a first set of beams, where one or more predicted channel characteristics associated with a second set of beams is based on the one or more first channel characteristics, the one or more predicted channel characteristics are generated by the UE using an ML model. In some examples, the channel characteristic measuring component 1325 is capable of, configured to, or operable to support a means for measuring one or more second channel characteristics associated with at least a subset of beams of the second set of beams based on receiving a set of one or more reference signals via at least the subset of beams. The performance message transmitter 1330 is capable of, configured to, or operable to support a means for transmitting a first message associated with a first metric that indicates performance of the ML model, the first metric is based on a comparison of a first value and a second value, where the first value includes a first channel characteristic of the one or more second channel characteristics that corresponds to a first beam of the at least the subset of beams of the second set of beams, and where the second value includes a second channel characteristic of the one or more second channel characteristics corresponding to a second beam of the at least the subset of beams of the second set of beams or a predicted channel characteristic of the one or more predicted channel characteristics corresponding to the first beam.

[0254] In some examples, the reference signal receiver 1345 is capable of, configured to, or operable to support a means for receiving the set of one or more reference signals via each beam of the second set of beams in accordance with one or more monitoring instances, where the one or more second channel characteristics are measured for each beam based on receiving the set of one or more reference signals via each beam. In some examples, the channel characteristic measuring component 1325 is  capable of, configured to, or operable to support a means for measuring one or more third channel characteristics associated with the second set of beams based on receiving the set of one or more reference signals via each beam, where a respective metric indicating the performance of the ML model is associated with each monitoring instance of the one or more monitoring instances.

[0255] In some examples, the performance message transmitter 1330 is capable of, configured to, or operable to support a means for transmitting a second message that indicates a second metric, the second metric indicating the performance of the ML model for a first monitoring instance of the one or more monitoring instances and is associated with the one or more third channel characteristics, where the second message is transmitted in accordance with a first reporting occasion associated with the first monitoring instance, the first reporting occasion is after a second reporting occasion that is associated with a second monitoring instance of the one or more monitoring instances and transmission of the first message.

[0256] In some examples, the performance message transmitter 1330 is capable of, configured to, or operable to support a means for transmitting, via the first message, an indication of the first metric or a second metric, or both, the second metric indicating the performance of the ML model for one of the one or more monitoring instances and is associated with the one or more third channel characteristics, where the first message is transmitted in accordance with a reporting occasion that is associated with a set of multiple monitoring instances.

[0257] In some examples, the statistics generator 1365 is capable of, configured to, or operable to support a means for generating a set of statistics based on the first metric and a second metric, the second metric indicating the performance of the ML model for one of the one or more monitoring instances and is associated with the one or more third channel characteristics, the set of statistics is associated with a set of multiple monitoring instances. In some examples, the performance message transmitter 1330 is capable of, configured to, or operable to support a means for transmitting an indication of the set of statistics via the first message.

[0258] In some examples, the reference signal receiver 1345 is capable of, configured to, or operable to support a means for receiving the set of one or more  reference signals via respective subsets of the second set of beams in accordance with one or more monitoring instances, where the one or more second channel characteristics are measured for a first subset of beams of the second set of beams in accordance with a first monitoring instance of the one or more monitoring instances. In some examples, the channel characteristic measuring component 1325 is capable of, configured to, or operable to support a means for measuring one or more third channel characteristics for a second subset of beams of the second set of beams based on receiving the set of one or more reference signals via the second subset of beams, the second subset of beams is different from the first subset of beams, where a respective metric indicating the performance of the ML model is associated with each monitoring instance of the one or more monitoring instances.

[0259] In some examples, the channel characteristic measuring component 1325 is capable of, configured to, or operable to support a means for determining that a value of a channel characteristic associated with a beam from the first subset of beams is below a threshold channel characteristic value based on measuring the one or more second channel characteristics, where the first channel characteristic is excluded from the comparison based on the value of the first channel characteristic.

[0260] In some examples, the second value includes the predicted channel characteristic corresponding to the first beam. In some examples, the first metric is based on a set of multiple comparisons. In some examples, each comparison of the set of multiple comparisons is of a respective first value and a respective second value. In some examples, the respective first value includes a respective channel characteristic of the one or more second channel characteristics that corresponds to a respective beam of the second set of beams. In some examples, the respective second value includes a respective predicted channel characteristic of the one or more predicted channel characteristics corresponding to the respective beam.

[0261] In some examples, the first metric is based on a quantity of beams included in the first subset of beams, the one or more predicted channel characteristics for the beams of the first subset of beams, the one or more second channel characteristics for the beams of the first subset of beams, or a combination thereof.

[0262] In some examples, the performance message transmitter 1330 is capable of, configured to, or operable to support a means for transmitting a second message that indicates a second metric indicating the performance of the ML model for a second monitoring instance of the one or more monitoring instances, the second metric is associated with the one or more third channel characteristics for the second subset of beams, where the second message is transmitted in accordance with a first reporting occasion associated with the second monitoring instance, the first reporting occasion is after a second reporting occasion that is associated with the first monitoring instance and transmission of the first message.

[0263] In some examples, the performance message transmitter 1330 is capable of, configured to, or operable to support a means for transmitting, via the first message, an indication of the first metric or a second metric, or both, the second metric indicating the performance of the ML model for one of the one or more monitoring instances, and the second metric and is associated with the one or more third channel characteristics for the second subset of beams, where the first message is transmitted in accordance with a reporting occasion that is associated with a set of multiple monitoring instances.

[0264] In some examples, the statistics generator 1365 is capable of, configured to, or operable to support a means for generating a set of statistics based on the first metric and a second metric indicating the performance of the ML model, the second metric is associated with one of the one or more monitoring instances and is associated with the one or more third channel characteristics for the second subset of beams, the set of statistics is associated with a set of multiple monitoring instances. In some examples, the performance message transmitter 1330 is capable of, configured to, or operable to support a means for transmitting an indication of the set of statistics via the first message. In some examples, the first message indicates a failure in the performance of the ML model based on a threshold which the first metric satisfies.

[0265] In some examples, the counter incrementing component 1370 is capable of, configured to, or operable to support a means for incrementing a counter above a second threshold based on the threshold which the first metric satisfies, where the first message indicates the failure based on the second threshold which the counter is incremented above.

[0266] In some examples, the counter reset component 1375 is capable of, configured to, or operable to support a means for resetting the counter based on a third threshold which an amount of time that the counter has been below the second threshold satisfies.

[0267] In some examples, the order determination component 1350 is capable of, configured to, or operable to support a means for determining an order of at least the subset of beams in accordance with the one or more predicted channel characteristics, where the comparison is based on the order. In some examples, the first value is based on the first beam corresponding to the predicted channel characteristic with a highest value among the one or more predicted channel characteristics. In some examples, the second value is based on the second channel characteristic including a highest value among the one or more second channel characteristics.

[0268] In some examples, the signaling receiver 1355 is capable of, configured to, or operable to support a means for receiving including an indication to perform beam prediction for the second set of beams, where a CSI report configuration is modified based on the signaling. In some examples, the CSI report configuration update component 1360 is capable of, configured to, or operable to support a means for determining a modification of the CSI report configuration based on reception of the signaling, where transmitting a fourth message is based on a modification of the CSI report configuration. In some examples, the performance message transmitter 1330 is capable of, configured to, or operable to support a means for transmitting a fourth message comprising information associated with the performance of the machine learning model, and where transmission of the fourth message may be based on the modification of the CSI report configuration.

[0269] In some examples, the information indicates respective predicted channel characteristics with highest values among the one or more predicted channel characteristics, one or more beam identifiers of the second set of beams associated with the respective predicted channel characteristics with the highest values, respective second channel characteristics with highest values among the one or more second channel characteristics, one or more beam identifiers of the second set of beams associated with the respective second channel characteristics with the highest values, the first metric, or any combination thereof.

[0270] In some examples, the signaling receiver 1355 is capable of, configured to, or operable to support a means for receiving signaling associated with a CSI report, wherein the signaling comprises an indication to switch to operations that exclude the ML model (e.g., to a non-ML mode) based on one or more metrics associated with the machine learning model failing to satisfy a threshold. In some examples, the CSI report configuration update component 1360 is capable of, configured to, or operable to support a means for identifying a modified CSI report configuration based on the one or more metrics associated with the ML model satisfying the threshold.

[0271] In some examples, the signaling associated with the channel state information report includes a CSI report setting, a MAC-CE activation of a semi-persistent CSI report, report configuration information associated with an aperiodic CSI report, or a CSI resource configuration.

[0272] In some examples, the one or more first channel characteristics include a respective measured reference signal receive power for each of the first set of beams, the one or more second channel characteristics include a respective measured reference signal receive power for each beam of the at least the subset of beams of the second set of beams, and the one or more predicted channel characteristics includes a respective predicted reference signal receive power for each beam of the subset of beams.

[0273] Additionally, or alternatively, the communications manager 1320 may support wireless communications in accordance with examples as disclosed herein. In some examples, the channel characteristic measuring component 1325 is capable of, configured to, or operable to support a means for measuring one or more first channel characteristics associated with a first set of beams, where one or more predicted channel characteristics associated with a second set of beams is based on the one or more first channel characteristics, the one or more predicted channel characteristics are generated by the UE using an ML model. The beam report message transmitter 1335 is capable of, configured to, or operable to support a means for transmitting a report message indicating a subset of beams from the second set of beams based on the one or more predicted channel characteristics. The control message receiver 1340 is capable of, configured to, or operable to support a means for receiving a control message indicating a beam of the subset of beams based on the report message. In some examples, the channel characteristic measuring component 1325 is capable of, configured to, or  operable to support a means for measuring a second channel characteristic associated with the beam based on receiving a demodulation reference signal via the beam. In some examples, the performance message transmitter 1330 is capable of, configured to, or operable to support a means for transmitting a message associated with a first metric that indicates performance of the ML model, where the first metric is based on a comparison of a first value and a second value, the first value including the second channel characteristic, and the second value including a predicted channel characteristic of the one or more predicted channel characteristics corresponding to the beam.

[0274] In some examples, the performance message transmitter 1330 is capable of, configured to, or operable to support a means for transmitting a second message that indicates a second metric, the second metric indicating the performance of the ML model for a first monitoring instance of one or more monitoring instances, where the second message is transmitted in accordance with a first reporting occasion associated with the first monitoring instance, the first reporting occasion is after a second reporting occasion that is associated with a second monitoring instance of the one or more monitoring instances and transmission of the message.

[0275] In some examples, the performance message transmitter 1330 is capable of, configured to, or operable to support a means for transmitting, via the message, an indication of the first metric or a second metric, or both, the second metric indicating the performance of the ML model for one of one or more monitoring instances, where the message is transmitted in accordance with a reporting occasion that is associated with a set of multiple monitoring instances.

[0276] In some examples, the statistics generator 1365 is capable of, configured to, or operable to support a means for generating a set of statistics based on the first metric and a second metric, the second metric indicating the performance of the ML model for one of one or more monitoring instances, the set of statistics is associated with a set of multiple monitoring instances. In some examples, the performance message transmitter 1330 is capable of, configured to, or operable to support a means for transmitting an indication of the set of statistics via the message.

[0277] In some examples, each beam of the subset of beams has a respective predicted channel characteristic higher than that of each beam of the second set of beams excluded from the subset of beams.

[0278] In some examples, the subset of beams has an order in accordance with the predicted channel characteristics, and the message indicating the beam indicates a position of the beam in the order.

[0279] In some examples, the message indicates the first metric, a third metric that is based on the first metric and a second metric that indicates the performance of the ML model, a failure in the performance of the ML model, or any combination thereof.

[0280] In some examples, the first set of beams is associated with a different temporal characteristic, a different spatial characteristic, or both from the second set of beams.

[0281] The communications manager 1320 may be an example of means for performing various aspects of AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals as described herein. The communications manager 1320, or its sub-components, may be implemented in hardware (e.g., in communications management circuitry) . The circuitry may comprise of processor, DSP, an ASIC, an FPGA or other programmable logic device, discrete gate or transistor logic, discrete hardware components, or any combination thereof designed to perform the functions described in the present disclosure.

[0282] In another implementation, the communications manager 1320, or its sub-components, may be implemented in code (e.g., as communications management software or firmware) executed by a processor, or any combination thereof. If implemented in code executed by a processor, the functions of the communications manager 1320, or its sub-components may be executed by a general-purpose processor, a DSP, an ASIC, an FPGA or other programmable logic device.

[0283] In some examples, the communications manager 1320 may be configured to perform various operations (e.g., receiving, determining, transmitting) using or otherwise in cooperation with a receiver, a transmitter, or both.

[0284] FIG. 14 shows a diagram of a system 1400 including a device 1405 that supports AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure. The device 1405 may be an example of or include components of a device 1105, a device 1205, or a UE 115 as described herein. The device 1405 may communicate (e.g., wirelessly) with one or more other devices (e.g., network entities 105, UEs 115, or a combination thereof) . The device 1405 may include components for bi-directional voice and data communications including components for transmitting and receiving communications, such as a communications manager 1420, an input / output (I / O) controller, such as an I / O controller 1410, a transceiver 1415, one or more antennas 1425, at least one memory 1430, code 1435, and at least one processor 1440. These components may be in electronic communication or otherwise coupled (e.g., operatively, communicatively, functionally, electronically, electrically) via one or more buses (e.g., a bus 1445) .

[0285] The I / O controller 1410 may manage input and output signals for the device 1405. The I / O controller 1410 may also manage peripherals not integrated into the device 1405. In some cases, the I / O controller 1410 may represent a physical connection or port to an external peripheral. In some cases, the I / O controller 1410 may utilize an operating system such as or another known operating system. Additionally, or alternatively, the I / O controller 1410 may represent or interact with a modem, a keyboard, a mouse, a touchscreen, or a similar device. In some cases, the I / O controller 1410 may be implemented as part of one or more processors, such as the at least one processor 1440. In some cases, a user may interact with the device 1405 via the I / O controller 1410 or via hardware components controlled by the I / O controller 1410.

[0286] In some cases, the device 1405 may include a single antenna. However, in some other cases, the device 1405 may have more than one antenna, which may be capable of concurrently transmitting or receiving multiple wireless transmissions. The transceiver 1415 may communicate bi-directionally via the one or more antennas 1425 using wired or wireless links as described herein. For example, the transceiver 1415 may represent a wireless transceiver and may communicate bi-directionally with another wireless transceiver. The transceiver 1415 may also include a modem to  modulate the packets, to provide the modulated packets to one or more antennas 1425 for transmission, and to demodulate packets received from the one or more antennas 1425. The transceiver 1415, or the transceiver 1415 and one or more antennas 1425, may be an example of a transmitter 1115, a transmitter 1215, a receiver 1110, a receiver 1210, or any combination thereof or component thereof, as described herein.

[0287] The at least one memory 1430 may include random access memory (RAM) and read-only memory (ROM) . The at least one memory 1430 may store computer-readable, computer-executable, or processor-executable code, such as the code 1435. The code 1435 may include instructions that, when executed by the at least one processor 1440, cause the device 1405 to perform various functions described herein. The code 1435 may be stored in a non-transitory computer-readable medium such as system memory or another type of memory. In some cases, the code 1435 may not be directly executable by the at least one processor 1440 but may cause a computer (e.g., when compiled and executed) to perform functions described herein. In some cases, the at least one memory 1430 may include, among other things, a basic I / O system (BIOS) which may control basic hardware or software operation such as the interaction with peripheral components or devices.

[0288] The at least one processor 1440 may include one or more intelligent hardware devices (e.g., one or more general-purpose processors, one or more DSPs, one or more central processing units (CPUs) , one or more graphics processing units (GPUs) , one or more neural processing units (NPUs) (also referred to as neural network processors or deep learning processors (DLPs) ) , one or more microcontrollers, one or more ASICs, one or more FPGAs, one or more programmable logic devices, discrete gate or transistor logic, one or more discrete hardware components, or any combination thereof) . In some cases, the at least one processor 1440 may be configured to operate a memory array using a memory controller. In some other cases, a memory controller may be integrated into the at least one processor 1440. The at least one processor 1440 may be configured to execute computer-readable instructions stored in a memory (e.g., the at least one memory 1430) to cause the device 1405 to perform various functions (e.g., functions or tasks supporting AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals) . For example, the device 1405 or a component of the device 1405 may include at least one processor 1440 and at  least one memory 1430 coupled with or to the at least one processor 1440, the at least one processor 1440 and the at least one memory 1430 configured to perform various functions described herein. In some examples, the at least one processor 1440 may include multiple processors and the at least one memory 1430 may include multiple memories. One or more of the multiple processors may be coupled with one or more of the multiple memories, which may, individually or collectively, be configured to perform various functions described herein. In some examples, the at least one processor 1440 may be a component of a processing system, which may refer to a system (such as a series) of machines, circuitry (including, for example, one or both of processor circuitry (which may include the at least one processor 1440) and memory circuitry (which may include the at least one memory 1430) ) , or components, that receives or obtains inputs and processes the inputs to produce, generate, or obtain a set of outputs. The processing system may be configured to perform one or more of the functions described herein. For example, the at least one processor 1440 or a processing system including the at least one processor 1440 may be configured to, configurable to, or operable to cause the device 1405 to perform one or more of the functions described herein. Further, as described herein, being “configured to, ” being “configurable to, ” and being “operable to” may be used interchangeably and may be associated with a capability, when executing code 1435 (e.g., processor-executable code) stored in the at least one memory 1430 or otherwise, to perform one or more of the functions described herein.

[0289] The communications manager 1420 may support wireless communications in accordance with examples as disclosed herein. For example, the communications manager 1420 is capable of, configured to, or operable to support a means for measuring one or more first channel characteristics associated with a first set of beams, where one or more predicted channel characteristics associated with a second set of beams is based on the one or more first channel characteristics, the one or more predicted channel characteristics are generated by the UE using an ML model. The communications manager 1420 is capable of, configured to, or operable to support a means for measuring one or more second channel characteristics associated with at least a subset of beams of the second set of beams based on receiving a set of one or more reference signals via at least the subset of beams. The communications manager 1420 is  capable of, configured to, or operable to support a means for transmitting a first message associated with a first metric that indicates performance of the ML model, the first metric is based on a comparison of a first value and a second value, where the first value includes a first channel characteristic of the one or more second channel characteristics that corresponds to a first beam of the at least the subset of beams of the second set of beams, and where the second value includes a second channel characteristic of the one or more second channel characteristics corresponding to a second beam of the at least the subset of beams of the second set of beams or a predicted channel characteristic of the one or more predicted channel characteristics corresponding to the first beam.

[0290] Additionally, or alternatively, the communications manager 1420 may support wireless communications in accordance with examples as disclosed herein. For example, the communications manager 1420 is capable of, configured to, or operable to support a means for measuring one or more first channel characteristics associated with a first set of beams, where one or more predicted channel characteristics associated with a second set of beams is based on the one or more first channel characteristics, the one or more predicted channel characteristics are generated by the UE using a ML model. The communications manager 1420 is capable of, configured to, or operable to support a means for transmitting a report message indicating a subset of beams from the second set of beams based on the one or more predicted channel characteristics. The communications manager 1420 is capable of, configured to, or operable to support a means for receiving a control message indicating a beam of the subset of beams based on the report message. The communications manager 1420 is capable of, configured to, or operable to support a means for measuring a second channel characteristic associated with the beam based on receiving a demodulation reference signal via the beam. The communications manager 1420 is capable of, configured to, or operable to support a means for transmitting a message associated with a first metric that indicates performance of the ML model, where the first metric is based on a comparison of a first value and a second value, the first value including the second channel characteristic, and the second value including a predicted channel characteristic of the one or more predicted channel characteristics corresponding to the beam.

[0291] By including or configuring the communications manager 1420 in accordance with examples as described herein, the device 1405 may support techniques for the device 1405 to determine whether an accuracy of the ML model is below a threshold amount and to determine its behavior accordingly (e.g., to fall back to other techniques for performing wireless communications or to tweak one or more parameters of the ML model to have greater accuracy) .

[0292] In some examples, the communications manager 1420 may be configured to perform various operations (e.g., receiving, monitoring, transmitting) using or otherwise in cooperation with the transceiver 1415, the one or more antennas 1425, or any combination thereof. Although the communications manager 1420 is illustrated as a separate component, in some examples, one or more functions described with reference to the communications manager 1420 may be supported by or performed by the at least one processor 1440, the at least one memory 1430, the code 1435, or any combination thereof. For example, the code 1435 may include instructions executable by the at least one processor 1440 to cause the device 1405 to perform various aspects of AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals as described herein, or the at least one processor 1440 and the at least one memory 1430 may be otherwise configured to, individually or collectively, perform or support such operations.

[0293] The communications manager 1420 may be an example of means for performing various aspects of AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals as described herein. The communications manager 1420, or its sub-components, may be implemented in hardware (e.g., in communications management circuitry) . The circuitry may comprise of processor, DSP, an ASIC, an FPGA or other programmable logic device, discrete gate or transistor logic, discrete hardware components, or any combination thereof designed to perform the functions described in the present disclosure.

[0294] In another implementation, the communications manager 1420, or its sub-components, may be implemented in code (e.g., as communications management software or firmware) executed by a processor, or any combination thereof. If implemented in code executed by a processor, the functions of the communications  manager 1420, or its sub-components may be executed by a general-purpose processor, a DSP, an ASIC, an FPGA or other programmable logic device.

[0295] In some examples, the communications manager 1420 may be configured to perform various operations (e.g., receiving, determining, transmitting) using or otherwise in cooperation with the transceiver 1415.

[0296] FIG. 15 shows a block diagram 1500 of a device 1505 that supports AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure. The device 1505 may be an example of aspects of a network entity 105 as described herein. The device 1505 may include a receiver 1510, a transmitter 1515, and a communications manager 1520. The device 1505, or one or more components of the device 1505 (e.g., the receiver 1510, the transmitter 1515, the communications manager 1520) , may include at least one processor, which may be coupled with at least one memory, to, individually or collectively, support or enable the described techniques. Each of these components may be in communication with one another (e.g., via one or more buses) .

[0297] The receiver 1510 may provide a means for obtaining (e.g., receiving, determining, identifying) information such as user data, control information, or any combination thereof (e.g., I / Q samples, symbols, packets, protocol data units, service data units) associated with various channels (e.g., control channels, data channels, information channels, channels associated with a protocol stack) . Information may be passed on to other components of the device 1505. In some examples, the receiver 1510 may support obtaining information by receiving signals via one or more antennas. Additionally, or alternatively, the receiver 1510 may support obtaining information by receiving signals via one or more wired (e.g., electrical, fiber optic) interfaces, wireless interfaces, or any combination thereof.

[0298] The transmitter 1515 may provide a means for outputting (e.g., transmitting, providing, conveying, sending) information generated by other components of the device 1505. For example, the transmitter 1515 may output information such as user data, control information, or any combination thereof (e.g., I / Q samples, symbols, packets, protocol data units, service data units) associated with various channels (e.g.,  control channels, data channels, information channels, channels associated with a protocol stack) . In some examples, the transmitter 1515 may support outputting information by transmitting signals via one or more antennas. Additionally, or alternatively, the transmitter 1515 may support outputting information by transmitting signals via one or more wired (e.g., electrical, fiber optic) interfaces, wireless interfaces, or any combination thereof. In some examples, the transmitter 1515 and the receiver 1510 may be co-located in a transceiver, which may include or be coupled with a modem.

[0299] The communications manager 1520, the receiver 1510, the transmitter 1515, or various combinations or components thereof may be examples of means for performing various aspects of AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals as described herein. For example, the communications manager 1520, the receiver 1510, the transmitter 1515, or various combinations or components thereof may be capable of performing one or more of the functions described herein.

[0300] In some examples, the communications manager 1520, the receiver 1510, the transmitter 1515, or various combinations or components thereof may be implemented in hardware (e.g., in communications management circuitry) . The hardware may include at least one of a processor, a DSP, a CPU, an ASIC, an FPGA or other programmable logic device, a microcontroller, discrete gate or transistor logic, discrete hardware components, or any combination thereof configured as or otherwise supporting, individually or collectively, a means for performing the functions described in the present disclosure. In some examples, at least one processor and at least one memory coupled with the at least one processor may be configured to perform one or more of the functions described herein (e.g., by one or more processors, individually or collectively, executing instructions stored in the at least one memory) .

[0301] Additionally, or alternatively, the communications manager 1520, the receiver 1510, the transmitter 1515, or various combinations or components thereof may be implemented in code (e.g., as communications management software or firmware) executed by at least one processor (e.g., referred to as a processor-executable code) . If implemented in code executed by at least one processor, the functions of the communications manager 1520, the receiver 1510, the transmitter 1515, or various  combinations or components thereof may be performed by a general-purpose processor, a DSP, a CPU, an ASIC, an FPGA, a microcontroller, or any combination of these or other programmable logic devices (e.g., configured as or otherwise supporting, individually or collectively, a means for performing the functions described in the present disclosure) .

[0302] In some examples, the communications manager 1520 may be configured to perform various operations (e.g., receiving, obtaining, monitoring, outputting, transmitting) using or otherwise in cooperation with the receiver 1510, the transmitter 1515, or both. For example, the communications manager 1520 may receive information from the receiver 1510, send information to the transmitter 1515, or be integrated in combination with the receiver 1510, the transmitter 1515, or both to obtain information, output information, or perform various other operations as described herein.

[0303] The communications manager 1520 may support wireless communications in accordance with examples as disclosed herein. For example, the communications manager 1520 is capable of, configured to, or operable to support a means for outputting a set of one or more reference signals via at least a subset of beams from a set of beams. The communications manager 1520 is capable of, configured to, or operable to support a means for obtaining a first message associated with a first metric that indicates performance of a ML model, the first metric is based on a difference between a first value and a second value, where the first value includes a first channel characteristic corresponding to a first beam of the at least the subset of beams of the set of beams, and where the second value includes a second channel characteristic corresponding to a second beam of the at least the subset of beams or a predicted channel characteristic corresponding to the first beam.

[0304] Additionally, or alternatively, the communications manager 1520 may support wireless communications in accordance with examples as disclosed herein. For example, the communications manager 1520 is capable of, configured to, or operable to support a means for obtaining a report message indicating a subset of beams from a set of beams based on one or more predicted channel characteristics. The communications manager 1520 is capable of, configured to, or operable to support a means for outputting a control message indicating a beam of the subset of beams based on the report  message. The communications manager 1520 is capable of, configured to, or operable to support a means for obtaining a message associated with a first metric that indicates performance of a ML model, where the first metric is based on difference between a first value and a second value, the first value including a second channel characteristic based on a demodulation reference signal associated with the beam, and the second value including a predicted channel characteristic corresponding to the beam.

[0305] By including or configuring the communications manager 1520 in accordance with examples as described herein, the device 1505 (e.g., at least one processor controlling or otherwise coupled with the receiver 1510, the transmitter 1515, the communications manager 1520, or a combination thereof) may support techniques for the device 1505 to determine whether an accuracy of the ML model is below a threshold amount and to determine the behavior of a UE accordingly (e.g., to have the UE to fall back to other techniques for performing wireless communications or to tweak one or more parameters of the ML model to have greater accuracy) .

[0306] The communications manager 1520 may be an example of means for performing various aspects of AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals as described herein. The communications manager 1520, or its sub-components, may be implemented in hardware (e.g., in communications management circuitry) . The circuitry may comprise of processor, DSP, an ASIC, an FPGA or other programmable logic device, discrete gate or transistor logic, discrete hardware components, or any combination thereof designed to perform the functions described in the present disclosure.

[0307] In another implementation, the communications manager 1520, or its sub-components, may be implemented in code (e.g., as communications management software or firmware) executed by a processor, or any combination thereof. If implemented in code executed by a processor, the functions of the communications manager 1520, or its sub-components may be executed by a general-purpose processor, a DSP, an ASIC, an FPGA or other programmable logic device.

[0308] In some examples, the communications manager 1520 may be configured to perform various operations (e.g., receiving, determining, transmitting) using or otherwise in cooperation with the receiver 1510, the transmitter 1515, or both.

[0309] FIG. 16 shows a block diagram 1600 of a device 1605 that supports AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure. The device 1605 may be an example of aspects of a device 1505 or a network entity 105 as described herein. The device 1605 may include a receiver 1610, a transmitter 1615, and a communications manager 1620. The device 1605, or one or more components of the device 1605 (e.g., the receiver 1610, the transmitter 1615, the communications manager 1620) , may include at least one processor, which may be coupled with at least one memory, to support the described techniques. Each of these components may be in communication with one another (e.g., via one or more buses) .

[0310] The receiver 1610 may provide a means for obtaining (e.g., receiving, determining, identifying) information such as user data, control information, or any combination thereof (e.g., I / Q samples, symbols, packets, protocol data units, service data units) associated with various channels (e.g., control channels, data channels, information channels, channels associated with a protocol stack) . Information may be passed on to other components of the device 1605. In some examples, the receiver 1610 may support obtaining information by receiving signals via one or more antennas. Additionally, or alternatively, the receiver 1610 may support obtaining information by receiving signals via one or more wired (e.g., electrical, fiber optic) interfaces, wireless interfaces, or any combination thereof.

[0311] The transmitter 1615 may provide a means for outputting (e.g., transmitting, providing, conveying, sending) information generated by other components of the device 1605. For example, the transmitter 1615 may output information such as user data, control information, or any combination thereof (e.g., I / Q samples, symbols, packets, protocol data units, service data units) associated with various channels (e.g., control channels, data channels, information channels, channels associated with a protocol stack) . In some examples, the transmitter 1615 may support outputting information by transmitting signals via one or more antennas. Additionally, or alternatively, the transmitter 1615 may support outputting information by transmitting signals via one or more wired (e.g., electrical, fiber optic) interfaces, wireless interfaces, or any combination thereof. In some examples, the transmitter 1615 and the receiver  1610 may be co-located in a transceiver, which may include or be coupled with a modem.

[0312] The device 1605, or various components thereof, may be an example of means for performing various aspects of AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals as described herein. For example, the communications manager 1620 may include a reference signal output component 1625, a performance message obtainer 1630, a beam report message obtainer 1635, a control message output component 1640, or any combination thereof. The communications manager 1620 may be an example of aspects of a communications manager 1520 as described herein. In some examples, the communications manager 1620, or various components thereof, may be configured to perform various operations (e.g., receiving, obtaining, monitoring, outputting, transmitting) using or otherwise in cooperation with the receiver 1610, the transmitter 1615, or both. For example, the communications manager 1620 may receive information from the receiver 1610, send information to the transmitter 1615, or be integrated in combination with the receiver 1610, the transmitter 1615, or both to obtain information, output information, or perform various other operations as described herein.

[0313] The communications manager 1620 may support wireless communications in accordance with examples as disclosed herein. The reference signal output component 1625 is capable of, configured to, or operable to support a means for outputting a set of one or more reference signals via at least a subset of beams from a set of beams. The performance message obtainer 1630 is capable of, configured to, or operable to support a means for obtaining a first message associated with a first metric that indicates performance of a ML model, the first metric is based on a difference between a first value and a second value, where the first value includes a first channel characteristic corresponding to a first beam of the at least the subset of beams of the set of beams, and where the second value includes a second channel characteristic corresponding to a second beam of the at least the subset of beams or a predicted channel characteristic corresponding to the first beam.

[0314] Additionally, or alternatively, the communications manager 1620 may support wireless communications in accordance with examples as disclosed herein. The beam report message obtainer 1635 is capable of, configured to, or operable to support a  means for obtaining a report message indicating a subset of beams from a set of beams based on one or more predicted channel characteristics. The control message output component 1640 is capable of, configured to, or operable to support a means for outputting a control message indicating a beam of the subset of beams based on the report message. The performance message obtainer 1630 is capable of, configured to, or operable to support a means for obtaining a message associated with a first metric that indicates performance of a ML model, where the first metric is based on difference between a first value and a second value, the first value including a second channel characteristic based on a demodulation reference signal associated with the beam, and the second value including a predicted channel characteristic corresponding to the beam.

[0315] The communications manager 1620 may be an example of means for performing various aspects of AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals as described herein. The communications manager 1120, or its sub-components, may be implemented in hardware (e.g., in communications management circuitry) . The circuitry may comprise of processor, DSP, an ASIC, an FPGA or other programmable logic device, discrete gate or transistor logic, discrete hardware components, or any combination thereof designed to perform the functions described in the present disclosure.

[0316] In another implementation, the communications manager 1120, or its sub-components, may be implemented in code (e.g., as communications management software or firmware) executed by a processor, or any combination thereof. If implemented in code executed by a processor, the functions of the communications manager 1120, or its sub-components may be executed by a general-purpose processor, a DSP, an ASIC, an FPGA or other programmable logic device.

[0317] In some examples, the communications manager 1620 may be configured to perform various operations (e.g., receiving, determining, transmitting) using or otherwise in cooperation with the receiver 1610, the transmitter 1615, or both.

[0318] FIG. 17 shows a block diagram 1700 of a communications manager 1720 that supports AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure. The communications manager 1720 may be an example of aspects of  a communications manager 1520, a communications manager 1620, or both, as described herein. The communications manager 1720, or various components thereof, may be an example of means for performing various aspects of AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals as described herein. For example, the communications manager 1720 may include a reference signal output component 1725, a performance message obtainer 1730, a beam report message obtainer 1735, a control message output component 1740, or any combination thereof. Each of these components, or components or subcomponents thereof (e.g., one or more processors, one or more memories) , may communicate, directly or indirectly, with one another (e.g., via one or more buses) . The communications may include communications within a protocol layer of a protocol stack, communications associated with a logical channel of a protocol stack (e.g., between protocol layers of a protocol stack, within a device, component, or virtualized component associated with a network entity 105, between devices, components, or virtualized components associated with a network entity 105) , or any combination thereof.

[0319] The communications manager 1720 may support wireless communications in accordance with examples as disclosed herein. The reference signal output component 1725 is capable of, configured to, or operable to support a means for outputting a set of one or more reference signals via at least a subset of beams from a set of beams. The performance message obtainer 1730 is capable of, configured to, or operable to support a means for obtaining a first message associated with a first metric that indicates performance of a ML model, the first metric is based on a difference between a first value and a second value, where the first value includes a first channel characteristic corresponding to a first beam of the at least the subset of beams of the set of beams, and where the second value includes a second channel characteristic corresponding to a second beam of the at least the subset of beams or a predicted channel characteristic corresponding to the first beam.

[0320] In some examples, the reference signal output component 1725 is capable of, configured to, or operable to support a means for outputting the set of one or more reference signals via each beam of the set of beams in accordance with one or more monitoring instances, where one or more channel characteristics for each beam are  based on the set of one or more reference signals, and where a respective metric indicating the performance of the ML model is associated with each monitoring instance of the one or more monitoring instances.

[0321] In some examples, the performance message obtainer 1730 is capable of, configured to, or operable to support a means for obtaining a second message that indicates a second metric, the second metric indicating the performance of the ML model for a first monitoring instance of the one or more monitoring instances, where the second message is obtained in accordance with a first reporting occasion associated with the first monitoring instance, the first reporting occasion is after a second reporting occasion that is associated with a second monitoring instance of the one or more monitoring instances and obtaining the first message.

[0322] In some examples, the performance message obtainer 1730 is capable of, configured to, or operable to support a means for obtaining, via the first message, an indication of the first metric or a second metric, or both, the second metric indicating the performance of the ML model for one of the one or more monitoring instances, where the first message is obtained in accordance with a reporting occasion that is associated with a set of multiple monitoring instances.

[0323] In some examples, the performance message obtainer 1730 is capable of, configured to, or operable to support a means for obtaining an indication of a set of statistics via the first message, the set of statistics is based on the first metric and a second metric, the second metric indicating the performance of the ML model for one of the one or more monitoring instances, and the set of statistics is associated with a set of multiple monitoring instances.

[0324] In some examples, the reference signal output component 1725 is capable of, configured to, or operable to support a means for outputting the set of one or more reference signals via a first subset of beams of the set of beams in accordance with one or more monitoring instances, where one or more channel characteristics for the first subset of beams are based on the set of one or more reference signals and in accordance with a first monitoring instance of the one or more monitoring instances. In some examples, the reference signal output component 1725 is capable of, configured to, or operable to support a means for outputting the set of one or more reference signals via a  second subset of beams of the set of beams in accordance with the one or more monitoring instances, where one or more channel characteristics for the second subset of beams are based on the set of one or more reference signals and in accordance with a second monitoring instance of the one or more monitoring instances, the second subset of beams is different from the first subset of beams.

[0325] In some examples, the performance message obtainer 1730 is capable of, configured to, or operable to support a means for obtaining a third message that indicates the first subset of beams or the second subset of beams, or both, based on one or more predictions by the ML model, where the set of one or more reference signals are output via the first subset of beams or the second subset of beams, or both, based on the third message.

[0326] In some examples, the first subset of beams or the second subset of beams, or both, are predetermined in accordance with a beam pattern. In some examples, the set of one or more reference signals are output via the first subset of beams or the second subset of beams, or both, based on the beam pattern.

[0327] In some examples, the second value includes the predicted channel characteristic corresponding to the first beam. In some examples, the first metric is based on a set of multiple comparisons. In some examples, each comparison of the set of multiple comparisons is of a respective first value and a respective second value. In some examples, the respective first value includes a respective channel characteristic that corresponds to a respective beam of the set of beams. In some examples, the respective second value includes a respective predicted channel characteristic corresponding to the respective beam.

[0328] In some examples, the first metric is based on a quantity of beams included in the first subset of beams, a set of predicted channel characteristics for the beams of the first subset of beams, channel characteristics for the beams of the first subset of beams, or a combination thereof.

[0329] In some examples, the performance message obtainer 1730 is capable of, configured to, or operable to support a means for obtaining a second message that indicates a second metric, the second metric indicating the performance of the ML model for the second monitoring instance of the one or more monitoring instances,  where the second message is obtained in accordance with a first reporting occasion associated with the second monitoring instance, the first reporting occasion is after a second reporting occasion that is associated with the first monitoring instance and obtaining the first message.

[0330] In some examples, the performance message obtainer 1730 is capable of, configured to, or operable to support a means for obtaining, via the first message, an indication of the first metric or a second metric, or both, the second metric indicating the performance of the ML model for one of the one or more monitoring instances, where the first message is obtained in accordance with a reporting occasion that is associated with a set of multiple monitoring instances.

[0331] In some examples, the performance message obtainer 1730 is capable of, configured to, or operable to support a means for obtaining an indication of a set of statistics via the first message, the set of statistics is based on the first metric and a second metric, the second metric indicating the performance of the ML model for one of the one or more monitoring instances, and the set of statistics is associated with a set of multiple monitoring instances.

[0332] In some examples, the first message indicates a failure in the performance of the ML model based on a threshold which the first metric satisfies.

[0333] In some examples, the first value is based on the first beam corresponding to a predicted channel characteristic with a highest value among a set of multiple predicted channel characteristics. In some examples, the second value is based on the second channel characteristic including a highest value among a set of multiple one or more second channel characteristics.

[0334] Additionally, or alternatively, the communications manager 1720 may support wireless communications in accordance with examples as disclosed herein. The beam report message obtainer 1735 is capable of, configured to, or operable to support a means for obtaining a report message indicating a subset of beams from a set of beams based on one or more predicted channel characteristics. The control message output component 1740 is capable of, configured to, or operable to support a means for outputting a control message indicating a beam of the subset of beams based on the report message. In some examples, the performance message obtainer 1730 is capable  of, configured to, or operable to support a means for obtaining a message associated with a first metric that indicates performance of a ML model, where the first metric is based on difference between a first value and a second value, the first value including a second channel characteristic based on a demodulation reference signal associated with the beam, and the second value including a predicted channel characteristic corresponding to the beam.

[0335] In some examples, the performance message obtainer 1730 is capable of, configured to, or operable to support a means for obtaining a second message that indicates a second metric, the second metric indicating the performance of the ML model for a first monitoring instance of one or more monitoring instances, where the second message is obtained in accordance with a first reporting occasion associated with the first monitoring instance, the first reporting occasion is after a second reporting occasion that is associated with a second monitoring instance of the one or more monitoring instances and obtaining the message.

[0336] In some examples, the performance message obtainer 1730 is capable of, configured to, or operable to support a means for obtaining, via the message, an indication of the first metric or a second metric, or both, the second metric indicating the performance of the ML model for one of one or more monitoring instances, where the message is obtained in accordance with a reporting occasion that is associated with a set of multiple monitoring instances.

[0337] In some examples, the performance message obtainer 1730 is capable of, configured to, or operable to support a means for obtaining an indication of a set of statistics via the message, the set of statistics is based on the first metric and a second metric, the second metric indicating the performance of the ML model for one of one or more monitoring instances, and the set of statistics is associated with a set of multiple monitoring instances.

[0338] In some examples, each beam of the subset of beams has a respective predicted channel characteristic higher than that of each beam of the set of beams excluded from the subset of beams.

[0339] In some examples, the subset of beams has an order in accordance with respective one or more predicted channel characteristics. In some examples, the message indicating the beam indicates a position of the beam in the order.

[0340] In some examples, the message indicates the first metric, a third metric that is based on the first metric and a second metric that indicates the performance of the ML model, a failure in the performance of the ML model, or any combination thereof.

[0341] The communications manager 1720 may be an example of means for performing various aspects of AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals as described herein. The communications manager 1720, or its sub-components, may be implemented in hardware (e.g., in communications management circuitry) . The circuitry may comprise of processor, DSP, an ASIC, an FPGA or other programmable logic device, discrete gate or transistor logic, discrete hardware components, or any combination thereof designed to perform the functions described in the present disclosure.

[0342] In another implementation, the communications manager 1720, or its sub-components, may be implemented in code (e.g., as communications management software or firmware) executed by a processor, or any combination thereof. If implemented in code executed by a processor, the functions of the communications manager 1720, or its sub-components may be executed by a general-purpose processor, a DSP, an ASIC, an FPGA or other programmable logic device.

[0343] In some examples, the communications manager 1720 may be configured to perform various operations (e.g., receiving, determining, transmitting) using or otherwise in cooperation with a receiver, a transmitter, or both.

[0344] FIG. 18 shows a diagram of a system 1800 including a device 1805 that supports AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure. The device 1805 may be an example of or include components of a device 1505, a device 1605, or a network entity 105 as described herein. The device 1805 may communicate with other network devices or network equipment such as one or more of the network entities 105, UEs 115, or any combination thereof. The communications may include communications over one or more wired interfaces, over  one or more wireless interfaces, or any combination thereof. The device 1805 may include components that support outputting and obtaining communications, such as a communications manager 1820, a transceiver 1810, one or more antennas 1815, at least one memory 1825, code 1830, and at least one processor 1835. These components may be in electronic communication or otherwise coupled (e.g., operatively, communicatively, functionally, electronically, electrically) via one or more buses (e.g., a bus 1840) .

[0345] The transceiver 1810 may support bi-directional communications via wired links, wireless links, or both as described herein. In some examples, the transceiver 1810 may include a wired transceiver and may communicate bi-directionally with another wired transceiver. Additionally, or alternatively, in some examples, the transceiver 1810 may include a wireless transceiver and may communicate bi-directionally with another wireless transceiver. In some examples, the device 1805 may include one or more antennas 1815, which may be capable of transmitting or receiving wireless transmissions (e.g., concurrently) . The transceiver 1810 may also include a modem to modulate signals, to provide the modulated signals for transmission (e.g., by one or more antennas 1815, by a wired transmitter) , to receive modulated signals (e.g., from one or more antennas 1815, from a wired receiver) , and to demodulate signals. In some implementations, the transceiver 1810 may include one or more interfaces, such as one or more interfaces coupled with the one or more antennas 1815 that are configured to support various receiving or obtaining operations, or one or more interfaces coupled with the one or more antennas 1815 that are configured to support various transmitting or outputting operations, or a combination thereof. In some implementations, the transceiver 1810 may include or be configured for coupling with one or more processors or one or more memory components that are operable to perform or support operations based on received or obtained information or signals, or to generate information or other signals for transmission or other outputting, or any combination thereof. In some implementations, the transceiver 1810, or the transceiver 1810 and the one or more antennas 1815, or the transceiver 1810 and the one or more antennas 1815 and one or more processors or one or more memory components (e.g., the at least one processor 1835, the at least one memory 1825, or both) , may be included in a chip or chip assembly that is installed in the device 1805. In some examples, the transceiver 1810  may be operable to support communications via one or more communications links (e.g., communication link (s) 125, backhaul communication link (s) 120, a midhaul communication link 162, a fronthaul communication link 168) .

[0346] The at least one memory 1825 may include RAM, ROM, or any combination thereof. The at least one memory 1825 may store computer-readable, computer-executable, or processor-executable code, such as the code 1830. The code 1830 may include instructions that, when executed by one or more of the at least one processor 1835, cause the device 1805 to perform various functions described herein. The code 1830 may be stored in a non-transitory computer-readable medium such as system memory or another type of memory. In some cases, the code 1830 may not be directly executable by a processor of the at least one processor 1835 but may cause a computer (e.g., when compiled and executed) to perform functions described herein. In some cases, the at least one memory 1825 may include, among other things, a BIOS which may control basic hardware or software operation such as the interaction with peripheral components or devices. In some examples, the at least one processor 1835 may include multiple processors and the at least one memory 1825 may include multiple memories. One or more of the multiple processors may be coupled with one or more of the multiple memories which may, individually or collectively, be configured to perform various functions herein (for example, as part of a processing system) .

[0347] The at least one processor 1835 may include one or more intelligent hardware devices (e.g., one or more general-purpose processors, one or more DSPs, one or more CPUs, one or more graphics processing units (GPUs) , one or more neural processing units (NPUs) (also referred to as neural network processors or deep learning processors (DLPs) ) , one or more microcontrollers, one or more ASICs, one or more FPGAs, one or more programmable logic devices, discrete gate or transistor logic, one or more discrete hardware components, or any combination thereof) . In some cases, the at least one processor 1835 may be configured to operate a memory array using a memory controller. In some other cases, a memory controller may be integrated into one or more of the at least one processor 1835. The at least one processor 1835 may be configured to execute computer-readable instructions stored in a memory (e.g., one or more of the at least one memory 1825) to cause the device 1805 to perform various functions (e.g., functions or tasks supporting AI / ML model performance monitoring  based on an availability of beam prediction monitoring reference signals) . For example, the device 1805 or a component of the device 1805 may include at least one processor 1835 and at least one memory 1825 coupled with one or more of the at least one processor 1835, the at least one processor 1835 and the at least one memory 1825 configured to perform various functions described herein. The at least one processor 1835 may be an example of a cloud-computing platform (e.g., one or more physical nodes and supporting software such as operating systems, virtual machines, or container instances) that may host the functions (e.g., by executing code 1830) to perform the functions of the device 1805. The at least one processor 1835 may be any one or more suitable processors capable of executing scripts or instructions of one or more software programs stored in the device 1805 (such as within one or more of the at least one memory 1825) . In some examples, the at least one processor 1835 may include multiple processors and the at least one memory 1825 may include multiple memories. One or more of the multiple processors may be coupled with one or more of the multiple memories, which may, individually or collectively, be configured to perform various functions herein. In some examples, the at least one processor 1835 may be a component of a processing system, which may refer to a system (such as a series) of machines, circuitry (including, for example, one or both of processor circuitry (which may include the at least one processor 1835) and memory circuitry (which may include the at least one memory 1825) ) , or components, that receives or obtains inputs and processes the inputs to produce, generate, or obtain a set of outputs. The processing system may be configured to perform one or more of the functions described herein. For example, the at least one processor 1835 or a processing system including the at least one processor 1835 may be configured to, configurable to, or operable to cause the device 1805 to perform one or more of the functions described herein. Further, as described herein, being “configured to, ” being “configurable to, ” and being “operable to”may be used interchangeably and may be associated with a capability, when executing code stored in the at least one memory 1825 or otherwise, to perform one or more of the functions described herein.

[0348] In some examples, a bus 1840 may support communications of (e.g., within) a protocol layer of a protocol stack. In some examples, a bus 1840 may support communications associated with a logical channel of a protocol stack (e.g., between  protocol layers of a protocol stack) , which may include communications performed within a component of the device 1805, or between different components of the device 1805 that may be co-located or located in different locations (e.g., where the device 1805 may refer to a system in which one or more of the communications manager 1820, the transceiver 1810, the at least one memory 1825, the code 1830, and the at least one processor 1835 may be located in one of the different components or divided between different components) .

[0349] In some examples, the communications manager 1820 may manage aspects of communications with a core network 130 (e.g., via one or more wired or wireless backhaul links) . For example, the communications manager 1820 may manage the transfer of data communications for client devices, such as one or more UEs 115. In some examples, the communications manager 1820 may manage communications with one or more other network entities 105, and may include a controller or scheduler for controlling communications with UEs 115 (e.g., in cooperation with the one or more other network devices) . In some examples, the communications manager 1820 may support an X2 interface within an LTE / LTE-A wireless communications network technology to provide communication between network entities 105.

[0350] The communications manager 1820 may support wireless communications in accordance with examples as disclosed herein. For example, the communications manager 1820 is capable of, configured to, or operable to support a means for outputting a set of one or more reference signals via at least a subset of beams from a set of beams. The communications manager 1820 is capable of, configured to, or operable to support a means for obtaining a first message associated with a first metric that indicates performance of a ML model, the first metric is based on a difference between a first value and a second value, where the first value includes a first channel characteristic corresponding to a first beam of the at least the subset of beams of the set of beams, and where the second value includes a second channel characteristic corresponding to a second beam of the at least the subset of beams or a predicted channel characteristic corresponding to the first beam.

[0351] Additionally, or alternatively, the communications manager 1820 may support wireless communications in accordance with examples as disclosed herein. For example, the communications manager 1820 is capable of, configured to, or operable to  support a means for obtaining a report message indicating a subset of beams from a set of beams based on one or more predicted channel characteristics. The communications manager 1820 is capable of, configured to, or operable to support a means for outputting a control message indicating a beam of the subset of beams based on the report message. The communications manager 1820 is capable of, configured to, or operable to support a means for obtaining a message associated with a first metric that indicates performance of a ML model, where the first metric is based on difference between a first value and a second value, the first value including a second channel characteristic based on a demodulation reference signal associated with the beam, and the second value including a predicted channel characteristic corresponding to the beam.

[0352] By including or configuring the communications manager 1820 in accordance with examples as described herein, the device 1805 may support techniques for the device 1805 to determine whether an accuracy of the ML model is below a threshold amount and to determine the behavior of a UE accordingly (e.g., to have the UE to fall back to other techniques for performing wireless communications or to tweak one or more parameters of the ML model to have greater accuracy) .

[0353] In some examples, the communications manager 1820 may be configured to perform various operations (e.g., receiving, obtaining, monitoring, outputting, transmitting) using or otherwise in cooperation with the transceiver 1810, the one or more antennas 1815 (e.g., where applicable) , or any combination thereof. Although the communications manager 1820 is illustrated as a separate component, in some examples, one or more functions described with reference to the communications manager 1820 may be supported by or performed by the transceiver 1810, one or more of the at least one processor 1835, one or more of the at least one memory 1825, the code 1830, or any combination thereof (for example, by a processing system including at least a portion of the at least one processor 1835, the at least one memory 1825, the code 1830, or any combination thereof) . For example, the code 1830 may include instructions executable by one or more of the at least one processor 1835 to cause the device 1805 to perform various aspects of AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals as described herein, or the at least one processor 1835 and the at least one memory 1825 may be otherwise configured to, individually or collectively, perform or support such operations.

[0354] The communications manager 1820 may be an example of means for performing various aspects of AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals as described herein. The communications manager 1820, or its sub-components, may be implemented in hardware (e.g., in communications management circuitry) . The circuitry may comprise of processor, DSP, an ASIC, an FPGA or other programmable logic device, discrete gate or transistor logic, discrete hardware components, or any combination thereof designed to perform the functions described in the present disclosure.

[0355] In another implementation, the communications manager 1820, or its sub-components, may be implemented in code (e.g., as communications management software or firmware) executed by a processor, or any combination thereof. If implemented in code executed by a processor, the functions of the communications manager 1820, or its sub-components may be executed by a general-purpose processor, a DSP, an ASIC, an FPGA or other programmable logic device.

[0356] In some examples, the communications manager 1820 may be configured to perform various operations (e.g., receiving, determining, transmitting) using or otherwise in cooperation with the transceiver 1810.

[0357] FIG. 19 shows a flowchart illustrating a method 1900 that supports AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure. The operations of the method 1900 may be implemented by a UE or its components as described herein. For example, the operations of the method 1900 may be performed by a UE 115 as described with reference to FIGs. 1 through 14. In some examples, a UE may execute a set of instructions to control the functional elements of the UE to perform the described functions. Additionally, or alternatively, the UE may perform aspects of the described functions using special-purpose hardware.

[0358] At 1905, the method may include measuring one or more first channel characteristics associated with a first set of beams, where one or more predicted channel characteristics associated with a second set of beams is based on the one or more first channel characteristics, where the one or more predicted channel characteristics are generated by the UE using a ML model. The operations of 1905 may be performed in  accordance with examples as disclosed herein. In some examples, aspects of the operations of 1905 may be performed by a channel characteristic measuring component 1325 as described with reference to FIG. 13.

[0359] At 1910, the method may include measuring one or more second channel characteristics associated with at least a subset of beams of the second set of beams based on receiving a set of one or more reference signals via at least the subset of beams. The operations of 1910 may be performed in accordance with examples as disclosed herein. In some examples, aspects of the operations of 1910 may be performed by a channel characteristic measuring component 1325 as described with reference to FIG. 13.

[0360] At 1915, the method may include transmitting a first message associated with a first metric that indicates performance of the ML model, the first metric is based on a comparison of a first value and a second value, where the first value includes a first channel characteristic of the one or more second channel characteristics that corresponds to a first beam of the at least the subset of beams of the second set of beams, and where the second value includes a second channel characteristic of the one or more second channel characteristics corresponding to a second beam of the at least the subset of beams of the second set of beams or a predicted channel characteristic of the one or more predicted channel characteristics corresponding to the first beam. The operations of 1915 may be performed in accordance with examples as disclosed herein. In some examples, aspects of the operations of 1915 may be performed by a performance message transmitter 1330 as described with reference to FIG. 13.

[0361] FIG. 20 shows a flowchart illustrating a method 2000 that supports AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure. The operations of the method 2000 may be implemented by a UE or its components as described herein. For example, the operations of the method 2000 may be performed by a UE 115 as described with reference to FIGs. 1 through 14. In some examples, a UE may execute a set of instructions to control the functional elements of the UE to perform the described functions. Additionally, or alternatively, the UE may perform aspects of the described functions using special-purpose hardware.

[0362] At 2005, the method may include measuring one or more first channel characteristics associated with a first set of beams, where one or more predicted channel characteristics associated with a second set of beams is based on the one or more first channel characteristics, where the one or more predicted channel characteristics are generated by the UE using a ML model. The operations of 2005 may be performed in accordance with examples as disclosed herein. In some examples, aspects of the operations of 2005 may be performed by a channel characteristic measuring component 1325 as described with reference to FIG. 13.

[0363] At 2010, the method may include transmitting a report message indicating a subset of beams from the second set of beams based on the one or more predicted channel characteristics. The operations of 2010 may be performed in accordance with examples as disclosed herein. In some examples, aspects of the operations of 2010 may be performed by a beam report message transmitter 1335 as described with reference to FIG. 13.

[0364] At 2015, the method may include receiving a control message indicating a beam of the subset of beams based on the report message. The operations of 2015 may be performed in accordance with examples as disclosed herein. In some examples, aspects of the operations of 2015 may be performed by a control message receiver 1340 as described with reference to FIG. 13.

[0365] At 2020, the method may include measuring a second channel characteristic associated with the beam based on receiving a demodulation reference signal via the beam. The operations of 2020 may be performed in accordance with examples as disclosed herein. In some examples, aspects of the operations of 2020 may be performed by a channel characteristic measuring component 1325 as described with reference to FIG. 13.

[0366] At 2025, the method may include transmitting a message associated with a first metric that indicates performance of the ML model, where the first metric is based on a comparison of a first value and a second value, the first value including the second channel characteristic, and the second value including a predicted channel characteristic of the one or more predicted channel characteristics corresponding to the beam. The operations of 2025 may be performed in accordance with examples as disclosed herein.  In some examples, aspects of the operations of 2025 may be performed by a performance message transmitter 1330 as described with reference to FIG. 13.

[0367] FIG. 21 shows a flowchart illustrating a method 2100 that supports AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure. The operations of the method 2100 may be implemented by a network entity or its components as described herein. For example, the operations of the method 2100 may be performed by a network entity as described with reference to FIGs. 1 through 10 and 15 through 18. In some examples, a network entity may execute a set of instructions to control the functional elements of the network entity to perform the described functions. Additionally, or alternatively, the network entity may perform aspects of the described functions using special-purpose hardware.

[0368] At 2105, the method may include outputting a set of one or more reference signals via at least a subset of beams from a set of beams. The operations of 2105 may be performed in accordance with examples as disclosed herein. In some examples, aspects of the operations of 2105 may be performed by a reference signal output component 1725 as described with reference to FIG. 17.

[0369] At 2110, the method may include obtaining a first message associated with a first metric that indicates performance of a ML model, the first metric is based on a difference between a first value and a second value, where the first value includes a first channel characteristic corresponding to a first beam of the at least the subset of beams of the set of beams, and where the second value includes a second channel characteristic corresponding to a second beam of the at least the subset of beams or a predicted channel characteristic corresponding to the first beam. The operations of 2110 may be performed in accordance with examples as disclosed herein. In some examples, aspects of the operations of 2110 may be performed by a performance message obtainer 1730 as described with reference to FIG. 17.

[0370] FIG. 22 shows a flowchart illustrating a method 2200 that supports AI / ML model performance monitoring based on an availability of beam prediction monitoring reference signals in accordance with one or more aspects of the present disclosure. The operations of the method 2200 may be implemented by a network entity or its  components as described herein. For example, the operations of the method 2200 may be performed by a network entity as described with reference to FIGs. 1 through 10 and 15 through 18. In some examples, a network entity may execute a set of instructions to control the functional elements of the network entity to perform the described functions. Additionally, or alternatively, the network entity may perform aspects of the described functions using special-purpose hardware.

[0371] At 2205, the method may include obtaining a report message indicating a subset of beams from a set of beams based on one or more predicted channel characteristics. The operations of 2205 may be performed in accordance with examples as disclosed herein. In some examples, aspects of the operations of 2205 may be performed by a beam report message obtainer 1735 as described with reference to FIG. 17.

[0372] At 2210, the method may include outputting a control message indicating a beam of the subset of beams based on the report message. The operations of 2210 may be performed in accordance with examples as disclosed herein. In some examples, aspects of the operations of 2210 may be performed by a control message output component 1740 as described with reference to FIG. 17.

[0373] At 2215, the method may include obtaining a message associated with a first metric that indicates performance of a ML model, where the first metric is based on difference between a first value and a second value, the first value including a second channel characteristic based on a demodulation reference signal associated with the beam, and the second value including a predicted channel characteristic corresponding to the beam. The operations of 2215 may be performed in accordance with examples as disclosed herein. In some examples, aspects of the operations of 2215 may be performed by a performance message obtainer 1730 as described with reference to FIG. 17.

[0374] The following provides an overview of aspects of the present disclosure:

[0375] Aspect 1: A method for wireless communications at a UE, comprising: measuring one or more first channel characteristics associated with a first set of beams, wherein one or more predicted channel characteristics associated with a second set of beams are based at least in part on the one or more first channel characteristics, where  the one or more predicted channel characteristics are generated by the UE using a machine learning model; measuring one or more second channel characteristics associated with at least a subset of beams of the second set of beams based at least in part on receiving a set of one or more reference signals via at least the subset of beams; and transmitting a first message associated with a first metric that indicates performance of the machine learning model, the first metric is based at least in part on a comparison of a first value and a second value, wherein the first value comprises a first channel characteristic of the one or more second channel characteristics that corresponds to a first beam of the at least the subset of beams of the second set of beams, and wherein the second value comprises a second channel characteristic of the one or more second channel characteristics corresponding to a second beam of the at least the subset of beams of the second set of beams or a predicted channel characteristic of the one or more predicted channel characteristics corresponding to the first beam.

[0376] Aspect 2: The method of aspect 1, further comprising: receiving a respective reference signal of the set of one or more reference signals via each beam of the second set of beams in accordance with one or more monitoring instances, wherein the one or more second channel characteristics are measured for each beam based at least in part on receiving the respective reference signal; and measuring one or more third channel characteristics associated with the second set of beams based at least in part on receiving the respective reference signal, wherein a respective metric indicating the performance of the machine learning model is associated with each monitoring instance of the one or more monitoring instances.

[0377] Aspect 3: The method of aspect 2, further comprising: transmitting a second message that indicates a second metric, the second metric indicating the performance of the machine learning model for a first monitoring instance of the one or more monitoring instances and is associated with the one or more third channel characteristics, wherein the second message is transmitted in accordance with a first reporting occasion associated with the first monitoring instance, the first reporting occasion is after a second reporting occasion that is associated with a second monitoring instance of the one or more monitoring instances and transmission of the first message.

[0378] Aspect 4: The method of any of aspects 2 through 3, further comprising: transmitting, via the first message, an indication of the first metric or a second metric, or  both, the second metric indicating the performance of the machine learning model for one of the one or more monitoring instances and is associated with the one or more third channel characteristics, wherein the first message is transmitted in accordance with a reporting occasion that is associated with a plurality of monitoring instances.

[0379] Aspect 5: The method of any of aspects 2 through 4, further comprising: generating a set of statistics based at least in part on the first metric and a second metric, the second metric indicating the performance of the machine learning model for one of the one or more monitoring instances and is associated with the one or more third channel characteristics, the set of statistics is associated with a plurality of monitoring instances; and transmitting an indication of the set of statistics via the first message.

[0380] Aspect 6: The method of any of aspects 1 through 5, further comprising: receiving the set of one or more reference signals via respective subsets of the second set of beams in accordance with one or more monitoring instances, wherein the one or more second channel characteristics are measured for a first subset of beams of the second set of beams in accordance with a first monitoring instance of the one or more monitoring instances; and measuring one or more third channel characteristics for a second subset of beams of the second set of beams based at least in part on receiving the set of one or more reference signals, where the second subset of beams is different from the first subset of beams, wherein a respective metric indicating the performance of the machine learning model is associated with each monitoring instance of the one or more monitoring instances.

[0381] Aspect 7: The method of aspect 6, further comprising: determining that a value of a channel characteristic associated with a beam from the first subset of beams is below a threshold channel characteristic value based at least in part on measuring the one or more second channel characteristics, wherein the first channel characteristic is excluded from the comparison based at least in part on the value of the first channel characteristic.[0...

Claims

1.An apparatus for wireless communication at a user equipment (UE) , comprising:one or more memories; andone or more processors coupled with the one or more memories and configured to cause the UE to:measure one or more first channel characteristics associated with a first set of beams, wherein one or more predicted channel characteristics associated with a second set of beams are based at least in part on the one or more first channel characteristics, wherein the one or more predicted channel characteristics are generated by the UE through a machine learning model;measure one or more second channel characteristics associated with at least a subset of beams of the second set of beams based at least in part on reception of a set of one or more reference signals via at least the subset of beams; andtransmit a first message associated with a first metric that indicates performance of the machine learning model, the first metric is based at least in part on a comparison of a first value and a second value, wherein the first value comprises a first channel characteristic of the one or more second channel characteristics that corresponds to a first beam of the at least the subset of beams of the second set of beams, and wherein the second value comprises a second channel characteristic of the one or more second channel characteristics corresponding to a second beam of the at least the subset of beams of the second set of beams or a predicted channel characteristic of the one or more predicted channel characteristics corresponding to the first beam.2.The apparatus of claim 1, wherein the one or more processors are further configured to cause the UE to:receive a respective reference signal of the set of one or more reference signals via each beam of the second set of beams in accordance with one or more monitoring instances, wherein the one or more second channel characteristics are measured for each beam based at least in part on reception of the respective reference signal; andmeasure one or more third channel characteristics associated with the second set of beams based at least in part on reception of the respective reference signal, wherein a respective metric indicates the performance of the machine learning model is associated with each monitoring instance of the one or more monitoring instances.3.The apparatus of claim 2, wherein the one or more processors are further configured to cause the UE to:transmit a second message that indicates a second metric, the second metric indicates the performance of the machine learning model for a first monitoring instance of the one or more monitoring instances and is associated with the one or more third channel characteristics, wherein the second message is transmitted in accordance with a first reporting occasion associated with the first monitoring instance, the first reporting occasion is after a second reporting occasion that is associated with a second monitoring instance of the one or more monitoring instances and transmission of the first message.4.The apparatus of claim 2, wherein the one or more processors are further configured to cause the UE to:transmit, via the first message, an indication of the first metric or a second metric, or both, the second metric indicates the performance of the machine learning model for one of the one or more monitoring instances and is associated with the one or more third channel characteristics, wherein the first message is transmitted in accordance with a reporting occasion that is associated with a plurality of monitoring instances.5.The apparatus of claim 2, wherein the one or more processors are further configured to cause the UE to:generate a set of statistics based at least in part on the first metric and a second metric, the second metric indicates the performance of the machine learning model for one of the one or more monitoring instances and is associated with the one or more third channel characteristics, the set of statistics is associated with a plurality of monitoring instances; andtransmit an indication of the set of statistics via the first message.6.The apparatus of claim 1, wherein the one or more processors are further configured to cause the UE to:receive the set of one or more reference signals via respective subsets of the second set of beams in accordance with one or more monitoring instances, wherein the one or more second channel characteristics are measured for a first subset of beams of the second set of beams in accordance with a first monitoring instance of the one or more monitoring instances; andmeasure one or more third channel characteristics for a second subset of beams of the second set of beams based at least in part on reception of the set of one or more reference signals, wherein the second subset of beams is different from the first subset of beams, wherein a respective metric indicates the performance of the machine learning model is associated with each monitoring instance of the one or more monitoring instances.7.The apparatus of claim 6, wherein the one or more processors are further configured to cause the UE to:determine that a value of a channel characteristic associated with a beam from the first subset of beams is below a threshold channel characteristic value based at least in part on a measurement of the one or more second channel characteristics, wherein the first channel characteristic is excluded from the comparison based at least in part on the value of the first channel characteristic.8.The apparatus of claim 6, wherein the second value comprises the predicted channel characteristic corresponding to the first beam, the first metric is based at least in part on a plurality of comparisons, each comparison of the plurality of comparisons is of a respective first value and a respective second value, the respective first value comprises a respective channel characteristic of the one or more second channel characteristics that corresponds to a respective beam of the second set of beams, and wherein the respective second value comprises a respective predicted channel characteristic of the one or more predicted channel characteristics corresponding to the respective beam.9.The apparatus of claim 6, wherein the first metric is based at least in part on a quantity of beams included in the first subset of beams, the one or more predicted channel characteristics for the beams of the first subset of beams, the one or more second channel characteristics for the beams of the first subset of beams, or a combination thereof.10.The apparatus of claim 6, wherein the one or more processors are further configured to cause the UE to:transmit a second message that indicates a second metric indicates the performance of the machine learning model for a second monitoring instance of the one or more monitoring instances, the second metric is associated with the one or more third channel characteristics for the second subset of beams, wherein the second message is transmitted in accordance with a first reporting occasion associated with the second monitoring instance, the first reporting occasion is after a second reporting occasion that is associated with the first monitoring instance and transmission of the first message.11.The apparatus of claim 6, wherein the one or more processors are further configured to cause the UE to:transmit, via the first message, an indication of the first metric or a second metric, or both, the second metric indicates the performance of the machine learning model for one of the one or more monitoring instances, and the second metric and is associated with the one or more third channel characteristics for the second subset of beams, wherein the first message is transmitted in accordance with a reporting occasion that is associated with a plurality of monitoring instances.12.The apparatus of claim 6, wherein the one or more processors are further configured to cause the UE to:generate a set of statistics based at least in part on the first metric and a second metric indicates the performance of the machine learning model, the second metric is associated with one of the one or more monitoring instances and is associated with the one or more third channel characteristics for the second subset of beams, the set of statistics is associated with a plurality of monitoring instances; andtransmit an indication of the set of statistics via the first message.13.The apparatus of claim 1, wherein the first message indicates a failure in the performance of the machine learning model based at least in part on a threshold which the first metric satisfies.14.The apparatus of claim 13, wherein the one or more processors are further configured to cause the UE to:increment a counter above a second threshold based at least in part on the threshold which the first metric satisfies, wherein the first message indicates the failure based at least in part on the second threshold which the counter is incremented above.15.The apparatus of claim 14, wherein the one or more processors are further configured to cause the UE to:reset the counter based at least in part on a third threshold which an amount of time that the counter has been below the second threshold satisfies.16.The apparatus of claim 1, wherein the one or more processors are further configured to cause the UE to:determine an order of at least the subset of beams in accordance with the one or more predicted channel characteristics, wherein the comparison is based at least in part on the order.17.The apparatus of claim 16, wherein:the first value is based at least in part on the first beam corresponding to the predicted channel characteristic with a highest value among the one or more predicted channel characteristics, and the second value is based at least in part on the second channel characteristic that comprises a highest value among the one or more second channel characteristics.18.The apparatus of claim 1, wherein the one or more processors are further configured to cause the UE to:receive a signal that comprises an indication to perform beam prediction for the second set of beams, wherein a channel state information report configuration is modified based at least in part on the signal; andtransmit a fourth message that comprises information associated with the performance of the machine learning model, and wherein transmission of the fourth message is based at least in part on modification of the channel state information report configuration.19.The apparatus of claim 18, wherein the information indicates respective predicted channel characteristics with highest values among the one or more predicted channel characteristics, one or more beam identifiers of the second set of beams associated with the respective predicted channel characteristics with the highest values, respective second channel characteristics with highest values among the one or more second channel characteristics, one or more beam identifiers of the second set of beams associated with the respective second channel characteristics with the highest values, or any combination thereof.20.The apparatus of claim 1, wherein the one or more processors are further configured to cause the UE to:receive a signal associated with a channel state information report, wherein the signal comprises an indication to switch to operations that exclude the machine learning model based at least in part on one or more metrics associated with the machine learning model that are less than a threshold.21.The apparatus of claim 20, wherein the signal associated with the channel state information report comprises a channel state information report setting, a medium access control (MAC) control element activation of a semi-persistent channel state information report, report configuration information associated with an aperiodic channel state information report, or a channel state information resource configuration.22.The apparatus of claim 1, wherein the one or more first channel characteristics comprise a respective measured reference signal receive power for each of the first set of beams, the one or more second channel characteristics comprise a respective measured reference signal receive power for each beam of the at least the subset of beams of the second set of beams, and the one or more predicted channel characteristics comprises a respective predicted reference signal receive power for each beam of the subset of beams.23.An apparatus for wireless communication at a user equipment (UE) , comprising:one or more memories; andone or more processors coupled with the one or more memories and configured cause the UE to:measure one or more first channel characteristics associated with a first set of beams, wherein one or more predicted channel characteristics associated with a second set of beams are based at least in part on the one or more first channel characteristics, where the one or more predicted channel characteristics are generated by the UE through a machine learning model;transmit a report message that indicates a subset of beams from the second set of beams based at least in part on the one or more predicted channel characteristics;receive a control message that indicates a beam of the subset of beams based at least in part on the report message;measure a second channel characteristic associated with the beam based at least in part on a reception of a demodulation reference signal via the beam; andtransmit a message associated with a first metric that indicates performance of the machine learning model, wherein the first metric is based at least in part on a comparison of a first value and a second value, the first value comprising the second channel characteristic, and the second value that comprises a predicted channel characteristic of the one or more predicted channel characteristics corresponding to the beam.24.The apparatus of claim 23, wherein the one or more processors are further configured to cause the UE to:transmit a second message that indicates a second metric, the second metric indicates the performance of the machine learning model for a first monitoring instance of one or more monitoring instances, wherein the second message is transmitted in accordance with a first reporting occasion associated with the first monitoring instance, the first reporting occasion is after a second reporting occasion that is associated with a second monitoring instance of the one or more monitoring instances and transmission of the message.25.The apparatus of claim 23, wherein the one or more processors are further configured to cause the UE to:transmit, via the message, an indication of the first metric or a second metric, or both, the second metric indicates the performance of the machine learning model for one of one or more monitoring instances, wherein the message is transmitted in accordance with a reporting occasion that is associated with a plurality of monitoring instances.26.The apparatus of claim 23, wherein the one or more processors are further configured to cause the UE to:generate a set of statistics based at least in part on the first metric and a second metric, the second metric indicates the performance of the machine learning model for one of one or more monitoring instances, the set of statistics is associated with a plurality of monitoring instances; andtransmit an indication of the set of statistics via the message.27.The apparatus of claim 23, wherein each beam of the subset of beams has a respective predicted channel characteristic higher than that of each beam of the second set of beams excluded from the subset of beams.28.The apparatus of claim 23, wherein the subset of beams has an order in accordance with the one or more predicted channel characteristics, and the message indicates the beam indicates a position of the beam in the order.29.An apparatus for wireless communication at a network entity, comprising:one or more memories; andone or more processors coupled with the one or more memories and configured to cause the network entity to:output a set of one or more reference signals via at least a subset of beams from a set of beams; andobtain a first message associated with a first metric that indicates performance of a machine learning model, wherein the first metric is based at least in part on a difference between a first value and a second value, wherein the first value comprises a first channel characteristic corresponding to a first beam of the at least the subset of beams of the set of beams, and wherein the second value comprises a second channel characteristic corresponding to a second beam of the at least the subset of beams or a predicted channel characteristic corresponding to the first beam.30.An apparatus for wireless communication at a network entity, comprising:one or more memories; andone or more processors coupled with the one or more memories and configured to cause the network entity to:obtain a report message that indicates a subset of beams from a set of beams based at least in part on one or more predicted channel characteristics;output a control message that indicates a beam of the subset of beams based at least in part on the report message; andobtain a message associated with a first metric that indicates performance of a machine learning model, wherein the first metric is based at least in part on difference between a first value and a second value, the first value comprising a second channel characteristic based at least in part on a demodulation reference signal associated with the beam, and the second value comprising a predicted channel characteristic corresponding to the beam.

Images