Multi-stage machine learning model monitoring

Abstract

Methods, systems, and devices for wireless communication are described. For example, the described techniques provide for performing a first monitoring procedure including monitoring performance of each respective machine learning model of a set of machine learning models configured at a network entity. The network entity may determine, based on the first monitoring procedure, a first subset of the set of machine learning models. The network entity may perform a second monitoring procedure including monitoring performance of each respective machine learning model of the first subset of the set of machine learning models.

Description

MULTI-STAGE MACHINE LEARNING MODEL MONITORING

[0001] INTRODUCTION

[0002] The following relates to wireless communications that pertain to monitoring machine learning models. Wireless communication systems are widely deployed to provide various types of communication content such as voice, video, packet data, messaging, broadcast, and so on. These systems may be capable of supporting communication with multiple users by sharing the available system resources (e.g., time, frequency, and power) . Examples of such multiple-access systems include fourth generation (4G) systems such as Long Term Evolution (LTE) systems, LTE-Advanced (LTE-A) systems, or LTE-A Pro systems, and fifth generation (5G) systems which may be referred to as New Radio (NR) systems. These systems may employ technologies such as code division multiple access (CDMA) , time division multiple access (TDMA) , frequency division multiple access (FDMA) , orthogonal FDMA (OFDMA) , or discrete Fourier transform spread orthogonal frequency division multiplexing (DFT-S-OFDM) . A wireless multiple-access communications system may include one or more base stations, each supporting wireless communication for communication devices, which may be known as user equipment (UE) .SUMMARY

[0003] The described techniques relate to improved methods, systems, devices, and apparatuses that support multi-stage machine learning model monitoring. For example, the described techniques provide for performing a first monitoring procedure in a first monitoring stage. The first monitoring procedure is used to monitor performance of each respective machine learning model of a set of machine learning models configured at a network entity. The network entity may determine, based on the first monitoring procedure, a first subset of the set of machine learning models. The first subset may be one or more and represents those machine learning models that are most accurate for the conditions in which the network entity is operating. The network entity may then perform a second monitoring procedure during a second monitoring stage. The second monitoring procedure may be different from the first monitoring procedure and may include monitoring performance of each respective machine learning model of the first subset of the set of machine learning models.

[0004] A method by a network entity is described. The method may include performing a first monitoring procedure, where performing the first monitoring procedure includes  monitoring performance of each respective machine learning model of a set of machine learning models configured at the network entity such that the set of machine learning models are executable by the network entity, determining, based on the first monitoring procedure, a first subset of the set of machine learning models, and performing a second monitoring procedure, where performing the second monitoring procedure includes monitoring performance of each respective machine learning model of the first subset of the set of machine learning models.

[0005] A network entity is described. The network entity may include one or more memories storing processor executable code, and one or more processors coupled with the one or more memories. The one or more processors may individually or collectively operable to execute the code to cause the network entity to perform a first monitoring procedure, where performing the first monitoring procedure includes monitoring performance of each respective machine learning model of a set of machine learning models configured at the network entity such that the set of machine learning models are executable by the network entity, determine, based on the first monitoring procedure, a first subset of the set of machine learning models, and perform a second monitoring procedure, where performing the second monitoring procedure includes monitoring performance of each respective machine learning model of the first subset of the set of machine learning models.

[0006] Another network entity is described. The network entity may include means for performing a first monitoring procedure, where performing the first monitoring procedure includes monitoring performance of each respective machine learning model of a set of machine learning models configured at the network entity such that the set of machine learning models are executable by the network entity, means for determining, based on the first monitoring procedure, a first subset of the set of machine learning models, and means for performing a second monitoring procedure, where performing the second monitoring procedure includes monitoring performance of each respective machine learning model of the first subset of the set of machine learning models.

[0007] A non-transitory computer-readable medium having code stored thereon is described. The code may when executed, cause an apparatus to perform a first monitoring procedure, where performing the first monitoring procedure includes monitoring performance of each respective machine learning model of a set of machine learning models configured at the network entity such that the set of machine learning models are executable by the network  entity, determine, based on the first monitoring procedure, a first subset of the set of machine learning models, and perform a second monitoring procedure, where performing the second monitoring procedure includes monitoring performance of each respective machine learning model of the first subset of the set of machine learning models.

[0008] In some examples of the method, network entities, and non-transitory computer-readable medium described herein, where determining the first subset of the set of machine learning models may include operations, features, means, or instructions for comparing the input data distribution information to an operating data distribution corresponding to one or more operating conditions of the processing system, where the first subset of the set of machine learning models may be determined based on the comparison.

[0009] In some examples of the method, network entities, and non-transitory computer-readable medium described herein, where monitoring the performance of each respective machine learning model of the first subset of the set of machine learning models may include operations, features, means, or instructions for comparing the input-output data distribution information to an operating data distribution corresponding to one or more operating conditions of the network entity.

[0010] In some examples of the method, network entities, and non-transitory computer-readable medium described herein, where monitoring the performance of each respective machine learning model of the first subset of the set of machine learning models may include operations, features, means, or instructions for generating the input-output data distribution information based on each respective machine learning model of the first subset of the set of machine learning models.

[0011] In some examples of the method, network entities, and non-transitory computer-readable medium described herein, monitoring the performance of each respective machine learning model of the first subset of the set of machine learning models may include operations, features, means, or instructions for measuring one or more first performance-related parameters and comparing one or more second performance-related parameters associated with each respective machine learning model of the first subset of the set of machine learning models to the measured one or more first performance-related parameters.

[0012] In some examples of the method, network entities, and non-transitory computer-readable medium described herein, the second monitoring procedure may be an inference performance monitoring procedure, where the one or more second performance-related  parameters that may be compared with the one or more first performance-related parameters may be parameters that may be output by the each respective machine learning model of the first subset of the set of machine learning models.

[0013] In some examples of the method, network entities, and non-transitory computer-readable medium described herein, the second monitoring procedure may be an end-to-end or system performance monitoring procedure, where one or more performance-related parameters associated with each respective machine learning model of the first subset of the set of machine learning models may be compared with a threshold performance-related parameter.

[0014] In some examples of the method, network entities, and non-transitory computer-readable medium described herein, determining the first subset of the set of machine learning models may include operations, features, means, or instructions for determining distribution similarities between training data sets associated with each respective machine learning model of the set of machine learning models and a data distribution corresponding to one or more operating conditions of the network entity and determining the first subset of the set of machine learning models based on a comparison of each respective distribution similarity to a threshold similarity.

[0015] Some examples of the method, network entities, and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for comparing, during the second monitoring procedure, input-output data distribution information to an operating data distribution corresponding to one or more operating conditions of the network entity, where the input-output data distribution information includes a respective input-output data distribution associated with each respective machine learning model of the set of machine learning models, detecting, based on the second monitoring procedure, a data drift, where the data drift may be indicative of one or more respective distribution similarities between the input-output distributions being below a threshold distribution similarity with respect to the operating data distribution, and monitoring again, in response to detection of the data drift and via the first monitoring procedure, performance of each respective machine learning model of the set of machine learning models configured at the network entity.

[0016] Some examples of the method, network entities, and non-transitory computer-readable medium described herein may further include operations, features, means, or  instructions for receiving an indication of at least one of the first monitoring procedure or the second monitoring procedure, where at least one of, performing the first monitoring procedure includes performing the first monitoring procedure in accordance with the indication, and performing the second monitoring procedure includes performing the second monitoring procedure in accordance with the indication.

[0017] Some examples of the method, network entities, and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for receiving an indication to switch from the first monitoring procedure to the second monitoring procedure, where performing the first monitoring procedure and the second monitoring procedure in accordance with the indication.

[0018] Some examples of the method, network entities, and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for determining a second subset of the set of machine learning models based on the second monitoring procedure, where the second subset includes one or more machine learning models of the first subset of the set of machine learning models and performing a third monitoring procedure, where performing the third monitoring procedure includes monitoring performance of each respective machine learning model of a second subset of the set of machine learning models.

[0019] Some examples of the method, network entities, and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for transmitting capability information indicative of a capability of the network entity to monitor the set of machine learning models via a multi-procedure monitoring process.

[0020] In some examples of the method, network entities, and non-transitory computer-readable medium described herein, the multi-procedure monitoring process includes at least the first monitoring procedure and the second monitoring procedure.

[0021] Some examples of the method, network entities, and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for transmitting, prior to application of a multi-procedure monitoring process to the set of machine learning models, an indication of at least one of the first monitoring procedure or the second monitoring procedure, where the multi-procedure monitoring process includes at least the first monitoring procedure and the second monitoring procedure.

[0022] Some examples of the method, network entities, and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for receiving a configuration for at least one of the set of machine learning models or for one or more of the first monitoring procedure or the second monitoring procedure via a radio resource control (RRC) message, a medium access control-control element (MAC-CE) message, a downlink control information (DCI) message, or a combination thereof.

[0023] In some examples of the method, network entities, and non-transitory computer-readable medium described herein, the first monitoring procedure may be of less processing complexity than the second monitoring procedure.

[0024] A method by a first network entity is described. The method may include receiving a capability report that indicates a capability of a second network entity to monitor performance of individual ones of a set of machine learning models via a multi-stage monitoring process and transmitting, to the second network entity, control information that indicates at least two or more machine learning models of the set of machine learning models, where the control information also indicates a first monitoring procedure of a first monitoring procedure type and a second monitoring procedure of a second monitoring procedure type, where the first monitoring procedure and the second monitoring procedure are for monitoring, by the second network entity, of the two or more of the set of machine learning models, and where the second monitoring procedure is based on the first monitoring procedure and where the first monitoring procedure type is of less processing complexity than the second monitoring procedure type.

[0025] A first network entity is described. The first network entity may include one or more memories storing processor executable code, and one or more processors coupled with the one or more memories. The one or more processors may individually or collectively operable to execute the code to cause the first network entity to receive a capability report that indicates a capability of a second network entity to monitor performance of individual ones of a set of machine learning models via a multi-stage monitoring process and transmit, to the second network entity, control information that indicates at least two or more machine learning models of the set of machine learning models, where the control information also indicates a first monitoring procedure of a first monitoring procedure type and a second monitoring procedure of a second monitoring procedure type, where the first monitoring  procedure and the second monitoring procedure are for monitoring, by the second network entity, of the two or more of the set of machine learning models, and where the second monitoring procedure is based on the first monitoring procedure and where the first monitoring procedure type is of less processing complexity than the second monitoring procedure type.

[0026] Another first network entity is described. The first network entity may include means for receiving a capability report that indicates a capability of a second network entity to monitor performance of individual ones of a set of machine learning models via a multi-stage monitoring process and means for transmitting, to the second network entity, control information that indicates at least two or more machine learning models of the set of machine learning models, where the control information also indicates a first monitoring procedure of a first monitoring procedure type and a second monitoring procedure of a second monitoring procedure type, where the first monitoring procedure and the second monitoring procedure are for monitoring, by the second network entity, of the two or more of the set of machine learning models, and where the second monitoring procedure is based on the first monitoring procedure and where the first monitoring procedure type is of less processing complexity than the second monitoring procedure type.

[0027] A non-transitory computer-readable medium having code stored thereon is described. The code may, when executed, cause an apparatus to receive a capability report that indicates a capability of a second network entity to monitor performance of individual ones of a set of machine learning models via a multi-stage monitoring process and transmit, to the second network entity, control information that indicates at least two or more machine learning models of the set of machine learning models, where the control information also indicates a first monitoring procedure of a first monitoring procedure type and a second monitoring procedure of a second monitoring procedure type, where the first monitoring procedure and the second monitoring procedure are for monitoring, by the second network entity, of the two or more of the set of machine learning models, and where the second monitoring procedure is based on the first monitoring procedure and where the first monitoring procedure type is of less processing complexity than the second monitoring procedure type.

[0028] Some examples of the method, first network entities, and non-transitory computer-readable medium described herein may further include operations, features, means, or  instructions for transmitting an indication for the second network entity to switch to use of one of the first monitoring procedure type or the second monitoring procedure type.

[0029] Some examples of the method, first network entities, and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for receiving, prior to application of the multi-procedure monitoring process to the two or more of the set of machine learning models, a first indication of a third monitoring procedure and transmitting, responsive to the first indication, a second indication for the second network entity to switch to use of the third monitoring procedure during the multi-stage monitoring process.

[0030] In some examples of the method, first network entities, and non-transitory computer-readable medium described herein, the control information may be included in an RRC message, a MAC-CE message, a DCI message, or a combination thereof.BRIEF DESCRIPTION OF THE DRAWINGS

[0031] FIGs. 1 and 2 show examples of wireless communication systems that support multi-stage machine learning model monitoring in accordance with one or more aspects of the present disclosure.

[0032] FIG. 3 and 4 show examples of flowcharts that support multi-stage machine learning model monitoring in accordance with one or more aspects of the present disclosure.

[0033] FIG. 5 shows an example of a process flow that supports multi-stage machine learning model monitoring in accordance with one or more aspects of the present disclosure.

[0034] FIGs. 6 and 7 show block diagrams of devices that support multi-stage machine learning model monitoring in accordance with one or more aspects of the present disclosure.

[0035] FIG. 8 shows a block diagram of a communications manager that supports multi-stage machine learning model monitoring in accordance with one or more aspects of the present disclosure.

[0036] FIG. 9 shows a diagram of a system including a device that supports multi-stage machine learning model monitoring in accordance with one or more aspects of the present disclosure.

[0037] FIGs. 10 through 12 show flowcharts illustrating methods that support multi-stage machine learning model monitoring in accordance with one or more aspects of the present disclosure.DETAILED DESCRIPTION

[0038] A wireless device, such as a user equipment (UE) or a base station or a component thereof, each of which may be referenced herein as network entities, may perform machine learning model monitoring. For example, a wireless device may be configured with multiple machine learning models. To verify the accuracy of a given model for the conditions that the wireless device is operating in, the wireless device may monitor each of the machine learning models to determine which model, if any, is appropriate to use. As an example, the wireless device may monitor for a discrepancy between data and a machine learning model (e.g., data-concept drift) after the machine learning model is deployed. The machine learning model may deviate from the data based on a change in one or more operating conditions. For example, the machine learning model may be associated with a set of operating conditions (e.g., associated with a training dataset for the machine learning model) , and the performance of the model may be degraded when operating outside of the set of operating conditions. As such, the wireless device may monitor the machine learning model to determine if the set of operating conditions are or are not met, and switch to a different machine learning model or non-machine learning baseline, re-train the machine learning model under a different environment, or the like based on determining that the set of operating conditions are not met. In some cases, the wireless device may be configured with a set of machine learning models and may monitor the set to determine which machine learning model is best suited to the operating conditions. However, monitoring the set of machine learning models may be associated with high complexity and excessive processing requirements.

[0039] In order to reduce overall processing associated with the monitoring of multiple machine learning models, a wireless device may perform machine learning model monitoring through a multi-stage process. A wireless device may monitor the set of machine learning models according to at least a first monitoring procedure during a first monitoring stage and a second monitoring procedure during a second monitoring stage. For example, the first monitoring procedure may be applied to all configured machine learning models at the wireless device, and might utilize a monitoring procedure that is not as processing-intensive as other potential monitoring procedures. For example, the first monitoring procedure may  monitor model performance without actually running or executing each model (e.g., through monitoring an input data distribution of each model and comparing the respective input data distributions with current operating conditions) . The wireless device may determine a subset of the set of machine learning models based on the first monitoring procedure. For example, the wireless device may determine a subset of machine learning models whose input data distributions are most similar to the operating conditions. Then, once the total quantity of machine learning models has been narrowed through the first monitoring stage, the wireless device may perform the second monitoring procedure (during the second monitoring stage) to monitor the subset of machine learning models. The second monitoring procedure may be more processing-intensive than the first monitoring procedure, which may be acceptable as the second monitoring procedure is only to be applied to the subset of machine learning models. For example, the second monitoring procedure may include running each model (e.g., to allow for comparison of operating conditions and actual measurements with an input-output data distribution for a model, or for comparison of actual device performance with predicted performance via a performance-based monitoring approach, etc. ) . The wireless device may, based on the monitoring, switch a machine learning model (e.g., autonomously) , or, may signal an indication of a selected machine learning model based on the operating conditions.

[0040] Aspects of the disclosure are initially described in the context of wireless communication systems. Aspects of the disclosure are further described in the context of flowcharts and process flows. Aspects of the disclosure are further illustrated by and described with reference to apparatus diagrams, system diagrams, and flowcharts that relate to multi-stage machine learning model monitoring.

[0041] FIG. 1 shows an example of a wireless communication system 100 that supports multi-stage machine learning model monitoring in accordance with one or more aspects of the present disclosure. The wireless communication system 100 may include one or more network entities 105, one or more UEs 115, and a core network 130. In some aspects, the wireless communication system 100 may be a Long Term Evolution (LTE) network, an LTE-Advanced (LTE-A) network, an LTE-A Pro network, a New Radio (NR) network, or a network operating in accordance with other systems and radio technologies, including future systems and radio technologies not explicitly mentioned herein.

[0042] The network entities 105 may be dispersed throughout a geographic area to form the wireless communication system 100 and may include devices in different forms or having different capabilities. In various examples, a network entity 105 may be referred to as a network element, a mobility element, a radio access network (RAN) node, or network equipment, among other nomenclature. In some aspects, network entities 105 and Ues 115 may wirelessly communicate via one or more communication links 125 (e.g., a radio frequency (RF) access link) . For example, a network entity 105 may support a coverage area 110 (e.g., a geographic coverage area) over which the Ues 115 and the network entity 105 may establish one or more communication links 125. The coverage area 110 may be an example of a geographic area over which a network entity 105 and a UE 115 may support the communication of signals according to one or more radio access technologies (RATs) .

[0043] The Ues 115 may be dispersed throughout a coverage area 110 of the wireless communication system 100, and each UE 115 may be stationary, or mobile, or both at different times. The Ues 115 may be devices in different forms or having different capabilities. Some example Ues 115 are illustrated in FIG. 1. The Ues 115 described herein may be capable of supporting communications with various types of devices, such as other Ues 115 or network entities 105, as shown in FIG. 1.

[0044] As described herein, a network entity (which may alternatively be referred to as an entity, a node, a network node, or a wireless entity) may be, be similar to, include, or be included in (e.g., be a component of) a base station (e.g., any base station described herein, including a disaggregated base station) , a UE (e.g., any UE described herein) , a reduced capability (RedCap) device, an enhanced reduced capability (eRedCap) device, an ambient internet-of-things (IoT) device, an energy harvesting (EH) -capable device, a network controller, an apparatus, a device, a computing system, an integrated access and backhauling (IAB) node, a distributed unit (DU) , a central unit (CU) , a remote / radio unit (RU) (which may also be referred to as a remote radio unit (RRU) ) , and / or another processing entity configured to perform any of the techniques described herein. For example, a network entity may be a UE. As another example, a network entity may be a base station. As used herein, “network entity” may refer to an entity that is configured to operate in a network, such as the network 105. For example, a “network entity” is not limited to an entity that is currently located in and / or currently operating in the network. Rather, a network entity may be any entity that is capable of communicating and / or operating in the network.

[0045] The adjectives “first, ” “second, ” “third, ” and so on are used for contextual distinction between two or more of the modified noun in connection with a discussion and are not meant to be absolute modifiers that apply only to a certain respective entity throughout the entire document. For example, a network entity may be referred to as a “first network entity” in connection with one discussion and may be referred to as a “second network entity” in connection with another discussion, or vice versa. As an example, a first network entity may be configured to communicate with a second network entity or a third network entity. In one aspect of this example, the first network entity may be a UE, the second network entity may be a base station, and the third network entity may be a UE. In another aspect of this example, the first network entity may be a UE, the second network entity may be a base station, and the third network entity may be a base station. In yet other aspects of this example, the first, second, and third network entities may be different relative to these examples.

[0046] Similarly, reference to a UE, base station, apparatus, device, computing system, or the like may include disclosure of the UE, base station, apparatus, device, computing system, or the like being a network entity. For example, disclosure that a UE is configured to receive information from a base station also discloses that a first network entity is configured to receive information from a second network entity. Consistent with this disclosure, once a specific example is broadened in accordance with this disclosure (e.g., a UE is configured to receive information from a base station also discloses that a first network entity is configured to receive information from a second network entity) , the broader example of the narrower example may be interpreted in the reverse, but in a broad open-ended way. In the example above where a UE is configured to receive information from a base station also discloses that a first network entity is configured to receive information from a second network entity, the first network entity may refer to a first UE, a first base station, a first apparatus, a first device, a first computing system, a first set of one or more one or more components, a first processing entity, or the like configured to receive the information; and the second network entity may refer to a second UE, a second base station, a second apparatus, a second device, a second computing system, a second set of one or more components, a second processing entity, or the like.

[0047] As described herein, communication of information (e.g., any information, signal, or the like) may be described in various aspects using different terminology. Disclosure of one communication term includes disclosure of other communication terms. For example, a  first network entity may be described as being configured to transmit information to a second network entity. In this example and consistent with this disclosure, disclosure that the first network entity is configured to transmit information to the second network entity includes disclosure that the first network entity is configured to provide, send, output, communicate, or transmit information to the second network entity. Similarly, in this example and consistent with this disclosure, disclosure that the first network entity is configured to transmit information to the second network entity includes disclosure that the second network entity is configured to receive, obtain, or decode the information that is provided, sent, output, communicated, or transmitted by the first network entity.

[0048] As shown, the network entity (e.g., network entity 105) may include a processing system 106. Similarly, the network entity (e.g., UE 115) may include a processing system 112. A processing system may include one or more components (or subcomponents) , such as one or more components described herein. For example, a respective component of the one or more components may be, be similar to, include, or be included in at least one memory, at least one communication interface, or at least one processor. For example, a processing system may include one or more components. In such an example, the one or more components may include a first component, a second component, and a third component. In this example, the first component may be coupled to a second component and a third component. In this example, the first component may be at least one processor, the second component may be a communication interface, and the third component may be at least one memory. A processing system may generally be a system one or more components that may perform one or more functions, such as any function or combination of functions described herein. For example, one or more components may receive input information (e.g., any information that is an input, such as a signal, any digital information, or any other information) , one or more components may process the input information to generate output information (e.g., any information that is an output, such as a signal or any other information) , one or more components may perform any function as described herein, or any combination thereof. As described herein, an “input” and “input information” may be used interchangeably. Similarly, as described herein, an “output” and “output information” may be used interchangeably. Any information generated by any component may be provided to one or more other systems or components of, for example, a network entity described herein) . For example, a processing system may include a first component configured to receive or obtain information, a second component configured to process the information to generate  output information, and / or a third component configured to provide the output information to other systems or components. In this example, the first component may be a communication interface (e.g., a first communication interface) , the second component may be at least one processor (e.g., that is coupled to the communication interface and / or at least one memory) , and the third component may be a communication interface (e.g., the first communication interface or a second communication interface) . For example, a processing system may include at least one memory, at least one communication interface, and / or at least one processor, where the at least one processor may, for example, be coupled to the at least one memory and the at least one communication interface.

[0049] A processing system of a network entity described herein may interface with one or more other components of the network entity, may process information received from one or more other components (such as input information) , or may output information to one or more other components. For example, a processing system may include a first component configured to interface with one or more other components of the network entity to receive or obtain information, a second component configured to process the information to generate one or more outputs, and / or a third component configured to output the one or more outputs to one or more other components. In this example, the first component may be a communication interface (e.g., a first communication interface) , the second component may be at least one processor (e.g., that is coupled to the communication interface and / or at least one memory) , and the third component may be a communication interface (e.g., the first communication interface or a second communication interface) . For example, a chip or modem of the network entity may include a processing system. The processing system may include a first communication interface to receive or obtain information, and a second communication interface to output, transmit, or provide information. In some aspects, the first communication interface may be an interface configured to receive input information, and the information may be provided to the processing system. In some aspects, the second system interface may be configured to transmit information output from the chip or modem. The second communication interface may also obtain or receive input information, and the first communication interface may also output, transmit, or provide information.

[0050] In some aspects, network entities 105 may communicate with the core network 130, or with one another, or both. For example, network entities 105 may communicate with the core network 130 via one or more backhaul communication links 120 (e.g., in accordance with an S1, N2, N3, or other interface protocol) . In some aspects, network entities 105 may  communicate with one another via a backhaul communication link 120 (e.g., in accordance with an X2, Xn, or other interface protocol) either directly (e.g., directly between network entities 105) or indirectly (e.g., via a core network 130) . In some aspects, network entities 105 may communicate with one another via a midhaul communication link 162 (e.g., in accordance with a midhaul interface protocol) or a fronthaul communication link 168 (e.g., in accordance with a fronthaul interface protocol) , or any combination thereof. The backhaul communication links 120, midhaul communication links 162, or fronthaul communication links 168 may be or include one or more wired links (e.g., an electrical link, an optical fiber link) , one or more wireless links (e.g., a radio link, a wireless optical link) , among other examples or various combinations thereof. A UE 115 may communicate with the core network 130 via a communication link 155.

[0051] One or more of the network entities 105 described herein may include or may be referred to as a base station 140 (e.g., a base transceiver station, a radio base station, an NR base station, an access point, a radio transceiver, a NodeB, an eNodeB (eNB) , a next-generation NodeB or a giga-NodeB (either of which may be referred to as a gNB) , a 5G NB, a next-generation eNB (ng-eNB) , a Home NodeB, a Home eNodeB, or other suitable terminology) . In some aspects, a network entity 105 (e.g., a base station 140) may be implemented in an aggregated (e.g., monolithic, standalone) base station architecture, which may be configured to utilize a protocol stack that is physically or logically integrated within a single network entity 105 (e.g., a single RAN node, such as a base station 140) .

[0052] In some aspects, a network entity 105 may be implemented in a disaggregated architecture (e.g., a disaggregated base station architecture, a disaggregated RAN architecture) , which may be configured to utilize a protocol stack that is physically or logically distributed among two or more network entities 105, such as an integrated access backhaul (IAB) network, an open RAN (O-RAN) (e.g., a network configuration sponsored by the O-RAN Alliance) , or a virtualized RAN (vRAN) (e.g., a cloud RAN (C-RAN) ) . For example, a network entity 105 may include one or more of a central unit (CU) 160, a distributed unit (DU) 165, a radio unit (RU) 170, a RAN Intelligent Controller (RIC) 175 (e.g., a Near-Real Time RIC (Near-RT RIC) , a Non-Real Time RIC (Non-RT RIC) ) , a Service Management and Orchestration (SMO) 180 system, or any combination thereof. An RU 170 may also be referred to as a radio head, a smart radio head, a remote radio head (RRH) , a remote radio unit (RRU) , or a transmission reception point (TRP) . One or more components of the network entities 105 in a disaggregated RAN architecture may be co- located, or one or more components of the network entities 105 may be located in distributed locations (e.g., separate physical locations) . In some aspects, one or more network entities 105 of a disaggregated RAN architecture may be implemented as virtual units (e.g., a virtual CU (VCU) , a virtual DU (VDU) , a virtual RU (VRU) ) .

[0053] The split of functionality between a CU 160, a DU 165, and an RU 170 is flexible and may support different functionalities depending on which functions (e.g., network layer functions, protocol layer functions, baseband functions, RF functions, and any combinations thereof) are performed at a CU 160, a DU 165, or an RU 170. For example, a functional split of a protocol stack may be employed between a CU 160 and a DU 165 such that the CU 160 may support one or more layers of the protocol stack and the DU 165 may support one or more different layers of the protocol stack. In some aspects, the CU 160 may host upper protocol layer (e.g., layer 3 (L3) , layer 2 (L2) ) functionality and signaling (e.g., Radio Resource Control (RRC) , service data adaption protocol (SDAP) , Packet Data Convergence Protocol (PDCP) ) . The CU 160 may be connected to one or more Dus 165 or Rus 170, and the one or more DUs 165 or RUs 170 may host lower protocol layers, such as layer 1 (L1) (e.g., physical (PHY) layer) or L2 (e.g., radio link control (RLC) layer, medium access control (MAC) layer) functionality and signaling, and may each be at least partially controlled by the CU 160. Additionally, or alternatively, a functional split of the protocol stack may be employed between a DU 165 and an RU 170 such that the DU 165 may support one or more layers of the protocol stack and the RU 170 may support one or more different layers of the protocol stack. The DU 165 may support one or multiple different cells (e.g., via one or more Rus 170) . In some cases, a functional split between a CU 160 and a DU 165, or between a DU 165 and an RU 170 may be within a protocol layer (e.g., some functions for a protocol layer may be performed by one of a CU 160, a DU 165, or an RU 170, while other functions of the protocol layer are performed by a different one of the CU 160, the DU 165, or the RU 170) . A CU 160 may be functionally split further into CU control plane (CU-CP) and CU user plane (CU-UP) functions. A CU 160 may be connected to one or more Dus 165 via a midhaul communication link 162 (e.g., F1, F1-c, F1-u) , and a DU 165 may be connected to one or more Rus 170 via a fronthaul communication link 168 (e.g., open fronthaul (FH) interface) . In some aspects, a midhaul communication link 162 or a fronthaul communication link 168 may be implemented in accordance with an interface (e.g., a channel) between layers of a protocol stack supported by respective network entities 105 that are in communication via such communication links.

[0054] In wireless communication systems (e.g., wireless communication system 100) , infrastructure and spectral resources for radio access may support wireless backhaul link capabilities to supplement wired backhaul connections, providing an IAB network architecture (e.g., to a core network 130) . In some cases, in an IAB network, one or more network entities 105 (e.g., IAB nodes 104) may be partially controlled by each other. One or more IAB nodes 104 may be referred to as a donor entity or an IAB donor. One or more Dus 165 or one or more Rus 170 may be partially controlled by one or more Cus 160 associated with a donor network entity 105 (e.g., a donor base station 140) . The one or more donor network entities 105 (e.g., IAB donors) may be in communication with one or more additional network entities 105 (e.g., IAB nodes 104) via supported access and backhaul links (e.g., backhaul communication links 120) . IAB nodes 104 may include an IAB mobile termination (IAB-MT) controlled (e.g., scheduled) by Dus 165 of a coupled IAB donor. An IAB-MT may include an independent set of antennas for relay of communications with Ues 115, or may share the same antennas (e.g., of an RU 170) of an IAB node 104 used for access via the DU 165 of the IAB node 104 (e.g., referred to as virtual IAB-MT (vIAB-MT) ) . In some aspects, the IAB nodes 104 may include DUs 165 that support communication links with additional entities (e.g., IAB nodes 104, Ues 115) within the relay chain or configuration of the access network (e.g., downstream) . In such cases, one or more components of the disaggregated RAN architecture (e.g., one or more IAB nodes 104 or components of IAB nodes 104) may be configured to operate according to the techniques described herein.

[0055] In the case of the techniques described herein applied in the context of a disaggregated RAN architecture, one or more components of the disaggregated RAN architecture may be configured to support multi-stage machine learning model monitoring as described herein. For example, some operations described as being performed by a UE 115 or a network entity 105 (e.g., a base station 140) may additionally, or alternatively, be performed by one or more components of the disaggregated RAN architecture (e.g., IAB nodes 104, Dus 165, Cus 160, Rus 170, RIC 175, SMO 180) .

[0056] A UE 115 may include or may be referred to as a mobile device, a wireless device, a remote device, a handheld device, or a subscriber device, or some other suitable terminology, where the “device” may also be referred to as a unit, a station, a terminal, or a client, among other examples. A UE 115 may also include or may be referred to as a personal electronic device such as a cellular phone, a personal digital assistant (PDA) , a tablet computer, a laptop computer, or a personal computer. In some aspects, a UE 115 may  include or be referred to as a wireless local loop (WLL) station, an Internet of Things (IoT) device, an Internet of Everything (IoE) device, or a machine type communications (MTC) device, among other examples, which may be implemented in various objects such as appliances, or vehicles, meters, among other examples.

[0057] The Ues 115 described herein may be able to communicate with various types of devices, such as other Ues 115 that may sometimes act as relays as well as the network entities 105 and the network equipment including macro eNBs or gNBs, small cell eNBs or gNBs, or relay base stations, among other examples, as shown in FIG. 1.

[0058] The Ues 115 and the network entities 105 may wirelessly communicate with one another via one or more communication links 125 (e.g., an access link) using resources associated with one or more carriers. The term “carrier” may refer to a set of RF spectrum resources having a defined physical layer structure for supporting the communication links 125. For example, a carrier used for a communication link 125 may include a portion of a RF spectrum band (e.g., a bandwidth part (BWP) ) that is operated according to one or more physical layer channels for a given radio access technology (e.g., LTE, LTE-A, LTE-A Pro, NR) . Each physical layer channel may carry acquisition signaling (e.g., synchronization signals, system information) , control signaling that coordinates operation for the carrier, user data, or other signaling. The wireless communication system 100 may support communication with a UE 115 using carrier aggregation or multi-carrier operation. A UE 115 may be configured with multiple downlink component carriers and one or more uplink component carriers according to a carrier aggregation configuration. Carrier aggregation may be used with both frequency division duplexing (FDD) and time division duplexing (TDD) component carriers. Communication between a network entity 105 and other devices may refer to communication between the devices and any portion (e.g., entity, sub-entity) of a network entity 105. For example, the terms “transmitting, ” “receiving, ” or “communicating, ” when referring to a network entity 105, may refer to any portion of a network entity 105 (e.g., a base station 140, a CU 160, a DU 165, a RU 170) of a RAN communicating with another device (e.g., directly or via one or more other network entities 105) .

[0059] Signal waveforms transmitted via a carrier may be made up of multiple subcarriers (e.g., using multi-carrier modulation (MCM) techniques such as orthogonal frequency division multiplexing (OFDM) or discrete Fourier transform spread OFDM (DFT-S-OFDM) ) . In a system employing MCM techniques, a resource element may refer to  resources of one symbol period (e.g., a duration of one modulation symbol) and one subcarrier, in which case the symbol period and subcarrier spacing may be inversely related. The quantity of bits carried by each resource element may depend on the modulation scheme (e.g., the order of the modulation scheme, the coding rate of the modulation scheme, or both) , such that a relatively higher quantity of resource elements (e.g., in a transmission duration) and a relatively higher order of a modulation scheme may correspond to a relatively higher rate of communication. A wireless communications resource may refer to a combination of an RF spectrum resource, a time resource, and a spatial resource (e.g., a spatial layer, a beam) , and the use of multiple spatial resources may increase the data rate or data integrity for communications with a UE 115.

[0060] The time intervals for the network entities 105 or the Ues 115 may be expressed in multiples of a basic time unit which may, for example, refer to a sampling period of Ts=1 /  (Δfmax·Nf) seconds, for which Δfmax may represent a supported subcarrier spacing, and Nf may represent a supported discrete Fourier transform (DFT) size. Time intervals of a communications resource may be organized according to radio frames each having a specified duration (e.g., 10 milliseconds (ms) ) . Each radio frame may be identified by a system frame number (SFN) (e.g., ranging from 0 to 1023) .

[0061] Each frame may include multiple consecutively-numbered subframes or slots, and each subframe or slot may have the same duration. In some aspects, a frame may be divided (e.g., in the time domain) into subframes, and each subframe may be further divided into a quantity of slots. Alternatively, each frame may include a variable quantity of slots, and the quantity of slots may depend on subcarrier spacing. Each slot may include a quantity of symbol periods (e.g., depending on the length of the cyclic prefix prepended to each symbol period) . In some wireless communication systems 100, a slot may further be divided into multiple mini-slots associated with one or more symbols. Excluding the cyclic prefix, each symbol period may be associated with one or more (e.g., Nf) sampling periods. The duration of a symbol period may depend on the subcarrier spacing or frequency band of operation.

[0062] A subframe, a slot, a mini-slot, or a symbol may be the smallest scheduling unit (e.g., in the time domain) of the wireless communication system 100 and may be referred to as a transmission time interval (TTI) . In some aspects, the TTI duration (e.g., a quantity of symbol periods in a TTI) may be variable. Additionally, or alternatively, the smallest  scheduling unit of the wireless communication system 100 may be dynamically selected (e.g., in bursts of shortened TTIs (sTTIs) ) .

[0063] Physical channels may be multiplexed for communication using a carrier according to various techniques. A physical control channel and a physical data channel may be multiplexed for signaling via a downlink carrier, for example, using one or more of time division multiplexing (TDM) techniques, frequency division multiplexing (FDM) techniques, or hybrid TDM-FDM techniques. A control region (e.g., a control resource set (CORESET) ) for a physical control channel may be defined by a set of symbol periods and may extend across the system bandwidth or a subset of the system bandwidth of the carrier. One or more control regions (e.g., CORESETs) may be configured for a set of the Ues 115. For example, one or more of the Ues 115 may monitor or search control regions for control information according to one or more search space sets, and each search space set may include one or multiple control channel candidates in one or more aggregation levels arranged in a cascaded manner. An aggregation level for a control channel candidate may refer to an amount of control channel resources (e.g., control channel elements (CCEs) ) associated with encoded information for a control information format having a given payload size. Search space sets may include common search space sets configured for sending control information to multiple Ues 115 and UE-specific search space sets for sending control information to a specific UE 115.

[0064] In some aspects, a network entity 105 (e.g., a base station 140, an RU 170) may be movable and therefore provide communication coverage for a moving coverage area 110. In some aspects, different coverage areas 110 associated with different technologies may overlap, but the different coverage areas 110 may be supported by the same network entity 105. In some other examples, the overlapping coverage areas 110 associated with different technologies may be supported by different network entities 105. The wireless communication system 100 may include, for example, a heterogeneous network in which different types of the network entities 105 provide coverage for various coverage areas 110 using the same or different radio access technologies.

[0065] Some Ues 115, such as MTC or IoT devices, may be low cost or low complexity devices and may provide for automated communication between machines (e.g., via Machine-to-Machine (M2M) communication) . M2M communication or MTC may refer to data communication technologies that allow devices to communicate with one another or a  network entity 105 (e.g., a base station 140) without human intervention. In some aspects, M2M communication or MTC may include communications from devices that integrate sensors or meters to measure or capture information and relay such information to a central server or application program that uses the information or presents the information to humans interacting with the application program. Some Ues 115 may be designed to collect information or enable automated behavior of machines or other devices. Examples of applications for MTC devices include smart metering, inventory monitoring, water level monitoring, equipment monitoring, healthcare monitoring, wildlife monitoring, weather and geological event monitoring, fleet management and tracking, remote security sensing, physical access control, and transaction-based business charging.

[0066] The wireless communication system 100 may be configured to support ultra-reliable communications or low-latency communications, or various combinations thereof. For example, the wireless communication system 100 may be configured to support ultra-reliable low-latency communications (URLLC) . The Ues 115 may be designed to support ultra-reliable, low-latency, or critical functions. Ultra-reliable communications may include private communication or group communication and may be supported by one or more services such as push-to-talk, video, or data. Support for ultra-reliable, low-latency functions may include prioritization of services, and such services may be used for public safety or general commercial applications. The terms ultra-reliable, low-latency, and ultra-reliable low-latency may be used interchangeably herein.

[0067] In some aspects, a UE 115 may be configured to support communicating directly with other Ues 115 via a device-to-device (D2D) communication link 135 (e.g., in accordance with a peer-to-peer (P2P) , D2D, or sidelink protocol) . In some aspects, one or more Ues 115 of a group that are performing D2D communications may be within the coverage area 110 of a network entity 105 (e.g., a base station 140, an RU 170) , which may support aspects of such D2D communications being configured by (e.g., scheduled by) the network entity 105. In some aspects, one or more Ues 115 of such a group may be outside the coverage area 110 of a network entity 105 or may be otherwise unable to or not configured to receive transmissions from a network entity 105. In some aspects, groups of the Ues 115 communicating via D2D communications may support a one-to-many (1: M) system in which each UE 115 transmits to each of the other Ues 115 in the group. In some aspects, a network entity 105 may facilitate the scheduling of resources for D2D  communications. In some other examples, D2D communications may be carried out between the Ues 115 without an involvement of a network entity 105.

[0068] In some systems, a D2D communication link 135 may be an example of a communication channel, such as a sidelink communication channel, between vehicles (e.g., Ues 115) . In some aspects, vehicles may communicate using vehicle-to-everything (V2X) communications, vehicle-to-vehicle (V2V) communications, or some combination of these. A vehicle may signal information related to traffic conditions, signal scheduling, weather, safety, emergencies, or any other information relevant to a V2X system. In some aspects, vehicles in a V2X system may communicate with roadside infrastructure, such as roadside units, or with the network via one or more network nodes (e.g., network entities 105, base stations 140, Rus 170) using vehicle-to-network (V2N) communications, or with both.

[0069] The core network 130 may provide user authentication, access authorization, tracking, Internet Protocol (IP) connectivity, and other access, routing, or mobility functions. The core network 130 may be an evolved packet core (EPC) or 5G core (5GC) , which may include at least one control plane entity that manages access and mobility (e.g., a mobility management entity (MME) , an access and mobility management function (AMF) ) and at least one user plane entity that routes packets or interconnects to external networks (e.g., a serving gateway (S-GW) , a Packet Data Network (PDN) gateway (P-GW) , or a user plane function (UPF) ) . The control plane entity may manage non-access stratum (NAS) functions such as mobility, authentication, and bearer management for the Ues 115 served by the network entities 105 (e.g., base stations 140) associated with the core network 130. User IP packets may be transferred through the user plane entity, which may provide IP address allocation as well as other functions. The user plane entity may be connected to IP services 150 for one or more network operators. The IP services 150 may include access to the Internet, Intranet (s) , an IP Multimedia Subsystem (IMS) , or a Packet-Switched Streaming Service.

[0070] The wireless communication system 100 may operate using one or more frequency bands, which may be in the range of 300 megahertz (MHz) to 300 gigahertz (GHz) . Generally, the region from 300 MHz to 3 GHz is known as the ultra-high frequency (UHF) region or decimeter band because the wavelengths range from approximately one decimeter to one meter in length. UHF waves may be blocked or redirected by buildings and environmental features, which may be referred to as clusters, but the waves may penetrate  structures sufficiently for a macro cell to provide service to the UEs 115 located indoors. Communications using UHF waves may be associated with smaller antennas and shorter ranges (e.g., less than 100 kilometers) compared to communications using the smaller frequencies and longer waves of the high frequency (HF) or very high frequency (VHF) portion of the spectrum below 300 MHz.

[0071] The wireless communication system 100 may utilize both licensed and unlicensed RF spectrum bands. For example, the wireless communication system 100 may employ License Assisted Access (LAA) , LTE-Unlicensed (LTE-U) radio access technology, or NR technology using an unlicensed band such as the 5 GHz industrial, scientific, and medical (ISM) band. While operating using unlicensed RF spectrum bands, devices such as the network entities 105 and the UEs 115 may employ carrier sensing for collision detection and avoidance. In some aspects, operations using unlicensed bands may be based on a carrier aggregation configuration in conjunction with component carriers operating using a licensed band (e.g., LAA) . Operations using unlicensed spectrum may include downlink transmissions, uplink transmissions, P2P transmissions, or D2D transmissions, among other examples.

[0072] A network entity 105 (e.g., a base station 140, an RU 170) or a UE 115 may be equipped with multiple antennas, which may be used to employ techniques such as transmit diversity, receive diversity, multiple-input multiple-output (MIMO) communications, or beamforming. The antennas of a network entity 105 or a UE 115 may be located within one or more antenna arrays or antenna panels, which may support MIMO operations or transmit or receive beamforming. For example, one or more base station antennas or antenna arrays may be co-located at an antenna assembly, such as an antenna tower. In some aspects, antennas or antenna arrays associated with a network entity 105 may be located at diverse geographic locations. A network entity 105 may include an antenna array with a set of rows and columns of antenna ports that the network entity 105 may use to support beamforming of communications with a UE 115. Likewise, a UE 115 may include one or more antenna arrays that may support various MIMO or beamforming operations. Additionally, or alternatively, an antenna panel may support RF beamforming for a signal transmitted via an antenna port.

[0073] Beamforming, which may also be referred to as spatial filtering, directional transmission, or directional reception, is a signal processing technique that may be used at a  transmitting device or a receiving device (e.g., a network entity 105, a UE 115) to shape or steer an antenna beam (e.g., a transmit beam, a receive beam) along a spatial path between the transmitting device and the receiving device. Beamforming may be achieved by combining the signals communicated via antenna elements of an antenna array such that some signals propagating along particular orientations with respect to an antenna array experience constructive interference while others experience destructive interference. The adjustment of signals communicated via the antenna elements may include a transmitting device or a receiving device applying amplitude offsets, phase offsets, or both to signals carried via the antenna elements associated with the device. The adjustments associated with each of the antenna elements may be defined by a beamforming weight set associated with a particular orientation (e.g., with respect to the antenna array of the transmitting device or receiving device, or with respect to some other orientation) .

[0074] A network entity 105 or a UE 115 may use beam sweeping techniques as part of beamforming operations. For example, a network entity 105 (e.g., a base station 140, an RU 170) may use multiple antennas or antenna arrays (e.g., antenna panels) to conduct beamforming operations for directional communications with a UE 115. Some signals (e.g., synchronization signals, reference signals, beam selection signals, or other control signals) may be transmitted by a network entity 105 multiple times along different directions. For example, the network entity 105 may transmit a signal according to different beamforming weight sets associated with different directions of transmission. Transmissions along different beam directions may be used to identify (e.g., by a transmitting device, such as a network entity 105, or by a receiving device, such as a UE 115) a beam direction for later transmission or reception by the network entity 105.

[0075] Some signals, such as data signals associated with a particular receiving device, may be transmitted by transmitting device (e.g., a transmitting network entity 105, a transmitting UE 115) along a single beam direction (e.g., a direction associated with the receiving device, such as a receiving network entity 105 or a receiving UE 115) . In some aspects, the beam direction associated with transmissions along a single beam direction may be determined based on a signal that was transmitted along one or more beam directions. For example, a UE 115 may receive one or more of the signals transmitted by the network entity 105 along different directions and may report to the network entity 105 an indication of the signal that the UE 115 received with a highest signal quality or an otherwise acceptable signal quality.

[0076] In some aspects, transmissions by a device (e.g., by a network entity 105 or a UE 115) may be performed using multiple beam directions, and the device may use a combination of digital precoding or beamforming to generate a combined beam for transmission (e.g., from a network entity 105 to a UE 115) . The UE 115 may report feedback that indicates precoding weights for one or more beam directions, and the feedback may correspond to a configured set of beams across a system bandwidth or one or more sub-bands. The network entity 105 may transmit a reference signal (e.g., a cell-specific reference signal (CRS) , a channel state information reference signal (CSI-RS) ) , which may be precoded or unprecoded. The UE 115 may provide feedback for beam selection, which may be a precoding matrix indicator (PMI) or codebook-based feedback (e.g., a multi-panel type codebook, a linear combination type codebook, a port selection type codebook) . Although these techniques are described with reference to signals transmitted along one or more directions by a network entity 105 (e.g., a base station 140, an RU 170) , a UE 115 may employ similar techniques for transmitting signals multiple times along different directions (e.g., for identifying a beam direction for subsequent transmission or reception by the UE 115) or for transmitting a signal along a single direction (e.g., for transmitting data to a receiving device) .

[0077] A receiving device (e.g., a UE 115) may perform reception operations in accordance with multiple receive configurations (e.g., directional listening) when receiving various signals from a transmitting device (e.g., a network entity 105) , such as synchronization signals, reference signals, beam selection signals, or other control signals. For example, a receiving device may perform reception in accordance with multiple receive directions by receiving via different antenna subarrays, by processing received signals according to different antenna subarrays, by receiving according to different receive beamforming weight sets (e.g., different directional listening weight sets) applied to signals received at multiple antenna elements of an antenna array, or by processing received signals according to different receive beamforming weight sets applied to signals received at multiple antenna elements of an antenna array, any of which may be referred to as “listening” according to different receive configurations or receive directions. In some aspects, a receiving device may use a single receive configuration to receive along a single beam direction (e.g., when receiving a data signal) . The single receive configuration may be aligned along a beam direction determined based on listening according to different receive configuration directions (e.g., a beam direction determined to have a highest signal strength,  highest signal-to-noise ratio (SNR) , or otherwise acceptable signal quality based on listening according to multiple beam directions) .

[0078] The Ues 115 and the network entities 105 may support retransmissions of data to increase the likelihood that data is received successfully. Hybrid automatic repeat request (HARQ) feedback is one technique for increasing the likelihood that data is received correctly via a communication link (e.g., a communication link 125, a D2D communication link 135) . HARQ may include a combination of error detection (e.g., using a cyclic redundancy check (CRC) ) , forward error correction (FEC) , and retransmission (e.g., automatic repeat request (ARQ) ) . HARQ may improve throughput at the MAC layer in poor radio conditions (e.g., low signal-to-noise conditions) . In some aspects, a device may support same-slot HARQ feedback, in which case the device may provide HARQ feedback in a specific slot for data received via a previous symbol in the slot. In some other examples, the device may provide HARQ feedback in a subsequent slot, or according to some other time interval.

[0079] A wireless device, such as the network entity 105 or the UE 115, may perform multi-stage machine learning model monitoring. For example, the wireless device may monitor a set of machine learning models during a first monitoring stage according to at least a first monitoring procedure and then a subset of the machine learning models may be monitored during a second monitoring stage according to a second monitoring procedure. The first monitoring procedure may involve monitoring or comparing wireless device operating conditions with respective input data distributions (e.g., training data) associated with each of the machine learning models. The wireless device may determine a subset of the set of machine learning models based on the first monitoring procedure. For example, the wireless device may determine a subset of machine learning models having input data distributions most similar to the operating conditions at the wireless device. The wireless device may perform the second monitoring procedure to monitor the subset of machine learning models. For example, the second monitoring procedure may include running each model (e.g., an input-output data distribution approach where operating conditions and actual measurement at the wireless device are compared with input-output data distributions of each model in the subset, a performance-based monitoring approach where wireless device performance is compared with predicted performance of each model in the subset, etc. ) . The wireless device may, based on the monitoring, switch a machine learning model (e.g.,  autonomously) , or, may signal an indication of a selected machine learning model based on the operating conditions.

[0080] As used herein, machine learning model monitoring generally refers to monitoring of the performance of a machine learning model. Monitoring performance of a model, however, does not require that the model actually be run or executed. For example, performance of a machine learning model may be assessed based on the input data distributions associated with a specific machine learning model. Such monitoring tends to be less processing-intensive than other monitoring procedures where the models being monitored are actually executed. Performance of a model may also be assessed through running the model and comparing its predicted output or related variables with actual measurements of the wireless device. Such monitoring is generally more processing-intensive than the input data distribution procedures. Performance of a model may even be assessed through a combination of input data distribution comparisons and predicted output comparisons. Any assessment of how a machine learning model may perform or actually performs, or of the conditions in which the machine learning model is intended to perform, qualifies as an assessment of the performance of the machine learning model.

[0081] FIG. 2 shows an example of a wireless communication system 200 that supports multi-stage machine learning model monitoring in accordance with one or more aspects of the present disclosure. The wireless communication system 200 may implement or be implemented by various aspects of the wireless communication system 100. For example, the wireless communication system 200 may include a network entity 105 and a UE 115, which may represent examples of corresponding devices as described with reference to FIG. 1.

[0082] The UE 115 may use one or more machine learning models 205. In some aspects, the UE 115 may perform machine learning model monitoring. That is, the UE 115 may monitor the one or more machine learning models 205 for data drift, concept drift, or both (e.g., after deployment of the one or more machine learning models 205) . In some aspects, monitoring for data drift may be referred to as concept drift detection, learning under concept drift, or the like.

[0083] The UE 115 may monitor for a mismatch (e.g., a drift) between one or more data distributions associated with the machine learning models 205 and one or more environmental conditions associated with the UE 115 at a given time. For example, each  machine learning model of the one or more machine learning models 205 may be associated with a data distribution, which may be an example of a training dataset (e.g., conditions under which the machine learning model is trained) .

[0084] The data distribution associated with the machine learning model may represent a set of operating conditions under which the machine learning model may be used effectively (e.g., peak performance) . In some aspects, the machine learning model may be associated with degraded performance when the one or more environmental conditions at the UE 115 deviate (e.g., beyond a threshold) from the set of operating conditions associated with the machine learning model.

[0085] The UE 115 may monitor the one or more machine learning models 205 to identify data drift, and, accordingly, avoid performance degradation of the one or more machine learning models 205 associated with differences between respective sets of operating conditions of the one or more machine learning models 205 and the one or more environmental conditions at the UE 115.

[0086] The UE 115, after identifying (e.g., detecting) data drift, may switch a machine learning model of the one or more machine learning models 205 in use, fall back to a non-machine learning model, train a global machine-learning model (e.g., a generalized machine learning model associated with a broad range of operating conditions) , perform on-line retraining or calibration of the machine learning models 205, or a combination thereof.

[0087] By way of example, the UE 115 may use the one or more machine learning models 205 to select a beam of a set of beams 220. For example, the UE 115 may monitor the one or more machine learning models 205, select a machine learning model of the one or more machine learning models 205, and select the beam of the set of beams 220 based on the selected machine learning model.

[0088] The UE 115 may monitor respective performances of the one or more machine learning models 205 according to an intermediate performance monitoring approach, an end-to-end performance monitoring approach, an input data distribution similarity approach, an input-output data distribution similarity approach, or any combination thereof.

[0089] The intermediate performance monitoring approach may include determining one or more intermediate metrics associated with machine learning model performance. For example, the UE 115 may compare an output (e.g., a predicted metric) of each machine  learning model of the one or more machine learning models 205 to a measured output of the metric to evaluate the performance of each machine learning model.

[0090] For example, the intermediate performance monitoring approach may include, in the example of beam selection, the UE 115 determining a difference between a measured reference signal received power (RSRP) values of the set of beams 220 and a predicted RSRP values (e.g., according to the one or more machine learning models 205) of the set of beams 220. The UE 115 may determine one or more predicted beams (e.g., best predicted beams of the one or more machine learning models 205) based on the predicted RSRP values and one or more measured beams (e.g., best measured beams) based on the measured RSRP values. The UE 115 may compare the one or more predicted beams to the one or more measured beams (e.g., during a prediction instance) to determine a performance level of each machine learning model of the one or more machine learning models 205.

[0091] Additionally, or alternatively, the intermediate performance approach may include, in the example of interference prediction, the UE 115 determining one or more mean square error (MSE) values between predicted interference levels (e.g., according to the one or more machine learning models 205) and a measured (e.g., actual) interference level. The UE 115 may determine (e.g., identify) one or more machine learning models (e.g., most accurate machine learning models) of the one or more machine learning models 205 for one or more interference classes based on the determined one or more MSE values.

[0092] The end-to-end performance approach may include determining one or more end-to-end performance metrics associated with machine learning model performance. For example, the UE 115 may monitor one or more system performance metrics (e.g., throughput, user perceived throughput (UPT) , latency, etc. ) to evaluate the performance of the machine learning models 250.

[0093] In the example of beam selection, the UE 115 may use a machine learning model of the one or more machine learning models 205 to select a beam of the set of beams 220. The UE 115 may use the selected beam to communicate with the network entity 105 and measure a throughput (e.g., during a prediction instance) . The UE 115 may, based on the measured throughput, evaluate a performance level of the machine learning model. In some aspects, one or more factors (e.g., deep fading, a low level of link quality, etc. ) not associated with the machine learning model may affect the measured throughput. In such examples, the  end-to-end performance approach may be associated with relatively inaccurate monitoring of the one or more machine learning models 205.

[0094] The input data distribution similarity approach, the input-output data distribution similarity approach, or both may include determining (e.g., measuring) a distribution similarity between a measured input data distribution and a machine learning model input data distribution or a measured input-output data distribution and a machine learning model input-output data distribution.

[0095] For example, the UE 115 may, in the example of predicting interference via the machine learning models 205, compare one or more input data distributions (e.g., normalized input data distributions) of RSRP measurements associated with a training set of data for each machine learning model of the one or more machine learning models 205. That is, the UE 115 may compare the one or more input training data distributions to an interference data distribution (e.g., actual RSRP measurements from the UE 115) to determine which (e.g., if any) machine learning model of the one or more machine learning models 205 has a highest similarity (e.g., a highest overlap with the interference data distribution) . For example, the UE 115 may select a machine learning model of the one or more machine learning models 205 that is associated with a set of training RSRP data most similar to the actual RSRP measurements at the UE 115.

[0096] Additionally, or alternatively, the UE 115 may compare one or more joint input-output data distributions associated with the one or more machine learning models 205 to one or more joint input-output data distributions associated with measurements at the UE 115. For example, the one or more joint input-output distributions may represent a combination (e.g., a statistical combination) of an input distribution and an output distribution.

[0097] In some aspects, the one or more joint input-output data distributions may be associated with a threshold similarity (e.g., a statistical similarity requirement) between training conditions of the one or more machine learning models 205 and the environmental (e.g., operating) conditions at the UE 115. For example, the threshold similarity may be based on a performance degradation of the one or more machine learning models 205 to occur according to a similarity between the training conditions environmental conditions.

[0098] To produce the one or more joint input-output distributions, the UE 115 may use (e.g., run) the one or more machine learning models 205 using the respective input distributions to produce respective output distributions and combine the input distributions  with the output distributions. In the example of interference prediction, the UE 115 may input respective RSRP training distributions to the one or more machine learning models 205 to produce an output distribution of predicted throughput.

[0099] In some aspects, the UE 115 may determine (e.g., calculate) the respective distribution similarities based on a Kullback-Leibler divergence, a Kolmogorov-Smirnov test, an Earth mover’s distance, or the like.

[0100] In some aspects, the performance of one or more machine learning models 205 may be affected by a signal-to-interference-plus-noise ratio (SINR) of an input reference signal used for training a machine learning model, a scheduling mode at the network entity 105 (e.g., single-user (SU) -multiple-input multiple-output (MIMO) , multiple-user (MU) -MIMO, etc. ) , a reference signal type, a change in operating conditions (e.g., a bandwidth, a band, beam characteristics, etc. ) , an energy per resource element (EPRE) , a quantity of ports, a quantity of panels, a quantity of antenna elements, environmental variation (e.g., rural, urban, high-Doppler, low-Doppler, high interference, low interference, etc. ) , or any combination thereof.

[0101] The one or more machine learning models 205 at the UE 115 may include machine learning models associated with a variety of training data sets to address the variety of properties which may affect the one or more machine learning models 205 described above. In such cases, monitoring the performance of the one or more machine learning models 205 (e.g., a relatively large quantity of machine learning models) at the UE 115 may be associated with a high complexity level (e.g., relative to monitoring a smaller quantity of machine learning models) .

[0102] The network entity 105 may configure the UE 115 to perform machine learning model monitoring according to one or more machine learning modeling approaches. For example, the UE 115 may transmit a capability message 210 to the network entity 105 indicating a capability of the UE 115 to perform multi-stage machine learning model monitoring. The network entity 105, based on the received capability message 210, may transmit a configuration message 215 to the UE 115 indicating one or more machine learning modeling approaches, one or more monitoring stages, or both.

[0103] For example, the network entity 105 may configure (e.g., via the configuration message 215) the UE 115 to monitor the machine learning models 250 according to a first monitoring type (e.g., a first monitoring approach) during a first monitoring stage, a second  monitoring type during a second monitoring stage, and so on. In some aspects, the network entity 105 may indicate the configuration via a RRC message (e.g., statically) , via a MAC-CE message (e.g., semi-statically) , or via a DCI message (e.g., dynamically) .

[0104] In some aspects, the network entity 105 may configure the UE 115 to switch a monitoring approach. For example, the network entity 105 may configure the UE to switch a monitoring type from a second monitoring type to a first monitoring type during the second monitoring stage.

[0105] The UE 115 may report a recommended monitoring approach to the network entity 105. For example, the UE 115 may report a recommended monitoring approach prior to receiving the configuration message 215 or after receiving the configuration message 215. In some aspects, the reported recommended monitoring approach may include switching one or more monitoring approaches for the one or more monitoring stages. For example, the UE 115 may recommend switching a monitoring approach during the first monitoring stage from a first monitoring type to a second monitoring type.

[0106] FIG. 3 shows an example of a flowchart 300 that supports multi-stage machine learning model monitoring in accordance with one or more aspects of the present disclosure. The flowchart 300 may implement or be implemented by various aspects of the wireless communication system 100, the wireless communication system 200, or both. For example, flowchart 300 may be implemented by a wireless device such as a network entity 105 or a UE 115, which may represent examples of corresponding devices as described with reference to FIG. 1 and FIG. 2.

[0107] The wireless device may perform machine learning model monitoring for one or more machine learning models. For example, the wireless device may perform the machine learning model monitoring to detect data drift, select (e.g., switch) a machine learning model, calibrate (e.g., retrain, finetune, etc. ) the one or more machine learning models, or a combination thereof. In some aspects, the machine learning model monitoring may include two or more stages (e.g., multi-stage monitoring) , where each of the two or more stages may be associated with respective monitoring types.

[0108] For example, at 310, the wireless device may perform a first stage of monitoring for a set of machine learning models 305 (e.g., all machine learning models configured at the wireless device) . In some aspects, the wireless device may perform the first stage of monitoring according to a first monitoring type.

[0109] At 315, the wireless device may select a subset of machine learning models 325. For example, the wireless device may select the subset of machine learning models 325 from the set of machine learning models 305 to monitor during a second stage of monitoring.

[0110] In some aspects, the wireless device may select the subset of machine learning models 325 to satisfy a threshold distribution similarity. For example, the wireless device may select, from the set of machine learning models 305, the machine learning models associated with respective sets of training data having at least the threshold distribution similarity with the actual data. In the example of interference prediction, the wireless device may select, for the subset of machine learning models 325, the machine learning models associated with RSRP training data distributions of the threshold distribution similarity (e.g., 90%similarity) when compared to a measured RSRP distribution at the wireless device.

[0111] At 320, the wireless device may perform the second stage monitoring for the subset of machine learning models 325 (e.g., the subset of machine learning models 325 selected by the wireless device at 315) . In some aspects, the wireless device may perform the first stage of monitoring according to a first monitoring type.

[0112] In some aspects, the second stage monitoring may trigger the first stage of monitoring. For example, the wireless device may revert to the first stage of monitoring based on detecting data drift while performing the second stage of monitoring. The second stage monitoring may yield a performance result (e.g., a similarity between a training distribution and a data distribution) below a configured (e.g., a preconfigured) threshold at the wireless device. For example, the threshold may be a performance threshold associated with the second stage monitoring.

[0113] In some aspects, the performance threshold may be the same as the threshold distribution similarity used by the wireless device to select the subset of machine learning models 325 at 315. That is, the wireless device may detect, during the second stage monitoring, that one or more machine learning models of the subset of machine learning models 325 do not satisfy the performance threshold at a second prediction time associated with performing the second stage monitoring at 320 occurring after a first prediction time associated with performing the first stage monitoring at 310. For example, the one or more machine learning models may satisfy the performance threshold at the first prediction time, but not satisfy the performance threshold at a second prediction time (e.g., due to changes in  one or more operating conditions, one or more environmental conditions, or both at the wireless device) .

[0114] In some aspects, the wireless device may revert to the first stage monitoring to identify one or more machine learning models of the set of machine learning models 305. For example, the set of machine learning models 305 may include one or more machine learning models that did not satisfy the performance threshold at the first prediction time but satisfy the performance threshold at the second prediction time. Reverting to the first stage monitoring may allow the wireless device to identify one or more machine learning models with a training data distribution most similar to current operating conditions, current environmental conditions, or both at the wireless device.

[0115] FIG. 4 shows an example of a flowchart 400 that supports multi-stage machine learning model monitoring in accordance with one or more aspects of the present disclosure. The flowchart 400 may implement or be implemented by various aspects of the wireless communication system 100, the wireless communication system 200, or both. For example, flowchart 400 may be implemented by a wireless device such as a network entity 105 or a UE 115, which may represent examples of corresponding devices as described with reference to FIG. 1 and FIG. 2.

[0116] The wireless device may perform machine learning model monitoring for a set of machine learning models. For example, the wireless device may perform the machine learning model monitoring to detect data drift, select (e.g., switch) a machine learning model, calibrate (e.g., retrain, finetune, etc. ) the set of machine learning models, or a combination thereof. In some aspects, the machine learning model monitoring may include two or more stages (e.g., multi-stage monitoring) , where each of the two or more stages may be associated with respective monitoring types.

[0117] For example, at 405, the wireless device may perform measurements. For example, in the case of beam prediction, the wireless device may measure an RSRP. The measured RSRP may represent the operating conditions at the wireless device over a time period (e.g., over one or more prediction instances) .

[0118] At 410, the wireless device may determine one or more data distributions associated with one or more machine learning models. For example, the wireless device may, in a first stage of monitoring, determine one or more input data distributions associated with the set of machine learning models (e.g., all machine learning models at the wireless  device) . In some aspects, determining the one or more input data distributions may not be associated with running the set of machine learning models.

[0119] Additionally, or alternatively, in a second stage of monitoring, the wireless device may determine one or more input-output data distributions associated with a subset of the set of machine learning models. That is, the wireless device may run the subset machine learning models to determine one or more output data distributions and combine respective one or more output data distributions with the one or more input data distributions to produce the one or more input-output data distributions.

[0120] In some aspects, in the second stage of monitoring, the wireless device may determine one or more intermediate performance metrics (e.g., throughput, UPE, latency, etc. ) . For example, the wireless device may run the subset of machine learning models to determine one or more performance metrics associated with each machine learning model of the subset of machine learning models.

[0121] In some aspects, the wireless device may perform the first stage of monitoring with a lower complexity level than the second stage of monitoring. That is, determining the input data distributions during the first stage of monitoring may be associated with less processing complexity than determining the input-output data distributions or the performance metrics during the second stage of monitoring (e.g., based on running the subset of machine learning models to produce the output data distributions, the performance metrics, or both) . Generally, the wireless device may perform multi-stage monitoring with increasing processing complexity at each stage.

[0122] At 415, the wireless device may plot the one or more data distributions associated with one or more machine learning models. In some aspects, the wireless device may determine input measurement values at a plurality of prediction instances to plot the one or more input data distributions. Or, the wireless device may run the one or more machine learning models to determine output measurement values at the plurality of prediction instances to plot the one or more input-output data distributions.

[0123] At 420, the wireless device may compare the one or more data distributions with the measurements (e.g., the measurements performed at 405) . That is, the wireless device may compare the one or more data distributions with the measurements to determine respective similarities between a training set, a performance, or a combination thereof  associated with each machine learning model and the operating conditions at the wireless device.

[0124] For example, in the first stage of monitoring, the wireless device may determine (e.g., compute, calculate, etc. ) an input data distribution similarity for a first set of data distributions 425-a. The first set of data distributions 425-a may represent the data distributions for the set of machine learning models (e.g., all machine learning models) at the wireless device.

[0125] In the case of beam selection, the wireless device may compare the measured RSRP values over the prediction instances to input RSRP distributions associated with each of the set of machine learning models. For example, the wireless device may compare the measured values (e.g., representing one or more operating conditions at the wireless device) to a first model 415-a, a second model 415-b, and a third model 415-c.

[0126] Additionally, or alternatively, in the second stage of monitoring, the wireless device may determine (e.g., compute, calculate, etc. ) an input-output data distribution similarity for a second set of data distributions 425-b. The second set of data distributions 425-b may represent a subset of the first set of data distributions 425-a. For example, the wireless device may select a subset of machine learning models associated with the second set of data distributions 425-b (e.g., at 430) from the set of machine learning models associated with the first set of data distributions 425-a based on a comparison of the data distributions at 420 during the first stage of monitoring.

[0127] In the case of beam selection, the wireless device may compare a joint-distribution of measured RSRP values and predicted beams to one or more joint-distributions of input RSRP values and predicted beams associated with each machine learning model in the subset machine learning models to determine a respective similarity associated with each machine learning model.

[0128] In some aspects, in the second stage of monitoring, the wireless device may determine (e.g., compute, calculate, etc. ) an accuracy level of one or more predicted metrics associated with each machine learning model of the subset of machine learning models. For example, the wireless device may determine a difference in an RSRP value associated with a measured beam by the wireless device and an RSRP value associated with a predicted beam by each machine learning model. Additionally, or alternatively, the wireless device may compare one or more system performance metrics (e.g., throughput, UPT, latency) of each  machine learning model. That is, the wireless device may refrain from performing the measurements at 405, and compare respective system performance metrics associated with each machine learning model at 420.

[0129] At 430, the wireless device may select one or more machine learning models based on the comparison at 420. For example, the wireless device may select the one or more machine learning models having a highest similarity to the measurements at 405. In the first stage of monitoring, the similarity may be between the measurements and the one or more input data distributions (e.g., the first set of data distributions 425-a) while in the second stage of monitoring, the similarity may be between a joint-distribution of the measurements and one or more predicted metrics and a joint-distribution of the input data (e.g., training data associated with each machine learning model) and one or more metrics predicted via the machine learning models (e.g., the second set of data distributions 425-b) . Additionally, or alternatively, the wireless device may select the one or more machine learning models having a highest accuracy level, a best performance metric, or both.

[0130] At 435, the wireless device may perform, with the one or more machine learning models selected at 430, an additional stage of monitoring. For example, the wireless device may, after selecting the subset of machine learning models during the first stage of monitoring, proceed to the second stage of monitoring. Additionally, or alternatively, the wireless device may perform one or more stages of monitoring after the second stage of monitoring.

[0131] In some aspects, the wireless device may, based on a comparison of the data distributions at 420, revert from a higher stage of monitoring (e.g., the second stage of monitoring) to a lower stage of monitoring (e.g., the first stage of monitoring) . For example, the wireless device may revert to a lower stage of monitoring based on detecting data drift in the one or more selected models at the given monitoring stage.

[0132] FIG. 5 shows an example of a process flow 500 that supports multi-stage machine learning model monitoring in accordance with one or more aspects of the present disclosure. In some aspects, the process flow 500 may implement or be implemented by aspects of the wireless communication system 100, the wireless communication system 200, and the flowcharts 300 and 400 as described with reference to FIGs. 1–4. For example, the process flow 500 may include a network entity 105-a and a network entity 105-b, which may be examples of corresponding devices as described with reference to FIGs. 1 and 2.

[0133] Alternative examples of the following may be implemented, where some steps are performed in a different order than described or are not performed at all. In some cases, steps may include additional features not mentioned below, or further steps may be added. Although the network entity 105-a and the network entity 105-b are shown performing the operations of the process flow 500, some aspects of some operations may also be performed by one or more other wireless devices.

[0134] The network entity 105-a may perform a multi-stage monitoring process. For example, the network entity 105-a may perform two or more monitoring procedures to monitor a set of machine learning models at the network entity 105-a. The network entity 105-a may select a machine learning model of the set of machine learning models based on the multi-stage monitoring procedure.

[0135] At 505, the network entity 105-a may transmit a capability report to the network entity 105-b. For example, the network entity 105-a may transmit capability information indicative of a capability of the network entity 105-a to monitor the set of machine learning models via a multi-stage monitoring process. The multi-stage monitoring process may include at least a first monitoring procedure and a second monitoring procedure.

[0136] At 510, the network entity 105-b may transmit an indication of machine learning models and monitoring procedures to the network entity 105-a. For example, the network entity 105-a may receive a configuration for at least one of the set of machine learning models or for one or more of the first monitoring procedure or the second monitoring procedure.

[0137] In some aspects, the network entity 105-b may indicate the configuration statically, semi-statically-or dynamically. For example, the network entity 105-b may indicate the configuration via a RRC message, a MAC-CE message, a DCI message, or a combination thereof.

[0138] At 515, the network entity 105-a may transmit an indication of monitoring procedures to the network entity 105-b. For example, prior to application of the multi-stage procedure monitoring process to the set of machine learning models, the network entity 105-a may transmit an indication of at least one of the first monitoring procedure or the second monitoring procedure. In other words, the network entity 105-a may transmit an indication of a recommended monitoring procedure for one or more stages of the multi-stage monitoring process.

[0139] At 520, the network entity 105-b may transmit an indication to switch a monitoring procedure. For example, the network entity 105-a may receive an indication to switch from the first monitoring procedure to the second monitoring procedure.

[0140] At 525, the network entity 105-a may perform a first monitoring procedure. For example, the network entity 105-a may monitor performance of each respective machine learning model of the set of machine learning models configured at the network entity 105-a (e.g., via the configuration received at 510) . The set of machine learning models may be executable by a processing system of the network entity 105-a. For example, the network entity 105-a may generate an output of each of the machine learning models. In some aspects, the network entity 105-a may refrain from generating the outputs according to the first monitoring procedure. For example, the first monitoring procedure may include monitoring based on an input data distribution similarity of each respective machine learning model.

[0141] At 530, the network entity 105-a may compare input data distributions. The network entity 105-a may monitor input data distribution information (e.g., during the first monitoring procedure at 525) . The input data distribution information may include a respective input data distribution associated with each respective machine learning model of the set of machine learning models. In some aspects, the input data distribution information may be associated with a set of data used to train each machine learning model. For example, the network entity 105-a may compare the training data associated with each machine learning model to an operating data distribution associated with the network entity 105-a. The operating data distribution may be associated with one or more operating conditions of the network entity 105-a (e.g., or a processing system of the network entity 105-a) .

[0142] In some aspects, the network entity 105-a may determine distribution similarities between training data sets associated with each respective machine learning model of the set of machine learning models and the operating data distribution of the network entity 105-a (e.g., or a processing system of the network entity 105-a) .

[0143] At 535, the network entity 105-a may determine a subset of machine learning models. For example, the network entity 105-a may determine the subset of machine learning models based on the first monitoring procedure at 525. In some aspects, the network entity 105-a may determine the subset of machine learning models based on a comparison of the input data distributions at 530. For example, the network entity 105-a may select the  subset of machine learning models having a greatest input data distribution similarity to the operating data distribution of the network entity 105-a. Additionally, or alternatively, the network entity 105-a may determine the subset of machine learning models based on a comparison of each respective distribution similarity to a threshold similarity. For example, the network entity 105-a may select the machine learning models of the set of machine learning models satisfying the threshold similarity to be in the subset.

[0144] At 540, the network entity 105-a may perform a second monitoring procedure. For example, the network entity 105-a may monitor performance of each respective machine learning model of the subset of the set of machine learning models (e.g., determined at 535) according to the second monitoring procedure (e.g., configured at 510) .

[0145] In some aspects, the second monitoring procedure may be an end-to-end or system performance monitoring procedure. For example, the network entity 105-a may compare one or more performance-related parameters associated with each respective machine learning model of the subset of the set of machine learning models with a threshold performance-related parameter. The performance-related parameter may be a throughput, a UPT, or the like. The network entity 105-a may continue to use one or more machine learning models based on the performance-related parameters meeting the threshold. Or, the network entity 105-a may refrain from using one or more machine learning models based on the performance-related parameters being below the threshold.

[0146] In some aspects, the second monitoring procedure may include monitoring input-output data distribution information. For example, the input-output data distribution information may include a respective input-output data distribution associated with each respective machine learning model of the set of machine learning models.

[0147] At 545, the network entity 105-a may generate input-output data distributions. In some aspects, to monitor the input-output data distribution information, the network entity 105-a may generate the input-output data distribution information. For example, the network entity 105-a may generate the input-output distribution information based on each respective machine learning model of the first subset of machine learning models. Generating the input-output distribution information may involve running each of the first subset of machine learning models to produce output distributions. For example, the network entity 105-a may generate the input-output distributions by combining respective input distributions (e.g., training data) with the produced output distributions. In other words, the input-output  distribution information may be associated with an aggregation of input distribution information and output distribution information.

[0148] At 550, the network entity 105-a may compare input-output data distributions. For example, the network entity 105-a may compare the input-output data distribution information to the operating data distribution of the network entity 105-a (e.g., or the processing system of the network entity 105-a) .

[0149] At 555, the network entity 105-a may measure performance-related parameters. For example, the second monitoring procedure may be a performance-based monitoring procedure. In some aspects, the network entity 105-a may measure performance-related parameters, such as inference performance (e.g., a predicted beam accuracy) or system performance (e.g., throughput, UPT, latency, etc. ) .

[0150] At 560, the network entity 105-a may compare performance-related parameters. For example, the network entity 105-a may compare the performance-related parameters for each machine learning model to performance-related parameters measured by the network entity 105-a (e.g., at 555) .

[0151] In some aspects, the network entity 105-a may detect data drift during the first monitoring procedure, the second monitoring procedure, or both. for example, the network entity 105-a may detect the data drift based on a comparison of the input data distributions at 530, based on a comparison of the input-output data distributions at 545, or both. In some aspects, the network entity 105-a may revert to the first monitoring procedure based on detecting data drift during the second monitoring procedure. For example, the network entity 105-a may detect data drift at 550, and, in response to the detecting, monitor the set of machine learning models again via the first monitoring procedure.

[0152] The network entity 105-a may perform one or more additional monitoring procedures. For example, the network entity 105-a may determine a second subset of machine learning models (e.g., from the subset of machine learning models) based on the second monitoring procedure. The network entity 105-a may perform a third monitoring procedure including monitoring the performance of each respective machine learning model of the second subset of the set of machine learning models.

[0153] In some aspects, the network entity 105-a may perform the multi-stage monitoring process with increasing processing complexity. For example, the first monitoring procedure  may be of less processing complexity than the second monitoring procedure, the second monitoring procedure may be of less processing complexity than the third monitoring procedure, and so on.

[0154] FIG. 6 shows a block diagram 600 of a device 605 that supports multi-stage machine learning model monitoring in accordance with one or more aspects of the present disclosure. The device 605 may be an example of aspects of a network entity 105 as described herein. The device 605 may include a receiver 610, a transmitter 615, and a communications manager 620. The device 605, or one or more components of the device 605 (e.g., the receiver 610, the transmitter 615, and the communications manager 620) , may include at least one processor, which may be coupled with at least one memory, to, individually or collectively, support or enable the described techniques. Each of these components may be in communication with one another (e.g., via one or more buses) .

[0155] The receiver 610 may provide a means for obtaining (e.g., receiving, determining, identifying) information such as user data, control information, or any combination thereof (e.g., I / Q samples, symbols, packets, protocol data units, service data units) associated with various channels (e.g., control channels, data channels, information channels, channels associated with a protocol stack) . Information may be passed on to other components of the device 605. In some aspects, the receiver 610 may support obtaining information by receiving signals via one or more antennas. Additionally, or alternatively, the receiver 610 may support obtaining information by receiving signals via one or more wired (e.g., electrical, fiber optic) interfaces, wireless interfaces, or any combination thereof.

[0156] The transmitter 615 may provide a means for outputting (e.g., transmitting, providing, conveying, sending) information generated by other components of the device 605. For example, the transmitter 615 may output information such as user data, control information, or any combination thereof (e.g., I / Q samples, symbols, packets, protocol data units, service data units) associated with various channels (e.g., control channels, data channels, information channels, channels associated with a protocol stack) . In some aspects, the transmitter 615 may support outputting information by transmitting signals via one or more antennas. Additionally, or alternatively, the transmitter 615 may support outputting information by transmitting signals via one or more wired (e.g., electrical, fiber optic) interfaces, wireless interfaces, or any combination thereof. In some aspects, the transmitter  615 and the receiver 610 may be co-located in a transceiver, which may include or be coupled with a modem.

[0157] The communications manager 620, the receiver 610, the transmitter 615, or various combinations thereof or various components thereof may be examples of means for performing various aspects of multi-stage machine learning model monitoring as described herein. For example, the communications manager 620, the receiver 610, the transmitter 615, or various combinations or components thereof may be capable of performing one or more of the functions described herein.

[0158] In some aspects, the communications manager 620, the receiver 610, the transmitter 615, or various combinations or components thereof may be implemented in hardware (e.g., in communications management circuitry) . The hardware may include at least one of a processor, a DSP, a CPU, an ASIC, an FPGA or other programmable logic device, a microcontroller, discrete gate or transistor logic, discrete hardware components, or any combination thereof configured as or otherwise supporting, individually or collectively, a means for performing the functions described in the present disclosure. In some aspects, at least one processor and at least one memory coupled with the at least one processor may be configured to perform one or more of the functions described herein (e.g., by one or more processors, individually or collectively, executing instructions stored in the at least one memory) .

[0159] Additionally, or alternatively, the communications manager 620, the receiver 610, the transmitter 615, or various combinations or components thereof may be implemented in code (e.g., as communications management software or firmware) executed by at least one processor. If implemented in code executed by at least one processor, the functions of the communications manager 620, the receiver 610, the transmitter 615, or various combinations or components thereof may be performed by a general-purpose processor, a DSP, a CPU, an ASIC, an FPGA, a microcontroller, or any combination of these or other programmable logic devices (e.g., configured as or otherwise supporting, individually or collectively, a means for performing the functions described in the present disclosure) .

[0160] In some aspects, the communications manager 620 may be configured to perform various operations (e.g., receiving, obtaining, monitoring, outputting, transmitting) using or otherwise in cooperation with the receiver 610, the transmitter 615, or both. For example, the communications manager 620 may receive information from the receiver 610, send  information to the transmitter 615, or be integrated in combination with the receiver 610, the transmitter 615, or both to obtain information, output information, or perform various other operations as described herein.

[0161] For example, the communications manager 620 is capable of, configured to, or operable to support a means for performing a first monitoring procedure, where performing the first monitoring procedure includes monitoring performance of each respective machine learning model of a set of machine learning models configured at the network entity such that the set of machine learning models are executable by the network entity. The communications manager 620 is capable of, configured to, or operable to support a means for determining, based on the first monitoring procedure, a first subset of the set of machine learning models. The communications manager 620 is capable of, configured to, or operable to support a means for performing a second monitoring procedure, where performing the second monitoring procedure includes monitoring performance of each respective machine learning model of the first subset of the set of machine learning models.

[0162] For example, the communications manager 620 is capable of, configured to, or operable to support a means for receiving a capability report that indicates a capability of a second network entity to monitor performance of individual ones of a set of machine learning models via a multi-stage monitoring process. The communications manager 620 is capable of, configured to, or operable to support a means for transmitting, to the second network entity, control information that indicates at least two or more machine learning models of the set of machine learning models, where the control information also indicates a first monitoring procedure of a first monitoring procedure type and a second monitoring procedure of a second monitoring procedure type, where the first monitoring procedure and the second monitoring procedure are for monitoring, by the second network entity, of the two or more of the set of machine learning models, and where the second monitoring procedure is based on the first monitoring procedure and where the first monitoring procedure type is of less processing complexity than the second monitoring procedure type.

[0163] By including or configuring the communications manager 620 in accordance with examples as described herein, the device 605 (e.g., at least one processor controlling or otherwise coupled with the receiver 610, the transmitter 615, the communications manager 620, or a combination thereof) may support techniques for reduced processing, reduced power consumption, and more efficient utilization of communication resources.

[0164] FIG. 7 shows a block diagram 700 of a device 705 that supports multi-stage machine learning model monitoring in accordance with one or more aspects of the present disclosure. The device 705 may be an example of aspects of a device 605 or a network entity 105 as described herein. The device 705 may include a receiver 710, a transmitter 715, and a communications manager 720. The device 705, or one or more components of the device 705 (e.g., the receiver 710, the transmitter 715, and the communications manager 720) , may include at least one processor, which may be coupled with at least one memory, to support the described techniques. Each of these components may be in communication with one another (e.g., via one or more buses) .

[0165] The receiver 710 may provide a means for obtaining (e.g., receiving, determining, identifying) information such as user data, control information, or any combination thereof (e.g., I / Q samples, symbols, packets, protocol data units, service data units) associated with various channels (e.g., control channels, data channels, information channels, channels associated with a protocol stack) . Information may be passed on to other components of the device 705. In some aspects, the receiver 710 may support obtaining information by receiving signals via one or more antennas. Additionally, or alternatively, the receiver 710 may support obtaining information by receiving signals via one or more wired (e.g., electrical, fiber optic) interfaces, wireless interfaces, or any combination thereof.

[0166] The transmitter 715 may provide a means for outputting (e.g., transmitting, providing, conveying, sending) information generated by other components of the device 705. For example, the transmitter 715 may output information such as user data, control information, or any combination thereof (e.g., I / Q samples, symbols, packets, protocol data units, service data units) associated with various channels (e.g., control channels, data channels, information channels, channels associated with a protocol stack) . In some aspects, the transmitter 715 may support outputting information by transmitting signals via one or more antennas. Additionally, or alternatively, the transmitter 715 may support outputting information by transmitting signals via one or more wired (e.g., electrical, fiber optic) interfaces, wireless interfaces, or any combination thereof. In some aspects, the transmitter 715 and the receiver 710 may be co-located in a transceiver, which may include or be coupled with a modem.

[0167] The device 705, or various components thereof, may be an example of means for performing various aspects of multi-stage machine learning model monitoring as described  herein. For example, the communications manager 720 may include a first monitoring component 725, a first subset component 730, a second monitoring component 735, a capability report receiver 740, a control information transmitter 745, or any combination thereof. The communications manager 720 may be an example of aspects of a communications manager 620 as described herein. In some aspects, the communications manager 720, or various components thereof, may be configured to perform various operations (e.g., receiving, obtaining, monitoring, outputting, transmitting) using or otherwise in cooperation with the receiver 710, the transmitter 715, or both. For example, the communications manager 720 may receive information from the receiver 710, send information to the transmitter 715, or be integrated in combination with the receiver 710, the transmitter 715, or both to obtain information, output information, or perform various other operations as described herein.

[0168] The first monitoring component 725 is capable of, configured to, or operable to support a means for performing a first monitoring procedure, where performing the first monitoring procedure includes monitoring performance of each respective machine learning model of a set of machine learning models configured at the network entity such that the set of machine learning models are executable by the network entity. The first subset component 730 is capable of, configured to, or operable to support a means for determining, based on the first monitoring procedure, a first subset of the set of machine learning models. The second monitoring component 735 is capable of, configured to, or operable to support a means for performing a second monitoring procedure, where performing the second monitoring procedure includes monitoring performance of each respective machine learning model of the first subset of the set of machine learning models.

[0169] The capability report receiver 740 is capable of, configured to, or operable to support a means for receiving a capability report that indicates a capability of a second network entity to monitor performance of individual ones of a set of machine learning models via a multi-stage monitoring process. The control information transmitter 745 is capable of, configured to, or operable to support a means for transmitting, to the second network entity, control information that indicates at least two or more machine learning models of the set of machine learning models, where the control information also indicates a first monitoring procedure of a first monitoring procedure type and a second monitoring procedure of a second monitoring procedure type, where the first monitoring procedure and the second monitoring procedure are for monitoring, by the second network entity, of the two or more of  the set of machine learning models, and where the second monitoring procedure is based on the first monitoring procedure and where the first monitoring procedure type is of less processing complexity than the second monitoring procedure type.

[0170] FIG. 8 shows a block diagram 800 of a communications manager 820 that supports multi-stage machine learning model monitoring in accordance with one or more aspects of the present disclosure. The communications manager 820 may be an example of aspects of a communications manager 620, a communications manager 720, or both, as described herein. The communications manager 820, or various components thereof, may be an example of means for performing various aspects of multi-stage machine learning model monitoring as described herein. For example, the communications manager 820 may include a first monitoring component 825, a first subset component 830, a second monitoring component 835, a capability report receiver 840, a control information transmitter 845, a measurement component 850, a distribution similarity component 855, a data drift component 860, a procedure indication receiver 865, a second subset component 870, a third monitoring component 875, a capability information transmitter 880, a procedure indication transmitter 885, a control information receiver 890, or any combination thereof. Each of these components, or components or subcomponents thereof (e.g., one or more processors, one or more memories) , may communicate, directly or indirectly, with one another (e.g., via one or more buses) which may include communications within a protocol layer of a protocol stack, communications associated with a logical channel of a protocol stack (e.g., between protocol layers of a protocol stack, within a device, component, or virtualized component associated with a network entity 105, between devices, components, or virtualized components associated with a network entity 105) , or any combination thereof.

[0171] The first monitoring component 825 is capable of, configured to, or operable to support a means for performing a first monitoring procedure, where performing the first monitoring procedure includes monitoring performance of each respective machine learning model of a set of machine learning models configured at the network entity such that the set of machine learning models are executable by the network entity. The first subset component 830 is capable of, configured to, or operable to support a means for determining, based on the first monitoring procedure, a first subset of the set of machine learning models. The second monitoring component 835 is capable of, configured to, or operable to support a means for performing a second monitoring procedure, where performing the second monitoring  procedure includes monitoring performance of each respective machine learning model of the first subset of the set of machine learning models.

[0172] In some aspects, to support, determining the first subset of the set of machine learning models, the first subset component 830 is capable of, configured to, or operable to support a means for comparing the input data distribution information to an operating data distribution corresponding to one or more operating conditions of the processing system, where the first subset of the set of machine learning models is determined based on the comparison.

[0173] In some aspects, to support, monitoring the performance of each respective machine learning model of the first subset of the set of machine learning models, the second monitoring component 835 is capable of, configured to, or operable to support a means for comparing the input-output data distribution information to an operating data distribution corresponding to one or more operating conditions of the network entity.

[0174] In some aspects, to support, monitoring the performance of each respective machine learning model of the first subset of the set of machine learning models, the second monitoring component 835 is capable of, configured to, or operable to support a means for generating the input-output data distribution information based on each respective machine learning model of the first subset of the set of machine learning models.

[0175] In some aspects, to support monitoring the performance of each respective machine learning model of the first subset of the set of machine learning models, the measurement component 850 is capable of, configured to, or operable to support a means for measuring one or more first performance-related parameters. In some aspects, to support monitoring the performance of each respective machine learning model of the first subset of the set of machine learning models, the second monitoring component 835 is capable of, configured to, or operable to support a means for comparing one or more second performance-related parameters associated with each respective machine learning model of the first subset of the set of machine learning models to the measured one or more first performance-related parameters.

[0176] In some aspects, the second monitoring procedure is an inference performance monitoring procedure, where the one or more second performance-related parameters that are compared with the one or more first performance-related parameters are parameters that are  output by the each respective machine learning model of the first subset of the set of machine learning models.

[0177] In some aspects, the second monitoring procedure is an end-to-end or system performance monitoring procedure, where one or more performance-related parameters associated with each respective machine learning model of the first subset of the set of machine learning models are compared with a threshold performance-related parameter.

[0178] In some aspects, to support determining the first subset of the set of machine learning models, the distribution similarity component 855 is capable of, configured to, or operable to support a means for determining distribution similarities between training data sets associated with each respective machine learning model of the set of machine learning models and a data distribution corresponding to one or more operating conditions of the network entity. In some aspects, to support determining the first subset of the set of machine learning models, the first subset component 830 is capable of, configured to, or operable to support a means for determining the first subset of the set of machine learning models based on a comparison of each respective distribution similarity to a threshold similarity.

[0179] In some aspects, the second monitoring component 835 is capable of, configured to, or operable to support a means for comparing, during the second monitoring procedure, input-output data distribution information to an operating data distribution corresponding to one or more operating conditions of the network entity, where the input-output data distribution information includes a respective input-output data distribution associated with each respective machine learning model of the set of machine learning models. In some aspects, the data drift component 860 is capable of, configured to, or operable to support a means for detecting, based on the second monitoring procedure, a data drift, where the data drift is indicative of one or more respective distribution similarities between the input-output distributions being below a threshold distribution similarity with respect to the operating data distribution. In some aspects, the first monitoring component 825 is capable of, configured to, or operable to support a means for monitoring again, in response to detection of the data drift and via the first monitoring procedure, performance of each respective machine learning model of the set of machine learning models configured at the network entity.

[0180] In some aspects, the procedure indication receiver 865 is capable of, configured to, or operable to support a means for receiving an indication of at least one of the first monitoring procedure or the second monitoring procedure, where at least one of. In some  aspects, the first monitoring component 825 is capable of, configured to, or operable to support a means for performing the first monitoring procedure includes performing the first monitoring procedure in accordance with the indication. In some aspects, the second monitoring component 835 is capable of, configured to, or operable to support a means for performing the second monitoring procedure includes performing the second monitoring procedure in accordance with the indication.

[0181] In some aspects, the procedure indication receiver 865 is capable of, configured to, or operable to support a means for receiving an indication to switch from the first monitoring procedure to the second monitoring procedure, where performing the first monitoring procedure and the second monitoring procedure in accordance with the indication.

[0182] In some aspects, the second subset component 870 is capable of, configured to, or operable to support a means for determining a second subset of the set of machine learning models based on the second monitoring procedure, where the second subset includes one or more machine learning models of the first subset of the set of machine learning models. In some aspects, the third monitoring component 875 is capable of, configured to, or operable to support a means for performing a third monitoring procedure, where performing the third monitoring procedure includes monitoring performance of each respective machine learning model of a second subset of the set of machine learning models.

[0183] In some aspects, the capability information transmitter 880 is capable of, configured to, or operable to support a means for transmitting capability information indicative of a capability of the network entity to monitor the set of machine learning models via a multi-stage monitoring process.

[0184] In some aspects, the multi-stage monitoring process includes at least the first monitoring procedure and the second monitoring procedure.

[0185] In some aspects, the procedure indication transmitter 885 is capable of, configured to, or operable to support a means for transmitting, prior to application of a multi-stage monitoring process to the set of machine learning models, an indication of at least one of the first monitoring procedure or the second monitoring procedure, where the multi-stage monitoring process includes at least the first monitoring procedure and the second monitoring procedure.

[0186] In some aspects, the control information receiver 890 is capable of, configured to, or operable to support a means for receiving a configuration for at least one of the set of machine learning models or for one or more of the first monitoring procedure or the second monitoring procedure via an RRC message, a medium access control-control element (MAC-CE) message, a DCI message, or a combination thereof.

[0187] In some aspects, the first monitoring procedure is of less processing complexity than the second monitoring procedure.

[0188] The capability report receiver 840 is capable of, configured to, or operable to support a means for receiving a capability report that indicates a capability of a second network entity to monitor performance of individual ones of a set of machine learning models via a multi-stage monitoring process. The control information transmitter 845 is capable of, configured to, or operable to support a means for transmitting, to the second network entity, control information that indicates at least two or more machine learning models of the set of machine learning models, where the control information also indicates a first monitoring procedure of a first monitoring procedure type and a second monitoring procedure of a second monitoring procedure type, where the first monitoring procedure and the second monitoring procedure are for monitoring, by the second network entity, of the two or more of the set of machine learning models, and where the second monitoring procedure is based on the first monitoring procedure and where the first monitoring procedure type is of less processing complexity than the second monitoring procedure type.

[0189] In some aspects, the procedure indication transmitter 885 is capable of, configured to, or operable to support a means for transmitting an indication for the second network entity to switch to use of one of the first monitoring procedure type or the second monitoring procedure type.

[0190] In some aspects, the procedure indication receiver 865 is capable of, configured to, or operable to support a means for receiving, prior to application of the multi-stage monitoring process to the two or more of the set of machine learning models, a first indication of a third monitoring procedure. In some aspects, the third monitoring component 875 is capable of, configured to, or operable to support a means for transmitting, responsive to the first indication, a second indication for the second network entity to switch to use of the third monitoring procedure during the multi-stage monitoring process.

[0191] In some aspects, the control information is included in an RRC message, a medium access control-control element (MAC-CE) message, a DCI message, or a combination thereof.

[0192] FIG. 9 shows a diagram of a system 900 including a device 905 that supports multi-stage machine learning model monitoring in accordance with one or more aspects of the present disclosure. The device 905 may be an example of or include the components of a device 605, a device 705, or a network entity 105 as described herein. The device 905 may communicate with one or more network entities 105, one or more UEs 115, or any combination thereof, which may include communications over one or more wired interfaces, over one or more wireless interfaces, or any combination thereof. The device 905 may include components that support outputting and obtaining communications, such as a communications manager 920, a transceiver 910, an antenna 915, at least one memory 925, code 930, and at least one processor 935. These components may be in electronic communication or otherwise coupled (e.g., operatively, communicatively, functionally, electronically, electrically) via one or more buses (e.g., a bus 940) .

[0193] The transceiver 910 may support bi-directional communications via wired links, wireless links, or both as described herein. In some aspects, the transceiver 910 may include a wired transceiver and may communicate bi-directionally with another wired transceiver. Additionally, or alternatively, In some aspects, the transceiver 910 may include a wireless transceiver and may communicate bi-directionally with another wireless transceiver. In some aspects, the device 905 may include one or more antennas 915, which may be capable of transmitting or receiving wireless transmissions (e.g., concurrently) . The transceiver 910 may also include a modem to modulate signals, to provide the modulated signals for transmission (e.g., by one or more antennas 915, by a wired transmitter) , to receive modulated signals (e.g., from one or more antennas 915, from a wired receiver) , and to demodulate signals. In some implementations, the transceiver 910 may include one or more interfaces, such as one or more interfaces coupled with the one or more antennas 915 that are configured to support various receiving or obtaining operations, or one or more interfaces coupled with the one or more antennas 915 that are configured to support various transmitting or outputting operations, or a combination thereof. In some implementations, the transceiver 910 may include or be configured for coupling with one or more processors or one or more memory components that are operable to perform or support operations based on received or obtained information or signals, or to generate information or other signals for transmission  or other outputting, or any combination thereof. In some implementations, the transceiver 910, or the transceiver 910 and the one or more antennas 915, or the transceiver 910 and the one or more antennas 915 and one or more processors or one or more memory components (e.g., the at least one processor 935, the at least one memory 925, or both) , may be included in a chip or chip assembly that is installed in the device 905. In some aspects, the transceiver 910 may be operable to support communications via one or more communications links (e.g., a communication link 125, a backhaul communication link 120, a midhaul communication link 162, a fronthaul communication link 168) .

[0194] The at least one memory 925 may include RAM, ROM, or any combination thereof. The at least one memory 925 may store computer-readable, computer-executable code 930 including instructions that, when executed by one or more of the at least one processor 935, cause the device 905 to perform various functions described herein. The code 930 may be stored in a non-transitory computer-readable medium such as system memory or another type of memory. In some cases, the code 930 may not be directly executable by a processor of the at least one processor 935 but may cause a computer (e.g., when compiled and executed) to perform functions described herein. In some cases, the at least one memory 925 may contain, among other things, a BIOS which may control basic hardware or software operation such as the interaction with peripheral components or devices. In some aspects, the at least one processor 935 may include multiple processors and the at least one memory 925 may include multiple memories. One or more of the multiple processors may be coupled with one or more of the multiple memories which may, individually or collectively, be configured to perform various functions herein (for example, as part of a processing system) .

[0195] The at least one processor 935 may include an intelligent hardware device (e.g., a general-purpose processor, a DSP, an ASIC, a CPU, an FPGA, a microcontroller, a programmable logic device, discrete gate or transistor logic, a discrete hardware component, or any combination thereof) . In some cases, the at least one processor 935 may be configured to operate a memory array using a memory controller. In some other cases, a memory controller may be integrated into one or more of the at least one processor 935. The at least one processor 935 may be configured to execute computer-readable instructions stored in a memory (e.g., one or more of the at least one memory 925) to cause the device 905 to perform various functions (e.g., functions or tasks supporting multi-stage machine learning model monitoring) . For example, the device 905 or a component of the device 905 may include at least one processor 935 and at least one memory 925 coupled with one or more of  the at least one processor 935, the at least one processor 935 and the at least one memory 925 configured to perform various functions described herein. The at least one processor 935 may be an example of a cloud-computing platform (e.g., one or more physical nodes and supporting software such as operating systems, virtual machines, or container instances) that may host the functions (e.g., by executing code 930) to perform the functions of the device 905. The at least one processor 935 may be any one or more suitable processors capable of executing scripts or instructions of one or more software programs stored in the device 905 (such as within one or more of the at least one memory 925) . In some aspects, the at least one processor 935 may include multiple processors and the at least one memory 925 may include multiple memories. One or more of the multiple processors may be coupled with one or more of the multiple memories, which may, individually or collectively, be configured to perform various functions herein. In some aspects, the at least one processor 935 may be a component of a processing system, which may refer to a system (such as a series) of machines, circuitry (including, for example, one or both of processor circuitry (which may include the at least one processor 935) and memory circuitry (which may include the at least one memory 925) ) , or components, that receives or obtains inputs and processes the inputs to produce, generate, or obtain a set of outputs. The processing system may be configured to perform one or more of the functions described herein. As such, the at least one processor 935 or a processing system including the at least one processor 935 may be configured to, configurable to, or operable to cause the device 905 to perform one or more of the functions described herein. Further, as described herein, being “configured to, ” being “configurable to,” and being “operable to” may be used interchangeably and may be associated with a capability, when executing code stored in the at least one memory 925 or otherwise, to perform one or more of the functions described herein.

[0196] In some aspects, a bus 940 may support communications of (e.g., within) a protocol layer of a protocol stack. In some aspects, a bus 940 may support communications associated with a logical channel of a protocol stack (e.g., between protocol layers of a protocol stack) , which may include communications performed within a component of the device 905, or between different components of the device 905 that may be co-located or located in different locations (e.g., where the device 905 may refer to a system in which one or more of the communications manager 920, the transceiver 910, the at least one memory 925, the code 930, and the at least one processor 935 may be located in one of the different components or divided between different components) .

[0197] In some aspects, the communications manager 920 may manage aspects of communications with a core network 130 (e.g., via one or more wired or wireless backhaul links) . For example, the communications manager 920 may manage the transfer of data communications for client devices, such as one or more UEs 115. In some aspects, the communications manager 920 may manage communications with other network entities 105, and may include a controller or scheduler for controlling communications with UEs 115 in cooperation with other network entities 105. In some aspects, the communications manager 920 may support an X2 interface within an LTE / LTE-A wireless communications network technology to provide communication between network entities 105.

[0198] For example, the communications manager 920 is capable of, configured to, or operable to support a means for performing a first monitoring procedure, where performing the first monitoring procedure includes monitoring performance of each respective machine learning model of a set of machine learning models configured at the network entity such that the set of machine learning models are executable by the network entity. The communications manager 920 is capable of, configured to, or operable to support a means for determining, based on the first monitoring procedure, a first subset of the set of machine learning models. The communications manager 920 is capable of, configured to, or operable to support a means for performing a second monitoring procedure, where performing the second monitoring procedure includes monitoring performance of each respective machine learning model of the first subset of the set of machine learning models.

[0199] For example, the communications manager 920 is capable of, configured to, or operable to support a means for receiving a capability report that indicates a capability of a second network entity to monitor performance of individual ones of a set of machine learning models via a multi-stage monitoring process. The communications manager 920 is capable of, configured to, or operable to support a means for transmitting, to the second network entity, control information that indicates at least two or more machine learning models of the set of machine learning models, where the control information also indicates a first monitoring procedure of a first monitoring procedure type and a second monitoring procedure of a second monitoring procedure type, where the first monitoring procedure and the second monitoring procedure are for monitoring, by the second network entity, of the two or more of the set of machine learning models, and where the second monitoring procedure is based on the first monitoring procedure and where the first monitoring procedure type is of less processing complexity than the second monitoring procedure type.

[0200] By including or configuring the communications manager 920 in accordance with examples as described herein, the device 905 may support techniques for improved user experience related to reduced processing, reduced power consumption, more efficient utilization of communication resources, and improved utilization of processing capability.

[0201] In some aspects, the communications manager 920 may be configured to perform various operations (e.g., receiving, obtaining, monitoring, outputting, transmitting) using or otherwise in cooperation with the transceiver 910, the one or more antennas 915 (e.g., where applicable) , or any combination thereof. Although the communications manager 920 is illustrated as a separate component, In some aspects, one or more functions described with reference to the communications manager 920 may be supported by or performed by the transceiver 910, one or more of the at least one processor 935, one or more of the at least one memory 925, the code 930, or any combination thereof (for example, by a processing system including at least a portion of the at least one processor 935, the at least one memory 925, the code 930, or any combination thereof) . For example, the code 930 may include instructions executable by one or more of the at least one processor 935 to cause the device 905 to perform various aspects of multi-stage machine learning model monitoring as described herein, or the at least one processor 935 and the at least one memory 925 may be otherwise configured to, individually or collectively, perform or support such operations.

[0202] FIG. 10 shows a flowchart illustrating a method 1000 that supports multi-stage machine learning model monitoring in accordance with aspects of the present disclosure. The operations of the method 1000 may be implemented by a network entity or its components as described herein. For example, the operations of the method 1000 may be performed by a network entity as described with reference to FIGs. 1 through 9. In some aspects, a network entity may execute a set of instructions to control the functional elements of the network entity to perform the described functions. Additionally, or alternatively, the network entity may perform aspects of the described functions using special-purpose hardware.

[0203] At 1005, the method may include performing a first monitoring procedure, where performing the first monitoring procedure includes monitoring performance of each respective machine learning model of a set of machine learning models configured at the network entity such that the set of machine learning models are executable by the network entity. The operations of block 1005 may be performed in accordance with examples as  disclosed herein. In some aspects, aspects of the operations of 1005 may be performed by a first monitoring component 825 as described with reference to FIG. 8.

[0204] At 1010, the method may include determining, based on the first monitoring procedure, a first subset of the set of machine learning models. The operations of block 1010 may be performed in accordance with examples as disclosed herein. In some aspects, aspects of the operations of 1010 may be performed by a first subset component 830 as described with reference to FIG. 8.

[0205] At 1015, the method may include performing a second monitoring procedure, where performing the second monitoring procedure includes monitoring performance of each respective machine learning model of the first subset of the set of machine learning models. The operations of block 1015 may be performed in accordance with examples as disclosed herein. In some aspects, aspects of the operations of 1015 may be performed by a second monitoring component 835 as described with reference to FIG. 8.

[0206] FIG. 11 shows a flowchart illustrating a method 1100 that supports multi-stage machine learning model monitoring in accordance with aspects of the present disclosure. The operations of the method 1100 may be implemented by a network entity or its components as described herein. For example, the operations of the method 1100 may be performed by a network entity as described with reference to FIGs. 1 through 9. In some aspects, a network entity may execute a set of instructions to control the functional elements of the network entity to perform the described functions. Additionally, or alternatively, the network entity may perform aspects of the described functions using special-purpose hardware.

[0207] At 1105, the method may include performing a first monitoring procedure, where performing the first monitoring procedure includes monitoring performance of each respective machine learning model of a set of machine learning models configured at the network entity such that the set of machine learning models are executable by the network entity. The operations of block 1105 may be performed in accordance with examples as disclosed herein. In some aspects, aspects of the operations of 1105 may be performed by a first monitoring component 825 as described with reference to FIG. 8.

[0208] At 1110, the method may include determining distribution similarities between training data sets associated with each respective machine learning model of the set of machine learning models and a data distribution corresponding to one or more operating conditions of the network entity. The operations of block 1110 may be performed in  accordance with examples as disclosed herein. In some aspects, aspects of the operations of 1110 may be performed by a distribution similarity component 855 as described with reference to FIG. 8.

[0209] At 1115, the method may include determining the first subset of the set of machine learning models based on a comparison of each respective distribution similarity to a threshold similarity. The operations of block 1115 may be performed in accordance with examples as disclosed herein. In some aspects, aspects of the operations of 1115 may be performed by a first subset component 830 as described with reference to FIG. 8.

[0210] At 1120, the method may include determining, based on the first monitoring procedure, a first subset of the set of machine learning models. The operations of block 1120 may be performed in accordance with examples as disclosed herein. In some aspects, aspects of the operations of 1120 may be performed by a first subset component 830 as described with reference to FIG. 8.

[0211] At 1125, the method may include performing a second monitoring procedure, where performing the second monitoring procedure includes monitoring performance of each respective machine learning model of the first subset of the set of machine learning models. The operations of block 1125 may be performed in accordance with examples as disclosed herein. In some aspects, aspects of the operations of 1125 may be performed by a second monitoring component 835 as described with reference to FIG. 8.

[0212] FIG. 12 shows a flowchart illustrating a method 1200 that supports multi-stage machine learning model monitoring in accordance with aspects of the present disclosure. The operations of the method 1200 may be implemented by a network entity or its components as described herein. For example, the operations of the method 1200 may be performed by a network entity as described with reference to FIGs. 1 through 9. In some aspects, a network entity may execute a set of instructions to control the functional elements of the network entity to perform the described functions. Additionally, or alternatively, the network entity may perform aspects of the described functions using special-purpose hardware.

[0213] At 1205, the method may include receiving a capability report that indicates a capability of a second network entity to monitor performance of individual ones of a set of machine learning models via a multi-stage monitoring process. The operations of block 1205 may be performed in accordance with examples as disclosed herein. In some aspects, aspects  of the operations of 1205 may be performed by a capability report receiver 840 as described with reference to FIG. 8.

[0214] At 1210, the method may include transmitting, to the second network entity, control information that indicates at least two or more machine learning models of the set of machine learning models, where the control information also indicates a first monitoring procedure of a first monitoring procedure type and a second monitoring procedure of a second monitoring procedure type, where the first monitoring procedure and the second monitoring procedure are for monitoring, by the second network entity, of the two or more of the set of machine learning models, and where the second monitoring procedure is based on the first monitoring procedure and where the first monitoring procedure type is of less processing complexity than the second monitoring procedure type. The operations of block 1210 may be performed in accordance with examples as disclosed herein. In some aspects, aspects of the operations of 1210 may be performed by a control information transmitter 845 as described with reference to FIG. 8.

[0215] The following provides an overview of aspects of the present disclosure:

[0216] Aspect 1: A method of wireless communication by a network entity, comprising: performing a first monitoring procedure, wherein performing the first monitoring procedure comprises monitoring performance of each respective machine learning model of a set of machine learning models configured at the network entity such that the set of machine learning models are executable by the network entity; determining, based on the first monitoring procedure, a first subset of the set of machine learning models; and performing a second monitoring procedure, wherein performing the second monitoring procedure comprises monitoring performance of each respective machine learning model of the first subset of the set of machine learning models.

[0217] Aspect 2: The method of aspect 1, wherein, performing the first monitoring procedure comprises monitoring input data distribution information, wherein the input data distribution information includes a respective input data distribution associated with each respective machine learning model of the set of machine learning models, and, wherein, determining the first subset of the set of machine learning models further comprises: comparing the input data distribution information to an operating data distribution corresponding to one or more operating conditions of the processing system, wherein the first subset of the set of machine learning models is determined based on the comparison.

[0218] Aspect 3: The method of any of aspects 1 through 2, wherein performing the second monitoring procedure comprises monitoring input-output data distribution information, wherein the input-output data distribution information includes a respective input-output data distribution associated with each respective machine learning model of the set of machine learning models, and, wherein, monitoring the performance of each respective machine learning model of the first subset of the set of machine learning models further comprises: comparing the input-output data distribution information to an operating data distribution corresponding to one or more operating conditions of the network entity.

[0219] Aspect 4: The method of any of aspects 1 through 3, wherein performing the second monitoring procedure comprises monitoring input-output data distribution information, wherein the input-output data distribution information includes a respective input-output data distribution associated with each respective machine learning model of the set of machine learning models, and, wherein, monitoring the performance of each respective machine learning model of the first subset of the set of machine learning models further comprises: generating the input-output data distribution information based on each respective machine learning model of the first subset of the set of machine learning models.

[0220] Aspect 5: The method of any of aspects 1 through 4, wherein monitoring the performance of each respective machine learning model of the first subset of the set of machine learning models further comprises: measuring one or more first performance-related parameters; and comparing one or more second performance-related parameters associated with each respective machine learning model of the first subset of the set of machine learning models to the measured one or more first performance-related parameters.

[0221] Aspect 6: The method of aspect 5, wherein the second monitoring procedure is an inference performance monitoring procedure, wherein the one or more second performance-related parameters that are compared with the one or more first performance-related parameters are parameters that are output by the each respective machine learning model of the first subset of the set of machine learning models.

[0222] Aspect 7: The method of any of aspects 1 through 6, wherein the second monitoring procedure is an end-to-end or system performance monitoring procedure, wherein one or more performance-related parameters associated with each respective machine learning model of the first subset of the set of machine learning models are compared with a threshold performance-related parameter.

[0223] Aspect 8: The method of any of aspects 1 through 7, wherein determining the first subset of the set of machine learning models further comprises: determining distribution similarities between training data sets associated with each respective machine learning model of the set of machine learning models and a data distribution corresponding to one or more operating conditions of the network entity; and determining the first subset of the set of machine learning models based on a comparison of each respective distribution similarity to a threshold similarity.

[0224] Aspect 9: The method of any of aspects 1 through 8, further comprising: comparing, during the second monitoring procedure, input-output data distribution information to an operating data distribution corresponding to one or more operating conditions of the network entity, wherein the input-output data distribution information includes a respective input-output data distribution associated with each respective machine learning model of the set of machine learning models; detecting, based on the second monitoring procedure, a data drift, wherein the data drift is indicative of one or more respective distribution similarities between the input-output distributions being below a threshold distribution similarity with respect to the operating data distribution; and monitoring again, in response to detection of the data drift and via the first monitoring procedure, performance of each respective machine learning model of the set of machine learning models configured at the network entity.

[0225] Aspect 10: The method of any of aspects 1 through 9, further comprising: receiving an indication of at least one of the first monitoring procedure or the second monitoring procedure, wherein at least one of: performing the first monitoring procedure comprises performing the first monitoring procedure in accordance with the indication; or performing the second monitoring procedure comprises performing the second monitoring procedure in accordance with the indication.

[0226] Aspect 11: The method of any of aspects 1 through 10, further comprising: receiving an indication to switch from the first monitoring procedure to the second monitoring procedure, wherein performing the first monitoring procedure and the second monitoring procedure in accordance with the indication.

[0227] Aspect 12: The method of any of aspects 1 through 11, further comprising: determining a second subset of the set of machine learning models based on the second monitoring procedure, wherein the second subset comprises one or more machine learning  models of the first subset of the set of machine learning models; and performing a third monitoring procedure, wherein performing the third monitoring procedure comprises monitoring performance of each respective machine learning model of a second subset of the set of machine learning models.

[0228] Aspect 13: The method of any of aspects 1 through 12, further comprising: transmitting capability information indicative of a capability of the network entity to monitor the set of machine learning models via a multi-procedure monitoring process.

[0229] Aspect 14: The method of aspect 13, wherein the multi-procedure monitoring process comprises at least the first monitoring procedure and the second monitoring procedure.

[0230] Aspect 15: The method of any of aspects 1 through 14, further comprising: transmitting, prior to application of a multi-procedure monitoring process to the set of machine learning models, an indication of at least one of the first monitoring procedure or the second monitoring procedure, wherein the multi-procedure monitoring process comprises at least the first monitoring procedure and the second monitoring procedure.

[0231] Aspect 16: The method of any of aspects 1 through 15, further comprising: receiving a configuration for at least one of the set of machine learning models or for one or more of the first monitoring procedure or the second monitoring procedure via an RRC message, a MAC-CE message, a DCI message, or a combination thereof.

[0232] Aspect 17: The method of any of aspects 1 through 16, wherein the first monitoring procedure is of less processing complexity than the second monitoring procedure.

[0233] Aspect 18: A method of wireless communication at a first network entity, comprising: receiving a capability report that indicates a capability of a second network entity to monitor performance of individual ones of a set of machine learning models via a multi-stage monitoring process; and transmitting, to the second network entity, control information that indicates at least two or more machine learning models of the set of machine learning models, wherein the control information also indicates a first monitoring procedure of a first monitoring procedure type and a second monitoring procedure of a second monitoring procedure type, wherein the first monitoring procedure and the second monitoring procedure are for monitoring, by the second network entity, of the two or more of the set of machine learning models, and wherein the second monitoring procedure is based on the first  monitoring procedure and wherein the first monitoring procedure type is of less processing complexity than the second monitoring procedure type.

[0234] Aspect 19: The method of aspect 18, further comprising: transmitting an indication for the second network entity to switch to use of one of the first monitoring procedure type or the second monitoring procedure type.

[0235] Aspect 20: The method of any of aspects 18 through 19, further comprising: receiving, prior to application of the multi-procedure monitoring process to the two or more of the set of machine learning models, a first indication of a third monitoring procedure; and transmitting, responsive to the first indication, a second indication for the second network entity to switch to use of the third monitoring procedure during the multi-stage monitoring process.

[0236] Aspect 21: The method of any of aspects 18 through 20, wherein the control information is included in an RRC message, a MAC-CE message, a DCI message, or a combination thereof.

[0237] Aspect 22: A network entity comprising one or more memories storing processor-executable code, and one or more processors coupled with the one or more memories and individually or collectively operable to execute the code to cause the network entity to perform a method of any of aspects 1 through 17.

[0238] Aspect 23: A network entity comprising at least one means for performing a method of any of aspects 1 through 17. having code stored thereon that, when executed, causes an apparatus to

[0239] Aspect 24: A non-transitory computer-readable medium having code stored thereon that, when executed, causes an apparatus to perform a method of any of aspects 1 through 17.

[0240] Aspect 25: A first network entity comprising one or more memories storing processor-executable code, and one or more processors coupled with the one or more memories and individually or collectively operable to execute the code to cause the first network entity to perform a method of any of aspects 18 through 21.

[0241] Aspect 26: A first network entity comprising at least one means for performing a method of any of aspects 18 through 21.

[0242] Aspect 27: A non-transitory computer-readable medium having code stored thereon that, when executed, causes an apparatus to perform a method of any of aspects 18 through 21.

[0243] The methods described herein describe possible implementations, and the operations and the steps may be rearranged or otherwise modified and that other implementations are possible. Further, aspects from two or more of the methods may be combined.

[0244] Although aspects of an LTE, LTE-A, LTE-A Pro, or NR system may be described for purposes of example, and LTE, LTE-A, LTE-A Pro, or NR terminology may be used in much of the description, the techniques described herein are applicable beyond LTE, LTE-A, LTE-A Pro, or NR networks. For example, the described techniques may be applicable to various other wireless communication systems such as Ultra Mobile Broadband (UMB) , Institute of Electrical and Electronics Engineers (IEEE) 802.11 (Wi-Fi) , IEEE 802.16 (WiMAX) , IEEE 802.20, Flash-OFDM, as well as other systems and radio technologies not explicitly mentioned herein.

[0245] Information and signals described herein may be represented using any of a variety of different technologies and techniques. For example, data, instructions, commands, information, signals, bits, symbols, and chips that may be referenced throughout the description may be represented by voltages, currents, electromagnetic waves, magnetic fields or particles, optical fields or particles, or any combination thereof.

[0246] The various illustrative blocks and components described in connection with the disclosure herein may be implemented or performed using a general-purpose processor, a DSP, an ASIC, a CPU, an FPGA or other programmable logic device, discrete gate or transistor logic, discrete hardware components, or any combination thereof designed to perform the functions described herein. A general-purpose processor may be a microprocessor but, in the alternative, the processor may be any processor, controller, microcontroller, or state machine. A processor may also be implemented as a combination of computing devices (e.g., a combination of a DSP and a microprocessor, multiple microprocessors, one or more microprocessors in conjunction with a DSP core, or any other such configuration) . Any functions or operations described herein as being capable of being performed by a processor may be performed by multiple processors that, individually or collectively, are capable of performing the described functions or operations.

[0247] The functions described herein may be implemented using hardware, software executed by a processor, firmware, or any combination thereof. If implemented using software executed by a processor, the functions may be stored as or transmitted using one or more instructions or code of a computer-readable medium. Other examples and implementations are within the scope of the disclosure and claims. For example, due to the nature of software, functions described herein may be implemented using software executed by a processor, hardware, firmware, hardwiring, or combinations of any of these. Features implementing functions may also be physically located at various positions, including being distributed such that portions of functions are implemented at different physical locations.

[0248] Computer-readable media includes both non-transitory computer storage media and communication media including any medium that facilitates transfer of a computer program from one location to another. A non-transitory storage medium may be any available medium that may be accessed by a general-purpose or special-purpose computer. By way of example, and not limitation, non-transitory computer-readable media may include RAM, ROM, electrically erasable programmable ROM (EEPROM) , flash memory, compact disk (CD) ROM or other optical disk storage, magnetic disk storage or other magnetic storage devices, or any other non-transitory medium that may be used to carry or store desired program code means in the form of instructions or data structures and that may be accessed by a general-purpose or special-purpose computer, or a general-purpose or special-purpose processor. Also, any connection is properly termed a computer-readable medium. For example, if the software is transmitted from a website, server, or other remote source using a coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL) , or wireless technologies such as infrared, radio, and microwave, then the coaxial cable, fiber optic cable, twisted pair, DSL, or wireless technologies such as infrared, radio, and microwave are included in the definition of computer-readable medium. Disk and disc, as used herein, include CD, laser disc, optical disc, digital versatile disc (DVD) , floppy disk and Blu-ray disc. Disks may reproduce data magnetically, and discs may reproduce data optically using lasers. Combinations of the above are also included within the scope of computer-readable media. Any functions or operations described herein as being capable of being performed by a memory may be performed by multiple memories that, individually or collectively, are capable of performing the described functions or operations.

[0249] As used herein, the term “or” is an inclusive “or” unless limiting language is used relative to the alternatives listed. For example, reference to “X being based on A or B” shall  be construed as including within its scope X being based on A, X being based on B, and X being based on A and B. In this regard, reference to “X being based on A or B” refers to “at least one of A or B” or “one or more of A or B” due to “or” being inclusive. Similarly, reference to “X being based on A, B, or C” shall be construed as including within its scope X being based on A, X being based on B, X being based on C, X being based on A and B, X being based on A and C, X being based on B and C, and X being based on A, B, and C. In this regard, reference to “X being based on A, B, or C” refers to “at least one of A, B, or C” or “one or more of A, B, or C” due to “or” being inclusive. As an example of limiting language, reference to “X being based on only one of A or B” shall be construed as including within its scope X being based on A as well as X being based on B, but not X being based on A and B. Also, as used herein, the phrase “based on” shall not be construed as a reference to a closed set of information, one or more conditions, one or more factors, or the like. In other words, the phrase “based on A” (where “A” may be information, a condition, a factor, or the like) shall be construed as “based at least on A” unless specifically recited differently. Also, as used herein, the phrase “a set” shall be construed as including the possibility of a set with one member. That is, the phrase “a set” shall be construed in the same manner as “one or more” or “at least one of. ”

[0250] As used herein, including in the claims, the article “a” before a noun is open-ended and understood to refer to “at least one” of those nouns or “one or more” of those nouns. Thus, the terms “a, ” “at least one, ” “one or more, ” “at least one of one or more” may be interchangeable. For example, if a claim recites “a component” that performs one or more functions, each of the individual functions may be performed by a single component or by any combination of multiple components. Thus, the term “a component” having characteristics or performing functions may refer to “at least one of one or more components” having a particular characteristic or performing a particular function. Subsequent reference to a component introduced with the article “a” using the terms “the” or “said” may refer to any or all of the one or more components. For example, a component introduced with the article “a” may be understood to mean “one or more components, ” and referring to “the component” subsequently in the claims may be understood to be equivalent to referring to “at least one of the one or more components. ” Similarly, subsequent reference to a component introduced as “one or more components” using the terms “the” or “said” may refer to any or all of the one or more components. For example, referring to “the one or more components”  subsequently in the claims may be understood to be equivalent to referring to “at least one of the one or more components. ”

[0251] The term “determine” or “determining” encompasses a variety of actions and, therefore, “determining” can include calculating, computing, processing, deriving, investigating, looking up (such as via looking up in a table, a database or another data structure) , ascertaining and the like. Also, “determining” can include receiving (e.g., receiving information) , accessing (e.g., accessing data stored in memory) and the like. Also, “determining” can include resolving, obtaining, selecting, choosing, establishing, and other such similar actions.

[0252] In the figures, similar components or features may have the same reference label. Further, various components of the same type may be distinguished by following the reference label by a dash and a second label that distinguishes among the similar components. If just the first reference label is used in the specification, the description is applicable to any one of the similar components having the same first reference label irrespective of the second reference label, or other subsequent reference label.

[0253] The description set forth herein, in connection with the drawings, describes example configurations and does not represent all the examples that may be implemented or that are within the scope of the claims. The term “example” used herein means “serving as an example, instance, or illustration, ” and not “preferred” or “advantageous over other examples. ” The detailed description includes specific details for the purpose of providing an understanding of the described techniques. These techniques, however, may be practiced without these specific details. In some instances, structures and devices are shown in block diagram form in order to avoid obscuring the concepts of the described examples.

[0254] The description herein is provided to enable a person having ordinary skill in the art to make or use the disclosure. Various modifications to the disclosure will be apparent to a person having ordinary skill in the art, and the generic principles defined herein may be applied to other variations without departing from the scope of the disclosure. Thus, the disclosure is not limited to the examples and designs described herein but is to be accorded the broadest scope consistent with the principles and novel features disclosed herein.

Claims

1.A network entity for wireless communication, comprising:a processing system configured to:perform a first monitoring procedure, wherein to perform the first monitoring procedure, the processing system is configured to monitor performance of each respective machine learning model of a set of machine learning models configured at the network entity such that the set of machine learning models are executable by the processing system;determine, based on the first monitoring procedure, a first subset of the set of machine learning models; andperform a second monitoring procedure, wherein to perform the second monitoring procedure, the processing system is configured to monitor performance of each respective machine learning model of the first subset of the set of machine learning models.2.The network entity of claim 1, wherein, to perform the first monitoring procedure, the processing system is configured to monitor input data distribution information, wherein the input data distribution information includes a respective input data distribution associated with each respective machine learning model of the set of machine learning models, and, wherein, to determine the first subset of the set of machine learning models, the processing system is configured to:compare the input data distribution information to an operating data distribution corresponding to one or more operating conditions of the processing system, wherein the first subset of the set of machine learning models is determined based on the comparison.3.The network entity of claim 1, wherein, to perform the second monitoring procedure, the processing system is configured to monitor input-output data distribution information, wherein the input-output data distribution information includes a respective input-output data distribution associated with each respective machine learning model of the set of machine learning models, and, wherein, to monitor the performance of each respective machine learning model of the first subset of the set of machine learning models, the processing system is configured to:compare the input-output data distribution information to an operating data distribution corresponding to one or more operating conditions of the processing system.4.The network entity of claim 1, wherein, to perform the second monitoring procedure, the processing system is configured to monitor input-output data distribution information, wherein the input-output data distribution information includes a respective input-output data distribution associated with each respective machine learning model of the set of machine learning models, and, wherein, to monitor the performance of each respective machine learning model of the first subset of the set of machine learning models, the processing system is configured to:generate the input-output data distribution information based on each respective machine learning model of the first subset of the set of machine learning models.5.The network entity of claim 1, wherein, to monitor the performance of each respective machine learning model of the first subset of the set of machine learning models, the processing system is configured to:measure one or more first performance-related parameters; andcompare one or more second performance-related parameters associated with each respective machine learning model of the first subset of the set of machine learning models to the measured one or more first performance-related parameters.6.The network entity of claim 5, wherein the second monitoring procedure is an inference performance monitoring procedure, wherein the one or more second performance-related parameters that are compared with the one or more first performance-related parameters are parameters that are output by the each respective machine learning model of the first subset of the set of machine learning models.7.The network entity of claim 1, wherein the second monitoring procedure is an end-to-end or system performance monitoring procedure, wherein one or more performance-related parameters associated with each respective machine learning model of the first subset of the set of machine learning models are compared with a threshold performance-related parameter.8.The network entity of claim 1, wherein, to determine the first subset of the set of machine learning models, the processing system is configured to:determine distribution similarities between training data sets associated with each respective machine learning model of the set of machine learning models and a data distribution corresponding to one or more operating conditions of the processing system; anddetermine the first subset of the set of machine learning models based on a comparison of each respective distribution similarity to a threshold similarity.9.The network entity of claim 1, wherein the processing system is configured to:compare, during the second monitoring procedure, input-output data distribution information to an operating data distribution corresponding to one or more operating conditions of the processing system, wherein the input-output data distribution information includes a respective input-output data distribution associated with each respective machine learning model of the set of machine learning models;detect, based on the second monitoring procedure, a data drift, wherein the data drift is indicative of one or more respective distribution similarities between the input-output distributions included in the input-output data distribution information being below a threshold distribution similarity with respect to the operating data distribution; andmonitor again, in response to detection of the data drift and via the first monitoring procedure, performance of each respective machine learning model of the set of machine learning models configured at the processing system.10.The network entity of claim 1, wherein the processing system is configured to:receive an indication of at least one of the first monitoring procedure or the second monitoring procedure, wherein at least one of:to perform the first monitoring procedure, the processing system is configured to perform the first monitoring procedure in accordance with the indication; orto perform the second monitoring procedure, the processing system is configured to perform the second monitoring procedure in accordance with the indication.11.The network entity of claim 1, wherein the processing system is configured to:receive an indication to switch from the first monitoring procedure to the second monitoring procedure, wherein the processing system is configured to perform the first monitoring procedure and the second monitoring procedure in accordance with the indication.12.The network entity of claim 1, wherein the processing system is configured to:determine a second subset of the set of machine learning models based on the second monitoring procedure, wherein the second subset comprises one or more machine learning models of the first subset of the set of machine learning models; andperform a third monitoring procedure, wherein to perform the third monitoring procedure, the processing system is configured to monitor performance of each respective machine learning model of a second subset of the set of machine learning models.13.The network entity of claim 1, wherein the processing system is configured to:transmit capability information indicative of a capability of the network entity to monitor the set of machine learning models via a multi-stage monitoring process.14.The network entity of claim 13, wherein the multi-stage monitoring process comprises at least the first monitoring procedure and the second monitoring procedure.15.The network entity of claim 1, wherein the processing system is configured to:transmit, prior to application of a multi-stage monitoring process to the set of machine learning models, an indication of at least one of the first monitoring procedure or the second monitoring procedure, wherein the multi-stage monitoring process comprises at least the first monitoring procedure and the second monitoring procedure.16.The network entity of claim 1, wherein the processing system is configured to:receive a configuration for at least one of the set of machine learning models or for one or more of the first monitoring procedure or the second monitoring procedure via a radio resource control (RRC) message, a medium access control-control element (MAC-CE) message, a downlink control information (DCI) message, or a combination thereof.17.The network entity of claim 1, wherein the first monitoring procedure is of less processing complexity than the second monitoring procedure.18.A method of wireless communication by a network entity, comprising:performing a first monitoring procedure, wherein performing the first monitoring procedure comprises monitoring performance of each respective machine learning model of a set of machine learning models configured at the network entity such that the set of machine learning models are executable by the network entity;determining, based on the first monitoring procedure, a first subset of the set of machine learning models; andperforming a second monitoring procedure, wherein performing the second monitoring procedure comprises monitoring performance of each respective machine learning model of the first subset of the set of machine learning models.19.The method of claim 18, wherein, performing the first monitoring procedure comprises monitoring input data distribution information, wherein the input data distribution information includes a respective input data distribution associated with each respective machine learning model of the set of machine learning models, and, wherein, determining the first subset of the set of machine learning models further comprises:comparing the input data distribution information to an operating data distribution corresponding to one or more operating conditions of the network entity, wherein the first subset of the set of machine learning models is determined based on the comparison.20.The method of claim 18, wherein performing the second monitoring procedure comprises monitoring input-output data distribution information, wherein the input-output data distribution information includes a respective input-output data distribution associated with each respective machine learning model of the set of machine learning models, and, wherein, monitoring the performance of each respective machine learning model of the first subset of the set of machine learning models further comprises:comparing the input-output data distribution information to an operating data distribution corresponding to one or more operating conditions of the network entity.21.The method of claim 18, wherein performing the second monitoring procedure comprises monitoring input-output data distribution information, wherein the input-output data distribution information includes a respective input-output data distribution associated with each respective machine learning model of the set of machine learning models, and, wherein, monitoring the performance of each respective machine learning model of the first subset of the set of machine learning models further comprises:generating the input-output data distribution information based on each respective machine learning model of the first subset of the set of machine learning models.22.The method of claim 18, wherein monitoring the performance of each respective machine learning model of the first subset of the set of machine learning models further comprises:measuring one or more first performance-related parameters; andcomparing one or more second performance-related parameters associated with each respective machine learning model of the first subset of the set of machine learning models to the measured one or more first performance-related parameters.23.The method of claim 22, wherein the second monitoring procedure is an inference performance monitoring procedure, wherein the one or more second performance-related parameters that are compared with the one or more first performance-related parameters are parameters that are output by the each respective machine learning model of the first subset of the set of machine learning models.24.The method of claim 18, wherein the second monitoring procedure is an end-to-end or system performance monitoring procedure, wherein one or more performance-related parameters associated with each respective machine  learning model of the first subset of the set of machine learning models are compared with a threshold performance-related parameter.25.The method of claim 18, wherein determining the first subset of the set of machine learning models further comprises:determining distribution similarities between training data sets associated with each respective machine learning model of the set of machine learning models and a data distribution corresponding to one or more operating conditions of the network entity; anddetermining the first subset of the set of machine learning models based on a comparison of each respective distribution similarity to a threshold similarity.26.The method of claim 18, further comprising:comparing, during the second monitoring procedure, input-output data distribution information to an operating data distribution corresponding to one or more operating conditions of the network entity, wherein the input-output data distribution information includes a respective input-output data distribution associated with each respective machine learning model of the set of machine learning models;detecting, based on the second monitoring procedure, a data drift, wherein the data drift is indicative of one or more respective distribution similarities between the input-output distributions included in the input-output data distribution information being below a threshold distribution similarity with respect to the operating data distribution; andmonitoring again, in response to detection of the data drift and via the first monitoring procedure, performance of each respective machine learning model of the set of machine learning models configured at the network entity.27.A network entity, comprising:means for performing a first monitoring procedure, wherein performing the first monitoring procedure comprises monitoring performance of each respective machine learning model of a set of machine learning models configured at the network entity such that the set of machine learning models are executable by the network entity;means for determining, based on the first monitoring procedure, a first subset of the set of machine learning models; andmeans for performing a second monitoring procedure, wherein performing the second monitoring procedure comprises monitoring performance of each respective machine learning model of the first subset of the set of machine learning models.28.The network entity of claim 27, further comprising:means for receiving an indication of at least one of the first monitoring procedure or the second monitoring procedure, wherein at least one of:means for performing the first monitoring procedure comprises performing the first monitoring procedure in accordance with the indication; ormeans for performing the second monitoring procedure comprises performing the second monitoring procedure in accordance with the indication.29.A non-transitory computer-readable medium having code stored thereon that, when executed, causes an apparatus to:perform a first monitoring procedure, wherein, to perform the first monitoring procedure, the apparatus is configured to monitor performance of each respective machine learning model of a set of machine learning models configured at a network entity such that the set of machine learning models are executable by the network entity;determine, based on the first monitoring procedure, a first subset of the set of machine learning models; andperform a second monitoring procedure, wherein performing the second monitoring procedure comprises monitoring performance of each respective machine learning model of the first subset of the set of machine learning models.30.The non-transitory computer-readable medium of claim 29, wherein the code, when executed, causes the apparatus to:transmit capability information indicative of a capability of the network entity to monitor the set of machine learning models via a multi-stage monitoring process.

Images