Neural network transmission via joint compression and channel coding

Abstract

Methods, systems, and devices for wireless communications are described. A first wireless device may transmit, to a second wireless device, neural network (NN) model information using a lossy scheme for NN model transmission to reduce a distortion of an output of the NN model. The first wireless device may receive a capability message that indicates a capability of a second wireless device to support one or more NN models. Then, the first wireless device may transmit a model message based on the capability of the second wireless device. The model message may include an NN model with an associated set of parameters. The NN model may be included in the model message in accordance with a joint NN compression and channel coding procedure that provides at least one of lossy compression or lossy encoding.

Description

NEURAL NETWORK TRANSMISSION VIA JOINT COMPRESSION AND CHANNEL CODINGTECHNICAL FIELD

[0001] The following relates to wireless communications, including neural network transmission via joint compression and channel coding.BACKGROUND

[0002] Wireless communications systems are widely deployed to provide various types of communication content such as voice, video, packet data, messaging, broadcast, and so on. These systems may be capable of supporting communication with multiple users by sharing the available system resources (e.g., time, frequency, and power) . Examples of such multiple-access systems include fourth generation (4G) systems such as Long Term Evolution (LTE) systems, LTE-Advanced (LTE-A) systems, or LTE-A Pro systems, and fifth generation (5G) systems which may be referred to as New Radio (NR) systems. These systems may employ technologies such as code division multiple access (CDMA) , time division multiple access (TDMA) , frequency division multiple access (FDMA) , orthogonal FDMA (OFDMA) , or discrete Fourier transform spread orthogonal frequency division multiplexing (DFT-S-OFDM) . A wireless multiple-access communications system may include one or more base stations, each supporting wireless communication for communication devices, which may be known as user equipment (UE) . Components within a wireless communication system may be coupled (for example, operatively, communicatively, functionally, electronically, and / or electrically) to each other.SUMMARY

[0003] The systems, methods, and devices of this disclosure each have several innovative aspects, no single one of which is solely responsible for the desirable attributes disclosed herein.

[0004] A method for wireless communication by a first wireless device is described. The method may include receiving a capability message that indicates a capability of a second wireless device to support one or more neural network (NN) models and transmitting, based on the capability of the second wireless device, a model message that includes a NN model with an associated set of parameters, where the NN model is included in the model message in accordance with a joint NN compression and channel coding procedure that provides at least one of lossy compression or lossy encoding.

[0005] A first wireless device for wireless communication is described. The first wireless device may include one or more memories storing processor executable code, and one or more processors coupled with (e.g., operatively, communicatively, functionally, electronically, or electrically) the one or more memories. The one or more processors may individually or collectively be operable to execute the code (e.g., directly, indirectly, after pre-processing, without pre-processing) to cause the first wireless device to receive a capability message that indicates a capability of a second wireless device to support one or more NN models and transmit, based on the capability of the second wireless device, a model message that includes a NN model with an associated set of parameters, where the NN model is included in the model message in accordance with a joint NN compression and channel coding procedure that provides at least one of lossy compression or lossy encoding.

[0006] Another first wireless device for wireless communication is described. The first wireless device may include means for receiving a capability message that indicates a capability of a second wireless device to support one or more NN models and means for transmitting, based on the capability of the second wireless device, a model message that includes a NN model with an associated set of parameters, where the NN model is included in the model message in accordance with a joint NN compression and channel coding procedure that provides at least one of lossy compression or lossy encoding.

[0007] A non-transitory computer-readable medium storing code for wireless communication is described. The code may include instructions executable by one or more processors (e.g., directly, indirectly, after pre-processing, without pre-processing) to receive a capability message that indicates a capability of a second wireless device to support one or more NN models and transmit, based on the capability of the second wireless device, a model message that includes a NN model with an associated set of parameters, where the NN model is included in the model message in accordance with a joint NN compression and channel coding procedure that provides at least one of lossy compression or lossy encoding.

[0008] Some examples of the method, first wireless devices, and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for performing the joint NN compression and channel coding procedure in accordance with an optimization of a distortion function.

[0009] In some examples of the method, first wireless devices, and non-transitory computer-readable medium described herein, the lossy compression or the lossy encoding of the joint NN compression and channel coding procedure may be in accordance with a loss function that may be based on a loss value associated with a NN task and a regularization term associated with a pruning operation.

[0010] Some examples of the method, first wireless devices, and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for performing, as part of performance of the joint NN compression and channel coding procedure, a pruning operation on the NN model, where performing the pruning operation includes removing at least one parameter of the associated set of parameters from the NN model.

[0011] In some examples of the method, first wireless devices, and non-transitory computer-readable medium described herein, performing the pruning operation may include operations, features, means, or instructions for removing a subset of parameters from the NN model, the subset of parameters including one or more filters of the NN model, one or more layers of the NN model, one or more modules of the NN model, or any combination thereof.

[0012] Some examples of the method, first wireless devices, and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for performing, as part of performance of the joint NN compression and channel coding procedure, a noise injection operation on the NN model to add noise to one or more weights corresponding to the associated set of parameters of the NN model.

[0013] Some examples of the method, first wireless devices, and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for performing, as part of performance of the joint NN compression and channel coding procedure, a channel coding training operation on the NN model based on a sensitivity rating associated with the NN model.

[0014] In some examples of the method, first wireless devices, and non-transitory computer-readable medium described herein, performing the channel coding training operation may include operations, features, means, or instructions for applying a respective channel compression coding rate to each subset of parameters of the associated set of parameters of the NN model based on a respective sensitivity ranking corresponding to each subset of parameters of the associated set of parameters, where each subset of parameters includes one or more filters of the neural network model, one or more layers of the neural network model, one or more modules of the neural network model, or any combination thereof.

[0015] Some examples of the method, first wireless devices, and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for transmitting a message indicating a distortion level threshold associated with an evaluation of successful transmission of the NN model, where the evaluation may be based on satisfaction of the distortion level threshold by a distortion level estimate, and where the distortion level estimate may be based on a signal-to-noise (SNR) estimate and a distortion-SNR curve.

[0016] Some examples of the method, first wireless devices, and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for transmitting a first message that indicates a loss threshold associated with an evaluation of a successful transmission of the NN model, a loss function used to train the NN model, or both, where the evaluation may be based on satisfaction of the loss threshold by a result of the loss function.

[0017] Some examples of the method, first wireless devices, and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for transmitting a second message that indicates a set of data for performance of the evaluation, where the loss function may be based on the set of data, and where the evaluation may be based on the set of data in combination with the loss function.

[0018] Some examples of the method, first wireless devices, and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for receiving a first message indicating a task evaluation function associated with the NN model and transmitting, based on the first message, a second message indicating a performance threshold associated with an evaluation of successful transmission of the NN model, where the evaluation may be based on satisfaction of the performance threshold by a result of the task evaluation function.

[0019] Some examples of the method, first wireless devices, and non-transitory computer-readable medium described herein may further include operations, features, means, or instructions for transmitting, based on the first message, a third message indicating a set of data for performing the evaluation, where the task evaluation function may be based on at least one parameter from the set of data, and where the evaluation may be based on the set of data in combination with the task evaluation function.

[0020] Details of one or more implementations of the subject matter described in this disclosure are set forth in the accompanying drawings and the description below. Other features, aspects, and advantages will become apparent from the description, the drawings, and the claims. Note that the relative dimensions of the following figures may not be drawn to scale.BRIEF DESCRIPTION OF THE DRAWINGS

[0021] FIG. 1 shows an example of a wireless communications system that supports neural network (NN) transmission via joint compression and channel coding in accordance with one or more aspects of the present disclosure.

[0022] FIG. 2 shows an example of a wireless communications system that supports NN transmission via joint compression and channel coding in accordance with one or more aspects of the present disclosure.

[0023] FIG. 3 shows an example of an NN model that supports NN transmission via joint compression and channel coding in accordance with one or more aspects of the present disclosure.

[0024] FIGs. 4A–4C show process flows that supports NN transmission via joint compression and channel coding in accordance with one or more aspects of the present disclosure.

[0025] FIG. 5 shows an example of a process flow that supports NN transmission via joint compression and channel coding in accordance with one or more aspects of the present disclosure.

[0026] FIGs. 6 and 7 show block diagrams of devices that support NN transmission via joint compression and channel coding in accordance with one or more aspects of the present disclosure.

[0027] FIG. 8 shows a block diagram of a communications manager that supports NN transmission via joint compression and channel coding in accordance with one or more aspects of the present disclosure.

[0028] FIG. 9 shows a diagram of a system including a device that supports NN transmission via joint compression and channel coding in accordance with one or more aspects of the present disclosure.

[0029] FIGs. 10 and 11 show flowcharts illustrating methods that support NN transmission via joint compression and channel coding in accordance with one or more aspects of the present disclosure.DETAILED DESCRIPTION

[0030] In some wireless communications systems, a first wireless device may transmit information of a neural network (NN) model (e.g., a trained NN model) to a second wireless device. Such information may include NN parameters or NN structures. In some cases, a metric for evaluating an NN model transfer may be different from evaluating other transmissions. For example, the second wireless device may evaluate an NN model transfer using a distortion function that is based on a set of NN model parameters (e.g., transmitted parameters) and a set of NN model recovered parameters (e.g., received parameters) . In some wireless communications systems, devices may attempt to simply reduce the distortion of the recovered parameters. However, methods for reducing the distortion of the parameters (e.g., the distortion of the NN model) may reduce signaling efficiency or increase signaling overhead, thereby diminishing the user experience.

[0031] Techniques described herein may support a first wireless device that transmits, to a second wireless device, NN model information using a lossy scheme for NN model transmission to reduce a distortion of an output of the NN model (e.g., rather than a distortion of the NN model itself) . The first wireless device may receive a capability message that indicates a capability of a second wireless device to support one or more NN models. Then, the first wireless device may transmit a model message based on the capability of the second wireless device. The model message may include an NN model with an associated set of parameters. The NN model may be included in the model message in accordance with a joint NN compression and channel coding procedure that provides at least one of lossy compression or lossy encoding. In some cases, the first wireless device may perform the joint NN compression and channel coding procedure based on a distortion function (e.g., in accordance with the lossy compression scheme) . In some examples, the first wireless device may perform a pruning operation, a noise injection operation, a channel coding training operation, or any combination thereof, as part of the joint NN compression and channel coding procedure.

[0032] Aspects of the disclosure are initially described in the context of wireless communications systems. Aspects of the disclosure are then described with reference to an NN model diagram and process flows. Aspects of the disclosure are further illustrated by and described with reference to apparatus diagrams, system diagrams, and flowcharts that relate to NN transmission via joint compression and channel coding.

[0033] FIG. 1 shows an example of a wireless communications system 100 that supports NN transmission via joint compression and channel coding in accordance with one or more aspects of the present disclosure. The wireless communications system 100 may include one or more devices, such as one or more network devices (e.g., network entities 105) , one or more UEs 115, and a core network 130. In some examples, the wireless communications system 100 may be a Long Term Evolution (LTE) network, an LTE-Advanced (LTE-A) network, an LTE-A Pro network, a New Radio (NR) network, or a network operating in accordance with other systems and radio technologies, including future systems and radio technologies not explicitly mentioned herein.

[0034] The network entities 105 may be dispersed throughout a geographic area to form the wireless communications system 100 and may include devices in different forms or having different capabilities. In various examples, a network entity 105 may be referred to as a network element, a mobility element, a radio access network (RAN) node, or network equipment, among other nomenclature. In some examples, network entities 105 and UEs 115 may wirelessly communicate via communication link (s) 125 (e.g., a radio frequency (RF) access link) . For example, a network entity 105 may support a coverage area 110 (e.g., a geographic coverage area) over which the UEs 115 and the network entity 105 may establish the communication link (s) 125. The coverage area 110 may be an example of a geographic area over which a network entity 105 and a UE 115 may support the communication of signals according to one or more radio access technologies (RATs) .

[0035] The UEs 115 may be dispersed throughout a coverage area 110 of the wireless communications system 100, and each UE 115 may be stationary, or mobile, or both at different times. The UEs 115 may be devices in different forms or having different capabilities. Some example UEs 115 are illustrated in FIG. 1. The UEs 115 described herein may be capable of supporting communications with various types of devices in the wireless communications system 100 (e.g., other wireless communication devices, including UEs 115 or network entities 105) , as shown in FIG. 1.

[0036] As described herein, a node of the wireless communications system 100, which may be referred to as a network node, or a wireless node, may be a network entity 105 (e.g., any network entity described herein) , a UE 115 (e.g., any UE described herein) , a network controller, an apparatus, a device, a computing system, one or more components, or another suitable processing entity configured to perform any of the techniques described herein. For example, a node may be a UE 115. As another example, a node may be a network entity 105. As another example, a first node may be configured to communicate with a second node or a third node. In one aspect of this example, the first node may be a UE 115, the second node may be a network entity 105, and the third node may be a UE 115. In another aspect of this example, the first node may be a UE 115, the second node may be a network entity 105, and the third node may be a network entity 105. In yet other aspects of this example, the first, second, and third nodes may be different relative to these examples. Similarly, reference to a UE 115, network entity 105, apparatus, device, or computing system may include disclosure of the UE 115, network entity 105, apparatus, device, or computing system being a node. For example, disclosure that a UE 115 is configured to receive information from a network entity 105 also discloses that a first node is configured to receive information from a second node.

[0037] In some examples, network entities 105 may communicate with a core network 130, or with one another, or both. For example, network entities 105 may communicate with the core network 130 via backhaul communication link (s) 120 (e.g., in accordance with an S1, N2, N3, or other interface protocol) . In some examples, network entities 105 may communicate with one another via backhaul communication link (s) 120 (e.g., in accordance with an X2, Xn, or other interface protocol) either directly (e.g., directly between network entities 105) or indirectly (e.g., via the core network 130) . In some examples, network entities 105 may communicate with one another via a midhaul communication link 162 (e.g., in accordance with a midhaul interface protocol) or a fronthaul communication link 168 (e.g., in accordance with a fronthaul interface protocol) , or any combination thereof. The backhaul communication link (s) 120, midhaul communication links 162, or fronthaul communication links 168 may be or include one or more wired links (e.g., an electrical link, an optical fiber link) or one or more wireless links (e.g., a radio link, a wireless optical link) , among other examples or various combinations thereof. A UE 115 may communicate with the core network 130 via a communication link 155.

[0038] One or more of the network entities 105 or network equipment described herein may include or may be referred to as a base station 140 (e.g., a base transceiver station, a radio base station, an NR base station, an access point, a radio transceiver, a NodeB, an eNodeB (eNB) , a next-generation NodeB or giga-NodeB (either of which may be referred to as a gNB) , a 5G NB, a next-generation eNB (ng-eNB) , a Home NodeB, a Home eNodeB, or other suitable terminology) . In some examples, a network entity 105 (e.g., a base station 140) may be implemented in an aggregated (e.g., monolithic, standalone) base station architecture, which may be configured to utilize a protocol stack that is physically or logically integrated within one network entity (e.g., a network entity 105 or a single RAN node, such as a base station 140) .

[0039] In some examples, a network entity 105 may be implemented in a disaggregated architecture (e.g., a disaggregated base station architecture, a disaggregated RAN architecture) , which may be configured to utilize a protocol stack that is physically or logically distributed among multiple network entities (e.g., network entities 105) , such as an integrated access and backhaul (IAB) network, an open RAN (O-RAN) (e.g., a network configuration sponsored by the O-RAN Alliance) , or a virtualized RAN (vRAN) (e.g., a cloud RAN (C-RAN) ) . For example, a network entity 105 may include one or more of a central unit (CU) , such as a CU 160, a distributed unit (DU) , such as a DU 165, a radio unit (RU) , such as an RU 170, a RAN Intelligent Controller (RIC) , such as an RIC 175 (e.g., a Near-Real Time RIC (Near-RT RIC) , a Non-Real Time RIC (Non-RT RIC) ) , a Service Management and Orchestration (SMO) system, such as an SMO system 180, or any combination thereof. An RU 170 may also be referred to as a radio head, a smart radio head, a remote radio head (RRH) , a remote radio unit (RRU) , or a transmission reception point (TRP) . One or more components of the network entities 105 in a disaggregated RAN architecture may be co-located, or one or more components of the network entities 105 may be located in distributed locations (e.g., separate physical locations) . In some examples, one or more of the network entities 105 of a disaggregated RAN architecture may be implemented as virtual units (e.g., a virtual CU (VCU) , a virtual DU (VDU) , a virtual RU (VRU) ) .

[0040] The split of functionality between a CU 160, a DU 165, and an RU 170 is flexible and may support different functionalities depending on which functions (e.g., network layer functions, protocol layer functions, baseband functions, RF functions, or any combinations thereof) are performed at a CU 160, a DU 165, or an RU 170. For example, a functional split of a protocol stack may be employed between a CU 160 and a DU 165 such that the CU 160 may support one or more layers of the protocol stack and the DU 165 may support one or more different layers of the protocol stack. In some examples, the CU 160 may host upper protocol layer (e.g., layer 3 (L3) , layer 2 (L2) ) functionality and signaling (e.g., Radio Resource Control (RRC) , service data adaptation protocol (SDAP) , Packet Data Convergence Protocol (PDCP) ) . The CU 160 (e.g., one or more CUs) may be connected to a DU 165 (e.g., one or more DUs) or an RU 170 (e.g., one or more RUs) , or some combination thereof, and the DUs 165, RUs 170, or both may host lower protocol layers, such as layer 1 (L1) (e.g., physical (PHY) layer) or L2 (e.g., radio link control (RLC) layer, medium access control (MAC) layer) functionality and signaling, and may each be at least partially controlled by the CU 160. Additionally, or alternatively, a functional split of the protocol stack may be employed between a DU 165 and an RU 170 such that the DU 165 may support one or more layers of the protocol stack and the RU 170 may support one or more different layers of the protocol stack. The DU 165 may support one or multiple different cells (e.g., via one or multiple different RUs, such as an RU 170) . In some cases, a functional split between a CU 160 and a DU 165 or between a DU 165 and an RU 170 may be within a protocol layer (e.g., some functions for a protocol layer may be performed by one of a CU 160, a DU 165, or an RU 170, while other functions of the protocol layer are performed by a different one of the CU 160, the DU 165, or the RU 170) . A CU 160 may be functionally split further into CU control plane (CU-CP) and CU user plane (CU-UP) functions. A CU 160 may be connected to a DU 165 via a midhaul communication link 162 (e.g., F1, F1-c, F1-u) , and a DU 165 may be connected to an RU 170 via a fronthaul communication link 168 (e.g., open fronthaul (FH) interface) . In some examples, a midhaul communication link 162 or a fronthaul communication link 168 may be implemented in accordance with an interface (e.g., a channel) between layers of a protocol stack supported by respective network entities (e.g., one or more of the network entities 105) that are in communication via such communication links.

[0041] In some wireless communications systems (e.g., the wireless communications system 100) , infrastructure and spectral resources for radio access may support wireless backhaul link capabilities to supplement wired backhaul connections, providing an IAB network architecture (e.g., to a core network 130) . In some cases, in an IAB network, one or more of the network entities 105 (e.g., network entities 105 or IAB node (s) 104) may be partially controlled by each other. The IAB node (s) 104 may be referred to as a donor entity or an IAB donor. A DU 165 or an RU 170 may be partially controlled by a CU 160 associated with a network entity 105 or base station 140 (such as a donor network entity or a donor base station) . The one or more donor entities (e.g., IAB donors) may be in communication with one or more additional devices (e.g., IAB node (s) 104) via supported access and backhaul links (e.g., backhaul communication link (s) 120) . IAB node (s) 104 may include an IAB mobile termination (IAB-MT) controlled (e.g., scheduled) by one or more DUs (e.g., DUs 165) of a coupled IAB donor. An IAB-MT may be equipped with an independent set of antennas for relay of communications with UEs 115 or may share the same antennas (e.g., of an RU 170) of IAB node (s) 104 used for access via the DU 165 of the IAB node (s) 104 (e.g., referred to as virtual IAB-MT (vIAB-MT) ) . In some examples, the IAB node (s) 104 may include one or more DUs (e.g., DUs 165) that support communication links with additional entities (e.g., IAB node (s) 104, UEs 115) within the relay chain or configuration of the access network (e.g., downstream) . In such cases, one or more components of the disaggregated RAN architecture (e.g., the IAB node (s) 104 or components of the IAB node (s) 104) may be configured to operate according to the techniques described herein.

[0042] In the case of the techniques described herein applied in the context of a disaggregated RAN architecture, one or more components of the disaggregated RAN architecture may be configured to support NN transmission via joint compression and channel coding as described herein. For example, some operations described as being performed by a UE 115 or a network entity 105 (e.g., a base station 140) may additionally, or alternatively, be performed by one or more components of the disaggregated RAN architecture (e.g., components such as an IAB node, a DU 165, a CU 160, an RU 170, an RIC 175, an SMO system 180) .

[0043] A UE 115 may include or may be referred to as a mobile device, a wireless device, a remote device, a handheld device, or a subscriber device, or some other suitable terminology, where the “device” may also be referred to as a unit, a station, a terminal, or a client, among other examples. A UE 115 may also include or may be referred to as a personal electronic device such as a cellular phone, a personal digital assistant (PDA) , a multimedia / entertainment device (e.g., a radio, a MP3 player, or a video device) , a camera, a gaming device, a navigation / positioning device (e.g., GNSS (global navigation satellite system) devices based on, for example, GPS (global positioning system) , Beidou, GLONASS, or Galileo, or a terrestrial-based device) , a tablet computer, a laptop computer, a netbook, a smartbook, a personal computer, a smart device, a wearable device (e.g., a smart watch, smart clothing, smart glasses, virtual reality goggles, a smart wristband, smart jewelry (e.g., a smart ring, a smart bracelet) ) , a drone, a robot / robotic device, a vehicle, a vehicular device, a meter (e.g., parking meter, electric meter, gas meter, water meter) , a monitor, a gas pump, an appliance (e.g., kitchen appliance, washing machine, dryer) , a location tag, a medical / healthcare device, an implant, a sensor / actuator, a display, or any other suitable device configured to communicate via a wireless or wired medium. In some examples, a UE 115 may include or be referred to as a wireless local loop (WLL) station, an Internet of Things (IoT) device, an Internet of Everything (IoE) device, or a machine type communications (MTC) device, among other examples, which may be implemented in various objects such as appliances, vehicles, or meters, among other examples.

[0044] The UEs 115 described herein may be able to communicate with various types of devices, such as UEs 115 that may sometimes operate as relays, as well as the network entities 105 and the network equipment including macro eNBs or gNBs, small cell eNBs or gNBs, or relay base stations, among other examples, as shown in FIG. 1.

[0045] The UEs 115 and the network entities 105 may wirelessly communicate with one another via the communication link (s) 125 (e.g., one or more access links) using resources associated with one or more carriers. The term “carrier” may refer to a set of RF spectrum resources having a defined PHY layer structure for supporting the communication link (s) 125. For example, a carrier used for the communication link (s) 125 may include a portion of an RF spectrum band (e.g., a bandwidth part (BWP) ) that is operated according to one or more PHY layer channels for a given RAT (e.g., LTE, LTE-A, LTE-A Pro, NR) . Each PHY layer channel may carry acquisition signaling (e.g., synchronization signals, system information) , control signaling that coordinates operation for the carrier, user data, or other signaling. The wireless communications system 100 may support communication with a UE 115 using carrier aggregation or multi-carrier operation. A UE 115 may be configured with multiple downlink component carriers and one or more uplink component carriers according to a carrier aggregation configuration. Carrier aggregation may be used with both frequency division duplexing (FDD) and time division duplexing (TDD) component carriers. Communication between a network entity 105 and other devices may refer to communication between the devices and any portion (e.g., entity, sub-entity) of a network entity 105. For example, the terms “transmitting, ” “receiving, ” or “communicating, ” when referring to a network entity 105, may refer to any portion of a network entity 105 (e.g., a base station 140, a CU 160, a DU 165, a RU 170) of a RAN communicating with another device (e.g., directly or via one or more other network entities, such as one or more of the network entities 105) .

[0046] Signal waveforms transmitted via a carrier may be made up of multiple subcarriers (e.g., using multi-carrier modulation (MCM) techniques such as orthogonal frequency division multiplexing (OFDM) or discrete Fourier transform spread OFDM (DFT-S-OFDM) ) . In a system employing MCM techniques, a resource element may refer to resources of one symbol period (e.g., a duration of one modulation symbol) and one subcarrier, in which case the symbol period and subcarrier spacing may be inversely related. The quantity of bits carried by each resource element may depend on the modulation scheme (e.g., the order of the modulation scheme, the coding rate of the modulation scheme, or both) , such that a relatively higher quantity of resource elements (e.g., in a transmission duration) and a relatively higher order of a modulation scheme may correspond to a relatively higher rate of communication. A wireless communications resource may refer to a combination of an RF spectrum resource, a time resource, and a spatial resource (e.g., a spatial layer, a beam) , and the use of multiple spatial resources may increase the data rate or data integrity for communications with a UE 115.

[0047] The time intervals for the network entities 105 or the UEs 115 may be expressed in multiples of a basic time unit which may, for example, refer to a sampling period of Ts=1 /  (Δfmax·Nf) seconds, for which Δfmax may represent a supported subcarrier spacing, and Nf may represent a supported discrete Fourier transform (DFT) size. Time intervals of a communications resource may be organized according to radio frames each having a specified duration (e.g., 10 milliseconds (ms) ) . Each radio frame may be identified by a system frame number (SFN) (e.g., ranging from 0 to 1023) .

[0048] Each frame may include multiple consecutively-numbered subframes or slots, and each subframe or slot may have the same duration. In some examples, a frame may be divided (e.g., in the time domain) into subframes, and each subframe may be further divided into a quantity of slots. Alternatively, each frame may include a variable quantity of slots, and the quantity of slots may depend on subcarrier spacing. Each slot may include a quantity of symbol periods (e.g., depending on the length of the cyclic prefix prepended to each symbol period) . In some wireless communications systems, such as the wireless communications system 100, a slot may further be divided into multiple mini-slots associated with one or more symbols. Excluding the cyclic prefix, each symbol period may be associated with one or more (e.g., Nf) sampling periods. The duration of a symbol period may depend on the subcarrier spacing or frequency band of operation.

[0049] A subframe, a slot, a mini-slot, or a symbol may be the smallest scheduling unit (e.g., in the time domain) of the wireless communications system 100 and may be referred to as a transmission time interval (TTI) . In some examples, the TTI duration (e.g., a quantity of symbol periods in a TTI) may be variable. Additionally, or alternatively, the smallest scheduling unit of the wireless communications system 100 may be dynamically selected (e.g., in bursts of shortened TTIs (sTTIs) ) .

[0050] Physical channels may be multiplexed for communication using a carrier according to various techniques. A physical control channel and a physical data channel may be multiplexed for signaling via a downlink carrier, for example, using one or more of time division multiplexing (TDM) techniques, frequency division multiplexing (FDM) techniques, or hybrid TDM-FDM techniques. A control region (e.g., a control resource set (CORESET) ) for a physical control channel may be defined by a set of symbol periods and may extend across the system bandwidth or a subset of the system bandwidth of the carrier. One or more control regions (e.g., CORESETs) may be configured for a set of the UEs 115. For example, one or more of the UEs 115 may monitor or search control regions for control information according to one or more search space sets, and each search space set may include one or multiple control channel candidates in one or more aggregation levels arranged in a cascaded manner. An aggregation level for a control channel candidate may refer to an amount of control channel resources (e.g., control channel elements (CCEs) ) associated with encoded information for a control information format having a given payload size. Search space sets may include common search space sets configured for sending control information to UEs 115 (e.g., one or more UEs) or may include UE-specific search space sets for sending control information to a UE 115 (e.g., a specific UE) .

[0051] In some examples, a network entity 105 (e.g., a base station 140, an RU 170) may be movable and therefore provide communication coverage for a moving coverage area, such as the coverage area 110. In some examples, coverage areas 110 (e.g., different coverage areas) associated with different technologies may overlap, but the coverage areas 110 (e.g., different coverage areas) may be supported by the same network entity (e.g., a network entity 105) . In some other examples, overlapping coverage areas, such as a coverage area 110, associated with different technologies may be supported by different network entities (e.g., the network entities 105) . The wireless communications system 100 may include, for example, a heterogeneous network in which different types of the network entities 105 support communications for coverage areas 110 (e.g., different coverage areas) using the same or different RATs.

[0052] The wireless communications system 100 may be configured to support ultra-reliable communications or low-latency communications, or various combinations thereof. For example, the wireless communications system 100 may be configured to support ultra-reliable low-latency communications (URLLC) . The UEs 115 may be designed to support ultra-reliable, low-latency, or critical functions. Ultra-reliable communications may include private communication or group communication and may be supported by one or more services such as push-to-talk, video, or data. Support for ultra-reliable, low-latency functions may include prioritization of services, and such services may be used for public safety or general commercial applications. The terms ultra-reliable, low-latency, and ultra-reliable low-latency may be used interchangeably herein.

[0053] In some examples, a UE 115 may be configured to support communicating directly with other UEs (e.g., one or more of the UEs 115) via a device-to-device (D2D) communication link, such as a D2D communication link 135 (e.g., in accordance with a peer-to-peer (P2P) , D2D, or sidelink protocol) . In some examples, one or more UEs 115 of a group that are performing D2D communications may be within the coverage area 110 of a network entity 105 (e.g., a base station 140, an RU 170) , which may support aspects of such D2D communications being configured by (e.g., scheduled by) the network entity 105. In some examples, one or more UEs 115 of such a group may be outside the coverage area 110 of a network entity 105 or may be otherwise unable to or not configured to receive transmissions from a network entity 105. In some examples, groups of the UEs 115 communicating via D2D communications may support a one-to-many (1: M) system in which each UE 115 transmits to one or more of the UEs 115 in the group. In some examples, a network entity 105 may facilitate the scheduling of resources for D2D communications. In some other examples, D2D communications may be carried out between the UEs 115 without an involvement of a network entity 105.

[0054] The core network 130 may provide user authentication, access authorization, tracking, Internet Protocol (IP) connectivity, and other access, routing, or mobility functions. The core network 130 may be an evolved packet core (EPC) or 5G core (5GC) , which may include at least one control plane entity that manages access and mobility (e.g., a mobility management entity (MME) , an access and mobility management function (AMF) ) and at least one user plane entity that routes packets or interconnects to external networks (e.g., a serving gateway (S-GW) , a Packet Data Network (PDN) gateway (P-GW) , or a user plane function (UPF) ) . The control plane entity may manage non-access stratum (NAS) functions such as mobility, authentication, and bearer management for the UEs 115 served by the network entities 105 (e.g., base stations 140) associated with the core network 130. User IP packets may be transferred through the user plane entity, which may provide IP address allocation as well as other functions. The user plane entity may be connected to IP services 150 for one or more network operators. The IP services 150 may include access to the Internet, Intranet (s) , an IP Multimedia Subsystem (IMS) , or a Packet-Switched Streaming Service.

[0055] The wireless communications system 100 may operate using one or more frequency bands, which may be in the range of 300 megahertz (MHz) to 300 gigahertz (GHz) . Generally, the region from 300 MHz to 3 GHz is known as the ultra-high frequency (UHF) region or decimeter band because the wavelengths range from approximately one decimeter to one meter in length. UHF waves may be blocked or redirected by buildings and environmental features, which may be referred to as clusters, but the waves may penetrate structures sufficiently for a macro cell to provide service to the UEs 115 located indoors. Communications using UHF waves may be associated with smaller antennas and shorter ranges (e.g., less than one hundred kilometers) compared to communications using the smaller frequencies and longer waves of the high frequency (HF) or very high frequency (VHF) portion of the spectrum below 300 MHz.

[0056] The wireless communications system 100 may utilize both licensed and unlicensed RF spectrum bands. For example, the wireless communications system 100 may employ License Assisted Access (LAA) , LTE-Unlicensed (LTE-U) RAT, or NR technology using an unlicensed band such as the 5 GHz industrial, scientific, and medical (ISM) band. While operating using unlicensed RF spectrum bands, devices such as the network entities 105 and the UEs 115 may employ carrier sensing for collision detection and avoidance. In some examples, operations using unlicensed bands may be based on a carrier aggregation configuration in conjunction with component carriers operating using a licensed band (e.g., LAA) . Operations using unlicensed spectrum may include downlink transmissions, uplink transmissions, P2P transmissions, or D2D transmissions, among other examples.

[0057] A network entity 105 (e.g., a base station 140, an RU 170) or a UE 115 may be equipped with multiple antennas, which may be used to employ techniques such as transmit diversity, receive diversity, multiple-input multiple-output (MIMO) communications, or beamforming. The antennas of a network entity 105 or a UE 115 may be located within one or more antenna arrays or antenna panels, which may support MIMO operations or transmit or receive beamforming. For example, one or more base station antennas or antenna arrays may be co-located at an antenna assembly, such as an antenna tower. In some examples, antennas or antenna arrays associated with a network entity 105 may be located at diverse geographic locations. A network entity 105 may include an antenna array with a set of rows and columns of antenna ports that the network entity 105 may use to support beamforming of communications with a UE 115. Likewise, a UE 115 may include one or more antenna arrays that may support various MIMO or beamforming operations. Additionally, or alternatively, an antenna panel may support RF beamforming for a signal transmitted via an antenna port.

[0058] Beamforming, which may also be referred to as spatial filtering, directional transmission, or directional reception, is a signal processing technique that may be used at a transmitting device or a receiving device (e.g., a network entity 105, a UE 115) to shape or steer an antenna beam (e.g., a transmit beam, a receive beam) along a spatial path between the transmitting device and the receiving device. Beamforming may be achieved by combining the signals communicated via antenna elements of an antenna array such that some signals propagating along particular orientations with respect to an antenna array experience constructive interference while others experience destructive interference. The adjustment of signals communicated via the antenna elements may include a transmitting device or a receiving device applying amplitude offsets, phase offsets, or both to signals carried via the antenna elements associated with the device. The adjustments associated with each of the antenna elements may be defined by a beamforming weight set associated with a particular orientation (e.g., with respect to the antenna array of the transmitting device or receiving device, or with respect to some other orientation) .

[0059] A network entity 105 or a UE 115 may use beam sweeping techniques as part of beamforming operations. For example, a network entity 105 (e.g., a base station 140, an RU 170) may use multiple antennas or antenna arrays (e.g., antenna panels) to conduct beamforming operations for directional communications with a UE 115. Some signals (e.g., synchronization signals, reference signals, beam selection signals, or other control signals) may be transmitted by a network entity 105 multiple times along different directions. For example, the network entity 105 may transmit a signal according to different beamforming weight sets associated with different directions of transmission. Transmissions along different beam directions may be used to identify (e.g., by a transmitting device, such as a network entity 105, or by a receiving device, such as a UE 115) a beam direction for later transmission or reception by the network entity 105.

[0060] Some signals, such as data signals associated with a particular receiving device, may be transmitted by a transmitting device (e.g., a network entity 105 or a UE 115) along a single beam direction (e.g., a direction associated with the receiving device, such as another network entity 105 or UE 115) . In some examples, the beam direction associated with transmissions along a single beam direction may be determined based on a signal that was transmitted along one or more beam directions. For example, a UE 115 may receive one or more of the signals transmitted by the network entity 105 along different directions and may report to the network entity 105 an indication of the signal that the UE 115 received with a highest signal quality or an otherwise acceptable signal quality.

[0061] In some examples, transmissions by a device (e.g., by a network entity 105 or a UE 115) may be performed using multiple beam directions, and the device may use a combination of digital precoding or beamforming to generate a combined beam for transmission (e.g., from a network entity 105 to a UE 115) . The UE 115 may report feedback that indicates precoding weights for one or more beam directions, and the feedback may correspond to a configured set of beams across a system bandwidth or one or more sub-bands. The network entity 105 may transmit a reference signal (e.g., a cell-specific reference signal (CRS) , a channel state information reference signal (CSI-RS) ) , which may be precoded or unprecoded. The UE 115 may provide feedback for beam selection, which may be a precoding matrix indicator (PMI) or codebook-based feedback (e.g., a multi-panel type codebook, a linear combination type codebook, a port selection type codebook) . Although these techniques are described with reference to signals transmitted along one or more directions by a network entity 105 (e.g., a base station 140, an RU 170) , a UE 115 may employ similar techniques for transmitting signals multiple times along different directions (e.g., for identifying a beam direction for subsequent transmission or reception by the UE 115) or for transmitting a signal along a single direction (e.g., for transmitting data to a receiving device) .

[0062] A receiving device (e.g., a UE 115) may perform reception operations in accordance with multiple receive configurations (e.g., directional listening) when receiving various signals from a transmitting device (e.g., a network entity 105) , such as synchronization signals, reference signals, beam selection signals, or other control signals. For example, a receiving device may perform reception in accordance with multiple receive directions by receiving via different antenna subarrays, by processing received signals according to different antenna subarrays, by receiving according to different receive beamforming weight sets (e.g., different directional listening weight sets) applied to signals received at multiple antenna elements of an antenna array, or by processing received signals according to different receive beamforming weight sets applied to signals received at multiple antenna elements of an antenna array, any of which may be referred to as “listening” according to different receive configurations or receive directions. In some examples, a receiving device may use a single receive configuration to receive along a single beam direction (e.g., when receiving a data signal) . The single receive configuration may be aligned along a beam direction determined based on listening according to different receive configuration directions (e.g., a beam direction determined to have a highest signal strength, highest signal-to-noise ratio (SNR) , or otherwise acceptable signal quality based on listening according to multiple beam directions) .

[0063] The wireless communications system 100 may be a packet-based network that operates according to a layered protocol stack. In the user plane, communications at the bearer or PDCP layer may be IP-based. An RLC layer may perform packet segmentation and reassembly to communicate via logical channels. A MAC layer may perform priority handling and multiplexing of logical channels into transport channels. The MAC layer also may implement error detection techniques, error correction techniques, or both to support retransmissions to improve link efficiency. In the control plane, an RRC layer may provide establishment, configuration, and maintenance of an RRC connection between a UE 115 and a network entity 105 or a core network 130 supporting radio bearers for user plane data. A PHY layer may map transport channels to physical channels.

[0064] In some wireless communications systems, one or more devices may transfer NN models over the air (OTA) (e.g., OTA NN transmissions) . For example, a wireless device may transfer information corresponding to an NN model. The information may include a set of NN parameters, an indication of one or more NN structures, or both. In some cases, the wireless device (e.g., a first node) may deliver a trained NN model (e.g., a single-sided model or a portion of a two-sided model) to a second node over-the-air. Accordingly, a protocol layer, such as a physical (PHY) or a MAC layer, may have access to the NN model. In some examples, the wireless device may deliver a channel estimate model (e.g., a NN model for estimating channel properties) , which may be trained for channel estimation at a transmitting device, a receiving device, or both. Additionally, or alternatively, the wireless device may deliver a channel state feedback (CSF) encoder part, a CSF decoder part, or both to a second wireless device.

[0065] A receiving wireless device (e.g., the second wireless device) may use a recovered NN model (e.g., the original NN model including any distortion or loss after reception) to perform one or more tasks using data at the receiving wireless device (e.g., since the receiving wireless device may lack a capability to train the NN model) . In some cases, the receiving wireless device may receive a CSF encoder from the wireless device (e.g., a recovered CSF encoder. The receiving wireless device may use the recovered CSF encoder to perform one or more tasks such as generating (e.g., engineering) a CSF decoder for the receiving wireless device based on the recovered CSF encoder.

[0066] In some wireless communications systems, one or more metrics for NN model transfer may be different from metrics for other transmissions (e.g., non-NN model transmissions, conventional source transmissions) . For example, a quality metric for NN model transmission may be defined as where y=f (x; w) and w may include a set of model parameters (e.g., NN parameters corresponding to an NN model) and may include a set of recovered model parameters. f (·) may represent a structure of an NN model (e.g., a model structure) and x may represent an input for the NN model (e.g., a model input) . In some cases, a target (e.g., goal) for a wireless device may be to achieve a threshold (e.g., minimum) quantity of NN model output distortions (e.g., rather than simply a minimum distortion metric,  ) .In some examples, a proxy metric for NN model transmission may be (e.g., where so that ) .

[0067] Techniques described herein may support one or more optimizations for a transmission scheme that improves transmission efficiency (e.g., compared with a transmission scheme that is based on ) . For example, in some implementations, one or more wireless devices may apply a lossy transmission scheme (e.g., where ) and where the metric is satisfied) . Accordingly, evaluation metrics associated with a successful transmission of an NN model may be different from evaluation metrics associated with other types of transmissions (e.g., a conventional transmission scheme) .

[0068] The wireless communications system 100 may support a first wireless device (e.g., a UE 115 or a network entity 105) to transmit, to a second wireless device, NN model information using a lossy scheme for NN model transmission to reduce a distortion of an output of the NN model (e.g., rather than a distortion of the NN model itself) . The first wireless device may receive a capability message that indicates a capability of a second wireless device to support one or more NN models. Then, the first wireless device may transmit a model message based on the capability of the second wireless device. The model message may include an NN model with an associated set of parameters. The NN model may be included in the model message in accordance with a joint NN compression and channel coding procedure that provides at least one of lossy compression or lossy encoding. In some cases, the first wireless device may perform the joint NN compression and channel coding procedure based on a distortion function (e.g., in accordance with the lossy compression scheme) . In some examples, the first wireless device may perform a pruning operation, a noise injection operation, a channel coding training operation, or any combination thereof, as part of the joint NN compression and channel coding procedure.

[0069] FIG. 2 shows an example of a wireless communications system 200 that supports NN transmission via joint compression and channel coding in accordance with one or more aspects of the present disclosure. In some cases, the wireless communications system 200 may implement or be implemented by aspects of the wireless communications system 100. For example, the wireless communications system 200 may include a wireless device 205 and a wireless device 210, which may each be a respective example of a device such as a UE 115 or a network entity 105, which may be examples of the corresponding devices as described herein. The wireless device 205 may receive one or more signals from the wireless device 210 via a wireless communication link 215. Similarly, the wireless device 205 may transmit one or more signals to the wireless device 210 via a wireless communication link 220. As described herein, the wireless device 205 may be referred to as a transmitting device (e.g., a transmitter) and the wireless device 210 may be referred to as a receiving device (e.g., a receiver) .

[0070] In some implementations, the wireless device 205 may receive, from the wireless device 210, a capability message 225 via the wireless communication link 215. The capability message 225 may indicate a capability of the wireless device 210 to support one or more NN models. In some cases, the wireless device 205 may transmit, to the wireless device 210 via the wireless communication link 220, a model message 230 which may include an NN model 240 (e.g., in response to the capability message 225) . Additionally, or alternatively, the model message 230 may include at least portion of the NN model 240, including one or more layers, parameters, or both, of the NN model 240. In some examples, the model message 230 may include the NN model 240 (or a portion thereof) based on the capability message 225.

[0071] In some implementations, the wireless device 205 may perform an NN procedure 235-a using the NN model 240. The NN model 240 may include a set of NN parameters, as described with reference to FIG. 3. In some cases, the wireless device 205 may use the NN model 240 to generate one or more output values y based on a set of input values x. Similarly, after receiving the model message 230, the wireless device 210 may perform an NN procedure 235-b using a recovered NN model 245. The wireless device 210 may determine the recovered NN model 245 based on the NN model 240 received via the model message 230. In some cases, the wireless device 210 may use the recovered NN model 245 to generate one or more output values based on the set of input values x (e.g., a same set of input values as used for the NN model 240) . The one or more output values may include values which are similar to (or the same as) the one or more output values y generated through the NN model 240. Techniques described herein may allow the wireless device 210 to determine the recovered NN model 245 such that the one or more output values are the same as the one or more output values y. For example, while the recovered NN model 245 may be different than the NN model 240, the outputs corresponding to each NN model may be the same (e.g., given a set of input values x) .

[0072] In some wireless communications systems, a wireless device may transfer NN model information according to one or more transmission schemes. For example, the wireless device may perform side information-assisted channel coding. This may provide relatively unequal protection for different NN layers or modules (e.g., providing more protection to more important layers or modules) . The wireless device may perform an NN compression procedure on an NN model, which may pass side information along to a subsequent channel coding procedure for the NN model. Accordingly, the wireless device may perform the channel coding procedure based on the side information prior to transmitting the compressed and coded NN model over a channel. In some cases, the wireless device may perform the NN compression procedure via an optimization of a distortion function  (e.g., without considering channel conditions) . For example, in (or after) the NN compression procedure, the wireless device may estimate a sensitivity of a layer or a module against errors or perturbations (e.g., via calculating a Hessian matrix associated with a given layer or module under a task goal or target) . The wireless device may use such information (e.g., “importance” information or side information) when performing the channel coding procedure (e.g., so that different levels of protection may be provided for different layers or modules) .

[0073] As depicted in the wireless communications system 200, the wireless device 205 may perform a joint procedure 250 prior to transmitting the model message 230 via a channel 255. For example, the wireless device 205 may perform the joint procedure 250 using the NN model 240 as an input. The joint procedure 250 may be an example of a joint NN compression and channel coding (e.g., JSCC) procedure. In some cases, the wireless device 205 may perform the joint procedure 250 with optimization goal (e.g., an optimization target) that is based on a distortion function  That is, the joint procedure 250 may be designed via optimizing the distortion function In some examples, the NN model 240 may be designed to be more robust (e.g., with respect to transmission errors) and the channel coding within the joint procedure 250 may be designed to be more efficient with providing protection to different layers and modules of the NN model 240. An optimization of the distortion function may be based on joint training. In some cases, the wireless device 205 may perform modulation to transmit the model message 230, via the channel 255, using a first modulation scheme used for other types of transmission or using a learned modulation scheme (e.g., a learned modulation scheme in a semantic communication framework) .

[0074] In some implementations, the joint procedure 250 may include a framework that includes at least two phases. In a first phase of the joint procedure 250, the wireless device 205 may perform a pruning operation, a noise injection operation, or both on the NN model 240 (e.g., represented by a function fw (x) , where w represents the weights or parameters of the NN model) . The pruning operation may be unstructured or structured. Structured pruning may include removing a whole filter, a whole layer, or a whole module (or multiple filters, layers, modules, or a combination thereof) from the NN model 240. Accordingly, the wireless device 205 may reduce an amount of pruning information to indicate which part of the NN model 240 has been pruned.

[0075] In some cases, the wireless device 205 may perform the first phase of the joint procedure 250 (e.g., the pruning operation) based on a loss function. The wireless device may calculate a loss (e.g., a loss of parameters from the NN model 240) based on the loss function may be related to or based on an NN task (e.g.,  may be a sub-loss function associated with the NN task) . For example, if the NN task is a channel estimation task (e.g., an NN ChanEst procedure) , then (e.g., mean squared error of y and ygroudtruth) , where y is the estimated channel and ygroudtruth is the channel ground truth.  may be a regularization term related to pruning. For example, the wireless device 205 may apply a multiplicative coefficient θ to a portion of the NN model 240 (e.g., a filter, a layer, a module, or any combination thereof) . The wireless device 205 may assume a sparsity-inducing prior for θ, and thus the wireless device 205 may add the regularization term to the loss function to force θ to be sparse (e.g., according to ) .

[0076] The noise injection operation may include adding noise to one or more weights (or parameters) of the NN model 240. Adding such noise may reduce associated sensitivities of the one or more weights to disturbances (e.g., perturbations) . In some cases, the wireless device 205 may use information related to the associated sensitivities to apply one or more channel coding rates (e.g., in phase 2) . In some implementations, the wireless device 205 may add noise to the one or more weights according to a forward pass (e.g., w+n,  where w represents the weights and where n represents added noise) . Accordingly, a device (e.g., the wireless device 205) may calculate the loss function based on fw+n (x) (e.g., the NN model 240 with the added noise) .

[0077] In a second phase of the joint procedure 250, the wireless device 205 may perform a channel coding procedure (e.g., a channel coding training procedure) . While the first phase may include modifying the NN model 240 according to a compression scheme (e.g., including pruning and noise injection) , the second phase may include applying one or more channel coding rates to the NN model 240. For example, the wireless device 205 may evaluate a set of sensitivities corresponding to one or more layers (or modules) of the NN model 240. Accordingly, the wireless device 205 may apply different channel coding rates to each layer of the one or more layers (or to each module of the NN model 240, or to each parameter of the NN model 240) based on a sensitivity ranking for each layer (or module or parameter) , as determined in the first phase. For example, the wireless device 205 may apply a first channel coding rate to a first set of one or more layers of the NN model 240 (e.g., hidden layer h1 as shown in FIG. 3) . The first channel coding rate may be a channel expansion coding rate (e.g., a channel coding rate of 1: 2, 1: 3, and so on) based on the first set of one or more layers being associated with a relatively high sensitivity ranking. Similarly, the wireless device 205 may apply a second channel coding rate to a second set of one or more layers of the NN model 240 (e.g., hidden layers h2 and h3 as shown in FIG. 3) . The second channel coding rate may be a channel compression coding rate (e.g., a channel coding rate of 2: 1, 3: 1, and so on) based on the second set of one or more layers being associated with a relatively low sensitivity ranking.

[0078] In some examples, the wireless device 205 may determine the set of sensitivities (e.g., the sensitivity rankings) according to one or more sensitivity metrics. One example of a sensitivity metric is a threshold (e.g., largest) eigenvalue of a Hessian matrix associated with a layer under a task goal. That is, the wireless device 205 may determine a first sensitivity metric for a first layer to be a largest eigenvalue of a first Hessian matrix associated with a first layer of the NN model 240, and may determine subsequent sensitivity metrics for subsequent layers according to a similar method (and respective Hessian matrices) . The channel coding procedure may be designed as a multilayer perceptron (MLP) based NN module. Such an MLP-based NN module may be trained based on a distribution of NN weights corresponding to the NN model 240. After receiving the model message 230, the wireless device 210 may determine a loss function for the weights of the NN model 240 based on a sensitivity ranking for each of the weights (or layers) . For example, the wireless device 210 may calculate the loss function according to for low-sensitivity layers (e.g., layers associated with a channel compression coding rate) and may calculate the loss function according to for high-sensitivity layers (e.g., layers associated with a channel expansion coding rate) .

[0079] In some implementations, the wireless device 205 (e.g., the transmitter) may use a transmitter-side dataset (Dtx) to optimize weights (w) of the NN model 240 (e.g., fw) for a given loss function  (e.g., optimizing the weights for the loss function according to ) . The wireless device 210 (e.g., the receiver) may use a receiver-side dataset (Drx) to perform one or more tasks (e.g., NN tasks using the recovered NN model 245) on data corresponding to the wireless device 210 (e.g., determining an output y of the recovered NN model 245,  according to where x is a sample from Drx) . In some cases, the wireless device 210 may perform an evaluation of the recovered NN model 245 based on one or more metrics to determine a quality or an accuracy of the recovered NN model 245. The one or more metrics may include a distortion function, a loss function, a final task performance function, or any combination thereof. The wireless device 205 and the wireless device 210 may perform one or more signaling procedures according to the one or more metrics so that the wireless device 210 may perform the evaluation (e.g., as described with reference to FIGs. 4A–4C) .

[0080] FIG. 3 shows an example of an NN model 300 that supports NN transmission via joint compression and channel coding in accordance with one or more aspects of the present disclosure. The NN model 300 may be an example of one or more NN models as described herein. The NN model 300 may include a set of layers, which may include a set of parameters (or weights) . The parameters (e.g., NN parameters) may be illustrated as circles within the NN model 300. The set of layers may include an input layer i, a set of one or more hidden layers h (e.g., h1, h2, and h3) , and an output layer o. A wireless device may use the NN model 300 to generate one or more outputs (e.g., output 1 through output m) . based on one or more inputs (e.g., input 1, input 2, and so on through input n) . Additionally, or alternatively, a wireless device (e.g., a transmitting wireless device) may transmit a message that includes at least a portion of the NN model 300. A second wireless device (e.g., a receiving wireless device) may receive the NN model 300 (or a portion thereof, based on a lossy scheme) , and may generate a recovered NN model such that an output of the recovered NN model is the same as the output of the NN model 300.

[0081] As described herein, a first wireless device may transmit, to a second wireless device, NN model information (e.g., representing or corresponding to the NN model 300) using a lossy scheme for NN model transmission to reduce a distortion of an output of the NN model 300 (e.g., rather than simply reducing a distortion of the NN model 300 itself) . The first wireless device may receive a capability message that indicates a capability of the second wireless device to support one or more NN models (e.g., including the NN model 300) . Then, the first wireless device may transmit a model message based on the capability of the second wireless device. The model message may include the NN model 300 with an associated set of parameters (e.g., organized into layers) . The NN model 300 may be included in the model message in accordance with a joint NN compression and channel coding procedure that provides at least one of lossy compression or lossy encoding (e.g., removing one or more parameters, including one or more layers of the NN model 300) . In some cases, the first wireless device may perform the joint NN compression and channel coding procedure based on a distortion function (e.g., in accordance with the lossy compression scheme) . In some examples, the first wireless device may perform a pruning operation, a noise injection operation, a channel coding training operation, or any combination thereof, as part of the joint NN compression and channel coding procedure, prior to transmitting the model message including the NN model 300.

[0082] FIG. 4A shows an example of a process flow 400 that supports NN transmission via joint compression and channel coding in accordance with one or more aspects of the present disclosure. The process flow 400 includes a wireless device 405 and a wireless device 410, which may be examples of the corresponding devices as described with respect to FIGs. 1–3. In the following description of the process flow 500, some operations as described herein may be added to the signaling shown in the process flow 500.

[0083] A first metric of the one or more metrics (described with reference to FIG. 2) may be or may include a distortion function,  That is, the wireless device 410 may perform an evaluation of a recovered NN model (e.g., an evaluation of a transmission of a NN model) based on the distortion function. In some examples, the first metric may be an example of a “proxy” metric (e.g., not necessarily reflecting an ultimate target for evaluating the recovered NN model) . In any case, the first metric may provide for a relatively fast evaluation (e.g., since the wireless device 410 may refrain from running the entire recovered NN model for the evaluation) . Since the wireless device 410 may not have a true set of weights w for the NN model (and only a recovered set of weights w) , the wireless device 410 may estimate a distortion level associated with the recovered NN model by using a distortion-SNR curve or table (e.g., stored at, received at, or configured for the wireless device 410) .

[0084] At 415, the wireless device 405 may transmit one or more messages to the wireless device 410. The one or more messages may indicate a distortion threshold δ, which the wireless device 410 may use to determine a result of the evaluation of the recovered NN model. For example, if a result of the distortion function, is less than δ(e.g.,  ) , the wireless device 405 may determine that the transmission of the NN model was successful. That is, the wireless device 405 may determine a quality or an accuracy of the recovered NN model based on the distortion function relative to the distortion threshold. In some cases, the one or more messages may include distortion-SNR information (e.g., the distortion-SNR curve or table used for estimating the distortion level) .

[0085] FIG. 4B shows an example of a process flow 401 that supports NN transmission via joint compression and channel coding in accordance with one or more aspects of the present disclosure. The process flow 401 includes a wireless device 406 and a wireless device 411, which may be examples of the corresponding devices as described with respect to FIGs. 1–4A. In the following description of the process flow 401, the operations between the wireless device 406 and the wireless device 411 may be performed in a different order than the example order shown. Some operations may also be omitted from the process flow 401, and other operations may be added to the process flow 401. Further, although some operations or signaling may be shown to occur at different times for discussion purposes, these operations may actually occur at the same time.

[0086] A second metric of the one or more metrics (described with reference to FIG. 2) may be or may include a loss function. For example, the wireless device 411 may perform an evaluation of a recovered NN model (e.g., an evaluation of a transmission of a NN model) based on the loss function where Deval represents the data used for the evaluation and where represents the weights of the recovered NN model.

[0087] At 420, the wireless device 406 may transmit one or more messages to the wireless device 411. For example, the one or more messages may include a loss threshold δ, the loss function or both. The wireless device 411 may determine that the transmission of the NN model was successful if the loss function results in a loss value that is less than the loss threshold. That is, if the wireless device 411 may determine that the transmission was successful. In some cases, the wireless device 406 may determine the threshold δ based on a second loss function corresponding to the NN model (before transmission) (e.g.,  ) .

[0088] At 425, the wireless device 406 may transmit the data used for the evaluation Deval to the wireless device 411. Accordingly, the data used for the evaluation Deval may be aligned at the wireless device 406 (e.g., the transmitter) and at the wireless device 411 (e.g., the receiver) . In some cases, the wireless device 406 may determine a set of receiver data Drx (e.g., corresponding to the wireless device 411) . In such cases, the wireless device 406 may transmit an indication that the wireless device 406 is to use the set of receiver data Drx (e.g., as part of Deval) . If Deval is not aligned between the wireless device 406 and the wireless device 411, the loss function may not accurately reflect errors associated with transmission of the NN model (e.g., the reason causing  may be Deval mismatch) . Accordingly, coordination (e.g., signaling) of Deval between the wireless device 406 and the wireless device 411 may support more accurate evaluation of the NN model transmission.

[0089] FIG. 4C shows an example of a process flow 402 that supports NN transmission via joint compression and channel coding in accordance with one or more aspects of the present disclosure. The process flow 402 includes a wireless device 407 and a wireless device 412, which may be examples of the corresponding devices as described with respect to FIGs. 1–4B. In the following description of the process flow 402, the operations between the wireless device 407 and the wireless device 412 may be performed in a different order than the example order shown. Some operations may also be omitted from the process flow 402, and other operations may be added to the process flow 402. Further, although some operations or signaling may be shown to occur at different times for discussion purposes, these operations may actually occur at the same time.

[0090] A third metric of the one or more metrics (described with reference to FIG. 2) may be or may include a performance function (e.g., a final task performance function) . For example, the wireless device 412 may perform an evaluation of a recovered NN model (e.g., an evaluation of an NN model transmission) based on the performance function where xeval is a sample of data from Deval, where  represents the recovered NN model, and where g (·) is the performance function (e.g., a task evaluation function) . The wireless device 412 may determine a successful transmission of the NN model if the performance function satisfies a performance threshold δ.

[0091] At 430, the wireless device 412 (e.g., the receiver) may transmit an indication of the performance function g (·) (e.g., the evaluation function) to the wireless device 407. The wireless device 407 may receive the indication of the performance function g (·) and may determine the performance threshold δ based on the performance function g (·) , the sample of data xeval, the recovered NN model or any combination thereof (e.g., based on

[0092] At 435, the wireless device 407 may transmit an indication of the performance threshold δ to the wireless device 412. For example, the wireless device 407 may transmit the indication of the performance threshold δ in response to the indication of the performance function and after determining the performance threshold δ. At 440, the wireless device 407 may transmit the data used for the evaluation Deval to the wireless device 412. Accordingly, the data used for the evaluation Deval may be aligned between the wireless device 407 (e.g., the transmitter) and the wireless device 412 (e.g., the receiver) as described with reference to FIG. 4B.

[0093] In some implementations, the wireless device 407 and the wireless device 412 may determine to use a metric of the one or more metrics (e.g., the first metric, the second metric, or the third metric as described with reference to FIGs. 4A–4C) based on one or more targets for the evaluation. For example, the second metric may be used for evaluation of multiple tasks performed at a specific receiving device (e.g., the NN model may be trained at a transmitting device based on a loss function for general purposes) . The third metric may be used for evaluation of a specific task (which may be different from other tasks) . Thus, a device may select the second metric for evaluation of multiple different tasks performed using the NN model at a receiving device, but may select the third metric for more granular evaluation of individual tasks performed using the NN model. Further, the device may select the first metric to target low-evaluation complexity of the NN model and may select the second metric or the third metric in cases where evaluation complexity is not a concern (e.g., since the second and third metrics may provide more accurate evaluations for the NN model) .

[0094] FIG. 5 shows an example of a process flow 500 that supports NN transmission via joint compression and channel coding in accordance with one or more aspects of the present disclosure. The process flow 500 includes a wireless device 505 and a wireless device 510, which may be examples of the corresponding devices as described with respect to FIGs. 1–4C. In the following description of the process flow 500, the operations between the wireless device 505 and the wireless device 510 may be performed in a different order than the example order shown. Some operations may also be omitted from the process flow 500, and other operations may be added to the process flow 500. Further, although some operations or signaling may be shown to occur at different times for discussion purposes, these operations may actually occur at the same time.

[0095] At 515, the wireless device 505 may receive a capability message that indicates a capability of the wireless device 510 to support one or more NN models. The one or more NN models may include an NN model with an associated set of parameters.

[0096] At 520, the wireless device 505 may perform a joint NN compression and channel coding procedure. For example, the wireless device 505 may perform the joint NN compression and channel coding procedure in accordance with an optimization of a distortion function. Additionally, or alternatively, the wireless device 505 may perform the joint NN compression and channel coding procedure based on the capability of the wireless device 510.

[0097] In some cases, the wireless device 505 may perform, as part of performance of the joint NN compression and channel coding procedure, a pruning operation on the NN model. As part of the pruning operation, the wireless device 505 may remove at least one parameter of the associated set of parameters from the NN model. For example, the wireless device 505 may remove a subset of parameters from the NN model. The subset of parameters may include one or more filters of the NN model, one or more layers of the NN model, one or more modules of the NN model, or any combination thereof.

[0098] In some implementations, the wireless device 505 may perform a noise injection operation as part of performance of the joint NN compression and channel coding procedure. The wireless device 505 may perform the noise injection operation on the NN model to add noise to one or more weights corresponding to the associated set of parameters of the NN model.

[0099] In some cases, the wireless device 505 may perform a channel coding training operation as part of performance of the joint NN compression and channel coding procedure. The wireless device 505 may perform the channel coding training operation on the NN model based on a sensitivity rating associated with the NN model. In some examples, the wireless device 505 may apply a respective channel compression coding rate to each subset of parameters of the associated set of parameters of the NN model based on a respective sensitivity ranking corresponding to each subset of parameters of the associated set of parameters, where each subset of parameters includes one or more filters of the neural network model, one or more layers of the neural network model, one or more modules of the neural network model, or any combination thereof.

[0100] At 525, the wireless device 505 may transmit a model message based on the capability of the wireless device 510. The model message may include the NN model with the associated set of parameters. The wireless device 505 may include the NN model in the model message in accordance with the joint NN compression and channel coding procedure that provides at least one of lossy compression or lossy encoding. In some cases, the lossy compression or the lossy encoding of the joint NN compression and channel coding procedure may be in accordance with a loss function that is based on a loss value associated with an NN task and a regularization term associated with a pruning operation.

[0101] At 530, the wireless device 505 and the wireless device 510 may exchange data (or information) for an evaluation of a successful transmission of the NN model (e.g., as described with reference to FIGs. 4A–4C) . For example, the wireless device 505 may transmit a message indicating a distortion level threshold associated with the evaluation (according to a first metric) . Additionally, or alternatively, the wireless device 505 may transmit a first message that indicates a loss threshold associated with the evaluation, a loss function used to train the NN model, or both (according to a second metric) . In some cases, the wireless device 505 may transmit a second message that indicates a set of data for performance of the evaluation. In such cases, the loss function may be based on the set of data.

[0102] In some implementations, the wireless device 510 may receive, from the wireless device 510, a first message indicating a task evaluation function associated with the NN model. In response, the wireless device 510 may transmit a second message based on the first message. The second message may indicate a performance threshold associated with the evaluation. In some examples, the wireless device 510 may transmit a third message based on the first message. The third message may indicate a set of data for performing the evaluation. In some cases, the task evaluation function may be based on at least one parameter from the set of data.

[0103] At 535, the wireless device 510 may perform the evaluation of successful transmission of the NN model. For example, the evaluation may be based on satisfaction of the distortion level threshold by a distortion level estimate (according to the first metric) . The wireless device 510 may determine the distortion level estimate based on an SNR estimate and a distortion-SNR curve. Additionally, or alternatively, the evaluation may be based on satisfaction of the loss threshold by a result of the loss function (according to the second metric) . In some cases, the evaluation may be based on the set of data (for performance of the evaluation) in combination with the loss function.

[0104] In some implementations, the wireless device 510 may perform the evaluation based on satisfaction of the performance threshold by a result of the task evaluation function. In some examples, the wireless device 510 may perform the evaluation based on the set of data in combination with the task evaluation function.

[0105] FIG. 6 shows a block diagram 600 of a device 605 that supports NN transmission via joint compression and channel coding in accordance with one or more aspects of the present disclosure. The device 605 may be an example of aspects of a wireless device as described herein. The device 605 may include a receiver 610, a transmitter 615, and a communications manager 620. The device 605, or one or more components of the device 605 (e.g., the receiver 610, the transmitter 615, the communications manager 620) , may include at least one processor, which may be coupled with at least one memory, to, individually or collectively, support or enable the described techniques. Each of these components may be in communication with one another (e.g., via one or more buses) .

[0106] The receiver 610 may provide a means for receiving information such as packets, user data, control information, or any combination thereof associated with various information channels (e.g., control channels, data channels, information channels related to NN transmission via joint compression and channel coding) . Information may be passed on to other components of the device 605. The receiver 610 may utilize a single antenna or a set of multiple antennas.

[0107] The transmitter 615 may provide a means for transmitting signals generated by other components of the device 605. For example, the transmitter 615 may transmit information such as packets, user data, control information, or any combination thereof associated with various information channels (e.g., control channels, data channels, information channels related to NN transmission via joint compression and channel coding) . In some examples, the transmitter 615 may be co-located with a receiver 610 in a transceiver module. The transmitter 615 may utilize a single antenna or a set of multiple antennas.

[0108] The communications manager 620, the receiver 610, the transmitter 615, or various combinations or components thereof may be examples of means for performing various aspects of NN transmission via joint compression and channel coding as described herein. For example, the communications manager 620, the receiver 610, the transmitter 615, or various combinations or components thereof may be capable of performing one or more of the functions described herein.

[0109] In some examples, the communications manager 620, the receiver 610, the transmitter 615, or various combinations or components thereof may be implemented in hardware (e.g., in communications management circuitry) . The hardware may include at least one of a processor, a DSP, a CPU, a graphics processing unit (GPU) , an ASIC, an FPGA or other programmable logic device, a microcontroller, discrete gate or transistor logic, discrete hardware components, or any combination thereof configured as or otherwise supporting, individually or collectively, a means for performing the functions described in the present disclosure. In some examples, at least one processor and at least one memory coupled with the at least one processor may be configured to perform one or more of the functions described herein (e.g., by one or more processors, individually or collectively, executing instructions stored in the at least one memory) .

[0110] Additionally, or alternatively, the communications manager 620, the receiver 610, the transmitter 615, or various combinations or components thereof may be implemented in code (e.g., as communications management software) executed by at least one processor (e.g., referred to as a processor-executable code) . If implemented in code executed by at least one processor, the functions of the communications manager 620, the receiver 610, the transmitter 615, or various combinations or components thereof may be performed by a general-purpose processor, a DSP, a CPU, a GPU, an ASIC, an FPGA, a microcontroller, or any combination of these or other programmable logic devices (e.g., configured as or otherwise supporting, individually or collectively, a means for performing the functions described in the present disclosure) .

[0111] In some examples, the communications manager 620 may be configured to perform various operations (e.g., receiving, obtaining, monitoring, outputting, transmitting) using or otherwise in cooperation with the receiver 610, the transmitter 615, or both. For example, the communications manager 620 may receive information from the receiver 610, send information to the transmitter 615, or be integrated in combination with the receiver 610, the transmitter 615, or both to obtain information, output information, or perform various other operations as described herein.

[0112] The communications manager 620 may support wireless communication in accordance with examples as disclosed herein. For example, the communications manager 620 is capable of, configured to, or operable to support a means for receiving a capability message that indicates a capability of a second wireless device to support one or more NN models. The communications manager 620 is capable of, configured to, or operable to support a means for transmitting, based on the capability of the second wireless device, a model message that includes an NN model with an associated set of parameters, where the NN model is included in the model message in accordance with a joint NN compression and channel coding procedure that provides at least one of lossy compression or lossy encoding.

[0113] By including or configuring the communications manager 620 in accordance with examples as described herein, the device 605 (e.g., at least one processor controlling or otherwise coupled with the receiver 610, the transmitter 615, the communications manager 620, or a combination thereof) may support techniques for NN transmission via joint compression and channel coding, which may result in reduced processing, reduced power consumption, improved NN model evaluation accuracy, and more efficient utilization of communication resources, among other advantages.

[0114] FIG. 7 shows a block diagram 700 of a device 705 that supports NN transmission via joint compression and channel coding in accordance with one or more aspects of the present disclosure. The device 705 may be an example of aspects of a device 605 or a wireless device as described herein. The device 705 may include a receiver 710, a transmitter 715, and a communications manager 720. The device 705, or one or more components of the device 705 (e.g., the receiver 710, the transmitter 715, the communications manager 720) , may include at least one processor, which may be coupled with at least one memory, to support the described techniques. Each of these components may be in communication with one another (e.g., via one or more buses) .

[0115] The receiver 710 may provide a means for receiving information such as packets, user data, control information, or any combination thereof associated with various information channels (e.g., control channels, data channels, information channels related to NN transmission via joint compression and channel coding) . Information may be passed on to other components of the device 705. The receiver 710 may utilize a single antenna or a set of multiple antennas.

[0116] The transmitter 715 may provide a means for transmitting signals generated by other components of the device 705. For example, the transmitter 715 may transmit information such as packets, user data, control information, or any combination thereof associated with various information channels (e.g., control channels, data channels, information channels related to NN transmission via joint compression and channel coding) . In some examples, the transmitter 715 may be co-located with a receiver 710 in a transceiver module. The transmitter 715 may utilize a single antenna or a set of multiple antennas.

[0117] The device 705, or various components thereof, may be an example of means for performing various aspects of NN transmission via joint compression and channel coding as described herein. For example, the communications manager 720 may include a capability component 725 an NN model component 730, or any combination thereof. The communications manager 720 may be an example of aspects of a communications manager 620 as described herein. In some examples, the communications manager 720, or various components thereof, may be configured to perform various operations (e.g., receiving, obtaining, monitoring, outputting, transmitting) using or otherwise in cooperation with the receiver 710, the transmitter 715, or both. For example, the communications manager 720 may receive information from the receiver 710, send information to the transmitter 715, or be integrated in combination with the receiver 710, the transmitter 715, or both to obtain information, output information, or perform various other operations as described herein.

[0118] The communications manager 720 may support wireless communication in accordance with examples as disclosed herein. The capability component 725 is capable of, configured to, or operable to support a means for receiving a capability message that indicates a capability of a second wireless device to support one or more NN models. The NN model component 730 is capable of, configured to, or operable to support a means for transmitting, based on the capability of the second wireless device, a model message that includes an NN model with an associated set of parameters, where the NN model is included in the model message in accordance with a joint NN compression and channel coding procedure that provides at least one of lossy compression or lossy encoding.

[0119] FIG. 8 shows a block diagram 800 of a communications manager 820 that supports NN transmission via joint compression and channel coding in accordance with one or more aspects of the present disclosure. The communications manager 820 may be an example of aspects of a communications manager 620, a communications manager 720, or both, as described herein. The communications manager 820, or various components thereof, may be an example of means for performing various aspects of NN transmission via joint compression and channel coding as described herein. For example, the communications manager 820 may include a capability component 825, an NN model component 830, a joint procedure component 835, a pruning component 840, a noise injection component 845, a training component 850, a distortion level threshold component 855, a loss threshold component 860, a task evaluation function component 865, a performance threshold component 870, a loss function data component 875, or any combination thereof. Each of these components, or components or subcomponents thereof (e.g., one or more processors, one or more memories) , may communicate, directly or indirectly, with one another (e.g., via one or more buses) .

[0120] The communications manager 820 may support wireless communication in accordance with examples as disclosed herein. The capability component 825 is capable of, configured to, or operable to support a means for receiving a capability message that indicates a capability of a second wireless device to support one or more NN models. The NN model component 830 is capable of, configured to, or operable to support a means for transmitting, based on the capability of the second wireless device, a model message that includes an NN model with an associated set of parameters, where the NN model is included in the model message in accordance with a joint NN compression and channel coding procedure that provides at least one of lossy compression or lossy encoding.

[0121] In some examples, the joint procedure component 835 is capable of, configured to, or operable to support a means for performing the joint NN compression and channel coding procedure in accordance with an optimization of a distortion function.

[0122] In some examples, the lossy compression or the lossy encoding of the joint NN compression and channel coding procedure is in accordance with a loss function that is based on a loss value associated with an NN task and a regularization term associated with a pruning operation.

[0123] In some examples, the pruning component 840 is capable of, configured to, or operable to support a means for performing, as part of performance of the joint NN compression and channel coding procedure, a pruning operation on the NN model, where performing the pruning operation includes removing at least one parameter of the associated set of parameters from the NN model.

[0124] In some examples, to support performing the pruning operation, the pruning component 840 is capable of, configured to, or operable to support a means for removing a subset of parameters from the NN model, the subset of parameters including one or more filters of the NN model, one or more layers of the NN model, one or more modules of the NN model, or any combination thereof.

[0125] In some examples, the noise injection component 845 is capable of, configured to, or operable to support a means for performing, as part of performance of the joint NN compression and channel coding procedure, a noise injection operation on the NN model to add noise to one or more weights corresponding to the associated set of parameters of the NN model.

[0126] In some examples, the training component 850 is capable of, configured to, or operable to support a means for performing, as part of performance of the joint NN compression and channel coding procedure, a channel coding training operation on the NN model based on a sensitivity rating associated with the NN model.

[0127] In some examples, to support performing the channel coding training operation, the training component 850 is capable of, configured to, or operable to support a means for applying a respective channel compression coding rate to each subset of parameters of the associated set of parameters of the NN model based on a respective sensitivity ranking corresponding to each subset of parameters of the associated set of parameters, where each subset of parameters includes one or more filters of the neural network model, one or more layers of the neural network model, one or more modules of the neural network model, or any combination thereof.

[0128] In some examples, the distortion level threshold component 855 is capable of, configured to, or operable to support a means for transmitting a message indicating a distortion level threshold associated with an evaluation of successful transmission of the NN model, where the evaluation is based on satisfaction of the distortion level threshold by a distortion level estimate, and where the distortion level estimate is based on a signal-to-noise (SNR) estimate and a distortion-SNR curve.

[0129] In some examples, the loss threshold component 860 is capable of, configured to, or operable to support a means for transmitting a first message that indicates a loss threshold associated with an evaluation of a successful transmission of the NN model, a loss function used to train the NN model, or both, where the evaluation is based on satisfaction of the loss threshold by a result of the loss function.

[0130] In some examples, the loss function data component 875 is capable of, configured to, or operable to support a means for transmitting a second message that indicates a set of data for performance of the evaluation, where the loss function is based on the set of data, and where the evaluation is based on the set of data in combination with the loss function.

[0131] In some examples, the task evaluation function component 865 is capable of, configured to, or operable to support a means for receiving a first message indicating a task evaluation function associated with the NN model. In some examples, the performance threshold component 870 is capable of, configured to, or operable to support a means for transmitting, based on the first message, a second message indicating a performance threshold associated with an evaluation of successful transmission of the NN model, where the evaluation is based on satisfaction of the performance threshold by a result of the task evaluation function.

[0132] In some examples, the loss function data component 875 is capable of, configured to, or operable to support a means for transmitting, based on the first message, a third message indicating a set of data for performing the evaluation, where the task evaluation function is based on at least one parameter from the set of data, and where the evaluation is based on the set of data in combination with the task evaluation function.

[0133] FIG. 9 shows a diagram of a system 900 including a device 905 that supports NN transmission via joint compression and channel coding in accordance with one or more aspects of the present disclosure. The device 905 may be an example of or include components of a device 605, a device 705, or a wireless device as described herein. The device 905 may include components for bi-directional voice and data communications including components for transmitting and receiving communications, such as a communications manager 920, an I / O controller, such as an I / O controller 910, a transceiver 915, one or more antennas 925, at least one memory 930, code 935, and at least one processor 940. These components may be in electronic communication or otherwise coupled (e.g., operatively, communicatively, functionally, electronically, electrically) via one or more buses (e.g., a bus 945) .

[0134] The I / O controller 910 may manage input and output signals for the device 905. The I / O controller 910 may also manage peripherals not integrated into the device 905. In some cases, the I / O controller 910 may represent a physical connection or port to an external peripheral. In some cases, the I / O controller 910 may utilize an operating system such as or another known operating system. Additionally, or alternatively, the I / O controller 910 may represent or interact with a modem, a keyboard, a mouse, a touchscreen, or a similar device. In some cases, the I / O controller 910 may be implemented as part of one or more processors, such as the at least one processor 940. In some cases, a user may interact with the device 905 via the I / O controller 910 or via hardware components controlled by the I / O controller 910.

[0135] In some cases, the device 905 may include a single antenna. However, in some other cases, the device 905 may have more than one antenna, which may be capable of concurrently transmitting or receiving multiple wireless transmissions. The transceiver 915 may communicate bi-directionally via the one or more antennas 925 using wired or wireless links as described herein. For example, the transceiver 915 may represent a wireless transceiver and may communicate bi-directionally with another wireless transceiver. The transceiver 915 may also include a modem to modulate the packets, to provide the modulated packets to one or more antennas 925 for transmission, and to demodulate packets received from the one or more antennas 925. The transceiver 915, or the transceiver 915 and one or more antennas 925, may be an example of a transmitter 615, a transmitter 715, a receiver 610, a receiver 710, or any combination thereof or component thereof, as described herein.

[0136] The at least one memory 930 may include RAM and ROM. The at least one memory 930 may store computer-readable, computer-executable, or processor-executable code, such as the code 935. The code 935 may include instructions that, when executed by the at least one processor 940, cause the device 905 to perform various functions described herein. The code 935 may be stored in a non-transitory computer-readable medium such as system memory or another type of memory. In some cases, the code 935 may not be directly executable by the at least one processor 940 but may cause a computer (e.g., when compiled and executed) to perform functions described herein. In some cases, the at least one memory 930 may include, among other things, a BIOS which may control basic hardware or software operation such as the interaction with peripheral components or devices.

[0137] The at least one processor 940 may include one or more intelligent hardware devices (e.g., one or more general-purpose processors, one or more DSPs, one or more CPUs, one or more GPUs, one or more neural processing units (NPUs) (also referred to as NN processors or deep learning processors (DLPs) ) , one or more microcontrollers, one or more ASICs, one or more FPGAs, one or more programmable logic devices, discrete gate or transistor logic, one or more discrete hardware components, or any combination thereof) . In some cases, the at least one processor 940 may be configured to operate a memory array using a memory controller. In some other cases, a memory controller may be integrated into the at least one processor 940. The at least one processor 940 may be configured to execute computer-readable instructions stored in a memory (e.g., the at least one memory 930) to cause the device 905 to perform various functions (e.g., functions or tasks supporting NN transmission via joint compression and channel coding) . For example, the device 905 or a component of the device 905 may include at least one processor 940 and at least one memory 930 coupled with or to the at least one processor 940, the at least one processor 940 and the at least one memory 930 configured to perform various functions described herein.

[0138] In some examples, the at least one processor 940 may include multiple processors and the at least one memory 930 may include multiple memories. One or more of the multiple processors may be coupled with one or more of the multiple memories, which may, individually or collectively, be configured to perform various functions described herein. In some examples, the at least one processor 940 may be a component of a processing system, which may refer to a system (such as a series) of machines, circuitry (including, for example, one or both of processor circuitry (which may include the at least one processor 940) and memory circuitry (which may include the at least one memory 930) ) , or components, that receives or obtains inputs and processes the inputs to produce, generate, or obtain a set of outputs. The processing system may be configured to perform one or more of the functions described herein. For example, the at least one processor 940 or a processing system including the at least one processor 940 may be configured to, configurable to, or operable to cause the device 905 to perform one or more of the functions described herein. Further, as described herein, being “configured to, ” being “configurable to, ” and being “operable to” may be used interchangeably and may be associated with a capability, when executing code 935 (e.g., processor-executable code) stored in the at least one memory 930 or otherwise, to perform one or more of the functions described herein.

[0139] The communications manager 920 may support wireless communication in accordance with examples as disclosed herein. For example, the communications manager 920 is capable of, configured to, or operable to support a means for receiving a capability message that indicates a capability of a second wireless device to support one or more NN models. The communications manager 920 is capable of, configured to, or operable to support a means for transmitting, based on the capability of the second wireless device, a model message that includes an NN model with an associated set of parameters, where the NN model is included in the model message in accordance with a joint NN compression and channel coding procedure that provides at least one of lossy compression or lossy encoding.

[0140] By including or configuring the communications manager 920 in accordance with examples as described herein, the device 905 may support techniques for NN transmission via joint compression and channel coding, which may result in improved communication reliability, reduced latency, improved user experience related to reduced processing, reduced power consumption, improved NN model evaluation accuracy, improved NN model transmission success, improved coordination between devices, improved utilization of processing capability, and more efficient utilization of communication resources, among other advantages.

[0141] In some examples, the communications manager 920 may be configured to perform various operations (e.g., receiving, monitoring, transmitting) using or otherwise in cooperation with the transceiver 915, the one or more antennas 925, or any combination thereof. Although the communications manager 920 is illustrated as a separate component, in some examples, one or more functions described with reference to the communications manager 920 may be supported by or performed by the at least one processor 940, the at least one memory 930, the code 935, or any combination thereof. For example, the code 935 may include instructions executable by the at least one processor 940 to cause the device 905 to perform various aspects of NN transmission via joint compression and channel coding as described herein, or the at least one processor 940 and the at least one memory 930 may be otherwise configured to, individually or collectively, perform or support such operations.

[0142] FIG. 10 shows a flowchart illustrating a method 1000 that supports NN transmission via joint compression and channel coding in accordance with one or more aspects of the present disclosure. The operations of the method 1000 may be implemented by a wireless device or its components as described herein. For example, the operations of the method 1000 may be performed by a wireless device as described with reference to FIGs. 1 through 9. In some examples, a wireless device may execute a set of instructions to control the functional elements of the wireless device to perform the described functions. Additionally, or alternatively, the wireless device may perform aspects of the described functions using special-purpose hardware.

[0143] At 1005, the method may include receiving a capability message that indicates a capability of a second wireless device to support one or more NN models. The operations of 1005 may be performed in accordance with examples as disclosed herein. In some examples, aspects of the operations of 1005 may be performed by a capability component 825 as described with reference to FIG. 8.

[0144] At 1010, the method may include transmitting, based at least in part on the capability of the second wireless device, a model message that includes an NN model with an associated set of parameters, where the NN model is included in the model message in accordance with a joint NN compression and channel coding procedure that provides at least one of lossy compression or lossy encoding. The operations of 1010 may be performed in accordance with examples as disclosed herein. In some examples, aspects of the operations of 1010 may be performed by an NN model component 830 as described with reference to FIG. 8.

[0145] FIG. 11 shows a flowchart illustrating a method 1100 that supports NN transmission via joint compression and channel coding in accordance with one or more aspects of the present disclosure. The operations of the method 1100 may be implemented by a wireless device or its components as described herein. For example, the operations of the method 1100 may be performed by a wireless device as described with reference to FIGs. 1 through 9. In some examples, a wireless device may execute a set of instructions to control the functional elements of the wireless device to perform the described functions. Additionally, or alternatively, the wireless device may perform aspects of the described functions using special-purpose hardware.

[0146] At 1105, the method may include receiving a capability message that indicates a capability of a second wireless device to support one or more NN models. The operations of 1105 may be performed in accordance with examples as disclosed herein. In some examples, aspects of the operations of 1105 may be performed by a capability component 825 as described with reference to FIG. 8.

[0147] At 1110, the method may include performing a joint NN compression and channel coding procedure in accordance with an optimization of a distortion function. The operations of 1110 may be performed in accordance with examples as disclosed herein. In some examples, aspects of the operations of 1110 may be performed by a joint procedure component 835 as described with reference to FIG. 8.

[0148] At 1115, the method may include transmitting, based at least in part on the capability of the second wireless device, a model message that includes an NN model with an associated set of parameters, where the NN model is included in the model message in accordance with the joint NN compression and channel coding procedure that provides at least one of lossy compression or lossy encoding. The operations of 1115 may be performed in accordance with examples as disclosed herein. In some examples, aspects of the operations of 1115 may be performed by an NN model component 830 as described with reference to FIG. 8.

[0149] The following provides an overview of aspects of the present disclosure:

[0150] Aspect 1: A method for wireless communication at a first wireless device, comprising: receiving a capability message that indicates a capability of a second wireless device to support one or more NN models; and transmitting, based at least in part on the capability of the second wireless device, a model message that includes a NN model with an associated set of parameters, wherein the NN model is included in the model message in accordance with a joint NN compression and channel coding procedure that provides at least one of lossy compression or lossy encoding.

[0151] Aspect 2: The method of aspect 1, further comprising: performing the joint NN compression and channel coding procedure in accordance with an optimization of a distortion function.

[0152] Aspect 3: The method of any of aspects 1 through 2, wherein the lossy compression or the lossy encoding of the joint NN compression and channel coding procedure is in accordance with a loss function that is based at least in part on a loss value associated with a NN task and a regularization term associated with a pruning operation.

[0153] Aspect 4: The method of any of aspects 1 through 3, further comprising: performing, as part of performance of the joint NN compression and channel coding procedure, a pruning operation on the NN model, wherein performing the pruning operation comprises removing at least one parameter of the associated set of parameters from the NN model.

[0154] Aspect 5: The method of aspect 4, wherein performing the pruning operation comprises: removing a subset of parameters from the NN model, the subset of parameters comprising one or more filters of the NN model, one or more layers of the NN model, one or more modules of the NN model, or any combination thereof.

[0155] Aspect 6: The method of any of aspects 1 through 5, further comprising: performing, as part of performance of the joint NN compression and channel coding procedure, a noise injection operation on the NN model to add noise to one or more weights corresponding to the associated set of parameters of the NN model.

[0156] Aspect 7: The method of any of aspects 1 through 6, further comprising: performing, as part of performance of the joint NN compression and channel coding procedure, a channel coding training operation on the NN model based at least in part on a sensitivity rating associated with the NN model.

[0157] Aspect 8: The method of aspect 7, wherein performing the channel coding training operation comprises: applying a respective channel compression coding rate to each subset of parameters of the associated set of parameters of the NN model based at least in part on a respective sensitivity ranking corresponding to each subset of parameters of the associated set of parameters, where each subset of parameters includes one or more filters of the neural network model, one or more layers of the neural network model, one or more modules of the neural network model, or any combination thereof.

[0158] Aspect 9: The method of any of aspects 1 through 8, further comprising: transmitting a message indicating a distortion level threshold associated with an evaluation of successful transmission of the NN model, wherein the evaluation is based at least in part on satisfaction of the distortion level threshold by a distortion level estimate, and wherein the distortion level estimate is based at least in part on a signal-to-noise (SNR) estimate and a distortion-SNR curve.

[0159] Aspect 10: The method of any of aspects 1 through 9, further comprising: transmitting a first message that indicates a loss threshold associated with an evaluation of a successful transmission of the NN model, a loss function used to train the NN model, or both, wherein the evaluation is based at least in part on satisfaction of the loss threshold by a result of the loss function.

[0160] Aspect 11: The method of aspect 10, further comprising: transmitting a second message that indicates a set of data for performance of the evaluation, wherein the loss function is based at least in part on the set of data, and wherein the evaluation is based at least in part on the set of data in combination with the loss function.

[0161] Aspect 12: The method of any of aspects 1 through 11, further comprising: receiving a first message indicating a task evaluation function associated with the NN model; and transmitting, based at least in part on the first message, a second message indicating a performance threshold associated with an evaluation of successful transmission of the NN model, wherein the evaluation is based at least in part on satisfaction of the performance threshold by a result of the task evaluation function.

[0162] Aspect 13: The method of aspect 12, further comprising: transmitting, based at least in part on the first message, a third message indicating a set of data for performing the evaluation, wherein the task evaluation function is based at least in part on at least one parameter from the set of data, and wherein the evaluation is based at least in part on the set of data in combination with the task evaluation function.

[0163] Aspect 14: A first wireless device for wireless communication, comprising one or more memories storing processor-executable code, and one or more processors coupled with (e.g., operatively, communicatively, functionally, electronically, or electrically) the one or more memories and individually or collectively operable to execute the code (e.g., directly, indirectly, after pre-processing, without pre-processing) to cause the first wireless device to perform a method of any of aspects 1 through 13.

[0164] Aspect 15: A first wireless device for wireless communication, comprising at least one means for performing a method of any of aspects 1 through 13.

[0165] Aspect 16: A non-transitory computer-readable medium storing code for wireless communication, the code comprising instructions executable by one or more processors (e.g., directly, indirectly, after pre-processing, without pre-processing) to perform a method of any of aspects 1 through 13.

[0166] It should be noted that the methods described herein describe possible implementations. The operations and the steps may be rearranged or otherwise modified and other implementations are possible. Further, aspects from two or more of the methods may be combined.

[0167] Although aspects of an LTE, LTE-A, LTE-A Pro, or NR system may be described for purposes of example, and LTE, LTE-A, LTE-A Pro, or NR terminology may be used in much of the description, the techniques described herein are applicable beyond LTE, LTE-A, LTE-A Pro, or NR networks. For example, the described techniques may be applicable to various other wireless communications systems such as Ultra Mobile Broadband (UMB) , Institute of Electrical and Electronics Engineers (IEEE) 802.11 (Wi-Fi) , IEEE 802.16 (WiMAX) , IEEE 802.20, Flash-OFDM, as well as other systems and radio technologies including future systems and radio technologies, not explicitly mentioned herein.

[0168] Information and signals described herein may be represented using any of a variety of different technologies and techniques. For example, data, instructions, commands, information, signals, bits, symbols, and chips that may be referenced throughout the description may be represented by voltages, currents, electromagnetic waves, magnetic fields or particles, optical fields or particles, or any combination thereof.

[0169] The various illustrative blocks and components described in connection with the disclosure herein may be implemented or performed using a general-purpose processor, a DSP, an ASIC, a CPU, a GPU, a neural processing unit (NPU) , an FPGA or other programmable logic device, discrete gate or transistor logic, discrete hardware components, or any combination thereof designed to perform the functions described herein. A general-purpose processor may be a microprocessor but, in the alternative, the processor may be any processor, controller, microcontroller, or state machine. A processor may also be implemented as a combination of computing devices (e.g., a combination of a DSP and a microprocessor, multiple microprocessors, one or more microprocessors in conjunction with a DSP core, or any other such configuration) . Any functions or operations described herein as being capable of being performed by a processor may be performed by multiple processors that, individually or collectively, are capable of performing the described functions or operations.

[0170] The functions described herein may be implemented using hardware, software executed by a processor, or any combination thereof. Software shall be construed broadly to mean instructions, instruction sets, code, code segments, program code, programs, subprograms, software modules, applications, software applications, software packages, routines, subroutines, objects, executables, threads of execution, procedures, or functions, whether referred to as software, firmware, middleware, microcode, hardware description language, or otherwise. If implemented using software executed by a processor, the functions may be stored as or transmitted using one or more instructions or code of a computer-readable medium. Other examples and implementations are within the scope of the disclosure and appended claims. For example, due to the nature of software, functions described herein may be implemented using software executed by a processor, hardware, hardwiring, or combinations of any of these. Features implementing functions may also be physically located at various positions, including being distributed such that portions of functions are implemented at different physical locations.

[0171] Computer-readable media includes both non-transitory computer storage media and communication media including any medium that facilitates transfer of a computer program from one location to another. A non-transitory storage medium may be any available medium that may be accessed by a general-purpose or special-purpose computer. By way of example, and not limitation, non-transitory computer-readable media may include RAM, ROM, electrically erasable programmable ROM (EEPROM) , flash memory, phase change memory, compact disk (CD) ROM or other optical disk storage, magnetic disk storage or other magnetic storage devices, or any other non-transitory medium that may be used to carry or store desired program code means in the form of instructions or data structures and that may be accessed by a general-purpose or special-purpose computer or a general-purpose or special-purpose processor. Also, any connection is properly termed a computer-readable medium. For example, if the software is transmitted from a website, server, or other remote source using a coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL) , or wireless technologies such as infrared, radio, and microwave, then the coaxial cable, fiber optic cable, twisted pair, DSL, or wireless technologies such as infrared, radio, and microwave are included in the definition of computer-readable medium. Disk and disc, as used herein, include CD, laser disc, optical disc, digital versatile disc (DVD) , floppy disk, and Blu-ray disc. Disks may reproduce data magnetically, and discs may reproduce data optically using lasers. Combinations of the above are also included within the scope of computer-readable media. Any functions or operations described herein as being capable of being performed by a memory may be performed by multiple memories that, individually or collectively, are capable of performing the described functions or operations.

[0172] As used herein, including in the claims, “or” as used in a list of items (e.g., including a list of items prefaced by a phrase such as “at least one of” or “one or more of” ) indicates an inclusive list such that, for example, a list of at least one of A, B, or C means, e.g., A or B or C or AB or AC or BC or ABC (i.e., A and B and C) . Also, as used herein, the phrase “based on” shall not be construed as a reference to a closed set of conditions. For example, an example step that is described as “based on condition A” may be based on both a condition A and a condition B without departing from the scope of the present disclosure. In other words, as used herein, the phrase “based on” shall be construed in the same manner as the phrase “based at least in part on. ” As used herein, the term “and / or, ” when used in a list of two or more items, means that any one of the listed items can be employed by itself, or any combination of two or more of the listed items can be employed. For example, if a composition is described as containing components A, B, and / or C, the composition can contain A alone; B alone; C alone; A and B in combination; A and C in combination; B and C in combination; or A, B, and C in combination.

[0173] As used herein, including in the claims, the article “a” before a noun is open-ended and understood to refer to “at least one” of those nouns or “one or more” of those nouns. Thus, the terms “a, ” “at least one, ” “one or more, ” and “at least one of one or more” may be interchangeable. For example, if a claim recites “a component” that performs one or more functions, each of the individual functions may be performed by a single component or by any combination of multiple components. Thus, the term “a component” having characteristics or performing functions may refer to “at least one of one or more components” having a particular characteristic or performing a particular function. Subsequent reference to a component introduced with the article “a” using the terms “the” or “said” may refer to any or all of the one or more components. For example, a component introduced with the article “a” may be understood to mean “one or more components, ” and referring to “the component” subsequently in the claims may be understood to be equivalent to referring to “at least one of the one or more components. ” Similarly, subsequent reference to a component introduced as “one or more components” using the terms “the” or “said” may refer to any or all of the one or more components. For example, referring to “the one or more components” subsequently in the claims may be understood to be equivalent to referring to “at least one of the one or more components. ”

[0174] The term “determine” or “determining” or “identify” or “identifying” encompasses a variety of actions and, therefore, “determining” or “identifying” can include calculating, computing, processing, deriving, investigating, looking up (such as via looking up in a table, a database or another data structure) , and ascertaining. Also, “determining” or “identifying” can include receiving (such as receiving information or signaling, e.g., receiving information or signaling for determining, receiving information or signaling for identifying) , and accessing (such as accessing data in a memory, or accessing information) . Also, “determining” or “identifying” can include resolving, obtaining, selecting, choosing, establishing and other such similar actions.

[0175] In the appended figures, similar components or features may have the same reference label. Further, various components of the same type may be distinguished by following the reference label by a dash and a second label that distinguishes among the similar components. If just the first reference label is used in the specification, the description is applicable to any one of the similar components having the same first reference label irrespective of the second reference label or other subsequent reference label.

[0176] The description set forth herein, in connection with the appended drawings, describes example configurations and does not represent all the examples that may be implemented or that are within the scope of the claims. The term “example” used herein means “serving as an example, instance, or illustration” and not “preferred” or “advantageous over other examples. ” The detailed description includes specific details for the purpose of providing an understanding of the described techniques. These techniques, however, may be practiced without these specific details. In some figures, known structures and devices are shown in block diagram form in order to avoid obscuring the concepts of the described examples.

[0177] The description herein is provided to enable a person having ordinary skill in the art to make or use the disclosure. Various modifications to the disclosure will be apparent to a person having ordinary skill in the art, and the generic principles defined herein may be applied to other variations without departing from the scope of the disclosure. Thus, the disclosure is not limited to the examples and designs described herein but is to be accorded the broadest scope consistent with the principles and novel features disclosed herein.

Claims

1.A first wireless device, comprising:one or more memories storing processor-executable code; andone or more processors coupled with the one or more memories and individually or collectively operable to execute the code to cause the first wireless device to:receive a capability message that indicates a capability of a second wireless device to support one or more neural network models; andtransmit, based at least in part on the capability of the second wireless device, a model message that includes a neural network model with an associated set of parameters, wherein the neural network model is included in the model message in accordance with a joint neural network compression and channel coding procedure that provides at least one of lossy compression or lossy encoding.2.The first wireless device of claim 1, wherein the one or more processors are individually or collectively further operable to execute the code to cause the first wireless device to:perform the joint neural network compression and channel coding procedure in accordance with an optimization of a distortion function.3.The first wireless device of claim 1, wherein the lossy compression or the lossy encoding of the joint neural network compression and channel coding procedure is in accordance with a loss function that is based at least in part on a loss value associated with a neural network task and a regularization term associated with a pruning operation.4.The first wireless device of claim 1, wherein the one or more processors are individually or collectively further operable to execute the code to cause the first wireless device to:perform, as part of performance of the joint neural network compression and channel coding procedure, a pruning operation on the neural network model, wherein performing the pruning operation comprises removing at least one parameter of the associated set of parameters from the neural network model.5.The first wireless device of claim 4, wherein, to perform the pruning operation, the one or more processors are individually or collectively operable to execute the code to cause the first wireless device to:remove a subset of parameters from the neural network model, the subset of parameters comprising one or more filters of the neural network model, one or more layers of the neural network model, one or more modules of the neural network model, or any combination thereof.6.The first wireless device of claim 1, wherein the one or more processors are individually or collectively further operable to execute the code to cause the first wireless device to:perform, as part of performance of the joint neural network compression and channel coding procedure, a noise injection operation on the neural network model to add noise to one or more weights corresponding to the associated set of parameters of the neural network model.7.The first wireless device of claim 1, wherein the one or more processors are individually or collectively further operable to execute the code to cause the first wireless device to:perform, as part of performance of the joint neural network compression and channel coding procedure, a channel coding training operation on the neural network model based at least in part on a sensitivity rating associated with the neural network model.8.The first wireless device of claim 7, wherein, to perform the channel coding training operation, the one or more processors are individually or collectively operable to execute the code to cause the first wireless device to:apply a respective channel compression coding rate to each subset of parameters of the associated set of parameters of the neural network model based at least in part on a respective sensitivity ranking corresponding to each subset of parameters of the associated set of parameters, wherein each subset of parameters comprises one or more filters of the neural network model, one or more layers of the neural network model, one or more modules of the neural network model, or any combination thereof.9.The first wireless device of claim 1, wherein the one or more processors are individually or collectively further operable to execute the code to cause the first wireless device to:transmit a message indicating a distortion level threshold associated with an evaluation of successful transmission of the neural network model, wherein the evaluation is based at least in part on satisfaction of the distortion level threshold by a distortion level estimate, and wherein the distortion level estimate is based at least in part on a signal-to-noise (SNR) estimate and a distortion-SNR curve.10.The first wireless device of claim 1, wherein the one or more processors are individually or collectively further operable to execute the code to cause the first wireless device to:transmit a first message that indicates a loss threshold associated with an evaluation of a successful transmission of the neural network model, a loss function used to train the neural network model, or both, wherein the evaluation is based at least in part on satisfaction of the loss threshold by a result of the loss function.11.The first wireless device of claim 10, wherein the one or more processors are individually or collectively further operable to execute the code to cause the first wireless device to:transmit a second message that indicates a set of data for performance of the evaluation, wherein the loss function is based at least in part on the set of data, and wherein the evaluation is based at least in part on the set of data in combination with the loss function.12.The first wireless device of claim 1, wherein the one or more processors are individually or collectively further operable to execute the code to cause the first wireless device to:receive a first message indicating a task evaluation function associated with the neural network model; andtransmit, based at least in part on the first message, a second message indicating a performance threshold associated with an evaluation of successful transmission of the neural network model, wherein the evaluation is based at least in part on satisfaction of the performance threshold by a result of the task evaluation function.13.The first wireless device of claim 12, wherein the one or more processors are individually or collectively further operable to execute the code to cause the first wireless device to:transmit, based at least in part on the first message, a third message indicating a set of data for performing the evaluation, wherein the task evaluation function is based at least in part on at least one parameter from the set of data, and wherein the evaluation is based at least in part on the set of data in combination with the task evaluation function.14.A method for wireless communication at a first wireless device, comprising:receiving a capability message that indicates a capability of a second wireless device to support one or more neural network models; andtransmitting, based at least in part on the capability of the second wireless device, a model message that includes a neural network model with an associated set of parameters, wherein the neural network model is included in the model message in accordance with a joint neural network compression and channel coding procedure that provides at least one of lossy compression or lossy encoding.15.The method of claim 14, further comprising:performing the joint neural network compression and channel coding procedure in accordance with an optimization of a distortion function.16.The method of claim 14, further comprising:performing, as part of performance of the joint neural network compression and channel coding procedure, a pruning operation on the neural network model, wherein performing the pruning operation comprises removing at least one parameter of the associated set of parameters from the neural network model.17.The method of claim 14, further comprising:performing, as part of performance of the joint neural network compression and channel coding procedure, a channel coding training operation on the neural network model based at least in part on a sensitivity rating associated with the neural network model.18.A non-transitory computer-readable medium storing code for wireless communication, the code comprising instructions executable by at least one processor to:receive a capability message that indicates a capability of a second wireless device to support one or more neural network models; andtransmit, based at least in part on the capability of the second wireless device, a model message that includes a neural network model with an associated set of parameters, wherein the neural network model is included in the model message in accordance with a joint neural network compression and channel coding procedure that provides at least one of lossy compression or lossy encoding.19.The non-transitory computer-readable medium of claim 18, wherein the instructions are further executable by the at least one processor to:perform the joint neural network compression and channel coding procedure in accordance with an optimization of a distortion function.20.The non-transitory computer-readable medium of claim 18, wherein the instructions are further executable by the at least one processor to:perform, as part of performance of the joint neural network compression and channel coding procedure, a pruning operation on the neural network model, wherein performing the pruning operation comprises removing at least one parameter of the associated set of parameters from the neural network model.

Images