Post-deployment validation for two-sided artificial intelligence / machine learning models for the dynamic deployment of updated functionalities

Abstract

Systems and methods for post-deployment validation for two-sided artificial intelligence (AI) / machine learning (ML) models for the dynamic deployment of updated functionalities are discussed. In some embodiments, an AI / ML model validation server uses testing data from a UE to identify that an AI / ML model is not sufficiently accurate based on an inferencing result generated by applying the testing data with the AI / ML model, trains a set of layers of the AI / ML model that is fewer than all layers of the AI / ML model to generate updated parameters for the set of layers, where the training iterates until the AI / ML model validation server validates the AI / ML model, and sends, to the UE, the updated parameters. In some embodiments, an AI / ML model validation server trains a pre-trained meta learning AI / ML model into a new AI / ML model for use at a UE. Corresponding UE and radio access network (RAN) functionalities are also discussed.

Description

POST-DEPLOYMENT VALIDATION FOR TWO-SIDED ARTIFICIAL INTELLIGENCE / MACHINE LEARNING MODELS FOR THE DYNAMIC DEPLOYMENT OF UPDATED FUNCTIONALITIESTECHNICAL FIELD

[0001] This application relates generally to wireless communication systems, including wireless communication systems using artificial intelligence (AI)  / machine learning (ML) models.BACKGROUND

[0002] Wireless mobile communication technology uses various standards and protocols to transmit data between a base station and a wireless communication device. Wireless communication system standards and protocols can include, for example, 3rd Generation Partnership Project (3GPP) Long Term Evolution (LTE) (e.g., 4G) , 3GPP New Radio (NR) (e.g., 5G) , and Institute of Electrical and Electronics Engineers (IEEE) 802.11 standard for Wireless Local Area Networks (WLAN) (commonly known to industry groups as ) .

[0003] As contemplated by the 3GPP, different wireless communication systems' standards and protocols can use various radio access networks (RANs) for communicating between a base station of the RAN (which may also sometimes be referred to generally as a RAN node, a network node, or simply a node) and a wireless communication device known as a user equipment (UE) . 3GPP RANs can include, for example, Global System for Mobile communications (GSM) , Enhanced Data Rates for GSM Evolution (EDGE) RAN (GERAN) , Universal Terrestrial Radio Access Network (UTRAN) , Evolved Universal Terrestrial Radio Access Network (E-UTRAN) , and / or Next-Generation Radio Access Network (NG-RAN) .

[0004] Each RAN may use one or more radio access technologies (RATs) to perform communication between the base station and the UE. For example, the GERAN implements GSM and / or EDGE RAT, the UTRAN implements Universal Mobile Telecommunication System (UMTS) RAT or other 3GPP RAT, the E-UTRAN implements LTE RAT (sometimes simply referred to as LTE) , and NG-RAN implements NR RAT (sometimes referred to herein as 5G RAT, 5G NR RAT, or simply NR) . In certain deployments, the E-UTRAN may also implement NR RAT. In certain deployments, NG-RAN may also implement LTE RAT.

[0005] A base station used by a RAN may correspond to that RAN. One example of an E-UTRAN base station is an Evolved Universal Terrestrial Radio Access Network (E-UTRAN) Node B (also commonly denoted as evolved Node B, enhanced Node B, eNodeB, or eNB) . One example of an NG-RAN base station is a next generation Node B (also sometimes referred to as a g Node B or gNB) .

[0006] A RAN provides its communication services with external entities through its connection to a core network (CN) . For example, E-UTRAN may utilize an Evolved Packet Core (EPC) while NG-RAN may utilize a 5G Core Network (5GC) .

[0007] Frequency bands for 5G NR may be separated into two or more different frequency ranges. For example, Frequency Range 1 (FR1) may include frequency bands operating in sub-6 gigahertz (GHz) frequencies, some of which are bands that may be used by previous standards, and may potentially be extended to cover new spectrum offerings from 410 megahertz (MHz) to 7125 MHz. Frequency Range 2 (FR2) may include frequency bands from 24.25 GHz to 52.6 GHz. Note that in some systems, FR2 may also include frequency bands from 52.6 GHz to 71 GHz (or beyond) . Bands in the millimeter wave (mmWave) range of FR2 may have smaller coverage but potentially higher available bandwidth than bands in FR1. Skilled persons will recognize these frequency ranges, which are provided by way of example, may change from time to time or from region to region.

[0008] BRIEF DESCRIPTION OF THE SEVERAL VIEWS OF THE DRAWINGS

[0009] To easily identify the discussion of any particular element or act, the most significant digit or digits in a reference number refer to the figure number in which that element is first introduced.

[0010] FIG. 1A, FIG. 1B, and FIG. 1C together illustrate flow diagram for communications between a network, a UE, and an OTA server corresponding to the use of post-deployment validation, according to embodiments discussed herein.

[0011] FIG. 2 illustrates a diagram showing the use of fine-tuning as part of post-deployment validation, according to embodiments herein.

[0012] FIG. 3 illustrates flow diagram for communications between a network, a UE, and an OTA server corresponding to the use of a pre-trained meta learning AI / ML model, according to embodiments discussed herein.

[0013] FIG. 4 illustrates a diagram for convergence of an AI / ML model having initial parameters θ to each of a first task and a second task.

[0014] FIG. 5 illustrates a diagram for convergence of an AI / ML model having initial parameters θ to each of a first task and a second task.

[0015] FIG. 6 illustrates a method of an AI / ML model validation server, according to embodiments discussed herein.

[0016] [Rectified under Rule 91, 29.11.2024]FIG. 7 illustrates a method of a UE, according to embodiments discussed herein.

[0017] FIG. 8 illustrates a method of an AI / ML model validation server, according to embodiments discussed herein.

[0018] FIG. 9 illustrates an example architecture of a wireless communication system, according to embodiments disclosed herein.

[0019] FIG. 10 illustrates a system for performing signaling between a wireless device and a network device, according to embodiments disclosed herein.DETAILED DESCRIPTION

[0020] Various embodiments are described with regard to a UE. However, reference to a UE is merely provided for illustrative purposes. The example embodiments may be utilized with any electronic component that may establish a connection to a network and is configured with the hardware, software, and / or firmware to exchange information and data with the network. Therefore, the UE as described herein is used to represent any appropriate electronic component.

[0021] In various cases, post-deployment verification may be used within a wireless communication system that employs artificial intelligence (AI)  / machine learning (ML) models. Post-deployment verification refers to processes for providing continuing adherence to minimum performance requirements (e.g., indirectly) of AI / ML models at UEs deployed in the field. Post-deployment verification is useful for various context due to a potential for AI / ML model updates, due to a potential for reinforcement learning, and due to the fact that compliance testing cannot exhaustively test AI / ML model performance for all possible circumstances.

[0022] A goal of post-deployment verification is to perform one or more tests of new / updated AI / ML models in a realistic way (in ways that account for particular channel conditions and / or particular UE hardware and / or configuration) prior to use of the AI / ML models in the deployed UEs. For example, prior to sending an AI / ML model to one or more UEs, a UE vendor could verify that the AI / ML model meets certain requirements in representative hardware and wireless channel conditions. In some embodiments, such requirements may be set according to a specification for the wireless communication system (e.g., a 3GPP specification) .

[0023] In various circumstances, post-deployment procedures include more than such monitoring / testing. For example, post-deployment procedures may also include an ability to timely act, based on the performance monitoring / testing, to prevent performance degradation at an AI / ML model (e.g., by updating or replacing the AI / ML model that is degrading) .

[0024] It is useful to employ an AI / ML model monitoring procedure that is proactive. In such cases, actions to improve AI / ML model performance (such as performing a switch between two AI / ML models and / or updating an AI / ML model) can be taken before an AI / ML model’s performance degrades. This an approach maintains AI / ML model performance aspects while not unnecessarily increasing resource waste corresponding to extra monitoring and / or extra latency (e.g., as may be associated with a case of falling back to non-AI / ML-based legacy behavior upon AI / ML model degradation) .

[0025] However, it is difficult to guarantee an AI / ML model's performance prior to the deployment of the AI / ML model, even in cases where the AI / ML model goes through some conformance testing at an over the air (OTA) server. This is because the AI / ML model ultimately will not have been tested with actual field data under exact UE conditions (exact channel conditions, , exact UE hardware conditions, exact mobility conditions, exact line-of-sight (LOS) or non-line-of-sight (nLOS) conditions, etc. ) . Herein, aspects particular to a UE's status (e.g., related to channel conditions at the UE, LOS or nLOS status of the UE to the applicable transmission reception point (TRP) of the network, a mobility state of the UE, and / or hardware / radio frequency (RF) particulars at a UE, etc. ) may be referred to as “status aspects” of the UE.

[0026] Note that even in cases of AI / ML models that have been trained at the network and / or an OTA server under identical channel conditions to that in question still may not reflect the a particular hardware implementation at the UE (aparticular RF architecture, etc. ) , and therefore such guarantees (according to variations in actually deployed UE hardware) remain outstanding. Accordingly, it is desirable that verification of new / updated AI / ML models be performed using data collected in the field and according to in-use UE RF hardware and implementations.

[0027] The need for post-deployment handling of AI / ML models stems from the potential for frequent changes / updates to the AI / ML models. The AI / ML models, understood one way, may be considered software components that are amenable to be substitution, upgrade, update, etc., and which then can be executed on the same hardware / the same device as the prior (version of the) AI / ML model. This AI / ML model upgrading / replacement functionality presents a challenge with respect to considerations of ensuring / confirming that a device that has passed conformance testing with one (version of) an AI / ML model can also pass the same test after the that AI / ML model is upgraded or replaced.

[0028] It is noted that the performance of a series of modifications to AI / ML functionality over a device's lifetime, post-deployment, can potentially lead one or more issues. A first such possible issue relates to the integration of a new updated AI / ML model onto the device without complete validation. This can result in inaccurate results and / or loss in system performance.

[0029] Another such possible issue relates to cases of modification, updating, or fine-tuning of an existing AI / ML model at the device. This behavior could lead to degraded performance of the AI / ML model under certain conditions, even if the desired improvements occur under other conditions.

[0030] Accordingly, it is useful to provide mechanisms to ensure the adaptability and flexibility of AI / ML based functionalities under post-deployment validation / testing aspects corresponding to AI / ML features at a device. In some embodiments herein, a post-deployment phase is considered as within the broader context of an AI / ML generalization frameworks more generally.

[0031] Various embodiments herein relate to the use of “two-sided” AI / ML models. Two-sided AI / ML models may include a first portion that operates at a first entity of a wireless communication system and a second portion that operates at a second entity of a wireless communication system.

[0032] One example category for such two-sided AI / ML models includes AI / ML models used for channel state information (CSI) feedback. A two-sided AI / ML model for CSI feedback includes two parts: an encoder that is used at a transmitter (e.g., a UE) to compress CSI data (e.g., a precoder matrix indicator (PMI) as generated at the transmitter based on a received reference signal) and a decoder that is used at the receiver (e.g., a base station) to decompress / reconstruct the original CSI data. Note that the use of compression allows for the CSI information to be sent by the transmitter to the receiver using relatively fewer signaling resources.

[0033] In some instances herein an AI / ML model for CSI feedback is referred to as / be understood to include an “autoencoder, ” an “autoencoder network, ” or the like.

[0034] FIG. 1A, FIG. 1B, and FIG. 1C together illustrate flow diagram 100 for communications between a network 102, a UE 104, and an OTA server 106 corresponding to the use of post-deployment validation, according to embodiments discussed herein. The OTA server 106 may be a type of an AI / ML model validation server. The flow diagram 100 corresponds to a case of validation at the OTA server 106 through the use of a “few-shot” learning / adaptation mechanism, as will now be discussed.

[0035] FIG. 1A, FIG. 1B, and FIG. 1C relate to post-deployment validation of an AI / ML model 108 that is a two-sided AI / ML model for CSI feedback. This AI / ML model is made up of an encoder portion 116 deployed at the UE 104 and a decoder portion 120 that is deployed at the network 102.

[0036] Preliminarily, the network 102 configures 110 the UE 104 (e.g., through radio resource control (RRC) messaging) with one or more condition (s) used for monitoring procedures for the AI / ML model 108. These condition (s) may include, for example, condition (s) related to the identification of a certain level of degradation at the AI / ML model 108 and a corresponding need to update the AI / ML model 108. The conditions may thus be understood as conditions for updating the AI / ML model 108.

[0037] The UE 104 then evaluates 112 whether the condition (s) used as part of the monitoring are met.

[0038] If / when the monitored-for condition (s) are met, the UE 104 computes 114 a set of testing data that will be used at the OTA server 106 to perform validation of the AI / ML model 108. For example, the UE 104 uses channel state information reference signals (CSI-RSs) received from the network 102 to compute inputs (denoted V) for the encoder portion 116 of the AI / ML model 108. These inputs may be, for example, PMIs that are to be encoded at the encoder portion 116 of the AI / ML model 108 and then decoded at the decoder portion 120 of the AI / ML model 108.

[0039] It may be understood that the OTA server 106 stores the encoder portion 116 of the AI / ML model 108 that is deployed at the UE 104. Further, as illustrated, the OTA server 106 may download 118 the decoder portion 120 of the AI / ML model 108 that is deployed at the network. Accordingly, as the OTA server 106 is equipped with each of the encoder portion 116 and the decoder portion 120 of the AI / ML model 108, it is in a position to perform full inferencing across both portions (e.g., to perform both encoding and decoding according to the functionality of the AI / ML model 108) .

[0040] As illustrated, the UE 104 sends 122 the inputs (PMIs V) to the OTA server 106. These PMIs may be sent with high resolution (for example, where each PMI is sent according to a 16 or 32 bit per-element quantization) . The series of PMI data send 122 by the UE 104 may be considered as part of a testing data set Dtest.

[0041] The OTA server 106 then performs 124 validation of the AI / ML model 108. First, the OTA server 106 processes the input test data PMI V with the AI / ML model 108. The input test data V is applied to the encoder portion 116 of the AI / ML model 108 to generate the encoded data c, and then encoded data c is applied to the decoder portion 120 of the AI / ML model 108 to generate the decoded result  (a reconstructed PMI) .

[0042] The OTA server 106 then compares the input test data V with the reconstructed PMI For example, the OTA server 106 may compute a squared generalized cosine similarity (SGCS) between PMI V and PMI and compare the result to a threshold. If the SGCS meets the threshold, the AI / ML model 108 is validated 126 and the UE 104 will keep employing the current AI / ML model 108 as-is. If the SGCS does not meet the threshold, the AI / ML model 108 does not validate 128 and the UE 104 proceeds to perform 130 transfer learning, as will be described.

[0043] Note that one advantage of the validation approach just discussed is that because the PMI V being used by the OTA server 106 was initially generated by the UE 104 based on an in-field reference signal received at the UE 104, the PMI V reflects / captures / represents both the specific hardware implementation of the UE 104 as well as the current wireless environment of the UE 104. Accordingly, the PMI V is representative of the actual channel environment and hardware situation at / of the UE 104, and it can accordingly be profitably used for post-deployment procedures as discussed herein.

[0044] Assuming that the AI / ML model 108 does not validate 128, the OTA server 106 performs 130 transfer learning by performing fine-tuning of the AI / ML model 108. The fine-tuning procedure may be used to train the AI / ML model 108 based on input data.

[0045] Note that in this case, the fine-tuning may be performed on only certain layers (fewer than all layers) of a network of the AI / ML model while keeping the remaining layers frozen / the same. For example, FIG. 1B illustrates that the transfer learning procedure trains only the last layer 132 of the encoder portion 116 of the AI / ML model 108, while the remaining layers of the encoder portion 116 of the AI / ML model 108 are left static.

[0046] The training of the last layer 132 may occur according to:

[0047] where:

[0048] ● φ is the parameter set that is part of the neural network, and

[0049] ● is the gradient of the error with respect to φ

[0050] Note that training in this manner may use a relatively reduced number of sample sizes for fine-tuning on model performance as compared to a case where all layers of the AI / ML model 108 are trained. This is useful to reduce validation costs associated with updating the AI / ML model 108, thereby more quickly adapting the AI / ML model 108 to new environments.

[0051] After performing fine-tuning / training, the OTA server 106 sends 134 the UE 104 a signal that the AI / ML model 108 is to be updated. This signal may be understood by the UE 104 as a request of a validation data set (denoted Dval) . Accordingly, the UE 104 sends 136 the OTA server 106 a validation data set Dval to the OTA server 106.

[0052] The OTA server 106 then performs 142 model validation procedures for the new fine-tuned AI / ML model (where the updated last layer 132 of the AI / ML model is used) . For example, the OTA server 106 applied data from Dval as a PMI V at the encoder portion 116 of the AI / ML model 108 to generate a c that is then applied at the decoder portion 120 of the AI / ML model 108 to generate a PMI The PMI V and the PMI are then compared (e.g., using an SGCS procedure) to determine whether the AI / ML model 108 (with the updated last layer 132 applied within the encoder portion 116) validates.

[0053] If the AI / ML model 108 does not validate 138, the OTA server 106 returns to perform 130 additional fine-tuning, as illustrated. The result of this fine-tuning may result in a new / updated last layer 132, which is applied at the AI / ML model 108 on a subsequent attempt of the OTA server 106 to perform 142 validation of the AI / ML model 108. Note that this fine-tuning / training may iterate until the OTA server 106 validates 140 that the AI / ML model 108 is sufficiently accurate when using any updated parameters for the last layer 132 that are generated by the fine-tuning / training procedure.

[0054] At this point in the procedure, the OTA server 106 possesses an updated AI / ML model that includes an updated last layer 132 for the encoder portion 116 of the AI / ML model 108 that is validated, as illustrated. Accordingly, to update the prior version of the encoder portion 116 of the AI / ML model 108 as still understood at the UE 104 to the updated version of the encoder portion 116 of the AI / ML model 108 as understood at the OTA server 106, the OTA server 106 transfers a small set of parameters representing the changes to the last layer 132 to the UE 104. This allows the UE 104 to update its version of the encoder portion 116 of the AI / ML model 108 to match that understood at the OTA server 106.

[0055] Note that the number of parameters should be kept as small as possible to keep the complexity low and to enable fast adaptation as part of this proactive framework for post-deployment procedures)

[0056] After the flow diagram 100 is completed, the UE 104 is understood to employ the newly updated and validated AI / ML model 108 (according to the last layer 132 for the encoder portion 116) . The UE may then return to the evaluation 112 of condition (s) used for monitoring as initially configured by the network 102, with the balance of the procedure repeating as once / if monitored-for condition (s) are again met.

[0057] Through the use of the described mechanisms, the AI / ML model 108 as updated has been validated for the actual hardware of the UE (and according to any other active / applicable UE-specific implementation) . Further, the AI / ML model has further been validated according to actual channel conditions at the UE. Such mechanisms represent cases for fast adaptation based on “few-shot” learning as enabled by transfer learning techniques.

[0058] Note that while in the specific example of the flow diagram 100, only the last layer 132 of the encoder portion 116 of the AI / ML model 108 is trained, it may be that in other cases more than one layer of an encoder portion (but, e.g., still fewer than all layers of the AI / ML model / fewer than all layers of the encoder portion) is so modified.

[0059] Note also that while FIG. 1A, FIG. 1B, and FIG. 1C together illustrate a case of an AI / ML model 108 that is for CSI compression / decompression and that accordingly uses an encoder portion 116 and a decoder portion 120, it is contemplated that analogous mechanisms could be used to validate other types of two-sided AI / ML models (and which may be used for purposes other than CSI compression / decompression) . It will thus be understood that, while corresponding monitoring and / or validation conditions for such other types of AI / ML models may be different than those for the AI / ML model 108, the overall signaling / communication / update framework as described in FIG. 1A, FIG. 1B, and FIG. 1C could still be analogously used.

[0060] FIG. 2 illustrates a diagram 200 showing the use of fine-tuning 202 as part of post-deployment validation, according to embodiments herein. As illustrated, a wireless communication system may use a global AI / ML model 204. In some cases, the global AI / ML model 204 may be based on assumed data corresponding to an assumed case for applicable UE aspects. For example, FIG. 2 illustrates that the assumed data 206 corresponds to an assumption that a UE is in an urban macro (UMa) environment with a good signal to noise ratio (SNR) , uses 16 antenna ports, is in LOS with the applicable TRP of the network, and is moving at low speed.

[0061] In other (non-illustrated) embodiments, the global AI / ML model 204 instead may be based on aggregate data representing previously acquired / simulated particulars of UE hardware / mobility / channel conditions within the wireless communication system, and may accordingly represent a reasonable initial AI / ML model deployment for individual UEs of the wireless communication system.

[0062] An AI / ML model validation server may be capable of interacting with various UEs in the system for purposes of post-deployment validation procedures as discussed herein. Each of the UEs may operate according to differing (or at least independent) channel conditions, differing (or at least independent) mobilities, differing (or at least independent) LOS statuses, and / or differing (or at least independent) hardware configurations.

[0063] As illustrated, status aspects of a first UE 208 may be that the first UE 208 is in a UMa environment with a low SNR, uses 32 antenna ports, is in nLOS with the applicable TRP of the network, and is moving at low speed. Once it is determined that the global AI / ML model 204 at the first UE 208 needs updated (e.g., according to a monitored-for condition) , the AI / ML model validation server may perform fine-tuning 202 of the global AI / ML model 204 using a first local dataset 216 collected by the first UE 208 (which inherently reflects the status aspects of the first UE 208) to generate the first fine-tuned version of the global AI / ML model 218, which is sent back to the first UE 208. This first fine-tuned version of the global AI / ML model 218 corresponds to the UE status aspects of the first UE 208, meaning that inferencing behavior at the first UE 208 using the first fine-tuned version of the global AI / ML model 218 is relatively more effective over the case of the use of the global AI / ML model 204 at the first UE 208. Note that this procedure could be repeated as / if necessary against any currently-possessed AI / ML model at the first UE 208 to generate a further updated AI / ML model.

[0064] Further, status aspects of a second UE 210 may be that the second UE 210 is in an urban micro (UMi) environment with a good SNR, uses 16 antenna ports, is in nLOS with the applicable TRP of the network, and is moving at low speed. Once it is determined that the global AI / ML model 204 at the second UE 210 needs updated (e.g., according to a monitored-for condition) , the AI / ML model validation server may perform fine-tuning 202 of the global AI / ML model 204 using a second local dataset 220 collected by the second UE 210 (which inherently reflects the status aspects of the second UE 210) to generate the second fine-tuned version of the global AI / ML model 222, which is sent back to the second UE 210. This second fine-tuned version of the global AI / ML model 222 corresponds to the UE status aspects of the second UE 210, meaning that inferencing behavior at the second UE 210 using the second fine-tuned version of the global AI / ML model 222 is relatively more effective over the case of the use of the global AI / ML model 204 at the second UE 210. Further, this second fine-tuned version of the global AI / ML model 222 may be different than the first fine-tuned version of the global AI / ML model 218 for the first UE 208. Note that this procedure could be repeated as / if necessary against any currently-possessed AI / ML model at the second UE 210 to generate a further updated AI / ML model.

[0065] Still further, status aspects of a third UE 212 may be that the third UE 212 is in a UMi environment with a low SNR, uses 16 antenna ports, has LOS with the applicable TRP of the network, and is moving at high speed. Once it is determined that the global AI / ML model 204 at the third UE 212 needs updated (e.g., according to a monitored-for condition) , the AI / ML model validation server may perform fine-tuning 202 of the global AI / ML model 204 using a third local dataset 224 collected by the third UE 212 (which inherently reflects the status aspects of the third UE 212) to generate the third fine-tuned version of the global AI / ML model 226, which is then set back to the third UE 212. The third fine-tuned version of the global AI / ML model 226 corresponds to the UE status aspects of the third UE 212, meaning that inferencing behavior at the third UE 212 using the third fine-tuned version of the global AI / ML model 226 is relatively more effective over the case of the use of the global AI / ML model 204 at the third UE 212. Further, this third fine-tuned version of the global AI / ML model 226 may be different than the first fine-tuned version of the global AI / ML model 218 for the first UE 208 and / or the second fine-tuned version of the global AI / ML model 222 for the second UE 210. Note that this procedure could be repeated as / if necessary against any currently-possessed AI / ML model at the third UE 212 to generate a further updated AI / ML model.

[0066] Each applicable UE of the wireless communication system may perform fine-tuning accordingly, until the n-th UE 214 is reached. As a final example, status aspects of the n-th UE 214 may be that the n-th UE 214 is in a UMi environment with a medium SNR, uses 16 antenna ports, has nLOS with the applicable TRP of the network, and is moving at high speed. Once it is determined that the global AI / ML model 204 at the n-th UE 214 needs updated (e.g., according to a monitored-for condition) , the AI / ML model validation server may perform fine-tuning 202 of the global AI / ML model 204 using an n-th local dataset 228 collected by the n-th UE 214 (which inherently reflects the status aspects of the n-th UE 214) to generate the n-th fine-tuned version of the global AI / ML model 230, which is then sent back to the n-th UE 214. The n-th fine-tuned version of the global AI / ML model 230 corresponds to the UE status aspects of the n-th UE 214, meaning that inferencing behavior at the n-th UE 214 using the n-th fine-tuned version of the global AI / ML model 230 is relatively more effective over the case of the use of the global AI / ML model 204 at the n-th UE 214. Further, this n-th fine-tuned version of the global AI / ML model 230 may be different than any / all other fine-tuned global AI / ML models at other UEs, including the first fine-tuned version of the global AI / ML model 218 for the first UE 208, the second fine-tuned version of the global AI / ML model 222 for the second UE 210, and / or the third fine-tuned version of the global AI / ML model 226 for the third UE 212. Note that this procedure could be repeated as / if necessary against any currently-possessed AI / ML model at the n-th UE 214 to generate a further updated AI / ML model.

[0067] Solutions for meta-learning-based post-deployment procedures are now discussed. In meta learning, the wireless communication system focuses on learning an initialization of an AI / ML model that allows for rapid adaptation of that AI / ML model to new tasks (e.g., using only a small number of samples) . Meta learning includes / contemplates processes for determining such an AI / ML model initialization using the perspective of training samples for multiple known tasks, such that the trained AI / ML model can adapt to new (e.g., unknown) tasks after being provided only a relatively small number of samples for the new task.

[0068] In practice, the effect of divergent channel and / or hardware aspects on an AI / ML model across multiple UEs may be conceived as independent tasks associated with the use of the AI / ML model within an overall task space. For example, a first task in the task space may correspond to use of the AI / ML model by a first UE in a UMa environment with a low SNR, that uses 32 antenna ports, that is in nLOS with the applicable TRP of the network, and that is moving at low speed, while a second task of the task space may correspond to the use of the AI / ML model by a second UE in a UMi environment with a medium SNR that uses 16 antenna ports, that is in LOS with the applicable TRP of the network, and that is moving at high speed, etc.

[0069] A goal of meta learning is to develop an initialization for the AI / ML model that is configured to quickly adapt (e.g., through fine-tuning) to convergence for each of various different tasks of the task space as represented by the various UEs of the system. An AI / ML model as so initialized may be referred to herein as a “pre-trained meta learning AI / ML model” or the like.

[0070] Development (pre-training) of a pre-trained meta learning AI / ML model is now discussed. A parameter vector θ is initialized and corresponds to an outer loop (a j loop) of the pre-training procedure. The goal of the pre-training is to converge the AI / ML model to an optimal vector θ.

[0071] An iteration of the outer loop j is now discussed.

[0072] First, an inner loop (an i loop) is performed for iterations i = 1, 2, …, n, with each iteration corresponding to one task τi in a task space p (τ) . For each iteration of this inner loop:

[0073] ● Task τi is sampled. The samples are collected for purposes of training and testing for task τi; and

[0074] ● is then obtained by minimizing on a few training samples. That is, updates are performed to optimize the parameters φi.

[0075] After updating φi for each task τi, θ is updated by gradient descent such that it minimizes As part of updating θ, the gradient of the individual task losses is evaluated on a set of test data. The gradient of the overall loss is obtained as follows:  θ is then updated via gradient descent, using a new learning rate:

[0076] Then, the procedure proceeds to any next outer loop iteration according to j = j + 1 and using the updated θ.

[0077] The result of the outer loop iterations represents an initialization that, when applied to / with / at the AI / ML model, represents a pre-trained meta learning AI / ML model which can be further fine-tuned for individual tasks τk in the task space p (τ) .

[0078] Use of such pre-trained meta learning AI / ML models is now discussed. FIG. 3 illustrates flow diagram 300 for communications between a network 302, a UE 304, and an OTA server 306 corresponding to the use of a pre-trained meta learning AI / ML model, according to embodiments discussed herein. The OTA server 306 may be a type of an AI / ML model validation server.

[0079] FIG. 3 relates to the use of a pre-trained meta learning AI / ML model 314 that is a two-sided AI / ML model for CSI feedback.

[0080] The OTA server 306 stores two AI / ML models, a first AI / ML model 308 and the pre-trained meta learning AI / ML model 314. The first AI / ML model 308 is a copy of an AI / ML model currently used by the UE. The first AI / ML model 308 is made up of an encoder portion 310 deployed at the UE 304 and a decoder portion 312 that is deployed at the network 302, as illustrated. The first AI / ML model 308 may be used for validation purposes.

[0081] The pre-trained meta learning AI / ML model 314 is configured for continuous learning and fast adaptation to new tasks within the task space for the desired functionality. The AI / ML model is made up of an encoder portion 318 and a decoder portion 316, as illustrated.

[0082] As illustrated, the UE 304 provides 326 the OTA server 306 with training data (Dtrain) and testing data (Dtest) . The OTA server 306 then uses the training data perform fine-tuning (additional training) of the pre-trained meta learning AI / ML model 314 into a new AI / ML model 320. This training may iterate until OTA server 306 validates that the resulting new AI / ML model 320 is sufficiently accurate. This may be done by first comparing a PMI V applied at the encoder portion 318 of the new AI / ML model 320 to a PMI at the output of the decoder portion 316 of the new AI / ML model 320 (e.g., using SGCS as is explained elsewhere herein) . Then, this result may be compared to an analogous result at generated with the first AI / ML model 308 in order to determine whether the new AI / ML model 320 is, for example, more accurate than the first AI / ML model 308.

[0083] The new AI / ML model 320 is made up of an encoder portion 322 and a decoder portion 324, as illustrated. Note that at least the encoder portion 322 of the new AI / ML model 320 is now different than the encoder portion 318 of the pre-trained meta learning AI / ML model 314. It is also possible that the decoder portion 324 of the new AI / ML model 320 is also different. Convergence of the pre-trained meta learning AI / ML model 314 into the new AI / ML model 320 based on the training data occurs relatively quickly.

[0084] Then, the UE uses the testing data previously provided 326 by the UE 304 across each of the first AI / ML model 308 and the new AI / ML model 320 to validate the new AI / ML model 320. After validation, the (UE portions of the) AI / ML model is (are) sent to the UE 304 for use in performing inferencing. For example, as illustrated, once the new AI / ML model 320 is validated, the encoder portion 322 of the new AI / ML model 320 is provided back to the UE 304 for use in inferencing going forward. Any decoder portion 324 of the new AI / ML model 320 (to the extent that it is different from that of the decoder portion 312 of the first AI / ML model 308) is also provided to the network 302.

[0085] Note that the new AI / ML model 320 may be stored at the OTA server 306 as the copy of the AI / ML model that is presently in use, and may take the place of the first AI / ML model 308 in a subsequent iteration of the flow diagram 300 (e.g., that occurs once an update of the new AI / ML model 320 is later needed according to monitoring of the new AI / ML model 320) .

[0086] FIG. 4 illustrates a diagram 400 for convergence of an AI / ML model having initial parameters θ to each of a first task 402 and a second task 404.

[0087] The diagram 400 is for a case corresponding to the use of an AI / ML model that is not a pre-trained meta learning AI / ML model. In such a case, the initial parameters θare not optimized, and accordingly relatively many samples are needed to reach convergence to each of the first task 402 and the second task 404 (compare FIG. 5) .

[0088] FIG. 5 illustrates a diagram 500 for convergence of an AI / ML model having initial parameters θ to each of a first task 502 and a second task 504.

[0089] The diagram 500 is for a case corresponding to the use of an AI / ML model that is a pre-trained meta learning AI / ML model. In such a case, the initial parameters θ are optimized according to a pre-training, and accordingly relatively fewer samples are needed to reach convergence to each of the first task 502 and the second task 504 (compare FIG. 4) .

[0090] In other words, under actual deployment, the pre-trained meta learning AI / ML model can be fined tuned using relatively fewer samples from a given task τk (corresponding to the use of optimized initialization parameters θ within the pre-trained meta learning AI / ML model) . The fine tuning for a given task τk may occur according to:

[0091] where:

[0092] ● θ*is the optimum parameter from an outer loop; and

[0093] ● φk is the updated set of parameters of the AI / ML model that optimizes the loss function with data drawn from task τk.

[0094] FIG. 6 illustrates a method 600 of an AI / ML model validation server, according to embodiments discussed herein. The method 600 includes receiving 602, from a UE, testing data configured for use with an AI / ML model that is possessed by the AI / ML model validation server and that is also used by the UE. The method 600 further includes identifying 604 that the AI / ML model is not sufficiently accurate based on an inferencing result generated by applying the testing data with the AI / ML model. The method 600 further includes training 606 a set of layers of the AI / ML model that is fewer than all layers of the AI / ML model, wherein the training generates updated parameters for the set of layers, and wherein the training iterates until the AI / ML model validation server validates that the AI / ML model is sufficiently accurate when using the updated parameters for the set of layers. The method 600 further includes sending 608, to the UE, the updated parameters for the set of layers of the AI / ML model.

[0095] In some embodiments, the method 600 further includes receiving, from the UE, validation data configured for use in validating the AI / ML model; wherein the AI / ML model validation server validates, corresponding to the training of the set of layers, that the AI / ML model is sufficiently accurate based on inference data generated by applying the validation data to the AI / ML model. In some such embodiments, the AI / ML model validation server validates that the AI / ML model is sufficiently accurate based on an SGCS between the validation data and the inference data generated using the validation data. In some such embodiments, the method 600 further includes sending, to the UE, a request for the validation data, wherein the validation data is received at the AI / ML model validation server in response to the request.

[0096] In some embodiments of the method 600, the AI / ML model is a two-sided AI / ML model having a first part that is operated at the UE and a second part that is operated at a base station of a RAN serving the UE; and the method 600 further includes obtaining possession of the AI / ML model by receiving, from the base station, the second part of the AI / ML model from the base station.

[0097] In some embodiments of the method 600, the AI / ML model is for CSI encoding and decoding.

[0098] FIG. 7 illustrates a method 700 of a UE, according to embodiments discussed herein. The method 700 includes identifying 702 that a condition for updating an AI / ML model used by the UE is met. The method 700 further includes sending 704, to an AI / ML model validation server, testing data configured for use with the AI / ML model. The method 700 further includes receiving 706, from the AI / ML model validation server, updated parameters for a set of layers of the AI / ML model that is fewer than all layers of the AI / ML model. The method 700 further includes updating 708 the set of layers of the AI / ML model according to the updated parameters.

[0099] In some embodiments, the method 700 further includes sending, to the AI / ML model validation server, validation data configured for use in validating the AI / ML model. In some such embodiments, the method 700 further includes receiving a request for the validation data from the AI / ML mode validation server.

[0100] In some embodiments of the method 700, the AI / ML model is a two-sided AI / ML model having a first part that is operated at the UE and a second part that is configured for operation at a base station of a RAN serving the UE.

[0101] In some embodiments of the method 700, the AI / ML model is for CSI encoding and decoding.

[0102] FIG. 8 illustrates a method 800 of an AI / ML model validation server, according to embodiments discussed herein. The method 800 includes receiving 802, from a UE, testing data configured for use with a pre-trained meta learning AI / ML model that is possessed by the AI / ML model validation server, wherein the pre-trained meta learning AI / ML model is initialized with default parameters configured for efficient training convergence within a task space, and wherein the testing data received from the UE corresponds to a new task within the task space that is to be performed at the UE. The method 800 further includes training 804, using the testing data, the pre-trained meta learning AI / ML model into a new AI / ML model for the new task, wherein the training iterates until the AI / ML model validation server validates that the new AI / ML model is sufficiently accurate with respect to the new task. The method 800 further includes sending 806, to the UE, at least a portion of the new AI / ML model after the AI / ML model validation server validates that the new AI / ML model is sufficiently accurate.

[0103] In some embodiments, the method 800 further includes storing the new AI / ML model at the AI / ML model validation server as an active UE AI / ML model being used at the UE.

[0104] In some embodiments of the method 800, the AI / ML model validation server validates that the new AI / ML model is sufficiently accurate with respect to the new task by:generating first inference data using the new AI / ML model; generating second inference data using an active UE AI / ML model being used at the UE and that is also possessed by the AI / ML model validation server; and comparing the first inference data to the second inference data.

[0105] In some embodiments, the method 800 further includes receiving, from the UE, training data; and training a preliminary AI / ML model into the pre-trained meta-learning AI / ML model using the training data. In some such embodiments, the training data represents a plurality of tasks of the task space. In some such embodiments, training the preliminary AI / ML model into the pre-trained meta-learning AI / ML model comprises using gradient descent to determine the default parameters for the meta-learning AI / ML model. In some such embodiments, the method 800 further includes receiving the preliminary AI / ML model from the UE.

[0106] In some embodiments of the method 800, the new AI / ML model is a two-sided AI / ML model having a first part that is operated at the UE and a second part configured for operation at a base station of a RAN serving the UE.

[0107] In some embodiments of the method 800, the new AI / ML model is for CSI encoding and decoding.

[0108] FIG. 9 illustrates an example architecture of a wireless communication system 900, according to embodiments disclosed herein. The following description is provided for an example wireless communication system 900 that operates in conjunction with the LTE system standards and / or 5G or NR system standards as provided by 3GPP technical specifications.

[0109] As shown by FIG. 9, the wireless communication system 900 includes UE 902 and UE 904 (although any number of UEs may be used) . In this example, the UE 902 and the UE 904 are illustrated as smartphones (e.g., handheld touchscreen mobile computing devices connectable to one or more cellular networks) , but may also comprise any mobile or non-mobile computing device configured for wireless communication.

[0110] The UE 902 and UE 904 may be configured to communicatively couple with a RAN 906. In embodiments, the RAN 906 may be NG-RAN, E-UTRAN, etc. The UE 902 and UE 904 utilize connections (or channels) (shown as connection 908 and connection 910, respectively) with the RAN 906, each of which comprises a physical communications interface. The RAN 906 can include one or more base stations (such as base station 912 and base station 914) that enable the connection 908 and connection 910.

[0111] In this example, the connection 908 and connection 910 are air interfaces to enable such communicative coupling, and may be consistent with RAT (s) used by the RAN 906, such as, for example, an LTE and / or NR.

[0112] In some embodiments, the UE 902 and UE 904 may also directly exchange communication data via a sidelink interface 916. The UE 904 is shown to be configured to access an access point (shown as AP 918) via connection 920. By way of example, the connection 920 can comprise a local wireless connection, such as a connection consistent with any IEEE 802.11 protocol, wherein the AP 918 may comprise a router. In this example, the AP 918 may be connected to another network (for example, the Internet) without going through a CN 924.

[0113] In embodiments, the UE 902 and UE 904 can be configured to communicate using orthogonal frequency division multiplexing (OFDM) communication signals with each other or with the base station 912 and / or the base station 914 over a multicarrier communication channel in accordance with various communication techniques, such as, but not limited to, an orthogonal frequency division multiple access (OFDMA) communication technique (e.g., for downlink communications) or a single carrier frequency division multiple access (SC-FDMA) communication technique (e.g., for uplink and ProSe or sidelink communications) , although the scope of the embodiments is not limited in this respect. The OFDM signals can comprise a plurality of orthogonal subcarriers.

[0114] In some embodiments, all or parts of the base station 912 or base station 914 may be implemented as one or more software entities running on server computers as part of a virtual network. In addition, or in other embodiments, the base station 912 or base station 914 may be configured to communicate with one another via interface 922. In embodiments where the wireless communication system 900 is an LTE system (e.g., when the CN 924 is an EPC) , the interface 922 may be an X2 interface. The X2 interface may be defined between two or more base stations (e.g., two or more eNBs and the like) that connect to an EPC, and / or between two eNBs connecting to the EPC. In embodiments where the wireless communication system 900 is an NR system (e.g., when CN 924 is a 5GC) , the interface 922 may be an Xn interface. The Xn interface is defined between two or more base stations (e.g., two or more gNBs and the like) that connect to 5GC, between a base station 912 (e.g., a gNB) connecting to 5GC and an eNB, and / or between two eNBs connecting to 5GC (e.g., CN 924) .

[0115] The RAN 906 is shown to be communicatively coupled to the CN 924. The CN 924 may comprise one or more network elements 926, which are configured to offer various data and telecommunications services to customers / subscribers (e.g., users of UE 902 and UE 904) who are connected to the CN 924 via the RAN 906. The components of the CN 924 may be implemented in one physical device or separate physical devices including components to read and execute instructions from a machine-readable or computer-readable medium (e.g., a non-transitory machine-readable storage medium) .

[0116] In embodiments, the CN 924 may be an EPC, and the RAN 906 may be connected with the CN 924 via an S1 interface 928. In embodiments, the S1 interface 928 may be split into two parts, an S1 user plane (S1-U) interface, which carries traffic data between the base station 912 or base station 914 and a serving gateway (S-GW) , and the S1-MME interface, which is a signaling interface between the base station 912 or base station 914 and mobility management entities (MMEs) .

[0117] In embodiments, the CN 924 may be a 5GC, and the RAN 906 may be connected with the CN 924 via an NG interface 928. In embodiments, the NG interface 928 may be split into two parts, an NG user plane (NG-U) interface, which carries traffic data between the base station 912 or base station 914 and a user plane function (UPF) , and the S1 control plane (NG-C) interface, which is a signaling interface between the base station 912 or base station 914 and access and mobility management functions (AMFs) .

[0118] Generally, an application server 930 may be an element offering applications that use internet protocol (IP) bearer resources with the CN 924 (e.g., packet switched data services) . The application server 930 can also be configured to support one or more communication services (e.g., VoIP sessions, group communication sessions, etc. ) for the UE 902 and UE 904 via the CN 924. The application server 930 may communicate with the CN 924 through an IP communications interface 932.

[0119] FIG. 10 illustrates a system 1000 for performing signaling 1032 between a wireless device 1002 and a network device 1018, according to embodiments disclosed herein. The system 1000 may be a portion of a wireless communications system as herein described. The wireless device 1002 may be, for example, a UE of a wireless communication system. The network device 1018 may be, for example, a base station (e.g., an eNB or a gNB) of a wireless communication system.

[0120] The wireless device 1002 may include one or more processor (s) 1004. The processor (s) 1004 may execute instructions such that various operations of the wireless device 1002 are performed, as described herein. The processor (s) 1004 may include one or more baseband processors implemented using, for example, a central processing unit (CPU) , a digital signal processor (DSP) , an application specific integrated circuit (ASIC) , a controller, a field programmable gate array (FPGA) device, another hardware device, a firmware device, or any combination thereof configured to perform the operations described herein.

[0121] The wireless device 1002 may include a memory 1006. The memory 1006 may be a non-transitory computer-readable storage medium that stores instructions 1008 (which may include, for example, the instructions being executed by the processor (s) 1004) . The instructions 1008 may also be referred to as program code or a computer program. The memory 1006 may also store data used by, and results computed by, the processor (s) 1004.

[0122] The wireless device 1002 may include one or more transceiver (s) 1010 that may include radio frequency (RF) transmitter circuitry and / or receiver circuitry that use the antenna (s) 1012 of the wireless device 1002 to facilitate signaling (e.g., the signaling 1032) to and / or from the wireless device 1002 with other devices (e.g., the network device 1018) according to corresponding RATs.

[0123] The wireless device 1002 may include one or more antenna (s) 1012 (e.g., one, two, four, or more) . For embodiments with multiple antenna (s) 1012, the wireless device 1002 may leverage the spatial diversity of such multiple antenna (s) 1012 to send and / or receive multiple different data streams on the same time and frequency resources. This behavior may be referred to as, for example, multiple input multiple output (MIMO) behavior (referring to the multiple antennas used at each of a transmitting device and a receiving device that enable this aspect) . MIMO transmissions by the wireless device 1002 may be accomplished according to precoding (or digital beamforming) that is applied at the wireless device 1002 that multiplexes the data streams across the antenna (s) 1012 according to known or assumed channel characteristics such that each data stream is received with an appropriate signal strength relative to other streams and at a desired location in the spatial domain (e.g., the location of a receiver associated with that data stream) . Certain embodiments may use single user MIMO (SU-MIMO) methods (where the data streams are all directed to a single receiver) and / or multi user MIMO (MU-MIMO) methods (where individual data streams may be directed to individual (different) receivers in different locations in the spatial domain) .

[0124] In certain embodiments having multiple antennas, the wireless device 1002 may implement analog beamforming techniques, whereby phases of the signals sent by the antenna (s) 1012 are relatively adjusted such that the (joint) transmission of the antenna (s) 1012 can be directed (this is sometimes referred to as beam steering) .

[0125] The wireless device 1002 may include one or more interface (s) 1014. The interface (s) 1014 may be used to provide input to or output from the wireless device 1002. For example, a wireless device 1002 that is a UE may include interface (s) 1014 such as microphones, speakers, a touchscreen, buttons, and the like in order to allow for input and / or output to the UE by a user of the UE. Other interfaces of such a UE may be made up of transmitters, receivers, and other circuitry (e.g., other than the transceiver (s) 1010 / antenna (s) 1012 already described) that allow for communication between the UE and other devices and may operate according to known protocols (e.g.,  and the like) .

[0126] The wireless device 1002 may include a post-deployment validation module 1016. The post-deployment validation module 1016 may be implemented via hardware, software, or combinations thereof. For example, the post-deployment validation module 1016 may be implemented as a processor, circuit, and / or instructions 1008 stored in the memory 1006 and executed by the processor (s) 1004. In some examples, the post-deployment validation module 1016 may be integrated within the processor (s) 1004 and / or the transceiver (s) 1010. For example, the post-deployment validation module 1016 may be implemented by a combination of software components (e.g., executed by a DSP or a general processor) and hardware components (e.g., logic gates and circuitry) within the processor (s) 1004 or the transceiver (s) 1010.

[0127] The post-deployment validation module 1016 may be used for various aspects of the present disclosure, for example, aspects of FIG. 7. The post-deployment validation module 1016 may configure the wireless device 1002 to, for example, identify that a condition for updating an AI / ML model used by the UE is met; send, to an AI / ML model validation server, testing data configured for use with the AI / ML model; receive, from the AI / ML model validation server, updated parameters for a set of layers of the AI / ML model that is fewer than all layers of the AI / ML model; and update the set of layers of the AI / ML model according to the updated parameters.

[0128] The network device 1018 may include one or more processor (s) 1020. The processor (s) 1020 may execute instructions such that various operations of the network device 1018 are performed, as described herein. The processor (s) 1020 may include one or more baseband processors implemented using, for example, a CPU, a DSP, an ASIC, a controller, an FPGA device, another hardware device, a firmware device, or any combination thereof configured to perform the operations described herein.

[0129] The network device 1018 may include a memory 1022. The memory 1022 may be a non-transitory computer-readable storage medium that stores instructions 1024 (which may include, for example, the instructions being executed by the processor (s) 1020) . The instructions 1024 may also be referred to as program code or a computer program. The memory 1022 may also store data used by, and results computed by, the processor (s) 1020.

[0130] The network device 1018 may include one or more transceiver (s) 1026 that may include RF transmitter circuitry and / or receiver circuitry that use the antenna (s) 1028 of the network device 1018 to facilitate signaling (e.g., the signaling 1032) to and / or from the network device 1018 with other devices (e.g., the wireless device 1002) according to corresponding RATs.

[0131] The network device 1018 may include one or more antenna (s) 1028 (e.g., one, two, four, or more) . In embodiments having multiple antenna (s) 1028, the network device 1018 may perform MIMO, digital beamforming, analog beamforming, beam steering, etc., as has been described.

[0132] The network device 1018 may include one or more interface (s) 1030. The interface (s) 1030 may be used to provide input to or output from the network device 1018. For example, a network device 1018 that is a base station may include interface (s) 1030 made up of transmitters, receivers, and other circuitry (e.g., other than the transceiver (s) 1026 / antenna (s) 1028 already described) that enables the base station to communicate with other equipment in a core network, and / or that enables the base station to communicate with external networks, computers, databases, and the like for purposes of operations, administration, and maintenance of the base station or other equipment operably connected thereto.

[0133] Embodiments contemplated herein include an apparatus comprising means to perform one or more elements of the method 700. This apparatus may be, for example, an apparatus of a UE (such as a wireless device 1002 that is a UE, as described herein) .

[0134] Embodiments contemplated herein include one or more non-transitory computer-readable media comprising instructions to cause an electronic device, upon execution of the instructions by one or more processors of the electronic device, to perform one or more elements of the method 700. This non-transitory computer-readable media may be, for example, a memory of a UE (such as a memory 1006 of a wireless device 1002 that is a UE, as described herein) .

[0135] Embodiments contemplated herein include an apparatus comprising logic, modules, or circuitry to perform one or more elements of the method 700. This apparatus may be, for example, an apparatus of a UE (such as a wireless device 1002 that is a UE, as described herein) .

[0136] Embodiments contemplated herein include an apparatus comprising: one or more processors and one or more computer-readable media comprising instructions that, when executed by the one or more processors, cause the one or more processors to perform one or more elements of the method 700. This apparatus may be, for example, an apparatus of a UE (such as a wireless device 1002 that is a UE, as described herein) .

[0137] Embodiments contemplated herein include a signal as described in or related to one or more elements of the method 700.

[0138] Embodiments contemplated herein include a computer program or computer program product comprising instructions, wherein execution of the program by a processor is to cause the processor to carry out one or more elements of the method 700. The processor may be a processor of a UE (such as a processor (s) 1004 of a wireless device 1002 that is a UE, as described herein) . These instructions may be, for example, located in the processor and / or on a memory of the UE (such as a memory 1006 of a wireless device 1002 that is a UE, as described herein) .

[0139] For one or more embodiments, at least one of the components set forth in one or more of the preceding figures may be configured to perform one or more operations, techniques, processes, and / or methods as set forth herein. For example, a baseband processor as described herein in connection with one or more of the preceding figures may be configured to operate in accordance with one or more of the examples set forth herein. For another example, circuitry associated with a UE, base station, network element, etc. as described above in connection with one or more of the preceding figures may be configured to operate in accordance with one or more of the examples set forth herein.

[0140] Any of the above described embodiments may be combined with any other embodiment (or combination of embodiments) , unless explicitly stated otherwise. The foregoing description of one or more implementations provides illustration and description, but is not intended to be exhaustive or to limit the scope of embodiments to the precise form disclosed. Modifications and variations are possible in light of the above teachings or may be acquired from practice of various embodiments.

[0141] Embodiments and implementations of the systems and methods described herein may include various operations, which may be embodied in machine-executable instructions to be executed by a computer system. A computer system may include one or more general-purpose or special-purpose computers (or other electronic devices) . The computer system may include hardware components that include specific logic for performing the operations or may include a combination of hardware, software, and / or firmware.

[0142] It should be recognized that the systems described herein include descriptions of specific embodiments. These embodiments can be combined into single systems, partially combined into other systems, split into multiple systems or divided or combined in other ways. In addition, it is contemplated that parameters, attributes, aspects, etc. of one embodiment can be used in another embodiment. The parameters, attributes, aspects, etc. are merely described in one or more embodiments for clarity, and it is recognized that the parameters, attributes, aspects, etc. can be combined with or substituted for parameters, attributes, aspects, etc. of another embodiment unless specifically disclaimed herein.

[0143] It is well understood that the use of personally identifiable information should follow privacy policies and practices that are generally recognized as meeting or exceeding industry or governmental requirements for maintaining the privacy of users. In particular, personally identifiable information data should be managed and handled so as to minimize risks of unintentional or unauthorized access or use, and the nature of authorized use should be clearly indicated to users.

[0144] Although the foregoing has been described in some detail for purposes of clarity, it will be apparent that certain changes and modifications may be made without departing from the principles thereof. It should be noted that there are many alternative ways of implementing both the processes and apparatuses described herein. Accordingly, the present embodiments are to be considered illustrative and not restrictive, and the description is not to be limited to the details given herein, but may be modified within the scope and equivalents of the appended claims.

Claims

1.A method of an artificial intelligence (AI)  / machine learning (ML) model validation server, comprising:receiving, from a user equipment (UE) , testing data configured for use with an AI / ML model that is possessed by the AI / ML model validation server and that is also used by the UE;identifying that the AI / ML model is not sufficiently accurate based on an inferencing result generated by applying the testing data with the AI / ML model;training a set of layers of the AI / ML model that is fewer than all layers of the AI / ML model, wherein the training generates updated parameters for the set of layers, and wherein the training iterates until the AI / ML model validation server validates that the AI / ML model is sufficiently accurate when using the updated parameters for the set of layers; andsending, to the UE, the updated parameters for the set of layers of the AI / ML model.2.The method of claim 1, further comprising receiving, from the UE, validation data configured for use in validating the AI / ML model; wherein the AI / ML model validation server validates, corresponding to the training of the set of layers, that the AI / ML model is sufficiently accurate based on inference data generated by applying the validation data to the AI / ML model.3.The method of claim 2, wherein the AI / ML model validation server validates that the AI / ML model is sufficiently accurate based on a squared generalized cosine similarity (SGCS) between the validation data and the inference data generated using the validation data.4.The method of claim 2, further comprising sending, to the UE, a request for the validation data, wherein the validation data is received at the AI / ML model validation server in response to the request.5.The method of claim 1, wherein the AI / ML model is a two-sided AI / ML model having a first part that is operated at the UE and a second part that is operated at a base station of a radio access network (RAN) serving the UE; and further comprising obtaining  possession of the AI / ML model by receiving, from the base station, the second part of the AI / ML model from the base station.6.The method of claim 1, wherein the AI / ML model is for channel state information (CSI) encoding and decoding.7.A method of a user equipment (UE) , comprising:identifying that a condition for updating an artificial intelligence (AI)  / machine learning (ML) model used by the UE is met;sending, to an AI / ML model validation server, testing data configured for use with the AI / ML model;receiving, from the AI / ML model validation server, updated parameters for a set of layers of the AI / ML model that is fewer than all layers of the AI / ML model; andupdating the set of layers of the AI / ML model according to the updated parameters.8.The method of claim 7, further comprising sending, to the AI / ML model validation server, validation data configured for use in validating the AI / ML model.9.The method of claim 8, further comprising receiving a request for the validation data from the AI / ML mode validation server.10.The method of claim 7, wherein the AI / ML model is a two-sided AI / ML model having a first part that is operated at the UE and a second part that is configured for operation at a base station of a radio access network (RAN) serving the UE.11.The method of claim 7, wherein the AI / ML model is for channel state information (CSI) encoding and decoding.12.A method of an artificial intelligence (AI)  / machine learning (ML) model validation server, comprising:receiving, from a user equipment (UE) , testing data configured for use with a pre-trained meta learning AI / ML model that is possessed by the AI / ML model validation server, wherein the pre-trained meta learning AI / ML model is initialized with default parameters configured for efficient training convergence within a task space, and wherein the testing data received from the UE corresponds to a new task within the task space that is to be performed at the UE;training, using the testing data, the pre-trained meta learning AI / ML model into a new AI / ML model for the new task, wherein the training iterates until the AI / ML model validation server validates that the new AI / ML model is sufficiently accurate with respect to the new task; andsending, to the UE, at least a portion of the new AI / ML model after the AI / ML model validation server validates that the new AI / ML model is sufficiently accurate.13.The method of claim 12, further comprising storing the new AI / ML model at the AI / ML model validation server as an active UE AI / ML model being used at the UE.14.The method of claim 12, wherein the AI / ML model validation server validates that the new AI / ML model is sufficiently accurate with respect to the new task by:generating first inference data using the new AI / ML model;generating second inference data using an active UE AI / ML model being used at the UE and that is also possessed by the AI / ML model validation server; andcomparing the first inference data to the second inference data.15.The method of claim 12, further comprising:receiving, from the UE, training data; andtraining a preliminary AI / ML model into the pre-trained meta-learning AI / ML model using the training data.16.The method of claim 15, wherein the training data represents a plurality of tasks of the task space.17.The method of claim 15, wherein training the preliminary AI / ML model into the pre-trained meta-learning AI / ML model comprises using gradient descent to determine the default parameters for the meta-learning AI / ML model.18.The method of claim 15, further comprising receiving the preliminary AI / ML model from the UE.19.The method of claim 12, wherein the new AI / ML model is a two-sided AI / ML model having a first part that is operated at the UE and a second part configured for operation at a base station of a radio access network (RAN) serving the UE.20.The method of claim 12, wherein the new AI / ML model is for channel state information (CSI) encoding and decoding.21.An apparatus comprising means to perform the method of any of claim 1 to claim 20.22.A computer-readable media comprising instructions to cause an electronic device, upon execution of the instructions by one or more processors of the electronic device, to perform the method of any of claim 1 to claim 20.23.An apparatus comprising logic, modules, or circuitry to perform the method of any of claim 1 to claim 20.24.A baseband processor for a user equipment (UE) that is configured to cause the UE to perform one or more elements of any one of claim 7 to claim 11.

Images