Techniques to support META-learning in telecommunication systems

Abstract

Techniques for supporting meta-learning for ML models in telecommunication systems are described. Many embodiments are directed to mixture of experts meta-learning for AI / ML models in heterogeneous deployments and configurations. For example, the techniques may be utilized to generate predictions regarding an unknown wireless environment that serve as a basis for determining parameters of user equipment (UE) or a base station (BS) for communication in the unknown wireless environment. In many embodiments, these techniques result in more generalized models that can handle a broader variety of tasks (e.g., scenarios, wireless environments, etc.).

Description

TECHNIQUES TO SUPPORT META-LEARNING IN TELECOMMUNICATION SYSTEMSFIELD OF INVENTION

[0001] This disclosure related generally to wireless technology and more particularly to techniques to support meta-learning for machine learning models in telecommunication systems.BACKGROUND

[0002] In telecommunications, 5G is the fifth-generation technology standard for broadband cellular networks. Like its predecessors, 5G networks are cellular networks, in which the service area is divided into small geographical areas called network cells (or cells) . The 3rd Generation Partnership Project (3GPP) is the industry consortium that sets standards for 5G. In 5G, a number of different features are supported, such as the application of artificial intelligence to improve wireless communications.

[0003] Artificial intelligence (AI) , in its broadest sense, may refer to intelligence exhibited by machines, particularly computer systems. It is a field of research in computer science that develops and studies methods and software that enable machines to perceive their environment and use learning and intelligence to take actions that maximize their chances of achieving defined goals. Generally, machine learning is a field of study in AI concerned with the development and study of statistical algorithms that can learn from data and generalize to unseen data, and thus perform tasks without explicit instructions. Meta-learning is a subfield of machine learning where automatic learning algorithms are applied to metadata about machine learning experiments. A primary goal of meta-learning is to use metadata to understand how automatic learning can become flexible in solving learning problems and improve the performance of existing learning algorithms.

[0004] BRIEF SUMMARY

[0005] Methods and apparatuses for supporting meta-learning for machine learning (ML) models in telecommunication systems are described. It will be appreciated that the embodiments may be combined in any number of ways without departing from the scope of this disclosure.

[0006] Embodiments may include utilizing an ensemble of expert models to generate a set of initial predictions for an unknown wireless environment associated with communication  between a user equipment (UE) and a base station (BS) , wherein each expert model in the ensemble of expert models corresponds to a different known wireless environment; generating a final prediction for the unknown wireless environment associated with communication between the UE and the BS, the final prediction generated with a meta model based on the set of initial predictions for the unknown wireless environment; and determining a parameter of at least one of the UE or the BS for communication in the unknown wireless environment based on the final prediction for the unknown wireless environment

[0007] Embodiments may include identifying training and testing data corresponding to an unknown wireless environment associated with communication between a user equipment (UE) and a base station (BS) ; performing meta-learning with a current model based on the training and testing data to generate an updated model; and communicating the updated model to the UE.

[0008] Other processes, machines, and articles of manufacture are also described hereby, which may be combined in any number of ways, such as with the embodiments of the brief summary, without departing from the scope of this disclosure.BRIEF DESCRIPTION OF THE DRAWINGS

[0009] The present disclosure is illustrated by way of example and not limitation in the figures of the accompanying drawings in which like references indicate similar elements. To easily identify the discussion of any particular element or act, the most significant digit or digits in a reference number refer to the figure number in which that element is first introduced.

[0010] FIG. 1 illustrates an example wireless communication system according to some embodiments of the present disclosure.

[0011] FIG. 2 illustrates a base station (BS) in communication with a user equipment (UE) device according to some embodiments of the present disclosure.

[0012] FIG. 3 illustrates an example block diagram of a UE according to some embodiments of the present disclosure.

[0013] FIG. 4 illustrates an example block diagram of a BS according to some embodiments of the present disclosure.

[0014] FIG. 5 illustrates an example block diagram of cellular communication circuitry according to some embodiments of the present disclosure.

[0015] FIG. 6 illustrates an example process flow according to some embodiments of the present disclosure.

[0016] FIG. 7 illustrates various aspects of prediction generation according to some embodiments of the present disclosure.

[0017] FIG. 8 illustrates various aspects of generating expert models according to some embodiments of the present disclosure.

[0018] FIGS. 9A and 9B illustrate various aspects of fine-tuning according to some embodiments of the present disclosure.

[0019] FIG. 10 illustrates various aspects of an example artificial intelligence

[0020] model / framework according to some embodiments of the present disclosure.

[0021] FIG. 11 illustrates various aspects of meta-learning post deployment according to some embodiments of the present disclosure.

[0022] FIG. 12 illustrates a logic flow of an example technique to support meta-learning in telecommunication systems according to some embodiments of the present disclosure.

[0023] FIG. 13 illustrates a logic flow of an example technique to support meta-learning in telecommunication systems according to some embodiments of the present disclosure.DETAILED DESCRIPTION

[0024] Techniques for supporting meta-learning in telecommunication systems are described. In the following description, numerous specific details are set forth to provide thorough explanation of embodiments of the present disclosure. It will be apparent, however, to one skilled in the art, that embodiments of the present disclosure may be practiced without these specific details. In other instances, well-known components, structures, and techniques have not been shown in detail in order not to obscure the understanding of this description.

[0025] Reference in the specification to “one embodiment” or “an embodiment” means that a particular feature, structure, or characteristic described in connection with the embodiment can be included in at least one embodiment of the disclosure. The appearances of the phrase “in one embodiment” in various places in the specification do not necessarily all refer to the same embodiment.

[0026] In the following description and claims, the terms “coupled” and “connected, ” along with their derivatives, may be used. It should be understood that these terms are not intended as synonyms for each other. “Coupled” is used to indicate that two or more elements, which may  or may not be in direct physical or electrical contact with each other, co-operate or interact with each other. “Connected” is used to indicate the establishment of communication between two or more elements that are coupled with each other.

[0027] The processes depicted in the figures that follow, are performed by processing logic that comprises hardware (e.g., circuitry, dedicated logic, etcetera) , software (such as is run on a general-purpose computer system or a dedicated machine) , or a combination of both. Although the processes are described below in terms of some sequential operations, it should be appreciated that some of the operations described may be performed in different order. Moreover, some operations may be performed in parallel rather than sequentially.

[0028] The terms “server, ” “client, ” and “device” are intended to refer generally to data processing systems rather than specifically to a particular form factor for the server, client, and / or device.

[0029] Generally, this disclosure describes techniques for supporting meta-learning for ML models in telecommunication systems. More specifically, embodiments are directed to mixture of experts meta-learning for AI / ML models in heterogeneous deployments and configurations. For example, the techniques may be utilized to generate predictions regarding an unknown wireless environment that serve as a basis for determining parameters of user equipment (UE) or a base station (BS) for communication in the unknown wireless environment. In many embodiments, these techniques result in more generalized models that can handle a broader variety of tasks (e.g., scenarios, wireless environments, etc. ) .

[0030] Typically AI / ML methods are trained with task-specific properties, resulting in them being useful for only a specific or narrow range of tasks. In other words, the AI / ML methods are poorly generalized because an AI / ML model trained on specific environmental conditions usually fails to generalize over other scenarios. For example, to support beam prediction over different wireless channel scenarios, a BS or UE needs to train multiple scenario-specific ML models leading to higher training, memory storage, and power consumption costs. Furthermore, such scenario-specific models require perfect scenario identification and model switching leading to a highly complex life cycle management (LCM) procedure, which limits that practicality. For example, an approach to deal with line-of-sight (LOS) and non-line-of sight (NLOS) channel conditions could be to train scenario-specific models, requiring perfect scenario identification and model switching, and resulting in an excessively complex LCM procedure. Alternatively, a single ML model could be trained for LOS and NLOS channels by  combining their datasets. However, due to the substantial difference in dataset distribution across these scenarios and the lower spatial correlation in NLOS channels, the ML model interprets NLOS input features as noise. As a result, the trained model exhibits high error variance, reflecting its sensitivity to fluctuations in the training data, which leads to poor generalization performance. Additionally, current LCM procedures don't support signaling for online data collection and dynamic adaptation of models.

[0031] Moreover, sufficient training data for each specific task can be impractical for deployment due to the expense and time requirements to collect sufficient data and train a multitude of task-specific models. For example, users frequently encounter varying wireless transmission environments, which would necessitate the collection of new data and retraining models from scratch. Further, training a single deep neural network (DNN) can require thousands of samples and multiple epochs, which makes it impractical to train a new DNN for each user due to the excessive time and data costs involved. Additionally, updating models is very costly when training takes place from scratch and all the parameters of the DNN are trained. Adding further complexity, by the time a model with optimal performance is achieved, the UE may have already moved into a new wireless channel environment, rendering the model ineffective.

[0032] To solve these and other problems, many embodiments described hereby a directed to AI / ML techniques that can quickly adapt to new environments using only a small amount of data after AI / ML deployment. Quick adaptation to changing environments in crucial for efficient and practical AI / ML deployment in telecommunication systems. In some embodiments, the AI / ML techniques may result in a model that performs well as quickly as possible, rather than striving for absolute optimal accuracy. In many embodiments, an ensemble of expert AI / ML models may be utilized, where a meta learner combines the predictions from two or more ensemble members to realize enhanced generalization. More specifically, the ensemble of experts may involve building models using base algorithms, called baseline (or expert) models, and a meta learning algorithm, called a meta model, to combine the predictions from the base models. By training multiple baseline models for difference tasks and by combining their predictions through the meta learner, a model that can generalize well over different tasks while having low error variance.

[0033] To achieve the fast learning capability, meta-learning, also known as learning to learn, is utilized in many embodiments to leverage lessons from previous tasks to improve learning in  a new, or unknown, task. Various embodiments utilize a meta-learning framework designed to leverage multiple specialized experts that are trained on distinct subsets or aspects of the data. This framework enables knowledge to be diverged across the expert models, allowing each of them to focus on specific patterns or structures within the data. Accordingly, many embodiments organize heterogeneous training tasks (e.g., different wireless environments) by assigning them to different specialized expert models. Each expert may focus on specific aspects of the task distribution, and when a new task is encountered, the framework gathers insights (e.g., predictions) from each expert model or a select portion of relevant expert models. The combined expert predictions can then be synthesized, such as by a meta model, to form a comprehensive, robust, and generalized solution for generating predictions for new tasks.

[0034] More generally, in several embodiments, the framework may incorporate one or more of task identification, expert selection, fine-tuning, and collaboration / aggregation. Task identification may utilize a meta-learner to identify characteristics of unknown tasks and determine which expert models are most relevant based on task similarity with known tasks. The selected experts may initialize their parameters utilizing pre-learned knowledge from their specific domain, providing a strong starting point for adaptation. Each expert model may fine-tune its parameters by adapting to the new task using available training data (e.g., collected by the UE) . This fine-tuning may be guided by minimizing the task-specific loss, allowing the expert to adjust its model to better fit the task distribution. The outputs from the fine-tuned experts may be aggregated, combining their specialized knowledge to form a robust prediction. The meta-learning may ensure that the contribution of each expert is weighted based on its relevance to the new task. Further, online data collection mechanism in LCM may be adapted to address generalization issues. In some embodiments, the UE may monitor the performance of the current model and, if it detects degradation, the UE can signal a request for online data collection and fine-tuning. It will be appreciated that various aspects of telecommunication networks, capabilities, protocols, and procedures relevant to the techniques described and terms referenced herein can be found in 3GPP technical specifications (TS) and / or technical reports (TR) , such as TR 38.843.

[0035] Accordingly, the subject matter described hereby provides many technical advantages. For instance, the computer-based techniques of the current disclosure improve the functioning of a telecommunications system as compared to conventional approaches because the techniques enable support for meta-learning that can improve accessibility and efficiency of  telecommunication networks, reduce congestion, and provide expanded capabilities versus conventional approaches. For example, useful predictions regarding an unknown wireless environment may be generated that can serve as a basis for determining parameters of user equipment (UE) or a base station (BS) for communication in the unknown wireless environment. Accordingly, embodiments disclosed hereby can be practically utilized to improve the functioning of a computer and / or to improve the technical fields of telecommunications, 5G networks, meta-learning, LCM, and / or model generalization.

[0036] FIG. 1 illustrates a simplified example wireless communication system, according to some embodiments. It is noted that the system of FIG. 1 is merely one example of a possible system, and that features of this disclosure may be implemented in any of various systems, as desired.

[0037] As shown, the example wireless communication system includes a base station 102A which communicates over a transmission medium with one or more user devices 106A, 106B, etcetera, through 106N. Each of the user devices may be referred to herein as a “user equipment” (UE) or UE device. Thus, the user devices 106 are referred to as UEs or UE devices.

[0038] The base station (BS) 102A may be a base transceiver station (BTS) or cell site (a“cellular base station” ) and may include hardware that enables wireless communication with the UEs 106A through 106N.

[0039] The communication area (or coverage area) of the base station may be referred to as a “cell. ” The base station 102A and the UEs 106 may be configured to communicate over the transmission medium using any of various radio access technologies (RATs) , also referred to as wireless communication technologies, or telecommunication standards, such as GSM, UMTS (associated with, for example, WCDMA or TD-SCDMA air interfaces) , LTE, LTE-Advanced (LTE-A) , 5G new radio (5G NR) , HSPA, 3GPP2 CDMA2000 (e.g., 1xRTT, 1xEV-DO, HRPD, eHRPD) , etcetera. Note that if the base station 102A is implemented in the context of LTE, it may alternately be referred to as an ‘eNodeB’ or ‘eNB’ . Note that if the base station 102A is implemented in the context of 5G NR, it may alternately be referred to as ‘gNodeB’ or ‘gNB’ . A next generation eNB (ng-eNB) may comprise an enhanced version of eNB that connects 5G UE to 5G core network using 4G LTE air interface.

[0040] As shown, the base station 102A may also be equipped to communicate with a network 100 (e.g., a core network of a cellular service provider, a telecommunication network such as a  public switched telephone network (PSTN) , and / or the Internet, among various possibilities) . Thus, the base station 102A may facilitate communication between the user devices and / or between the user devices and the network 100. In particular, the cellular base station 102A may provide UEs 106 with various telecommunication capabilities, such as voice, SMS and / or data services. It will be appreciated that in various embodiments, the term network may be utilized to collectively refer to one or more devices and components that form the telecommunications network. For example, reference to the network sending or receiving data to / from a UE may refer to one or more portions of the core network of a cellular service provider and / or one or more base stations. In some such examples, data to send to the UE may be determined by core network components and then relayed to the UE via a base station. In other such examples, data to send to the UE may be determined and sent to the UE by a base station.

[0041] Base station 102A and other similar base stations (such as base stations 102B ... 102N) operating according to the same or a different cellular communication standard may thus be provided as a network of cells, which may provide continuous or nearly continuous overlapping service to UEs 106A-N and similar devices over a geographic area via one or more cellular communication standards.

[0042] Thus, while base station 102A may act as a “serving cell” for UEs 106A-N as illustrated in FIG. 1, each UE 106 may also be capable of receiving signals from (and possibly within communication range of) one or more other cells (which might be provided by base stations 102B-N and / or any other base stations) , which may be referred to as “neighboring cells” . Such cells may also be capable of facilitating communication between user devices and / or between user devices and the network 100. Such cells may include “macro” cells, “micro” cells, “pico” cells, and / or cells which provide any of various other granularities of service area size. For example, base stations 102A-B illustrated in FIG. 1 might be macro cells, while base station 102N might be a micro cell. Other configurations are also possible.

[0043] In some embodiments, base station 102A may be a next generation base station, e.g., a 5G New Radio (5G NR) base station, or “gNB” . In some embodiments, a gNB may be connected to a legacy evolved packet core (EPC) network and / or to a NR core (NRC) network. In addition, a gNB cell may include one or more transition and reception points (TRPs) . In addition, a UE capable of operating according to 5G NR may be connected to one or more TRPs within one or more gNBs.

[0044] Note that a UE 106 may be capable of communicating using multiple wireless communication standards. For example, the UE 106 may be configured to communicate using a wireless networking (e.g., Wi-Fi) and / or peer-to-peer wireless communication protocol (e.g., Bluetooth, Wi-Fi peer-to-peer, etc. ) in addition to at least one cellular communication protocol (e.g., GSM, UMTS (associated with, for example, WCDMA or TD-SCDMA air interfaces) , LTE, LTE-A, 5G NR, HSPA, 3GPP2 CDMA2000 (e.g., 1xRTT, 1xEV-DO, HRPD, eHRPD) , etcetera) . The UE 106 may also or alternatively be configured to communicate using one or more global navigational satellite systems (GNSS, e.g., GPS or GLONASS) , one or more mobile television broadcasting standards (e.g., ATSC-M / H or DVB-H) , and / or any other wireless communication protocol, if desired. Other combinations of wireless communication standards (including more than two wireless communication standards) are also possible.

[0045] FIG. 2 illustrates user equipment 106 (e.g., one of the devices 106A through 106N) in communication with a base station 102, according to some embodiments. The UE 106 may be a device with cellular communication capability such as a mobile phone, a hand-held device, a computer or a tablet, or virtually any type of wireless device.

[0046] The UE 106 may include a processor that is configured to execute program instructions stored in memory. The UE 106 may perform any of the method embodiments described herein by executing such stored instructions. Alternatively, or in addition, the UE 106 may include a programmable hardware element such as an FPGA (field-programmable gate array) that is configured to perform any of the method embodiments described herein, or any portion of any of the method embodiments described herein.

[0047] The UE 106 may include one or more antennas for communicating using one or more wireless communication protocols or technologies. In some embodiments, the UE 106 may be configured to communicate using, for example, 5G NR, CDMA2000 (1xRTT / 1xEV-DO / HRPD / eHRPD) , or LTE using a single shared radio and / or GSM or LTE using the single shared radio. The shared radio may couple to a single antenna, or may couple to multiple antennas (e.g., for MIMO) for performing wireless communications. In general, a radio may include any combination of a baseband processor, analog RF signal processing circuitry (e.g., including filters, mixers, oscillators, amplifiers, etc. ) , or digital processing circuitry (e.g., for digital modulation as well as other digital processing) . Similarly, the radio may implement one or more receive and transmit chains using the aforementioned hardware. For example, the UE  106 may share one or more parts of a receive and / or transmit chain between multiple wireless communication technologies, such as those discussed above.

[0048] In some embodiments, the UE 106 may include separate transmit and / or receive chains (e.g., including separate antennas and other radio components) for each wireless communication protocol with which it is configured to communicate. As a further possibility, the UE 106 may include one or more radios which are shared between multiple wireless communication protocols, and one or more radios which are used exclusively by a single wireless communication protocol. For example, the UE 106 might include a shared radio for communicating using either of LTE or 5G NR (or LTE or 1xRTTor LTE or GSM) , and separate radios for communicating using each of Wi-Fi and Bluetooth. Other configurations are also possible.

[0049] FIG. 3 illustrates an example simplified block diagram of a communication device 106, according to some embodiments. It is noted that the block diagram of the communication device of FIG. 3 is only one example of a possible communication device. According to embodiments, communication device 106 may be a user equipment (UE) device, a mobile device or mobile station, a wireless device or wireless station, a desktop computer or computing device, a mobile computing device (e.g., a laptop, notebook, or portable computing device) , a tablet and / or a combination of devices, among other devices. As shown, the communication device 106 may include a set of components 300 configured to perform core functions. For example, this set of components may be implemented as a system on chip (SOC) , which may include portions for various purposes. Alternatively, this set of components 300 may be implemented as separate components or groups of components for the various purposes. The set of components 300 may be coupled (e.g., communicatively; directly or indirectly) to various other circuits of the communication device 106.

[0050] For example, the communication device 106 may include various types of memory (e.g., including NAND flash 310) , an input / output interface such as connector I / F 320 (e.g., for connecting to a computer system; dock; charging station; input devices, such as a microphone, camera, keyboard; output devices, such as speakers; etc. ) , the display 360, which may be integrated with or external to the communication device 106, and cellular communication circuitry 330 such as for 5G NR, LTE, GSM, etc., and short to medium range wireless communication circuitry 329 (e.g., BluetoothTM and WLAN circuitry) . In some embodiments,  communication device 106 may include wired communication circuitry (not shown) , such as a network interface card, e.g., for Ethernet.

[0051] The cellular communication circuitry 330 may couple (e.g., communicatively; directly or indirectly) to one or more antennas, such as antennas 335 and 336 as shown. The short to medium range wireless communication circuitry 329 may also couple (e.g., communicatively; directly or indirectly) to one or more antennas, such as antennas 337 and 338 as shown. Alternatively, the short to medium range wireless communication circuitry 329 may couple (e.g., communicatively; directly or indirectly) to the antennas 335 and 336 in addition to, or instead of, coupling (e.g., communicatively; directly or indirectly) to the antennas 337 and 338. The short to medium range wireless communication circuitry 329 and / or cellular communication circuitry 330 may include multiple receive chains and / or multiple transmit chains for receiving and / or transmitting multiple spatial streams, such as in a multiple-input multiple output (MIMO) configuration.

[0052] In some embodiments, as further described below, cellular communication circuitry 330 may include dedicated receive chains (including and / or coupled to, e.g., communicatively; directly or indirectly, dedicated processors and / or radios) for multiple radio access technologies (RATs) (e.g., a first receive chain for LTE and a second receive chain for 5G NR) . In addition, in some embodiments, cellular communication circuitry 330 may include a single transmit chain that may be switched between radios dedicated to specific RATs. For example, a first radio may be dedicated to a first RAT, e.g., LTE, and may be in communication with a dedicated receive chain and a transmit chain shared with an additional radio, e.g., a second radio that may be dedicated to a second RAT, e.g., 5G NR, and may be in communication with a dedicated receive chain and the shared transmit chain.

[0053] The communication device 106 may also include and / or be configured for use with one or more user interface elements. The user interface elements may include any of various elements, such as display 360 (which may be a touchscreen display) , a keyboard (which may be a discrete keyboard or may be implemented as part of a touchscreen display) , a mouse, a microphone and / or speakers, one or more cameras, one or more buttons, and / or any of various other elements capable of providing information to a user and / or receiving or interpreting user input.

[0054] The communication device 106 may further include one or more smart cards 345 that include SIM (Subscriber Identity Module) functionality, such as one or more UICC (s) (Universal Integrated Circuit Card (s) ) cards 345.

[0055] As shown, the SOC 300 may include processor (s) 302, which may execute program instructions for the communication device 106 and display circuitry 304, which may perform graphics processing and provide display signals to the display 360. The processor (s) 302 may also be coupled to memory management unit (MMU) 340, which may be configured to receive addresses from the processor (s) 302 and translate those addresses to locations in memory (e.g., memory 306, read only memory (ROM) 350, NAND flash memory 310) and / or to other circuits or devices, such as the display circuitry 304, short range wireless communication circuitry 329, cellular communication circuitry 330, connector I / F 320, and / or display 360. The MMU 340 may be configured to perform memory protection and page table translation or set up. In some embodiments, the MMU 340 may be included as a portion of the processor (s) 302.

[0056] As noted above, the communication device 106 may be configured to communicate using wireless and / or wired communication circuitry. The communication device 106 may be configured to transmit a request to attach to a first network node operating according to the first RAT (e.g., 5G NR, 4G LTE, Bluetooth, Wi-Fi, etcetera) and transmit an indication that the wireless device is capable of maintaining substantially concurrent connections with the first network node and a second network node that operates according to the second RAT (e.g., 5G NR, 4G LTE, Bluetooth, Wi-Fi, etcetera) . The wireless device may also be configured transmit a request to attach to the second network node. The request may include an indication that the wireless device is capable of maintaining substantially concurrent connections with the first and second network nodes. Further, the wireless device may be configured to receive an indication that dual connectivity with the first and second network nodes has been established.

[0057] As described herein, the communication device 106 may include hardware and software components for implementing the above features for supporting meta-learning in telecommunication systems. The processor 302 of the communication device 106 may be configured to implement part or all of the features described herein, e.g., by executing program instructions stored on a memory medium (e.g., a non-transitory computer-readable memory medium) . Alternatively (or in addition) , processor 302 may be configured as a programmable hardware element, such as an FPGA (Field Programmable Gate Array) , or as an ASIC (Application Specific Integrated Circuit) . Alternatively (or in addition) the processor 302 of the  communication device 106, in conjunction with one or more of the other components 300, 304, 306, 310, 320, 329, 330, 340, 345, 350, 360 may be configured to implement part or all of the features described herein.

[0058] In addition, as described herein, processor 302 may include one or more processing elements. Thus, processor 302 may include one or more integrated circuits (ICs) that are configured to perform the functions of processor 302. In addition, each integrated circuit may include circuitry (e.g., first circuitry, second circuitry, etcetera) configured to perform the functions of processor (s) 302.

[0059] Further, as described herein, cellular communication circuitry 330 and short range wireless communication circuitry 329 may each include one or more processing elements. In other words, one or more processing elements may be included in cellular communication circuitry 330 and, similarly, one or more processing elements may be included in short range wireless communication circuitry 329. Thus, cellular communication circuitry 330 may include one or more integrated circuits (ICs) that are configured to perform the functions of cellular communication circuitry 330. In addition, each integrated circuit may include circuitry (e.g., first circuitry, second circuitry, etcetera) configured to perform the functions of cellular communication circuitry 330. Similarly, the short range wireless communication circuitry 329 may include one or more ICs that are configured to perform the functions of short range wireless communication circuitry 329. In addition, each integrated circuit may include circuitry (e.g., first circuitry, second circuitry, etcetera) configured to perform the functions of short range wireless communication circuitry 329.

[0060] FIG. 4 illustrates an example block diagram of a base station 102, according to some embodiments. It is noted that the base station of FIG. 4 is merely one example of a possible base station. As shown, the base station 102 may include processor (s) 404 which may execute program instructions for the base station 102. The processor (s) 404 may also be coupled to memory management unit (MMU) 440, which may be configured to receive addresses from the processor (s) 404 and translate those addresses to locations in memory (e.g., memory 460 and read only memory (ROM) 450) or to other circuits or devices.

[0061] The base station 102 may include at least one network port 470. The network port 470 may be configured to couple to a telephone network and provide a plurality of devices, such as UE devices 106, access to the telephone network as described above in FIGS. 1 and 2.

[0062] The network port 470 (or an additional network port) may also or alternatively be configured to couple to a cellular network, e.g., a core network of a cellular service provider. The core network may provide mobility related services and / or other services to a plurality of devices, such as UE devices 106. In some cases, the network port 470 may couple to a telephone network via the core network, and / or the core network may provide a telephone network (e.g., among other UE devices serviced by the cellular service provider) .

[0063] In some embodiments, base station 102 may be a next generation base station, e.g., a 5G New Radio (5G NR) base station, or “gNB” . In such embodiments, base station 102 may be connected to a legacy evolved packet core (EPC) network and / or to a NR core (NRC) network. In addition, base station 102 may be considered a 5G NR cell and may include one or more transition and reception points (TRPs) . In addition, a UE capable of operating according to 5G NR may be connected to one or more TRPs within one or more gNBs.

[0064] The base station 102 may include at least one antenna 434, and possibly multiple antennas. The at least one antenna 434 may be configured to operate as a wireless transceiver and may be further configured to communicate with UE devices 106 via radio 430. The antenna 434 communicates with the radio 430 via communication chain 432. Communication chain 432 may be a receive chain, a transmit chain or both. The radio 430 may be configured to communicate via various wireless communication standards, including, but not limited to, 5G NR, LTE, LTE-A, GSM, UMTS, CDMA2000, Wi-Fi, etc.

[0065] The base station 102 may be configured to communicate wirelessly using multiple wireless communication standards. In some instances, the base station 102 may include multiple radios, which may enable the base station 102 to communicate according to multiple wireless communication technologies. For example, as one possibility, the base station 102 may include an LTE radio for performing communication according to LTE as well as a 5G NR radio for performing communication according to 5G NR. In such a case, the base station 102 may be capable of operating as both an LTE base station and a 5G NR base station. As another possibility, the base station 102 may include a multi-mode radio which is capable of performing communications according to any of multiple wireless communication technologies (e.g., 5G NR and Wi-Fi, LTE and Wi-Fi, LTE and UMTS, LTE and CDMA2000, UMTS and GSM, etc. ) .

[0066] As described further subsequently herein, the BS 102 may include hardware and software components for implementing or supporting implementation of features described  herein. The processor 404 of the base station 102 may be configured to implement or support implementation of part or all of the methods described herein, e.g., by executing program instructions stored on a memory medium (e.g., a non-transitory computer-readable memory medium) . Alternatively, the processor 404 may be configured as a programmable hardware element, such as an FPGA (Field Programmable Gate Array) , or as an ASIC (Application Specific Integrated Circuit) , or a combination thereof. Alternatively (or in addition) the processor 404 of the BS 102, in conjunction with one or more of the other components 430, 432, 434, 440, 450, 460, 470 may be configured to implement or support implementation of part or all of the features described herein.

[0067] In addition, as described herein, processor (s) 404 may be comprised of one or more processing elements. In other words, one or more processing elements may be included in processor (s) 404. Thus, processor (s) 404 may include one or more integrated circuits (ICs) that are configured to perform the functions of processor (s) 404. In addition, each integrated circuit may include circuitry (e.g., first circuitry, second circuitry, etc. ) configured to perform the functions of processor (s) 404.

[0068] Further, as described herein, radio 430 may be comprised of one or more processing elements. In other words, one or more processing elements may be included in radio 430. Thus, radio 430 may include one or more integrated circuits (ICs) that are configured to perform the functions of radio 430. In addition, each integrated circuit may include circuitry (e.g., first circuitry, second circuitry, etc. ) configured to perform the functions of radio 430.

[0069] FIG. 5 illustrates an example simplified block diagram of cellular communication circuitry, according to some embodiments. It is noted that the block diagram of the cellular communication circuitry of FIG. 5 is only one example of a possible cellular communication circuit. According to embodiments, cellular communication circuitry 330 may be include in a communication device, such as communication device 106 described above. As noted above, communication device 106 may be a user equipment (UE) device, a mobile device or mobile station, a wireless device or wireless station, a desktop computer or computing device, a mobile computing device (e.g., a laptop, notebook, or portable computing device) , a tablet and / or a combination of devices, among other devices.

[0070] The cellular communication circuitry 330 may couple (e.g., communicatively; directly or indirectly) to one or more antennas, such as antennas 335 a-b and 336 as shown. In some embodiments, cellular communication circuitry 330 may include dedicated receive chains  (including and / or coupled to, e.g., communicatively; directly or indirectly, dedicated processors and / or radios) for multiple RATs (e.g., a first receive chain for LTE and a second receive chain for 5G NR) . For example, as shown in FIG. 5, cellular communication circuitry 330 may include a modem 510 and a modem 520. Modem 510 may be configured for communications according to a first RAT, e.g., such as LTE or LTE-A, and modem 520 may be configured for communications according to a second RAT, e.g., such as 5G NR.

[0071] As shown, modem 510 may include one or more processors 512 and a memory 516 in communication with processors 512. Modem 510 may be in communication with a radio frequency (RF) front end 530. RF front end 530 may include circuitry for transmitting and receiving radio signals. For example, RF front end 530 may include receive circuitry (RX) 532 and transmit circuitry (TX) 534. In some embodiments, receive circuitry 532 may be in communication with downlink (DL) front end 550, which may include circuitry for receiving radio signals via antenna 335a.

[0072] Similarly, modem 520 may include one or more processors 522 and a memory 526 in communication with processors 522. Modem 520 may be in communication with an RF front end 540. RF front end 540 may include circuitry for transmitting and receiving radio signals. For example, RF front end 540 may include receive circuitry 542 and transmit circuitry 544. In some embodiments, receive circuitry 542 may be in communication with DL front end 560, which may include circuitry for receiving radio signals via antenna 335b.

[0073] In some embodiments, a switch 570 may couple transmit circuitry 534 to uplink (UL) front end 572. In addition, switch 570 may couple transmit circuitry 544 to UL front end 572. UL front end 572 may include circuitry for transmitting radio signals via antenna 336. Thus, when cellular communication circuitry 330 receives instructions to transmit according to the first RAT (e.g., as supported via modem 510) , switch 570 may be switched to a first state that allows modem 510 to transmit signals according to the first RAT (e.g., via a transmit chain that includes transmit circuitry 534 and UL front end 572) . Similarly, when cellular communication circuitry 330 receives instructions to transmit according to the second RAT (e.g., as supported via modem 520) , switch 570 may be switched to a second state that allows modem 520 to transmit signals according to the second RAT (e.g., via a transmit chain that includes transmit circuitry 544 and UL front end 572) .

[0074] As described herein, the modem 510 may include hardware and software components for implementing the above features or supporting meta-learning in telecommunication  systems, as well as the various other techniques described herein. The processors 512 may be configured to implement part or all of the features described herein, e.g., by executing program instructions stored on a memory medium (e.g., a non-transitory computer-readable memory medium) . Alternatively (or in addition) , processor 512 may be configured as a programmable hardware element, such as an FPGA (Field Programmable Gate Array) , or as an ASIC (Application Specific Integrated Circuit) . Alternatively (or in addition) the processor 512, in conjunction with one or more of the other components 530, 532, 534, 550, 570, 572, 335 and 336 may be configured to implement part or all of the features described herein.

[0075] In addition, as described herein, processors 512 may include one or more processing elements. Thus, processors 512 may include one or more integrated circuits (ICs) that are configured to perform the functions of processors 512. In addition, each integrated circuit may include circuitry (e.g., first circuitry, second circuitry, etcetera) configured to perform the functions of processors 512.

[0076] As described herein, the modem 520 may include hardware and software components for implementing the above features for supporting meta-learning in telecommunication systems, as well as the various other techniques described herein. The processors 522 may be configured to implement part or all of the features described herein, e.g., by executing program instructions stored on a memory medium (e.g., a non-transitory computer-readable memory medium) . Alternatively (or in addition) , processor 522 may be configured as a programmable hardware element, such as an FPGA (Field Programmable Gate Array) , or as an ASIC (Application Specific Integrated Circuit) . Alternatively (or in addition) the processor 522, in conjunction with one or more of the other components 540, 542, 544, 550, 570, 572, 335 and 336 may be configured to implement part or all of the features described herein.

[0077] In addition, as described herein, processors 522 may include one or more processing elements. Thus, processors 522 may include one or more integrated circuits (ICs) that are configured to perform the functions of processors 522. In addition, each integrated circuit may include circuitry (e.g., first circuitry, second circuitry, etcetera) configured to perform the functions of processors 522.

[0078] FIG. 6 illustrates an example process flow 600 for generating predictions according to some embodiments. In the illustrated embodiment, process flow 600 includes task identification 602, expert selection 604, fine-tuning 606, and aggregation 608. Task identification may utilize a meta-learner (e.g., meta model) to identify characteristics of  unknown tasks and determine which expert models are most relevant, such as based on task similarity with known tasks. The selected experts may then initialize their parameters utilizing pre-learned knowledge from their specific domain, providing a strong starting point for tuning. Each expert model may fine-tune its parameters by adapting to the new task using available training data (e.g., wireless environment related measurements collected by the UE) . This fine-tuning may be guided by minimizing the task-specific loss, allowing the expert to adjust its model to better fit the task distribution. The outputs from the fine-tuned experts may then be aggregated, combining their specialized knowledge to form a robust prediction. The meta-learning may ensure that the contribution of each expert is weighted based on its relevance to the new task. Embodiments are not limited in this context.

[0079] FIG. 7 illustrates various aspects of prediction generation according to some embodiments. The illustrated embodiment includes unknown task data 702, expert models 704a, 704b, 704c (collectively referred to as expert ensemble 706) , initial predictions 708a, 708b, 708c (collectively referred to as initial predictions 608) , meta model 710, and final prediction 712. In various embodiments, the expert ensemble 706 may generate initial predictions 608 based on unknown task data 702. In various such embodiments, the initial predictions 708 may be combined by the meta model 710 to generate a final predictions. In some embodiments, the final prediction may be utilized to determine a parameter of a UE and / or BS for usage in the unknown wireless environment. In many embodiments, the components of FIG. 7 and / or other components described hereby may be utilized to implement one or more portions of the process flow 600 of FIG. 6. Embodiments are not limited in this context.

[0080] In many embodiments, the expert ensemble 706 may be utilized in combination with meta model 710 to realize enhanced generalization and improved adaptability. For example, multiple baseline, or expert, models may be trained for different tasks and their predictions may be combined through the meta model 710 to result in an overall model that generalizes well over different tasks while having low error variance. This technique enables knowledge to be diverged across the expert models, allowing each of them to focus on specific patterns or structures within the data. Accordingly, as discussed in more detail below, such as with respect to FIG. 8, many embodiments organize heterogeneous training tasks (e.g., different wireless environments) by assigning them to different specialized expert models. Thus, each expert may  focus on specific aspects of the task distribution, and when a new task is encountered, the framework gathers insights (e.g., predictions) from each expert model or a select portion of relevant expert models.

[0081] The combined expert predictions can then be synthesized, such as by meta model 710, to form a comprehensive, robust, and generalized solution for generating predictions for new tasks. In some embodiments, the meta model 710 may utilize bootstrap aggregating to weight the initial predictions. As will be discussed in more detail below, such as with respect to FIGS. 9A and 9B, in various embodiments, the expert models may be selected and / or fine-tuned based on unknown task data 702 or another portion of unseen task data corresponding to the same unseen task prior to generation of the initial predictions 708. In some embodiments, meta model 710 or another meta model may additionally, or alternatively, operate to select the portion of relevant expert models, such as based on unknown task data 702 or other data related to the unseen task.

[0082] FIG. 8 illustrates various aspects of generating expert models according to some embodiments. The illustrated embodiment includes historical data 802, one or more datasets 804a, 804b, 804c (collectively referred to as datasets 804) corresponding to one or more tasks 806a, 806b, 806c (collectively referred to as tasks 806) , and one or more expert models 812a, 812b, 812c (collectively referred to as expert models 812. Further, dataset 804a for task 806a includes training data 808a and testing data 810a, dataset 804b for task 806b includes training data 808b and testing data 810b, and dataset 804c for task 806c includes training data 808c and testing data 810c. In various embodiments, the historical data 802 may be divided into different datasets 804 that correspond to different one of tasks 806. In some embodiments, the tasks may correspond to predictions for wireless environments utilized to determine parameters for an unknown wireless environment, such as parameters corresponding to channel state information, beam management, and / or positioning accuracy. The training data for each task may be utilized to train a corresponding one of expert models 808 and the testing data for each task may be utilized to test a corresponding one of expert models 808. Accordingly, expert model 812a may be trained and tested to handle task 806a based on training data 808a and testing data 810a, expert model 812b may be trained and tested to handle task 806b based on training data 808b and testing data 810b, and expert model 812c may be trained and tested to handle task 806c based on training data 808c and testing data 810c. Embodiments are not limited in this context.

[0083] In various embodiments, the tasks 806 may correspond to a sequence of tasks, T= {T1,T2…, TN}, sampled from a probability, p (T) . Each task sampled from p (T) may be defined as Parts of the samples may be divided into training data,  and testing data,  for of the tasks 806. Globally shared parameters, θg, may be found using meta learning to consider the model, fθ, and optimizing the loss averaged over the distribution of tasks as shown below in Equation 1.

[0084] Equation 1

[0085] The objective may be to find a set of globally shared parameters that serve as a preferred initialization for unknown tasks. In some embodiments, tasks may represent different wireless environments, such as different deployment scenarios and / or configurations. Accordingly, the preferred initialization may serve as a good initialization for fine-tuning.

[0086] In view of the aim of searching for a globally shared parameter initialization for unknown tasks, meta learning may be utilized to define the learning process below. Formally, given the task distribution, p (T) , a task, Ti, may be sampled from in and the base learner, gθ, may be defined. The base learner may be updated based on Equation 2 and Equation 3 shown below.

[0087] Equation 2

[0088] Equation 3

[0089] In various embodiments, these equations may be utilized to train the base models wherein each model is trained for a particular task and each model has its own parameters. Further, the above procedure may be repeated by sampling the distribution of tasks. Now a model that can quickly adapt to a new task is needed and parameters that should be used as  initial values before fine-tuning if we have K different sets of parameters for all the K models are determined. Accordingly, after updating the parameters for all tasks, the meta parameter, θ, can be updated by considering the test datasets,  in view of Equation 4 shown below.

[0090] Equation 4

[0091] The gradient of task, Ti, may be defined as shown below in Equation 5.

[0092] Equation 5

[0093] The quantity, ui, may indicate the direction of task, Ti. In other words, it is task specific and each task has a different direction.

[0094] More generally, the tasks may correspond to different scenarios, environments, configurations, etc. For example, the tasks may correspond to scenarios that a UE is exposed to. In some embodiments, the tasks may correspond to predictions for wireless environments utilized to determine parameters for an unknown wireless environment, such as parameters corresponding to channel state information, beam management, and / or positioning accuracy. Tasks may include or be defined by various parameters. For example, for AI / ML channel state information parameters may include one or more of UE speed, signal-to-noise ratio (SNR) , signal-to-interference-plus-noise ratio (SINR) , outdoor / indoor, LOS / NLOS, propagation model, number of antenna ports, carrier frequency, and bandwidth. The UE speed may be characterized as slow, medium, or fast. The SNR and SINR may correspond to good / bad radio conditions. The outdoor / indoor may correspond to a position of the UE. The propagation model may be urban macrocell (UMa) or urban microcell (UMi) . The number of antenna ports may include N1 / N2 / P and / or antenna port numbers (e.g., 32 ports, 16 ports) . The carrier frequency may include frequency division duplex (FDD) or time division duplex (TDD) (e.g., at sub-band level) . Accordingly, in one embodiment, a first task may include or be defined by UMa, low SNR, 32 ports, NLOS, and low speed; a second task may include or be characterized by UMi, good SNR, 16 ports, NLOS, low speed; a third task may include or be defined by UMi, good  SNR, 16 ports, NLOS, high speed; and a fourth task may include or be characterized by UMi, medium SNR, 16 ports, NLOS, high speed.

[0095] FIGS. 9A and 9B illustrate various aspects of fine-tuning according to some embodiments. More specifically, FIG. 9A illustrates a first task parameter space 902a with a nonoptimized initialization parameter 904a and a second task parameter space 902b with a nonoptimized initialization parameter 904b and FIG. 9B illustrates the first task parameter space 902a with an optimized initialization parameter 906a and the second task parameter space 902b with an optimized initialization parameter 906b. As previously mentioned, each expert model may fine-tune its parameters by adapting to a new task using available training data. The fine-tuning may be guided by minimizing the task-specific loss, allowing the expert to adjust its model to better fit the task distribution. Embodiments are not limited in this context.

[0096] For deployment, the pre-trained model (e.g., expert model 704a) can be fine-tuned with only a few samples from task, Ti, after the preferred initialization parameter, θ*. A model for task, Ti, may be fine-tuned using Equation 6 shown below.

[0097] Equation 6

[0098] FIGS. 9A and 9B provide a visual representation of the effect of θ. Referring to FIG. 9A, θ is not optimized and many samples are needed for convergence for new tasks. Referring to FIG. 9B, θ is optimized and few samples are needed for convergence for new tasks.

[0099] FIG. 10 illustrates various aspects of an example AI model / framework according to some embodiments. The illustrated embodiment includes a pretrainer 1002, a task embedding cluster administrator 1004, and a meta-learning administrator 1006. The task embedding cluster administrator 1004 includes K-means 1008 and domain data 1010 with one or more clusters 1012a, 1012b, 1012c. The meta-learning administrator 1006 includes expert ensemble 1014 with one or more experts 1016a, 1016b, 1016c, meta trainer 1018 with loss 1020, and meta tester 1022 with prediction 1024. As discussed in more detail below, one or more components of FIG. 10 may be utilized to implement one or more aspects of the techniques for supporting meta-learning in telecommunication systems. Embodiments are not limited in this context.

[0100] The pretrainer 1002 may implement various operations related to a pretraining phase, such as initial generation and configuring of the expert models. In many embodiments, one or  more of the operations and techniques described above, such as with respect to FIGS. 7-9B and / or Equations 1-6 may be performed by pretrainer 1002. In many embodiments, parameter 1026 may include the various parameters and data output by the pretraining phase, such as initialization values and / or expert models.

[0101] The task embedding cluster administrator 1004 may implement various operations related to task embedding and clustering. For example, scenario / task identification may be approximated by task embedding as follows. With gradient, ui, considered as task, Ti, embedding, a classical cluster algorithm may be utilized to divide the sampled tasks into different groups. In some embodiments, the classical and / or unsupervised cluster algorithm may include or be implemented by K-means 1008 to generate the one or more clusters 1012a, 1012b, 1012c. The distance function leveraged by K-means 1008 may include cosine distance because it focuses on the difference in direction instead of embedding norm.

[0102] In various embodiments, given hyperparameter, K, K clusters may be obtained that correspond to different optimization directions for specific model parameters, θinit. In various such embodiments, the centers of the different clusters may be determined as {c1,c2, …,c K} . The distance between future tasks (e.g., unknown wireless environments) and existing tasks (e.g., known wireless environments) may be measured using cosine distance as the standard metric.

[0103] The meta-learning administrator 1006 may implement various operations related to meta-training. To start with a generic initialization, the experts,   may be initialized as K copies from  Their generalization can then be controlled through parameter initialization, θinit, by implementing a meta-learning based gradient to determine a relatively proper θinit as the initialization parameters for clustering and experts. In various embodiments, the loss function shown below in Equation 7 may be utilized as the target training loss, such as in order to strengthen the diversity of experts in the training paradigm.

[0104] Equation 7

[0105] Equation 7 may be utilized across K experts and N tasks. The coefficient, αij, may induce the final tendency of expert, ej, toward specific tasks. In many embodiments, parameter 1028 may correspond to the coefficient, αij. A qualified expert, ei, may be highly familiar with  tasks within a specific domain, Di, excelling in that area, while not requiring strict competence in tasks outside of their specialization. In many embodiments, the gradient, ui, may be utilized as the embedding of task, Ti. Equation 8, shown below, may be utilized to determine how to weight each expert. In Equation 8, c may include a vector of the centers of the clusters.

[0106] Equation 8

[0107] When facing an unknown task (e.g., unknown wireless environment) from a heterogeneous distribution, the experts may fine-tune their parameters based on the training set using a few samples collected for fine tuning (e.g., by a UE) using Equation 9 shown below to produce fine-tuned experts, e=e1, e2, …, en.

[0108] Equation 9

[0109] To perform inference for task j, the fine-tuned experts may be utilized in conjunction with a weighted voting mechanism inspired by bagging, such as shown in Equation 10 below. In one embodiment, the weighted voting mechanism may be implemented by a meta model (e.g., meta model 710) .

[0110] Equation 10

[0111] In Equation 11, shown below, the errij may be the error value of training set,  with model,  which implies the adaption level of expert, ei. The higher the value of βi, j, the lower the error, and the better the adaption level of the expert. In several embodiments, parameter 1030 may include βi, j.

[0112] Equation 11

[0113] These and other aspects described hereby may be utilized to provide AI / ML techniques to telecommunication systems that can quickly adapt to changing environments. Further, these techniques may support signaling for online data collection and dynamic adaption of models to address generalization issues. Further, models are not required to be retrained from scratch with many training samples and training iterations. Furthermore, a UE may monitor the performance of the current model, and, if it detects degradation, it may signal a request for online data collection and fine-tuning.

[0114] In some embodiments, a meta-learning with model validation algorithm may be utilized. For example, a UE may employ the operations previously described to obtain a pre-trained model for a variety of tasks. The output of the procedure may be an optimized parameter, θ*, for the network model. The UE may collect a few samples from the current wireless environment for task, Ti, and perform fine tuning based on Equation 6. The UE may employ the fine-tuned model. The UE may perform model monitoring according to the conditions configured by the network. If model monitoring indicates good performance, the UE continues to utilize the fine-tuned model. However, if model monitoring indicates degraded performance over a number of samples, then the UE may proceed as described below.

[0115] The UE may store the samples (input to AI / ML) that indicated performance degradation, Dtest. The UE may perform model validation across its available other models with source data, Dtest. If a model is found that sufficiently improves performance (e.g., a threshold level of improvement or performance) , the UE may switch to that model and repeats the procedure described in the previous paragraph. If there are no models with sufficient improvement / performance, the UE may proceed as described below.

[0116] The UE may collect a limited number of training samples / testing from the new environment (target domain, DS, train) . The UE may fine tune only the last layers while keeping the parameters from other layers and the statistics from the normalization layers frozen. That way, the adaption to the target task, Tj, can be performed efficiently based on Equation 6. The output may be the model for task j. After fine-tuning, the UE may perform validation testing with Dtest. If performance sufficiently improves, the UE switches to the new model and adds the model to its database of AI / ML models and repeats this procedures. If performance does not sufficiently improve, the UE may fall back to legacy mode and perform model validation according to the conditions configured by the network and / or notify the network about falling back to legacy. The network, in some embodiments, may update the database of the UE with  another model. In many embodiments, the UE may periodically update the parameter vector, θ, by collecting some test data, utilizing Equation 12 shown below, and iterating to the top of the procedure.

[0117] Equation 12

[0118] FIG. 11 illustrates various aspects of meta-learning post deployment according to some embodiments. The illustrated embodiment includes a base station 1102, a UE 1104, and an over-the-air (OTA) 1106. Communication 1110 may occur between base station 1102 and UE 1104 in wireless environment 1108. In many embodiments, the AI / ML models described hereby may be utilized in an effort to improve communication between the UE and the BS. In the illustrated embodiment, the UE 1104 may utilize model 1112, provide training and test data 1118 to OTA server 1106 (such as in response to model performance degradation) , and receive an updated model 1120 from OTA server 1106. The OTA server 1106 may perform validation 1114 on models and continuous meta-learning 1116 to generate updated models. Embodiments are not limited in this context.

[0119] In various embodiments, the OTA server 1106 may keep two copies of models (e.g., model 1112) . A first model may be used for validation and may include a copy of the model deployed at the UE 1104. The other copy may be utilized to employ meta-learning for continuous learning and fast adaptation to new tasks (e.g., unknown wireless environments) . In many embodiments, the procedures carried out between and by UE 1104 and OTA server 1106 may include the following.

[0120] Parameter vector, θ, may be initialized in an outer loop with an objective of converging to an optimal θ (j loop) . For iterations i=1, 2, …, n, the inner loop may sample a task, Ti, for p (T) to collect samples for training and testing. For each task,  may be obtained by minimizing on a few training samples. That is, perform the updates to optimize the parameters, φi.

[0121] After updating φi for each task, θ may be updated by gradient descent such that it minimizes In some embodiments, updating θ requires evaluation of the gradient of the individual task losses on a set of test data. The gradient of the overall loss  may be obtained as θ can then be updated via gradient descent, using new learning rate:  The next iteration may then be performed with an updated θ, j=j+1. At the end of the iterations, a pre-trained model which can be further fined tuned for each individual task, Ti, is produced.

[0122] FIG. 12 illustrates a logic flow 1200 of an example technique to support meta-learning in telecommunication systems according to some embodiments. Aspects of logic flow 1200 may relate to various embodiments described hereby. Logic flow 1200 may begin at block 1202. Block 1202 may include utilizing an ensemble of expert models to generate a set of initial predictions for an unknown wireless environment associated with communication between a user equipment (UE) and a base station (BS) , wherein each expert model in the ensemble of expert models corresponds to a different known wireless environment. For example, expert ensemble 706 may be utilized to generate initial predictions 708a, 708b, 708c. In various embodiments, the initial predictions may correspond to wireless environment 1108 associated with communication between UE 1104 and base station 1102.

[0123] Continuing to block 1204, a final prediction for the unknown wireless environment associated with communication between the UE and the BS may be generated with a meta model based on the set of initial predictions for the unknown wireless environment. For example, meta model 710 may generate final prediction 712 based on initial predictions 708a, 708b, 708c. At block 1206, a parameter of at least one of the UE or the BS may be determined based on the final prediction for the unknown wireless environment. For example, a parameters of UE 1104 or base station 1102 may be determined based on a final prediction for wireless environment 1108 between base station 1102 and UE 1104.

[0124] FIG. 13 illustrates a logic flow 1300 of an example technique to support meta-learning in telecommunication systems according to some embodiments. Aspects of logic flow 1300 may relate to various embodiments described hereby. Logic flow 1300 may begin at block 1302. Block 1302 may include identifying training and testing data corresponding to an unknown wireless environment associated with communication between a user equipment (UE) and a base station (BS) . For example, OTA server 1106 may identify training and test data 1118 corresponding to wireless environment 1108 associated with communication between UE 1104 and base station 1102. In some embodiments, the training and test data 1118 may be received from UE 1104.

[0125] Continuing to block 1304, an updated model may be generated by performing meta-learning with a current model based on the training and testing data. For example, OTA server 1106 may perform continuous meta-learning 1116 using training and test data 1118 and model 1112 to generate updated model 1120. At block 1306, the updated model may be communicated to the UE. For example, OTA server 1106 may communicate the updated model 1120 to UE 1104.

[0126] Portions of what was described above may be implemented with logic circuitry such as a dedicated logic circuit or with a microcontroller or other form of processing core that executes program code instructions. Thus processes taught by the discussion above may be performed with program code such as machine-executable instructions that cause a machine that executes these instructions to perform certain functions. In this context, a “machine” may be a machine that converts intermediate form (or “abstract” ) instructions into processor specific instructions (e.g., an abstract execution environment such as a “virtual machine” (e.g., a Java Virtual Machine) , an interpreter, a Common Language Runtime, a high-level language virtual machine, etc. ) , and / or, electronic circuitry disposed on a semiconductor chip (e.g., “logic circuitry” implemented with transistors) designed to execute instructions such as a general-purpose processor and / or a special-purpose processor. Processes taught by the discussion above may also be performed by (in the alternative to a machine or in combination with a machine) electronic circuitry designed to perform the processes (or a portion thereof) without the execution of program code.

[0127] The present disclosure also relates to an apparatus for performing the operations described herein. This apparatus may be specially constructed for the required purpose, or it may comprise a general-purpose computer selectively activated or reconfigured by a computer program stored in the computer. Such a computer program may be stored in a computer readable storage medium, such as, but is not limited to, any type of disk including floppy disks, optical disks, CD-ROMs, and magnetic-optical disks, read-only memories (ROMs) , RAMs, EPROMs, EEPROMs, magnetic or optical cards, or any type of media suitable for storing electronic instructions, and each coupled to a computer system bus.

[0128] A machine readable medium includes any mechanism for storing or transmitting information in a form readable by a machine (e.g., a computer) . For example, a machine readable medium includes read only memory ( “ROM” ) ; random access memory ( “RAM” ) ; magnetic disk storage media; optical storage media; flash memory devices; etcetera.

[0129] An article of manufacture may be used to store program code. An article of manufacture that stores program code may be embodied as, but is not limited to, one or more memories (e.g., one or more flash memories, random access memories (static, dynamic or other) ) , optical disks, CD-ROMs, DVD ROMs, EPROMs, EEPROMs, magnetic or optical cards or other type of machine-readable media suitable for storing electronic instructions. Program code may also be downloaded from a remote computer (e.g., a server) to a requesting computer (e.g., a client) by way of data signals embodied in a propagation medium (e.g., via a communication link (e.g., a network connection) ) .

[0130] There are a number of example embodiments described herein.

[0131] Example 1 is a method comprising: utilizing an ensemble of expert models to generate a set of initial predictions for an unknown wireless environment associated with communication between a user equipment (UE) and a base station (BS) , wherein each expert model in the ensemble of expert models corresponds to a different known wireless environment; generating a final prediction for the unknown wireless environment associated with communication between the UE and the BS, the final prediction generated with a meta model based on the set of initial predictions for the unknown wireless environment; and determining a parameter of at least one of the UE or the BS for communication in the unknown wireless environment based on the final prediction for the unknown wireless environment.

[0132] Example 2 is the method of Example 1 that may optionally include: collecting training data based on a set of parameters corresponding to the unknown wireless environment associated with communication between the UE and the BS; and fine-tuning, prior to generation of the initial set of predictions, one or more tuning parameters of an expert model in the ensemble of expert models based on the training data.

[0133] Example 3 is the method of Example 2 that may optionally include that gradient-based meta-learning is utilized to fine-tune the one or more tuning parameters of the expert model.

[0134] Example 4 is the method of Example 1 that may optionally include that an initial prediction in the set of initial predictions generated by an expert model in the ensemble of expert models is weighted by the meta model to generate the final prediction based on a similarity between the unknown wireless environment and the known wireless environment corresponding to the expert model.

[0135] Example 5 is the method of Example 4 that may optionally include that the meta model utilizes bootstrap aggregating to weight the initial prediction generated by the expert model.

[0136] Example 6 is the method of Example 4 that may optionally include that the similarity between the unknown wireless environment and the known wireless environment corresponding to the expert model is based on a cosine distance between a first cluster of domain data corresponding to the unknown wireless environment and a second cluster of domain data corresponding to the known wireless environment.

[0137] Example 7 is the method of Example 1 that may optionally include that the meta model is trained with gradient-based meta-learning.

[0138] Example 8 is the method of Example 1 that may optionally include that the unknown wireless environment associated with communication between the UE and the BS comprises an unseen deployment wireless environment or an unseen configuration of the UE.

[0139] Example 9 is the method of Example 1 that may optionally include selecting an expert model to include in the ensemble of expert models based on a similarity between the unknown wireless environment and the known wireless environment corresponding to the expert model.

[0140] Example 10 is the method of Example 7 that may optionally include that the similarity between the unknown wireless environment and the known wireless environment corresponding to the expert model is based on a cosine distance between a first cluster of domain data corresponding to the unknown wireless environment and a second cluster of domain data corresponding to the known wireless environment.

[0141] Example 11 is the method of Example 1 that may optionally include that the parameter of the at least one of the UE or the BS determined based on the final prediction for the unknown wireless environment corresponds to at least one of channel state information, beam management, or positioning accuracy.

[0142] Example 12 is a user equipment (UE) comprising one or more processors configured to perform the method of any of Examples 1 to 11.

[0143] Example 13 is a non-transitory machine-readable medium having executable instructions to cause one or more processing units to perform the method of any of Examples 1 to 11.

[0144] Example 14 is a user equipment (UE) baseband processor configured to cause a UE to perform the method of any of Examples 1 to 11.

[0145] Example 15 is a method comprising: identifying training and testing data corresponding to an unknown wireless environment associated with communication between a  user equipment (UE) and a base station (BS) ; performing meta-learning with a current model based on the training and testing data to generate an updated model; and communicating the updated model to the UE.

[0146] Example 16 is the method of Example 15 that may optionally include that the training and testing data is collected by the UE.

[0147] Example 17 is the method of Example 15 that may optionally include that the meta-learning comprises gradient-based meta-learning.

[0148] Example 18 is the method of Example 15 that may optionally include validating the updated model before communicating the updated model to the UE.

[0149] Example 19 is the method of Example 15 that may optionally include that the current model and the updated model utilize an ensemble of expert models.

[0150] Example 20 is the method of Example 15 that may optionally include that the updated model is configured to generate a predicted parameter for the unknown wireless environment that corresponds to at least one of channel state information feedback, beam management, or positioning accuracy.

[0151] Example 21 is a server comprising one or more processors configured to perform the method of any of Examples 15 to 20.

[0152] Example 22 is a non-transitory machine-readable medium having executable instructions to cause one or more processing units to perform the method of any of Examples 15 to 20.

[0153] The preceding detailed descriptions are presented in terms of algorithms and symbolic representations of operations on data bits within a computer memory. These algorithmic descriptions and representations are the tools used by those skilled in the data processing arts to most effectively convey the substance of their work to others skilled in the art. An algorithm is here, and generally, conceived to be a self-consistent sequence of operations leading to a desired result. The operations are those requiring physical manipulations of physical quantities. Usually, though not necessarily, these quantities take the form of electrical or magnetic signals capable of being stored, transferred, combined, compared, and otherwise manipulated. It has proven convenient at times, principally for reasons of common usage, to refer to these signals as bits, values, elements, symbols, characters, terms, numbers, or the like.

[0154] It should be kept in mind, however, that all of these and similar terms are to be associated with the appropriate physical quantities and are merely convenient labels applied to these quantities. Unless specifically stated otherwise as apparent from the above discussion, it is appreciated that throughout the description, discussions utilizing terms such as “utilizing, ” “generating, ” “determining, ” “collecting, ” “fine-tuning, ” “selecting, ” or the like, refer to the action and processes of a computer system, or similar electronic computing device, that manipulates and transforms data represented as physical (electronic) quantities within the computer system's registers and memories into other data similarly represented as physical quantities within the computer system memories or registers or other such information storage, transmission or display devices.

[0155] The processes and displays presented herein are not inherently related to any particular computer or other apparatus. Various general-purpose systems may be used with programs in accordance with the teachings herein, or it may prove convenient to construct a more specialized apparatus to perform the operations described. The required structure for a variety of these systems will be evident from the description below. In addition, the present disclosure is not described with reference to any particular programming language. It will be appreciated that a variety of programming languages may be used to implement the teachings of the disclosure as described herein.

[0156] It is well understood that the use of personally identifiable information should follow privacy policies and practices that are generally recognized as meeting or exceeding industry or governmental requirements for maintaining the privacy of users. In particular, personally identifiable information data should be managed and handled so as to minimize risks of unintentional or unauthorized access or use, and the nature of authorized use should be clearly indicated to users.

[0157] The foregoing discussion merely describes some exemplary embodiments of the present disclosure. One skilled in the art will readily recognize from such discussion, the accompanying drawings and the claims that various modifications can be made without departing from the spirit and scope of the disclosure.

Claims

1.A method comprising:utilizing an ensemble of expert models to generate a set of initial predictions for an unknown wireless environment associated with communication between a user equipment (UE) and a base station (BS) , wherein each expert model in the ensemble of expert models corresponds to a different known wireless environment;generating a final prediction for the unknown wireless environment associated with communication between the UE and the BS, the final prediction generated with a meta model based on the set of initial predictions for the unknown wireless environment; anddetermining a parameter of at least one of the UE or the BS for communication in the unknown wireless environment based on the final prediction for the unknown wireless environment.2.The method of claim 1, further comprising:collecting training data based on a set of parameters corresponding to the unknown wireless environment associated with communication between the UE and the BS; andfine-tuning, prior to generation of the initial set of predictions, one or more tuning parameters of an expert model in the ensemble of expert models based on the training data.3.The method of claim 2, wherein gradient-based meta-learning is utilized to fine-tune the one or more tuning parameters of the expert model.4.The method of claim 1, wherein an initial prediction in the set of initial predictions generated by an expert model in the ensemble of expert models is weighted by the meta model to generate the final prediction based on a similarity between the unknown wireless environment and the known wireless environment corresponding to the expert model.5.The method of claim 4, wherein the meta model utilizes bootstrap aggregating to weight the initial prediction generated by the expert model.6.The method of claim 4, wherein the similarity between the unknown wireless environment and the known wireless environment corresponding to the expert model is based on a cosine  distance between a first cluster of domain data corresponding to the unknown wireless environment and a second cluster of domain data corresponding to the known wireless environment.7.The method of claim 1, wherein the meta model is trained with gradient-based meta-learning.8.The method of claim 1, wherein the unknown wireless environment associated with communication between the UE and the BS comprises an unseen deployment wireless environment or an unseen configuration of the UE.9.The method of claim 1, further comprising:selecting an expert model to include in the ensemble of expert models based on a similarity between the unknown wireless environment and the known wireless environment corresponding to the expert model.10.The method of claim 7, wherein the similarity between the unknown wireless environment and the known wireless environment corresponding to the expert model is based on a cosine distance between a first cluster of domain data corresponding to the unknown wireless environment and a second cluster of domain data corresponding to the known wireless environment.11.The method of claim 1, wherein the parameter of the at least one of the UE or the BS determined based on the final prediction for the unknown wireless environment corresponds to at least one of channel state information, beam management, or positioning accuracy.12.A user equipment (UE) baseband processor configured to cause a UE to perform one or more of the methods of claims 1 to 11.13.A user equipment (UE) comprising one or more processors configured to perform operations comprising:utilizing an ensemble of expert models to generate a set of initial predictions for an unknown wireless environment associated with communication between a user equipment (UE) and a base station (BS) , wherein each expert model in the ensemble of expert models corresponds to a different known wireless environment;generating a final prediction for the unknown wireless environment associated with communication between the UE and the BS, the final prediction generated with a meta model based on the set of initial predictions for the unknown wireless environment; anddetermining a parameter of at least one of the UE or the BS for communication in the unknown wireless environment based on the final prediction for the unknown wireless environment.14.The UE of claim 13, the operations further comprising:collecting training data based on a set of parameters corresponding to the unknown wireless environment associated with communication between the UE and the BS; andfine-tuning, prior to generation of the initial set of predictions, one or more tuning parameters of an expert model in the ensemble of expert models based on the training data.15.The UE of claim 13, wherein an initial prediction in the set of initial predictions generated by an expert model in the ensemble of expert models is weighted by the meta model to generate the final prediction based on a similarity between the unknown wireless environment and the known wireless environment corresponding to the expert model.16.The UE of claim 13, wherein the meta model is trained with gradient-based meta-learning.17.The UE of claim 13, the operations further comprising:selecting an expert model to include in the ensemble of expert models based on a similarity between the unknown wireless environment and the known wireless environment corresponding to the expert model.18.A non-transitory machine-readable medium having executable instructions to cause one or more processing units to perform a method, the method comprising:utilizing an ensemble of expert models to generate a set of initial predictions for an unknown wireless environment associated with communication between a user equipment (UE) and a base station (BS) , wherein each expert model in the ensemble of expert models corresponds to a different known wireless environment;generating a final prediction for the unknown wireless environment associated with communication between the UE and the BS, the final prediction generated with a meta model based on the set of initial predictions for the unknown wireless environment; anddetermining a parameter of at least one of the UE or the BS for communication in the unknown wireless environment based on the final prediction for the unknown wireless environment.19.The non-transitory machine-readable medium of claim 18, the method further comprising:collecting training data based on a set of parameters corresponding to the unknown wireless environment associated with communication between the UE and the BS; andfine-tuning, prior to generation of the initial set of predictions, one or more tuning parameters of an expert model in the ensemble of expert models based on the training data.20.The non-transitory machine-readable medium of claim 18, wherein the meta model is trained with gradient-based meta-learning.21.A method comprising:identifying training and testing data corresponding to an unknown wireless environment associated with communication between a user equipment (UE) and a base station (BS) ;performing meta-learning with a current model based on the training and testing data to generate an updated model; andcommunicating the updated model to the UE.22.The method of claim 21, wherein the training and testing data is collected by the UE.23.The method of claim 21, wherein the meta-learning comprises gradient-based meta-learning.24.The method of claim 21, further comprising validating the updated model before communicating the updated model to the UE.25.The method of claim 21, wherein the current model and the updated model utilize an ensemble of expert models.26.The method of claim 21, wherein the updated model is configured to generate a predicted parameter for the unknown wireless environment that corresponds to at least one of channel state information feedback, beam management, or positioning accuracy.27.A server comprising one or more processors configured to perform operations comprising:identifying training and testing data corresponding to an unknown wireless environment associated with communication between a user equipment (UE) and a base station (BS) ;performing meta-learning with a current model based on the training and testing data to generate an updated model; andcommunicating the updated model to the UE.28.The server of claim 27, wherein the training and testing data is collected by the UE.29.The server of claim 27, wherein the meta-learning comprises gradient-based meta-learning.30.A non-transitory machine-readable medium having executable instructions to cause one or more processing units to perform a method, the method comprising:identifying training and testing data corresponding to an unknown wireless environment associated with communication between a user equipment (UE) and a base station (BS) ;performing meta-learning with a current model based on the training and testing data to generate an updated model; andcommunicating the updated model to the UE.

Images