Training / inference consistency for ai / ML models using associated identifications

Abstract

An apparatus configured to generate, for transmission to a network, a capability report comprising an artificial intelligence (AI) or machine learning (ML) data collection capability, process, based on signaling received from the network, an AI / ML data collection configuration comprising a reference signal (RS) configuration to be used for data collection, measure RSs transmitted by the network according to the RS configuration, collect training data based on measuring the RSs, generate, for transmission to a training entity, the training data and process, based on signals received from the training entity, an AI / ML model trained using the training data.

Description

Training / Inference Consistency for AI / ML Models Using Associated IdentificationsBackground

[0001] Artificial intelligence (AI) and / or machine learning (ML) processes, e.g., deep learning neural networks, convolutional neural networks, etc., may be used to augment operations for the air interface in a cellular radio access network (RAN) , e.g., 5G New Radio (NR) RAN, 6G RAN, etc. The use cases of AI / ML for the air interface include beam management (BM) . However, a user equipment (UE) may encounter many base stations with varying configurations, e.g., antenna modules, beam adjustment angles, etc. For a UE to train and store AI / ML models to account for these many base stations is impractical.Summary

[0002] Some example embodiments are related to an apparatus having processing circuitry configured to generate, for transmission to a network, a capability report comprising an artificial intelligence (AI) or machine learning (ML) data collection capability, process, based on signaling received from the network, an AI / ML data collection configuration comprising a reference signal (RS) configuration to be used for data collection, measure RSs transmitted by the network according to the RS configuration, collect training data based on measuring the RSs, generate, for transmission to a training entity, the training data and process, based on signals received from the training entity, an AI / ML model trained using the training data.

[0003] Other example embodiments are related to a method for generating, for transmission to a network, a capability report  comprising an artificial intelligence (AI) or machine learning (ML) data collection capability, processing, based on signaling received from the network, an AI / ML data collection configuration comprising a reference signal (RS) configuration to be used for data collection, measuring RSs transmitted by the network according to the RS configuration, collecting training data based on measuring the RSs, generating, for transmission to a training entity, the training data and processing, based on signals received from the training entity, an AI / ML model trained using the training data.Brief Description of the Drawings

[0004] Fig. 1 shows an example network arrangement according to various example embodiments.

[0005] Fig. 2 shows an example user equipment (UE) according to various example embodiments.

[0006] Fig. 3 shows an example base station according to various example embodiments.

[0007] Fig. 4 shows an example network arrangement according to various example embodiments.

[0008] Fig. 5 shows an example signaling diagram for UE side data collection for training a UE side AI / ML model according to various example embodiments.

[0009] Fig. 6 shows an example of associated ID information for an AI / ML model including vendor information according to various example embodiments.

[0010] Fig. 7 shows an example of a measurement resource configuration including the tag or hash according to various example embodiments.

[0011] Fig. 8 shows a signaling diagram of an example inference stage using an AI-ML model including the tag or hash according to various example embodiments.

[0012] Fig. 9 shows a block diagram that shows an example manner of how a model registry may be populated according to various example embodiments.

[0013] Fig. 10 shows an example of a measurement resource configuration including the standardized interface according to various example embodiments.Detailed Description

[0014] The example embodiments may be further understood with reference to the following description and the related appended drawings, wherein like elements are provided with the same reference numerals. The example embodiments relate to operations for training and inference of AI / ML models based on associated identifications where a user equipment (UE) may use the trained AI / ML model for multiple base stations.

[0015] The example embodiments are described with regard to a user equipment (UE) . However, reference to a UE is merely provided for illustrative purposes. The example embodiments may be utilized with any electronic component that may establish a connection to a network and is configured with the hardware,  software, and / or firmware to exchange signaling and / or data with the network. Therefore, the UE as described herein is used to represent any electronic component.

[0016] The example embodiments are also described with reference to a 5G New Radio (NR) network. However, reference to a 5G NR network is merely provided for illustrative purposes. The example embodiments may be utilized with any network implementing AI / ML functionalities similar to those described herein, e.g., 5G-Advanced network, 6G network, etc. Therefore, the 5G NR network as described herein may represent any type of network implementing AI / ML functionalities similar to the 5G NR network.

[0017] The example embodiments describe various aspects related to using AI / ML models for BM within a network. In a first aspect, operations related to collecting training data for an AI / ML model are described. These operations include configuring a UE with identification information provided by the base station transmitting reference signals that the UE will use for collecting the training data and associating this identification information with the training data. In a second aspect, operations related to using the AI / ML model for inference are described. The AI / ML model may be associated with the identification information and a UE having the AI / ML model may report its capability to a network to allow the network to configure the UE to perform inference operations using the AI / ML model for an appropriate base station. Each of these example embodiments will be described in greater detail below.

[0018] Fig. 1 shows an example network arrangement 100 according to various example embodiments. The example network  arrangement 100 includes a UE 110. The UE 110 may be any type of electronic component that is configured to communicate via a network, e.g., mobile phones, tablet computers, desktop computers, smartphones, phablets, embedded devices, wearables, Internet of Things (IoT) devices, etc. An actual network arrangement may include any number of UEs being used by any number of users. Thus, the example of a single UE 110 is merely provided for illustrative purposes.

[0019] The UE 110 may be configured to communicate with one or more networks. In the example of the network arrangement 100, the network with which the UE 110 may wirelessly communicate is a 5G NR radio access network (RAN) 120. However, the UE 110 may also communicate with other types of networks (e.g., 5G cloud RAN, a next generation RAN (NG-RAN) , a long term evolution RAN, a legacy cellular network, a WLAN, etc. ) and the UE 110 may also communicate with networks over a wired connection. With regard to the example embodiments, the UE 110 may establish a connection with the 5G NR RAN 120. Therefore, the UE 110 may have a 5G NR chipset to communicate with the NR RAN 120.

[0020] The 5G NR RAN 120 may be a portion of a public land mobile network (PLMN) that may be deployed by a network carrier (e.g., Verizon, AT&T, T-Mobile, etc. ) . The 5G NR RAN 120 may include, for example, cells or base stations (Node Bs, eNodeBs, HeNBs, eNBS, gNBs, gNodeBs, macrocells, microcells, small cells, femtocells, etc. ) that are configured to send and receive traffic from UEs that are equipped with the appropriate cellular chip set. The gNB 120A may include one or more communication interfaces to exchange data and / or information with the UE 110,  the corresponding 5G NR RAN 120, the cellular core network 130, the internet 140, etc.

[0021] The UE 110 may connect to the 5G NR-RAN 120 via the gNB 120A. Any association procedure may be performed for the UE 110 to connect to the 5G NR-RAN 120. For example, as discussed above, the 5G NR-RAN 120 may be associated with a particular cellular provider where the UE 110 and / or the user thereof has a contract and credential information (e.g., stored on a SIM card) . Upon detecting the presence of the 5G NR-RAN 120, the UE 110 may transmit the corresponding credential information to associate with the 5G NR-RAN 120. More specifically, the UE 110 may associate with a specific cell (e.g., the gNB 120A) . However, as mentioned above, reference to the 5G NR-RAN 120 is merely for illustrative purposes and any appropriate type of RAN may be used.

[0022] In addition to the 5G NR RAN 120, the network arrangement 100 also includes a cellular core network 130, the Internet 140, an IP Multimedia Subsystem (IMS) 150, and a network services backbone 160. The cellular core network 130 may be considered to be the interconnected set of components that manages the operation and traffic of the cellular network. The cellular core network 130 also manages the traffic that flows between the cellular network and the Internet 140.

[0023] The IMS 150 may be generally described as an architecture for delivering multimedia services to the UE 110 using the IP protocol. The IMS 150 may communicate with the cellular core network 130 and the Internet 140 to provide the multimedia services to the UE 110. The network services  backbone 160 is in communication either directly or indirectly with the Internet 140 and the cellular core network 130. The network services backbone 160 may be generally described as a set of components (e.g., servers, network storage arrangements, etc. ) that implement a suite of services that may be used to extend the functionalities of the UE 110 in communication with the various networks.

[0024] Fig. 2 shows an example UE 110 according to various example embodiments. The UE 110 will be described with regard to the network arrangement 100 of Fig. 1. The UE 110 may include a processor 205, a memory arrangement 210, a display device 215, an input / output (I / O) device 220, a transceiver 225 and other components 230. The other components 230 may include, for example, an audio input device, an audio output device, a power supply, a data acquisition device, ports to electrically connect the UE 110 to other electronic devices, etc.

[0025] The processor 205 may be configured to execute a plurality of engines of the UE 110. For example, the engines may include an AI / ML BM engine 235. The AI / ML BM engine 235 may perform various operations related to training and inference of an AI / ML model for beam management. Specifically, the AI / ML BM engine 235 may perform operations such as, but not limited to, AI data collection capability signaling, AI data collection, AI inference capability signaling and AI inference operations. These and other operations are described in greater detail below.

[0026] The above referenced engine 235 being an application (e.g., a program) executed by the processor 205 is merely  provided for illustrative purposes. The functionality associated with the engine 235 may also be represented as a separate incorporated component of the UE 110 or may be a modular component coupled to the UE 110, e.g., an integrated circuit with or without firmware. For example, the integrated circuit may include input circuitry to receive signals and processing circuitry to process the signals and other information. The engine may also be embodied as one application or separate applications. In addition, in some UEs, the functionality described for the processor 205 is split among two or more processors such as a baseband processor and an applications processor. The example embodiments may be implemented in any of these or other configurations of a UE.

[0027] The memory arrangement 210 may be a hardware component configured to store data related to operations performed by the UE 110. The display device 215 may be a hardware component configured to show data to a user while the I / O device 220 may be a hardware component that enables the user to enter inputs. The display device 215 and the I / O device 220 may be separate components or integrated together such as a touchscreen.

[0028] The transceiver 225 may be a hardware component configured to establish a connection with the 5G NR-RAN 120, an LTE-RAN (not pictured) , a legacy RAN (not pictured) , a WLAN (not pictured) , etc. Accordingly, the transceiver 225 may operate on a variety of different frequencies or channels (e.g., set of consecutive frequencies) . The transceiver 225 includes circuitry configured to transmit and / or receive signals (e.g., control signals, data signals) . Such signals may be encoded with  information implementing any one of the methods described herein. The processor 205 may be operably coupled to the transceiver 225 and configured to receive from and / or transmit signals to the transceiver 225. The processor 205 may be configured to encode and / or decode signals (e.g., signaling from a base station of a network) for implementing any one of the methods described herein.

[0029] Fig. 3 shows an example base station 300 according to various example embodiments. The base station 300 may represent the gNB 120A or any other type of access node through which the UE 110 may establish a connection and manage network operations.

[0030] The base station 300 may include a processor 305, a memory arrangement 310, an input / output (I / O) device 315, a transceiver 320, and other components 325. The other components 325 may include, for example, an audio input device, an audio output device, a battery, a data acquisition device, ports to electrically connect the base station 300 to other electronic devices and / or power sources, TxRUs, transceiver chains, antenna elements, antenna panels, etc.

[0031] The processor 305 may be configured to execute a plurality of engines for the base station 300. For example, the engines may include an AI / ML BM engine 330. The AI / ML BM engine 330 may perform various operations related to configuring a UE for AI data collection and configuring a UE for AI inference operations. These and other operations are described in greater detail below.

[0032] The above noted engine 330 being an application (e.g., a program) executed by the processor 305 is only an example. The functionality associated with the engine 330 may also be represented as a separate incorporated component of the base station 300 or may be a modular component coupled to the base station 300, e.g., an integrated circuit with or without firmware. For example, the integrated circuit may include input circuitry to receive signals and processing circuitry to process the signals and other information. In addition, in some base stations, the functionality described for the processor 305 is split among a plurality of processors (e.g., a baseband processor, an applications processor, etc. ) . The example embodiments may be implemented in any of these or other configurations of a base station.

[0033] The memory arrangement 310 may be a hardware component configured to store data related to operations performed by the base station 300. The I / O device 315 may be a hardware component or ports that enable a user to interact with the base station 300.

[0034] The transceiver 320 may be a hardware component configured to exchange data with the UE 110 and any other UEs in the network arrangement 100. The transceiver 320 may operate on a variety of different frequencies or channels (e.g., set of consecutive frequencies) . Therefore, the transceiver 320 may include one or more components to enable the data exchange with the various networks and UEs. The transceiver 320 includes circuitry configured to transmit and / or receive signals (e.g., control signals, data signals) . Such signals may be encoded with information implementing any one of the methods described  herein. The processor 305 may be operably coupled to the transceiver 320 and configured to receive from and / or transmit signals to the transceiver 320. The processor 305 may be configured to encode and / or decode signals (e.g., signaling from a UE) for implementing any one of the methods described herein.

[0035] Fig. 4 shows an example network arrangement 400 according to various example embodiments. Fig. 4 shows six (6) base stations 410-460. In the example of Fig. 4, three (3) of the base stations 410-430 are in a first general location (e.g., City 1) and the other three (3) of the base stations 440-460 are in a second general location that is different from the first general location (e.g., City 2) . Also, in the example of Fig. 4, all the base stations 410-460 may be provided by the same manufacturer (e.g., manufacturer 1) . However, each of the base stations 410-460 may be of different product models (e.g., different antenna arrangements / modules) . In addition, for a single base station (e.g., base station 410) a beam adjustment (e.g., beam angles) may vary throughout a day to account for coverage and / or capacity requirements. In this example, when a user equipment (UE) wants to use an AI / ML model (e.g., to estimate channel conditions with a base station, for beam management (BM) , etc. ) , it is difficult for the UE to select a correct AI / ML model because there are so many variables between the different base stations 410-460. This becomes even more complicated if some of the base stations are provided by different manufacturer (s) , are deployed by a different operator, etc. Moreover, the information concerning some of the base stations such as antenna arrangements and beam adjustment may be proprietary to the manufacturers and may not be shared with network operators or UE manufacturers.

[0036] Fig. 5 shows an example signaling diagram 500 for UE side data collection for training a UE side AI / ML model according to various example embodiments. The signaling diagram 500 is performed between a UE 502, a network 504 and a training entity 506. This training of the UE side AI / ML model may be for one of the base stations, e.g., any of the base stations 410-460 of Fig. 4.

[0037] In 510, the UE 502 signals an AI-data collection capability to the network 504. In 520, the network 504 signals an AI-data collection configuration to the UE 502. This AI-data collection configuration may include reference signal (RS) configuration (s) and other information such as other dataset identification or assistance information. In AI / ML for beam management, network-side additional conditions refer to network deployment scenarios and network configuration including analog beam design for set B / set A which may not be provided to a UE by a signaling or a signaling procedure specified by a standardization body. Different network deployment scenarios and network configuration including analog beam design for set B / set A may affect an inference performance of a trained AI / ML model. An AI / ML model trained with dataset (s) from base stations under one set of network-side additional condition (s) may perform with degraded accuracy when fed with data from a base station under another set of network-side additional condition (s) . As a synopsis of the network deployment scenario and network configuration cannot be explicitly provided to a UE, an associated ID is used to refer to a set of network-side additional conditions. Using the associated ID, a UE may determine whether at a given time a base station operates under  a set of network-side additional conditions a training dataset for which has been used to train the AI / ML model being used by the UE, thus the AI / ML model is assumed to be acceptable or actually is tested with a base station which operates under that set of network-side additional conditions. Therefore, even though the UE may not know exactly what network deployment scenario and network configuration is behind the network-side additional conditions as designated by an associated ID, the UE maty determine the network-side additional configurations between two base stations (or the same base station operating at different times) are the same or not by comparing the associated IDs provided by two base stations or the associated IDs provided by the same base station at different times.

[0038] In 530, the network 504 transmits the reference signals. In 540, the UE 502 measures the reference signals as part of the training data collection. In 550, the UE 502 may forward the training data to the training entity 506. The training entity 506 may be a server of a network provider, a server of the UE manufacturer, a third party server, etc.

[0039] In 560, the training entity 506 may train the AI / ML model using the training data provided by the UE 502. In 570, the training entity 506 may provide the AI / ML model to the UE 502 for use. As stated above, this AI / ML model may be for one base station. As there are tens of millions (and possibly more) base stations deployed throughout the world, it is impossible for a UE to store individual AI / ML models for base stations.

[0040] The example embodiments provide information that includes associated identifications (IDs) that allow AI / ML  models to be associated with different network side additional conditions at base stations. This use of associated IDs may raise an issue as to how is data collected to train a UE-side model that may be used for multiple base stations, e.g., how is determined that the training data is appropriate for a particular base station.

[0041] In some example embodiments, the associated IDs may include vendor information that allows AI / ML models trained using data having the same vendor information to be used across multiple base stations having the same vendor information.

[0042] Fig. 6 shows an example of associated ID information 600 for an AI / ML model including vendor information according to various example embodiments. The associated ID information 600 includes PLMN information 610 and a PLMN unique ID 620 of the base station. In this example, the PLMN is Verizon (VZW) and the PLMN unique ID is 101. Because there are many PLMNs and each base station within a PLMN may have a unique ID, this data may narrow the use of AI / ML model. For example, under one mobile operator, there may be millions of base stations. If different associated IDs are provided for each of them, that will result in a separate AI / ML model being trained for each of them, then huge logistic challenges arise for training data collection and provisioning AI / ML models to a UE. In the case where a same unique ID under a PLMN is shared among base stations under the PLMN, which indicates that the same network-side additional conditions apply to the base stations with the same associated IDs, an AI / ML model trained with dataset (s) collected from base stations with the same associated IDs may be utilized at those and other base stations with the same associated IDs as well.  The number of AI / ML models which should be trained to cover all base stations under the same mobile operator may be reduced accordingly. Nevertheless, considering the number of PLMNs globally is large, the afore-mentioned logistic challenges may still be present. Considering the number of mobile operator or PLMNs is far larger than the number of network equipment providers, instead of relying on PLMN-ID and PLMN-unique ID for associated ID, a more logistics-friendly solution is to rely on network vendor ID and network-vendor unique-ID as the associated ID. If all fields 610, 620, 635 and 637 are provided to a UE, a UE may rely on 635 and 637 as the associated ID for checking and matching training and inference’s network-side additional conditions. However, under normal conventions of the 3GPP standards, the vendor information is not disclosed, there may be a concern to specify such fields like “vendor-ID” and / or “vendor-unique-ID” .

[0043] To address the above concern, the associated ID information 600 may also include a Tag / Hash 630 that includes a Vendor 635 and a Vendor-unique-ID 637 or different vendor and / or vendor-unique-ID are mapped to different Tags / Hashes. The Tag / Hash may also be a field for which no specific meaning is attached, its use or parsing then is subject to engineering alignment among mobile operator, network vendor and UE vendor (or UE chipset vendor) to protect the network vendor’s proprietary information. The Vendor 635 is the manufacturer / provider of the base station, which in this example is Ericsson. The Vendor-unique-ID 637 is the model of the base station, which in this example is Thor-1. As shown, in Fig. 6, this information does not need to be visible to the UE or the training entity of the UE side model, e.g., the information may  be provided as a tag or hash without any corresponding identification information. The UE or the training entity may only be concerned that the tags or hashes match or do not match between different base stations for the purpose of training and / or inference. In this manner, the vendor of the base station may not need to provide any proprietary information related to the base station beyond the tag or hash.

[0044] The use of the Vendor 635 and a Vendor-unique-ID 637 hash may greatly reduce the permutations of base stations. For example, there are many fewer vendors of base stations than PLMN providers. In addition, there are many fewer base station models than unique IDs of base stations in a PLMN. The use of the Vendor 635 and a Vendor-unique-ID 637 tag or hash may limit the number of AI / ML models to a manageable number. This manageable number of AI / ML models may then be implemented on the UE side as will be described in greater detail below.

[0045] In addition, the use of the Vendor 635 and a Vendor-unique-ID 637 tag or hash may also benefit network operators. For example, it allows UEs trained with operator A’s network to function properly with AI / ML BM in operator B’s network, and vice versa.

[0046] In the training stage, the Vendor 635 and a Vendor-unique-ID 637 tag or hash may be provided by the network to the UE in the measurement resource configuration or reporting configuration. For example, this tag or hash may be provided from the network 504 to the UE 502 in the operation 520 of Fig. 5.

[0047] In the above example, it was described that the information included in the tag or hash to shield the actual information. However, in some example embodiments, the actual information may be used without a tag or hash, e.g., the Associated ID 600 may include the Vendor 635 and Vendor-unique-ID 637 without a tag or hash.

[0048] Fig. 7 shows an example of a measurement resource configuration 700 including the tag or hash according to various example embodiments. As shown in Fig. 7, the measurement resource configuration 700 may include a model-Tag 710 information element (IE) , e.g., Vendor 635 and a Vendor-unique-ID 637 tag or hash described above. In the example of Fig. 7, it is shown that the model-Tag is 8 bytes but this is only an example and the IE may have other lengths. As stated above, the model-Tag may also be provided to the UE via a reporting configuration.

[0049] Thus, upon receiving the reporting configuration or measurement resource configuration containing model-Tag IE, the UE may determine that the training data collected is (e.g., in operations 530 and 540 of Fig. 5) is for a base station with network-side additional conditions as indicated by the Vendor 635 and a Vendor-unique-ID 637 tag or hash. When the UE 502 passes the training data to the training entity 506 (e.g., operation 550) of Fig. 5, the model-Tag may be passed with training data. After the training entity 506 trains the AI / ML model, the model-Tag may remain as part of meta-information of the trained AI / ML model. Thus, when the UE 502 receives the AI / ML model in 570, the meta-information may include the model- Tag to allow the UE 502 to determine the base stations with which the AI / ML model may be used.

[0050] Fig. 8 shows a signaling diagram 800 of an example inference stage using an AI-ML model including the tag or hash according to various example embodiments. The example signaling diagram 800 is performed between a UE 802 and the network 804 (e.g., gNB 120A) .

[0051] In 805, the UE 802 may provide the network 804 with inference capability signaling. For example, this inference capability signaling may include an identification of associated ID (e.g., the model-Tag (s) as part of it) for which the UE 802 may perform inference operations (e.g., the UE 802 has an AI / ML model for the model-Tag (s) . In some example embodiments, the network 804 may broadcast the associated ID (e.g., model-Tag information as part of it) for the base station and / or neighbor base stations (e.g., in a system information block (SIB) ) . In these example embodiments, the inference capability signaling in 805 may include the UE confirming it supports or does not support the broadcasted model-Tag information.

[0052] In 810, the network 804 provides the UE 802 with an AI-BM inference configuration including the reference signal configuration that is based on the UE capability reporting in 805, e.g., the AI / ML models supported by the UE 802.

[0053] In 815, the network 804 transmits the reference signals including at least the Set B reference signals. In AI / ML training and inference, Set B reference signals refer to a set of beams used for Measurement and Set A reference signals refer  to a set of beams targeted for prediction. In 820, the UE 802 uses the appropriate AI / ML model for inferencing the best beams at the UE 802 based on the measured reference signals.

[0054] In 825, the UE 802 sends a beam report to the network 804 indicating the best beam (s) or a set of good beams based on the inference performed using the AI / ML model. In 830, the network transmits on the selected top set A beams. In 835, the UE 802 sends a beam report to the network 804 for the selected top set A beams. In 840, the network 804 sends the UE 802 a beam indication to update the control beam (s) and / or data beam (s) .

[0055] During operation, the UE 802 may request performance monitoring or performance monitoring resources. Thus, in 845, the UE 802 may request for performance monitoring or performance monitoring resources. In 850, the network 804 may configure the UE 802 with reference signals for performance monitoring and transmit the reference signals. In 855, the UE 802 may report the results of the performance monitoring to the network 804.

[0056] In other example embodiments, a model registry may be used. The model registry may include a mapping table that maps a base station to a standardized interface.

[0057] Fig. 9 shows a block diagram 900 that shows an example manner of how a model registry may be populated according to various example embodiments. The block diagram 900 shows a model registry 910, a first mobile operator 920 and a second mobile operator 930. The first mobile operator 920 may populate information into the model registry 910. For example, this information may include some or all of the information described  above such as the vendor of the base station, the product model of the base station, the beam adjustment parameters (e.g., based on time of day) , etc. The second mobile operator 930 may also populate information into the model registry 910. Where the information overlaps or is similar, the model registry 910 may link this information into a standardized interface, e.g., a base station of the first mobile operator and a base station of the second mobile operator may use the same AI / ML model because of the similarity of the populated information.

[0058] The determination of the similarity may be performed by the mobile operators (e.g., mobile operator 920 or mobile operator 930) or may be performed by an administrator of the model registry 910 that may be one of the operators or a third party. The model registry 910 may be a solution to privacy / proprietary issues because only the operators may have access to the model registry 910, e.g., UE vendors may not have access to the model registry 910 and the general public may not have access to the model registry 910.

[0059] The standardized interface information may be used in the same manner as the associated ID information described above. For example, Fig. 10 shows an example of a measurement resource configuration 1000 including the standardized interface according to various example embodiments. In this example, the measurement resource configuration 1000 includes a model-ID 1010 that is the standardized interface. As shown in Fig. 10, the model-ID 1010 may include the PLMN identity and an identity of the PLMN model. This information may be used in the same manner as the model-Tag described above with respect to the training and inference.

[0060] In further example embodiments, it is possible that vendors and / or mobile operators may not agree to disclose proprietary information (e.g., the associated IDs, the standardized interface, etc. ) . In this case, there may be many AI / ML models as described above, e.g., a mobile operator assign a unique associated ID to each individual base station, then training data collection effort is proportional to number of base stations under a mobile operator. Thus, the issue is how a UE may handle the number of different AI / ML models the UE may encounter in a period of time.

[0061] In some example embodiments, a UE-side server or a UE or a third-party service may be used to predict a trajectory when the UE is mobile. For example, in a current trajectory at a current speed, the UE may enter the coverage of cell-abc. However, if the UE is in a vehicle and the driver makes a turn at the traffic light, the UE may enter the coverage of cell-xyz. In this example, two AI / ML models may be downloaded through an application layer protocol to the UE (e.g., on the flash storage of the UE) . When the UE reaches the traffic light, then the UE-side server or the UE or the third-party service has more confidence on whether it will enter the coverage of cell-abc or cell-xyz. In this example, the UE-side server or the UE or the third-party service may predict that cell-abc is more likely. In this scenario, the AI / ML model for the cell-abc on the flash drive may be moved to the on-chip memory / AI-engine. A copy of the AI / ML model for cell-abc may remain on the flash storage. Other methods of predictions, such as the user’s normal movement throughout the day, etc. may be used to download appropriate AI models to the flash drive.

[0062] Eventually a limit may be reached when a new AI / ML model is downloaded and an old AI / ML model is overwritten. Thus, the AI / ML models residing on the flash storage and / or on-chip memory / AI-engine may change over time. Therefore, the supported AI / ML models may be updated continuously to the NW. In some example embodiments, the UE may initiate RRC signaling to the network that includes an IE to report the update of AI / ML models (or associated IDs) the UE supports, the update may include providing addition of associated IDs supported, and / or removal of associated IDs supported by the UE. In other example embodiments, the network may initiate the signaling such periodic probes or based on event (s) , to query the status of model availability at the UE.

[0063] In still further example embodiments, network operators may enter into a RAN sharing agreement. In a RAN sharing agreement, the network operators may share access network equipment (e.g., base stations) . Thus, this may reduce the workload issue, e.g., base stations are for multiple PLMNs. Thus, in the CSI measurement resource configuration (e.g., the Measurement Resource Configuration 1000 of Fig. 10) or a CS I reporting configuration, multiple entries of {PLMN, PLMN-unique ID} may be provided. For example, a current definition for allows for 8 or 12 PLMNs or PLMN IDs as defined by maxPLMN INTEGER : : = 12 --Maximum number of PLMNs broadcast and reported by UE at establishment or maxPLMNIdentities INTEGER : : = 8 --Maximum number of PLMN identities in RAN area configurations as described is 3GPP Technical Specification 38.523. In some scenarios, this may be enough information to cover a large number of mobile operators using a vendor’s equipment.

[0064] Examples

[0065] In a first example, a method, comprising generating, for transmission to a network, a capability report comprising an artificial intelligence (AI) or machine learning (ML) data collection capability, processing, based on signaling received from the network, an AI / ML data collection configuration comprising a reference signal (RS) configuration to be used for data collection, measuring RSs transmitted by the network according to the RS configuration, collecting training data based on measuring the RSs, generating, for transmission to a training entity, the training data and processing, based on signals received from the training entity, an AI / ML model trained using the training data.

[0066] In a second example, the method of the first example, wherein the RS configuration comprises multiple Public Land Mobile Network (PLMN) entries, wherein the AI / ML model is configured for use with multiple PLMNs.

[0067] In a third example, the method of the first example, wherein the AI / ML data collection configuration comprises an indication of a vendor of a base station transmitting the RSs and a product model identity of the base station.

[0068] In a fourth example, the method of the third example, wherein the indication of the vendor of a base station transmitting the RSs and the model identity of the base station comprises a hash or a tag.

[0069] In a fifth example, the method of the fourth example, wherein the hash or tag is included with the training data generated for transmission to the training entity.

[0070] In a sixth example, the method of the fourth example, wherein the hash or tag is included as metadata with the AI / ML model.

[0071] In a seventh example, the method of the sixth example, further comprising generating, for transmission to a second network, UE capability information comprising an indication that the AI / ML model having the hash or tag is supported.

[0072] In an eighth example, the method of the seventh example, wherein the second network is the same as the network or is different from the network.

[0073] In a ninth example, the method of the seventh example, further comprising processing, based on signaling from the second network, an inference configuration including a RS configuration for inference based on the AI / ML model having the hash or tag.

[0074] In a tenth example, the method of the first example, wherein the AI / ML data collection configuration comprises an indication of a standardized interface related to a base station transmitting the RSs.

[0075] In an eleventh example, the method of the tenth example, wherein the standardized interface is based on information stored in a model registry.

[0076] In a twelfth example, the method of the tenth example, further comprising generating, for transmission to a second network, UE capability information comprising an indication that the AI / ML model having standardized interface is supported.

[0077] In a thirteenth example, the method of the twelfth example, further comprising processing, based on signaling from the second network, an inference configuration including a RS configuration for inference based on the AI / ML model having the standardized interface.

[0078] In a fourteenth example, the method of the first example, further comprising storing the AI / ML model in non-volatile memory.

[0079] In a fifteenth example, the method of the fourteenth example, further comprising determining that the AI / ML model is to be used for inference of beams for a base station and copying the AI / ML model from the non-volatile memory to volatile memory.

[0080] In a sixteenth example, the method of the fourteenth example, further comprising generating, for transmission to the network, an indication of supported AI / ML models.

[0081] In a seventeenth example, the method of the fourteenth example, further comprising processing, based on signaling from the network, a request for identification of supported AI / ML models.

[0082] In an eighteenth example, a processor configured to perform any of the methods of the first through seventeenth examples.

[0083] In a nineteenth example, a processor configured to perform any of the methods of the first through seventeenth examples.

[0084] Although this application described various embodiments each having different features in various combinations, those skilled in the art will understand that any of the features of one embodiment may be combined with the features of the other embodiments in any manner not specifically disclaimed or which is not functionally or logically inconsistent with the operation of the device or the stated functions of the disclosed embodiments.

[0085] It is well understood that the use of personally identifiable information should follow privacy policies and practices that are generally recognized as meeting or exceeding industry or governmental requirements for maintaining the privacy of users. In particular, personally identifiable information data should be managed and handled so as to minimize risks of unintentional or unauthorized access or use, and the nature of authorized use should be clearly indicated to users.

[0086] It will be apparent to those skilled in the art that various modifications may be made in the present disclosure, without departing from the spirit or the scope of the disclosure. Thus, it is intended that the present disclosure cover modifications and variations of this disclosure provided  they come within the scope of the appended claims and their equivalent.

Claims

1.An apparatus comprising processing circuitry configured to:generate, for transmission to a network, a capability report comprising an artificial intelligence (AI) or machine learning (ML) data collection capability;process, based on signaling received from the network, an AI / ML data collection configuration comprising a reference signal (RS) configuration to be used for data collection;measure RSs transmitted by the network according to the RS configuration;collect training data based on measuring the RSs;generate, for transmission to a training entity, the training data; andprocess, based on signals received from the training entity, an AI / ML model trained using the training data.2.The apparatus of claim 1, wherein the RS configuration comprises multiple Public Land Mobile Network (PLMN) entries, wherein the AI / ML model is configured for use with multiple PLMNs.3.The apparatus of claim 1, wherein the AI / ML data collection configuration comprises an indication of a vendor of a base station transmitting the RSs and a product model identity of the base station.4.The apparatus of claim 3, wherein the indication of the vendor of a base station transmitting the RSs and the model identity of the base station comprises a hash or a tag.5.The apparatus of claim 4, wherein the hash or tag is included with the training data generated for transmission to the training entity.6.The apparatus of claim 4, wherein the hash or tag is included as metadata with the AI / ML model.7.The apparatus of claim 6, wherein the processing circuitry is further configured to:generate, for transmission to a second network, UE capability information comprising an indication that the AI / ML model having the hash or tag is supported.8.The apparatus of claim 7, wherein the second network is the same as the network or is different from the network.9.The apparatus of claim 7, wherein the processing circuitry is further configured to:process, based on signaling from the second network, an inference configuration including a RS configuration for inference based on the AI / ML model having the hash or tag.10.The apparatus of claim 1, wherein the AI / ML data collection configuration comprises an indication of a standardized interface related to a base station transmitting the RSs.11.The apparatus of claim 10, wherein the standardized interface is based on information stored in a model registry.12.The apparatus of claim 10, wherein the processing circuitry is further configured to:generate, for transmission to a second network, UE capability information comprising an indication that the AI / ML model having standardized interface is supported.13.The apparatus of claim 12, wherein the processing circuitry is further configured to:process, based on signaling from the second network, an inference configuration including a RS configuration for inference based on the AI / ML model having the standardized interface.14.The apparatus of claim 1, wherein the processing circuitry is further configured to:store the AI / ML model in non-volatile memory.15.The apparatus of claim 14, wherein the processing circuitry is further configured to:determine that the AI / ML model is to be used for inference of beams for a base station; andcopy the AI / ML model from the non-volatile memory to volatile memory.16.The apparatus of claim 14, wherein the processing circuitry is further configured to:generate, for transmission to the network, an indication of supported AI / ML models.17.The apparatus of claim 14, wherein the processing circuitry is further configured to:process, based on signaling from the network, a request for identification of supported AI / ML models.

Images