Data collection for ai / ML-based functionality

Abstract

Example embodiments of the present disclosure are directed to data collection for an artificial intelligence / machine learning (AI / ML) -based functionality are provided. According to an embodiment, a data collection device transmits, to at least one communication device, a data collection request for an AI / ML-based functionality in a communication system. The data collection device obtains, at least from the at least one communication device, a training dataset for the AI / ML-based functionality and metadata corresponding to the training dataset. The training dataset at least includes measurement data in the communication system, and the metadata at least indicates context information related to collection of the training dataset.

Description

DATA COLLECTION FOR AI / ML-BASED FUNCTIONALITYField

[0001] Embodiments of the represent disclosure relate to the field of telecommunication and in particular, to a method, device, apparatus, and computer readable storage medium for data collection for artificial intelligence / machine learning (AI / ML) -based functionality.Background

[0002] This section introduces aspects that may facilitate better understanding of the present disclosure. Accordingly, the statements of this section are to be read in this light and are not to be understood as admissions about what is in the prior art or what is not in the prior art.

[0003] In the telecommunication industry, artificial intelligence / machine learning (AI / ML) models have been employed in telecommunication systems to improve the performance of telecommunications systems. For example, supporting various positioning mechanisms to provide reliable and accurate user equipment (UE) location has always been one of the key features of in the telecommunications systems. It has been agreed to investigate the potential for AI / ML in air interface to improve comprehensive performance in fifth generation (5G) -advanced. AI / ML based positioning mechanism to improve the positioning accuracy is one of the use cases to apply AI / ML in air interface. Works are on-going regarding data collection for model training, updating / fine-tuning, monitoring of the AI / ML models.Summary

[0004] This summary is provided to introduce a selection of concepts in a simplified form that are further described below in the detailed description. This summary is not intended to identify key features or essential features of the claimed subject matter, nor is it intended to be used to limit the scope of the claimed subject matter.

[0005] One of the objects of the present disclosure is to provide an improved solution for data collection for artificial intelligence / machine learning (AI / ML) -based functionality. This solution defines the operational features of data collection and management of contextual information and tagging the measurement data with context information. It provides concrete management features to create context information on reference signals, service area, and spatial and frequency-locality, spatial filtering of TX and RX for classifying and tagging measurement data.

[0006] According to a first aspect of the present disclosure, a method implemented at a data collection device is provided. The method comprises transmitting, to at least one communication device, a data collection request for an artificial intelligence / machine learning (AI / ML) -based functionality in a communication system; and obtaining, at least from the at least one communication device, a training dataset for the AI / ML-based functionality and metadata corresponding to the training dataset, the training dataset at least comprising measurement data in the communication system, and the metadata at least indicating context information related to collection of the training dataset.

[0007] According to a second aspect of the present disclosure, a data collection device is provided. The data collection device comprises: at least one processor; and at least one memory, the at least one memory containing instructions executable by the at least one processor, whereby the data collection device is operative to: transmit, to at least one communication device, a data collection request for an artificial intelligence / machine learning (AI / ML) -based functionality in a communication system; and obtain, at least from the at least one communication device, a training dataset for the AI / ML-based functionality and metadata corresponding to the training dataset, the training dataset at least comprising measurement data in the communication system, and the metadata at least indicating context information related to collection of the training dataset.

[0008] According to a third aspect of the present disclosure, a communication system is provided. The communication system comprises: at least one data collection device that is operative to perform the method according to the above first aspect; at least one terminal device; and at least one network device.

[0009] According to a fourth aspect of the present disclosure, a computer readable storage medium is provided. The computer readable storage medium may comprise instructions, which, when executed by at least one processor, cause the at least one processor to perform the method according to the above first aspect.Brief Description of the Drawings

[0010] These and other objects, features and advantages of the present disclosure will become apparent from the following detailed description of illustrative embodiments thereof, which are to be read in connection with the accompanying drawings.

[0011] FIG. 1 illustrates an architecture for UE positioning and logical protocols among different entities applicable to NG-RAN in accordance with some embodiments of the present disclosure;

[0012] FIG. 2 illustrates a flowchart for a method implemented at a data collection device in accordance with some embodiments of the present disclosure;

[0013] FIG. 3 is a block diagram showing an apparatus suitable for use in practicing some embodiments of the present disclosure;

[0014] FIG. 4 is illustrates flowchart for a method implemented at a data collection device in accordance with some embodiments of the present disclosure;

[0015] FIG. 5 shows an example of a communication system in accordance with some embodiments of the present disclosure;

[0016] FIG. 6 shows a block diagram of a UE in accordance with some embodiments of the present disclosure;

[0017] FIG. 7 shows a block diagram of a network node in accordance with some embodiments of the present disclosure; and

[0018] Throughout the drawings, the same or similar reference numerals represent the same or similar element.Detailed Description

[0019] For the purpose of explanation, details are set forth in the following description in order to provide a thorough understanding of the embodiments disclosed. It is apparent, however, to those skilled in the art that the embodiments may be implemented without these specific details or with an equivalent arrangement.

[0020] Some of the embodiments contemplated herein will now be described more fully with reference to the accompanying drawings. Other embodiments, however, are contained within the scope of the subject matter disclosed herein, the disclosed subject matter should not be construed as limited to only the embodiments set forth herein; rather, these embodiments are provided by way of example to convey the scope of the subject matter to those skilled in the art.

[0021] Generally, all terms used herein are to be interpreted according to their ordinary meaning in the relevant technical field, unless a different meaning is clearly given and / or is implied from the context in which it is used. All references to a / an / the element, apparatus, component, means, step, etc. are to be interpreted openly as referring to at least one instance of the element, apparatus, component, means, step, etc., unless explicitly stated otherwise. The steps of any methods disclosed herein do not have to be performed in the exact order disclosed, unless a step is explicitly described as following or preceding another step and / or where it is implicit that a step must follow or precede another step. Any feature of any of the embodiments disclosed herein may be applied to any other embodiment, wherever appropriate. Likewise, any advantage of any of the embodiments may apply to any other embodiments, and vice versa. Other objectives, features and advantages of the enclosed embodiments will be apparent from the following description.

[0022] Reference throughout this specification to features, advantages, or similar language does not imply that all of the features and advantages that may be realized with the present disclosure should be or are in any single embodiment of the present disclosure. Rather, language referring to the features and advantages is understood to mean that a specific feature, advantage, or characteristic described in connection with an embodiment is included in at least one embodiment of the present disclosure. Furthermore, the described features, advantages, and characteristics of the present disclosure may be combined in any suitable manner in one or more embodiments. One skilled in the relevant art will recognize that the present disclosure may be practiced without one or more of the specific features or advantages of a particular embodiment. In other instances, additional features and advantages may be recognized in certain embodiments that may not be present in all embodiments of the present disclosure.

[0023] As used herein, the terms “first” , “second” and so forth refer to different elements. The singular forms “a” and “an” are intended to include the plural forms as well unless the context clearly indicates otherwise. The terms “comprises” , “comprising” , “has” , “having” , “includes” and / or “including” as used herein, specify the presence of stated features, elements, and / or components and the like, but do not preclude the presence or addition of one or more other features, elements, components and / or combinations thereof. The term “based on” is to be read as “based at least in part on” . The term “one embodiment” and “an embodiment” are to be read as “at least one embodiment” . The term “another embodiment” is to be read as “at least one other embodiment” . Other definitions, explicit and implicit, may be included below. The term “one or more elements” used is to be read as “only one element” or “a plurality of elements” . The term “at least element” used is to be read as “only one element” or “more than one element” . As used herein, the term “and / or” includes any and all combinations of one or more of the associated listed terms.

[0024] As used herein, the term “terminal device”  /  “communication device” may be any device intended for accessing services via an access network and configured to communicate over the access network. For instance, the terminal device / communication device may be, but is not limited to: mobile phone, smart phone, sensor device, meter, vehicle, household appliance, medical appliance, media player, camera, or any type of consumer electronic, for instance, but not limited to, television, radio, lighting arrangement, tablet computer, laptop, or PC. The terminal device / communication device may be a portable, pocket storable, hand-held, computer-comprised, or vehicle-mounted mobile device, enabled to communicate voice and / or data, via a wireless or wireline connection. The term “terminal device” may be referred to as a mobile station (MT) . Alternatively, the term “terminal device” may be referred to as a user equipment (UE) . The terms “terminal device” and “UE” can be used interchangeably hereinafter.

[0025] The term “network device” refers to a node in a communication network via which a terminal device accesses the network and receives services therefrom. The network device may refer to a base station (BS) or an access point (AP) , for example, a node B (NodeB or NB) , an evolved NodeB (eNodeB or eNB) , an NR NB (also referred to as a gNB) , a Remote Radio Unit (RRU) , a radio header (RH) , a remote radio head (RRH) , a relay, an Integrated Access and Backhaul (IAB) node, a low power node such as a femto, a pico, a non-terrestrial network (NTN) or non-ground network device such as a satellite network device, a low earth orbit (LEO) satellite and a geosynchronous earth orbit (GEO) satellite, an aircraft network device, and so forth, depending on the applied terminology and technology.

[0026] AI / ML model is now utilized in the communication system to facilitate various communication-related functionalities. The learning capability of AI creates advantageous policies or strategies directly based on data instead of human logic and symbolic modeling and analysis. AI / ML-enabled solutions essentially employ data-driven learning approaches where the models learn the underlying data distribution and the relationship between the inputs and outputs without the need for understanding the underlying complex processes. ML has been found to be an effective tool in radio positioning, for instance, 3GPP has now been investigating an A / ML-based positioning method, i.e., channel state information or time of arrival measurements based on the so-called fingerprint method for positioning, especially for indoor.

[0027] Further, for indoor factory positioning, a 3GPP study item on fingerprint-based machine learning method for indoor position has been in progress. As illustrated in the following, different radio propagations could result in quite different channel features, such as channel coherent bandwidth, and channel variation over time and space. One of the most important features is that the channel becomes a rich multipath indoors, especially when the indoor is fully occupied with a lot of so-called clusters, such as machines and storage. The line of sight (LOS) between the radio base station antenna (TRP) and the User-terminal (UE) is seldom available.

[0028] Furthermore, for the current / legacy positioning method, the 3GPP standard specified the positioning method based geometric calculation of time measurements presuming LOS-dominated propagation environments. FIG. 1 illustrates an architecture 100 for UE positioning and logical protocols among different entities applicable to Next Generation Radio Access Network (NG-RAN) in accordance with some embodiments of the present disclosure. As shown in FIG. 1, the NG-RAN 102 includes an ng-eNB 110 and a gNB 120. An ng-eNB 110 may include one or more transmission points (TPs) , and the gNB 120 may include one or more transmission reception points (TRPs) . An example of the detailed structure of the gNB 120 is also illustrated. The gNB 120 may include a central unit (CU) , e.g., a gNB-CU 122, and one or more distributed units (DUs) , e.g., gNB-DUs 124, 126. A gNB-DU may include a TP, a reception point (RP) , and / or a TRP. A UE or positioning reference unit (PRU) 150 can access to the NG-RAN 102, e.g., to the ng-eNB 110 or to the gNB 120. The UE positioning architecture 100 also includes some network entities in the core network (CN) , such as an Location Management Function (LMF) 130, an Access and Mobility Management Function (AWF) 140. The LMF 130 and AWF 140 may also interface with the ng-eNB 110 and the gNB 120 in the NG-RAN 102. The protocols between entities are shown in FIG. 1.

[0029] It is to be understood that the number of devices and their connections shown in FIG. 1 are only for the purpose of illustration without suggesting any limitation. The architecture 100 may include any suitable number of devices configured to implementing example embodiments of the present disclosure.

[0030] Problems with the existing or published technology can be illustrated as follows. 3GPP Work Item Description” of R19 has the following information on a Work Item: “Title: New WID on Artificial Intelligence (AI)  / Machine Learning (ML) for NR Air Interface” : Positioning accuracy enhancements, encompassing [RAN1 / RAN2 / RAN3] : ○ Direct AI / ML positioning: ■ (1st priority) Case 1: UE-based positioning with UE-side model,  direct AI / ML positioning, ■ (2nd priority) Case 2b: UE-assisted / LMF-based positioning with  LMF-side model, direct AI / ML positioning, ■ (1st priority) Case 3b: NG-RAN node assisted positioning with LMF- side model, direct AI / ML positioning. ○ AI / ML assisted positioning ■ (2nd priority) Case 2a: UE-assisted / LMF-based positioning with UE- side model, AI / ML assisted positioning, ■ (1st priority) Case 3a: NG-RAN node assisted positioning with gNB- side model, AI / ML assisted positioning. ○ Specify necessary measurements, signaling / mechanism (s) to facilitate LCM  operations specific to the Positioning accuracy enhancements use cases, if any ○ Investigate and specify the necessary signaling of necessary measurement  enhancements (if any) ○ Enabling method (s) to ensure consistency between training and inference  regarding NW-side additional conditions (if identified) for inference at UE for relevant positioning sub use cases. -Core requirements for the above two use cases for AI / ML LCM procedures and UE  features [RAN4] : ○ Specify necessary RAN4 core requirements for the above two use cases. ○ Specify necessary RAN4 core requirements for LCM procedures including  performance monitoring.

[0031] Therefore, in 3GPP, data collection is important to facilitate ML model training (e.g., for positioning models, beam management models, etc. ) as well as model monitoring purposes. How to manage the data collection processes and data contents is of great importance to R19 of AI / ML-based functionalities.

[0032] In example embodiments of the present disclosure, a solution for data collection in AI / ML-based functionalities in a communication system is proposed. A data collection device is proposed to be established in a communication network (e.g., the 3GPP 5G or 6G network) for supporting AI / ML activities. Some embodiments of the present disclosure further define the operational features of data collection and management of contextual information and tagging the measurement data with context info. Some embodiments of the present disclosure further provide concrete management features to create context information on reference signals, service area, and spatial and frequency-locality, spatial filtering of TX and RX for classifying and tagging measurement data.

[0033] In some example embodiments of the present disclosure, a data collection process and its responsible function have been proposed with their concrete operational features for the communication network (e.g., the 3GPP 5G or 6G network) . Some embodiments of the present disclosure also describe the interaction between the data collection device AI / ML training function and relevant nodes.

[0034] Embodiments of the present disclosure will be described in detail below with reference to the accompanying drawings.

[0035] Reference is now made to FIG. 2 which shows a flowchart for a method 200 implemented at a data collection device in accordance with some embodiments of the present disclosure.

[0036] The data collection device may support data collection for one or different types of AI / ML-based functionalities in the communication network, including but not limited to AI / ML-based positioning functionality, AI / ML-based beam prediction or beam management, and / or the like. In some embodiments, the data collection device for machine learning based positioning is a network subfunction. The data collection device may serve all the options of positioning use cases1, 2, 3 though the concrete source of channel measurements (corresponding to model input) , source of labels (corresponding to model output) , storage entity for the training dataset, and model training entity may differ among use cases.

[0037] The data collection device may also be referred to as a data collection function, node, component, or unit. In some embodiments, the data collection device may be a component of LMF, or a standalone function in edge-computing-cloud, or a function in the core network.

[0038] At block 210, the data collection device transmits, to at least one communication device, a data collection request for an artificial intelligence / machine learning (AI / ML) -based functionality in a communication system. At block 220, the data collection device obtains, at least from the at least one communication device, a training dataset for the AI / ML-based functionality and metadata corresponding to the training dataset. The training dataset at least comprises measurement data in the communication system, and the metadata at least indicates context information related to collection of the training dataset.

[0039] In response to the data collection request, the at least one communication device may perform measurement for the AI / ML-based functionality and transmit measurement data to the data collection device. The at least one communication device may be data collection assisting node (s) in the communication system, which may include one or more UEs, one or more PRUs, one or more RAN devices, and the like. The measurement data may be related to the type of the AI / ML-based functionality, e.g., the positioning-related measurements, or the beam management-related measurements.

[0040] In example embodiments of the present disclosure, the data collection device collects and maintains measurements of radio network (at either uplinks or downlinks) that are most useful for a machine learner to capture inter-parameter relationship. A positioning service provider can use such measurements in model inference and determine the location of the target UE. This data collection function endeavors to collect training data for the most informative features. The training dataset can be used to build and train an AI / ML model by a positioning service provider or other service providers.

[0041] In some embodiments, the central task for the data collection device is to manage proper measurements, tag and categorize the data samples, and communicate with the training dataset consumer or subscriber functions on-demand. In some embodiments, the collected training dataset may be provided to the dataset consumer or subscriber, e.g., for training one or more AI / ML models. The dataset consumer or subscriber may be the model trainer or model leaner, which may be a terminal device or a network entity in the communication system.

[0042] In operation (i.e., performing training data collection) , the data collection device may pursue the data-consistency on measurement conditions to ensure that a model trained with the collected data samples can achieve the targeted key performance indicators (KPIs) during model inference, for example, the collected training data fully reflect the range of conditions that the model may experience during inference. The data collection device may provide data-collection context information (i.e., metadata / context / setting about measurements) along with the measurement data, so that the consumer or subscriber of the collected training dataset is aware of the data-collection context.

[0043] In some example embodiments, the metadata may be provided to the consumer or subscriber together with the training dataset. The consumer or subscriber can treat measurement data samples differently according to the data-collection-context. This facilitates a better use of the training data samples in both the model training stage and the model inference stage. In short, it uses the context information in model training and model inference processes to ensure that the trained model can fulfill the desired positioning functionality with adequate performance.

[0044] The data collection device manages data components for different AI / ML-relevant purposes. As aforementioned, to make the ML learner aware of the data-collection-context, data collection / management function also conducts a data tagging and analysis to generate metadata to describe the collected data using their context-relevant attributes. Therefore, regarding the structural characteristics of a training data set, at least two categories of the training data will be collected and maintained, and provided to the ML trainers. The two categories may include Category A that contains measurement data in the training dataset, and Category B that contains metadata corresponding to each of measurement data sets.

[0045] For Category A, the measurement data refers to data samples that corresponding to model input and model output, which are collected for the purpose of model training. The measurement data can take several formats. □In one option, the measurement data are versions of raw data, i.e., data as collected in the field. Typically the raw data contain measurements of wireless signals on uplink, or downlink, or sidelink. In another option, the measurement data is processed or filtered data, which are obtained after certain preprocessing of the raw data. Pre-processed data can be preferred over raw data since it is more efficient for storage and transport. The preprocessing may include one or more of the following actions: (a) perform dimensional reduction of the features for the model input, e.g., remove redundant features; (b) convert raw measurements of wireless signal to a transformed signal of smaller size; (c) re-sample the raw data to use a portion of the original data; (d) analyze the raw data such that less effective training data samples are filtered out, e.g., redundant data; biased data; obsolete historical data, data that are too noisy or too distorted.

[0046] For Category B, in contrast to measurement data, the metadata are not to data samples that corresponding to model input and model output. Metadata provides context information about the training dataset, for example, time and location the measurement data is collected, the type of UEs involved, the type of network nodes involved, IDs of the UEs, IDs of network nodes, etc. In principle, to keep data-efficiency, only context information potentially impacting ML performance are included in the metadata set to accompany the measurement data.

[0047] In some embodiments, to support supervised learning, the measurement data includes (a) channel measurements which correspond to model input, as well as (b) label data which correspond to model output. The measurement data in the training dataset may comprise a plurality of measurement data samples each corresponding to a model input and a model output for the AI / ML-based functionality. In some embodiments, when the label data is difficult to obtain, some of the measurement data may contain (a) only, i.e., without label data for the corresponding channel measurements. In this case, semi-supervised learning is used instead in the model training.

[0048] In some embodiments, the metadata may be stored in a dictionary format for each attribute of the training dataset or a datapoint in the training dataset. Alternatively, or in addition, the measurement data may be stored in arrays or sequences in the training dataset. The metadata are arranged in a dictionary format for each attribute of a dataset or a datapoint in a dataset. One example is in a format of YAML file. In contrast, the measurement data are stored in arrays or sequences.

[0049] In some embodiments, to obtain the training dataset, the data collection device may collect a plurality of available features for the measurement data and determine relevance of respective available features of the plurality of available features to the AI / ML-based functionality. The data collection device may store a measurement data sample into the training dataset based on the determined relevance. For example, the data collection device determines the relevance of each available feature to the positioning purpose, for example, TRP ID, PRS resource ID, power delay profile (PDP) of the wireless channel. The raw measurement data may be preprocessed according to a certain criterion. In one example, only measurement data samples without missing features are considered valid and stored in the training dataset. Otherwise, the measurement data sample is considered corrupted and discarded. In another example, only measurement data samples that are determined to be effective for training are stored; otherwise, the measurement data sample is considered ineffective or redundant, and discarded.

[0050] In some embodiments, a dataset ID and / or a version number for the training dataset may be created. Additionally, the training dataset in association with the dataset ID and / or the version number may be maintained or shared. Herein, data-set IDs and version numbers are mandatory in data-sharing and maintenance and should be created and maintained by the data collection device.

[0051] In some embodiments, the data collection device may receive a dataset request from a further communication device that is configured to train an AI / ML model. In accordance with a determination that a type of a training dataset matches with a type of the AI / ML model, the data collection device may provide the training dataset to the further communication device.

[0052] In some examples, UE or network-side ML model trainers may request datasets from the data collection device. A collected dataset may be intended for different designs of the AI / ML model, such as AI / ML models intended for different deployment environment; models intended for different geographic locations, ML models of different purposes or even different use cases. For example, a first dataset is retrieved for the purpose of beam management; a second dataset is retrieved for the purpose of positioning; a third dataset is retrieved for indoor deployment; a fourth dataset is retrieved for outdoor deployment. Thus, multiple different datasets may be retrieved from the super-dataset stored and maintained by the data collection device. Each of the multiple different datasets can be used to train and obtain a different ML model.

[0053] In some embodiments, in data collection for an AI / ML-based functionality, the data collection device specifies a condition or threshold for triggering measurement data collection. It also specifies a condition or threshold for terminating the measurements data collection. The data collection device may determine whether a data collection start condition is satisfied. If the data collection start condition is satisfied, the data collection device may start collection of the training dataset. The data collection device may further determine whether a data collection termination condition is satisfied. In accordance with a determination that a data collection termination condition is satisfied, the data collection device may terminate the collection of the training dataset.

[0054] In some embodiments, the data collection device may determine data labels, which corresponds to the model output. The label varies with model design and use cases. For example, for the positioning use case, the label is typically the position information of the UE; for UE-side beam management, the label is the best transmit beam ID. Data collection function manages how to determine labels. Optionally, measurement datapoints without labels can be collected also.

[0055] In some embodiments, to obtain the training dataset, the data collection device may configure at least one of following data collection requirements: a minimum total number of data samples to be collected, a minimum spatial sampling density for an area, or a highest acceptable percentage of corrupted measurement data sample. Obtaining the training dataset may further comprise obtaining the training dataset based on the at least one data collection requirement.

[0056] In an example, the data collection device is responsible for configuring a minimum total number of data samples to collect, Ntrain_dataset_min (unit: number of samples) . This ensures that the training dataset is larger than or equal to the acceptable minimum size Ntrain_dataset_min. Alternatively, the data collection device may configure a minimum spatial sampling density, Dtrain_dataset_min (unit: number of samples per square meter) for a given area. This ensures that the sample density of the training dataset is larger than or equal to the acceptable minimum Dtrain_dataset_min.

[0057] In a further example, the data collection device may alternatively or additionally configure a highest acceptable percentage (ptrain_data_degrade) of data samples that are corrupted in some way, e.g., measurements with missing features, measurements with poor quality, measurements with poor Signal to Interference plus Noise Ratio (SINR) , out-of-sync measurements, measurements without label, labels with error worse than a threshold, obsolete data, etc. Keeping the proportion of corrupted data samples below an allowable threshold (e.g., ptrain_data_degrade=5%) ensures that the quality of the training dataset is satisfactory. This is important since the quality of training dataset directly affects the quality of the ML model that can be obtained.

[0058] In embodiments of the present disclosure, to secure an integrity of AI / ML based positioning service, one of key aspects is to have a consistent radio-link condition between model training stage and model inference stage. That is, the training-context (i.e., the context of the trained model) is consistent with the inference context (i.e., the context of the model deployment) . Here the training-context is highly correlated to the training-data-context. For example, the training-context can be identical to the training-data-context. Alternatively, the training-context can be a subset of the training-data-context, when only part of the training data samples or features are used in model training. Another alternative is, the training-context is a superset of two or more training-data-context, when data samples of two or more training datasets are combined into one to support model training.

[0059] Owing to diversity of radio communications and channel status, consistency between model training stage and model inference stage may not be strictly ensured under certain circumstances, which causes misaligned contexts between the training stage and the corresponding inference stage. Misaligned contexts lead to poor model inference performance and should be avoided as much as possible. Contextual information to indicate different conditions should be informative and contribute to improving the positioning service quality. Therefore, the data collection device collect both the measurement data in the training dataset as well as metadata indicating context information related to the collection of the training dataset.

[0060] In some embodiments, the metadata corresponding to a training dataset may comprise at least one of the following: context information related to wireless communication signals that are communicated for collecting the training dataset. The metadata may additionally or alternatively include context information related to locality where the training dataset is collected. Alternatively, or in addition, the metadata may further include context information related to spatial filtering applied in transmitting and / or receiving the wireless communication signals. The data collection device may determine itself or receive one or more types of the context information from one or more communication devices which participate in the data collection of the training dataset.

[0061] The context information related to wireless communication signals may also be referred to as “wireless signal related context” . During the data collection, attributes of the data samples need to be collected while collecting measurement data. Some attributes of the data samples can be recorded as (part of) data-collection-context, and / or (part of) training-context.

[0062] Specifically, metadata of the trained AI / ML model (i.e., training-context) need to contain the parameters that affect AI / ML performance. These parameters generally indicate informative context about the wireless communication signals. Essentially, the following aspects may be indicated in the context information related to wireless communication signals: ·Area ID: a geographic area where the data sample is collected. Different  candidate types are, for instance, as follows: ○ Area ID = list of cell IDs (E-UTRAN-Cell Global Identifier (CGI) or NG- RAN CGI) , associated with a measurement TRP cluster of simultaneous measurement on radio features relevant to a UE, ○ A list of TRP IDs, ○ A list of tracking area (identified by TAC -Tracking Area Code) ; ·Parameters of reference signal characteristics, for instances, some field values  defined in NR-DL-PRS-Info, ·Downlink-Positioning Reference Signal (DL-PRS) positioning capabilities of  the UEs, ·Measurement gap configuration when performing the measurements, such as  Measurement Gap Repetition Period, Measurement Gap Length (MGL) or UE PRS processing window parameters, ·Spatial filtering / weighting characteristics of reference signals at TX and RX,  such as NR-DL-PRS-BeamInfo: dl-PRS-Azimuth, dl-PRS-Elevation, · Number of transmit antenna ports, · Number of receive antenna ports, · Bandwidth part (BWP) , numerology (e.g., subcarrier spacing (SCS) ) ,  bandwidth, frequency layer, number of carriers, bandwidth of each carrier, · LoS / NLoS indicator (s) , · QCL relationships, · Timestamp, · Bandwidth aggregation, · Datapoint quantization scheme.

[0063] The context information related to locality where the training dataset is collected may also be referred to as “service-area and locality related context. ” The data collection device may trigger and organize measurement and collection processes over locality / node / devices and may act iteratively to achieve the function targets. In order to address the locality attributes of the training dataset, it is necessary also to include the following location / locality related attributes in the metadata along with the measurement data.

[0064] The locality / node / device relevant context information may, for examples, include one or more of the following: 1) AreaID-CellList, to represent an area where the data collection is performed,  represented as DataCollectionAreaID, 2) Manage the network nodes (e.g., gNBs, TRPs) and devices (i.e., UEs) , involved  in the operational processes of data-collection with proper setting on measurement implementation parameters: ■ Resource assignment ■ Reference signal configurations ■ Reporting mechanism / channels (e.g., data samples are reported by the UEs  to TRP, followed by TRP forwarding the data samples to data collection device) , 3) Determine measurements with PRS-only TRP on an assignment of reporting  anchoring TRP / cell, 4) Identify the status of spatial density of the measurements over the target area, the  balance of data distribution. Trigger new measurements for data collection if the spatial density is lower than the threshold Dtrain_dataset_min, or the data distribution is uneven over the target area. ■ Initialize a data-collection process when the request of data samples has  been received. ■ Enrich or densify the measurements at certain area when necessary. For  example, more data samples are collected over the area with sparse samples. 5) Determine the data-set update schedule, phase-out schedule, the trigger of on- demand data-collection; identify the location / site / service-area of the collected data, and determine the version number (s) of the collected training dataset (s) . 6) Manage PRUs to ensure its operational quality: ■ Grade PRUs in its capability such as label (position) accuracy level. ■ Communicate with the PRU and control PRU behaviors. ■ Determine to collect data from stationary vs. mobile PRUs. A stationary  PRU is a PRU affixed to a location in a cell and act in the role of data-collection member device, while a mobile PRU can move around in a cell. ■ Manage inter-PRU measurements and resource allocations ■ Broadcast system information relevant to PRUs for PRU’s membership  registration. 7) Determine diversity of data sources, for example, configure several carrier  frequencies to have measurement at multiple different frequencies; collect a variety of data samples over the same location or service area; synchronize the measurement steps for near-simultaneous measurements at multiple different locations.

[0065] The context information related to spatial filtering may be referred to as “spatial filtering related ML context” . NR and future generations of TRPs or UEs are equipped with an increasing number of antennas (arrays) or panels. Spatial filtering at TX and RX strongly impacts the measurement results, thus it becomes a crucial aspect of measurement data context. The context information related to spatial filtering may include tagging of TX beam indication for AI ML measurements and tagging of Rx beam indication for AI ML measurements.

[0066] For tagging of TX beam indication for AI ML measurements, regarding the reference signal transmission, each of reference signal may have different beamforming to offset the large path-loss in certain cases to minimize coverage vacancy. Specifically, regarding PRS, the TRP / gNB would be aware of TX spatial filtering status (or: beam indication) associated with PRS transmission, when PRS-based measurement data is collected by UE. Whenever a measurement report of PRS is received (which is initiated by a data collection device) , then the associated TX spatial filtering status (or beam indication) can be obtained from TRP / gNB and used to tag the measurement data from UE.

[0067] For tagging of Rx beam indication for AI ML measurements, similar to the TX beam for a RS, RX beam is variable due to multiple antenna configuration and potentially random flipping of beam orientation. To ensure the data consistency over RX beams, it necessary to tag the data samples with the associated spatial filtering status (or: beam indication) , whenever different RX beams could be possibly used. The TX and RX beam information are sent to the data collection device, so that spatial filtering status information (or: beam indication) is used to tag the measurement data.

[0068] In some embodiments, the at least one communication device that assist in data collection may comprise at least one of the following: at least one user equipment (UE) , at least one positioning reference unit (PRU) , or at least one network device.

[0069] FIG. 3 is a block diagram showing an apparatus 300 suitable for use in practicing some embodiments of the present disclosure. For example, any one of communication devices described above, including the terminal devices and the base station, may be implemented through the apparatus 300. As shown, the apparatus 300 may include a processor 310, a memory 320 that stores a program, and optionally a communication interface 330 for communicating data with other external devices through wired and / or wireless communication.

[0070] The program includes program instructions that, when executed by the processor 310, enable the apparatus 300 to operate in accordance with the embodiments of the present disclosure, as discussed above. That is, the embodiments of the present disclosure may be implemented at least in part by computer software executable by the processor 310, or by hardware, or by a combination of software and hardware.

[0071] The memory 320 may be of any type suitable to the local technical environment and may be implemented using any suitable data storage technology, such as semiconductor-based memory devices, flash memories, magnetic memory devices and systems, optical memory devices and systems, fixed memories and removable memories. The processor 310 may be of any type suitable to the local technical environment, and may include one or more of general-purpose computers, special purpose computers, microprocessors, digital signal processors (DSPs) and processors based on multi-core processor architectures, as non-limiting examples.

[0072] Inter-active signaling between the data collection device and data collection assisting nodes (e.g., UE / PRUs) is described in some example embodiments of the present disclosure. Further, management of RAN nodes in terms of their data collection assistance and its responsible signaling has been proposed for AI / ML positioning with a communication network (e.g., the 3GPP 5G or 6G network) . Some example embodiments of the present disclosure also describe member registration, ID assignment, measurement behaviors of UE / PRUs for the data collection device, data-collection reliability validating, as well as measurement of spatial density control.

[0073] Referring to FIG. 4, a signaling flow 200 of device management in data collection for artificial intelligence / machine learning (AI / ML) -based functionality is provided in accordance with some embodiments of the present disclosure. The signaling flow 200 involves a data collection device 201 and a plurality of communication devices 202 which may potentially participate in data collection.

[0074] The data collection device 201 may support data collection for one or different types of AI / ML-based functionalities in the communication network, including but not limited to AI / ML-based positioning functionality, AI / ML-based beam prediction or beam management, and / or the like. In some embodiments, the data collection device for machine learning based positioning is a network subfunction. The data collection device may serve all the options of positioning use cases1, 2, 3 though the concrete source of channel measurements (corresponding to model input) , source of labels (corresponding to model output) , storage entity for the training dataset, and model training entity may differ among use cases.

[0075] The data collection device 201 may also be referred to as a data collection function, node, component, or unit. In some embodiments, the data collection device 201 may be a component of LMF, or a standalone function in edge-computing-cloud, or a function in the core network.

[0076] A communication device 202 may be data collection assisting node (s) in the communication system, which may include one or more UEs, one or more PRUs, one or more RAN devices (e.g., TRPs, gNBs) and the like. The measurement data collected by the communication device 202 may be related to the type of the AI / ML-based functionality, e.g., the positioning-related measurements, or the beam management-related measurements. In the applications of data collection, a communication device 202 may also be referred to as a data collection assisting node, a measurement node, or the like.

[0077] As shown in FIG. 2B, a data collection device 201 transmits (205) , to a plurality of communication devices 202 in a communication system, information about data collection for an artificial intelligence / machine learning (AI / ML) -based functionality in the communication system. The transmitted information at least comprises data collection domain information that indicates an identity of a geographic subarea for data collection. Then, the communication device 202 receives (210) , from a data collection device, information about data collection for an artificial intelligence / machine learning (AI / ML) -based functionality in the communication system. The received information at least comprises data collection domain information that indicates an identity of a geographic subarea for data collection.

[0078] The data collection device 201 assigns (215) at least one of the plurality of communication devices 202 with a role of assisting the data collection in the geographic subarea. Then, the communication device 202 receives (220) , from the data collection device 201, assigning of the communication device with a role of assisting the data collection in the geographic subarea.

[0079] Furthermore, the communication device 202 provides (225) , to the data collection device 201, measurement data collected by the communication device to generate a training dataset for the AI / ML-based functionality. Then, the data collection device 201 collects (230) , from the at least one communication device 202, a training dataset for the AI / ML-based functionality.

[0080] In example embodiments of the present disclosure, a proposal is made to define management on data-collection assisting nodes, and to support interaction between data collection device 201 at a network side (e.g., 3GPP 5G+ or 6G network side) . Methods are also provided for managing UE / PRUs / TRPs / gNBs in terms of behavior control, regulation, and / or instruction.

[0081] How to determine and broadcast system information about data-collection is illustrated as follows. The data collection device 201 may determine certain information for supporting data-collection. Such information is sent to the at least one network device (e.g., TRPs / gNBs) from the data collection device 201. Such information may be transmitted to the PRU / UEs by their serving network device (e.g., TRPs / gNBs) in a broadcast message, for example, system information.

[0082] One or more of the following types of information can be included in the system information: data-collection domain information. The data-collection domain information indicates an indivisible service sub-area associated with a data_collection_subarea_ID.

[0083] It should be noted that the plurality of communication devices 202 may correspond to e.g., UEs, PRUs, TRPs, gNBs. Furthermore, the data collection device 201 sends the sub-area information (e.g., data_collection_subarea_ID) to the data collection assisting nodes deployed to cover the sub-area. The data collection assisting nodes may include network-side nodes and UE-side nodes. The data collection assisting nodes (e.g., UEs, PRUs, TRPs, gNBs) become aware of the sub-area information, after their registration as a member of a data-collection cooperative node in the given sub-area. Each sub-area is assigned with a data_collection_subarea_ID.

[0084] For the data collection purpose, to address its spatial locality, a data collection device 201 first determines a domain splitting scheme (sub-scopes of the whole service area) , for example, by TRP-ID, cell-ID, sector ID, or cell-ID group. Such a list of cell_IDs (for example) is used to indicate the smallest indivisible geographic area for data-collection. In some embodiments, the data collection domain information may indicate an identity of an indivisible geographic subarea for the data collection.

[0085] A dataset of measurements collected in such a sub-area will be most informative to the ML function within this sub-area while any other data collected outside this sub-area are irrelevant or less relevant.

[0086] In some embodiments, the data collection device 201 may determine a domain splitting scheme for a service area, to split the service area into at least one geographic subarea for data collection. The information including at least the data collection domain information may be transmitted to a plurality of communication devices 202 deployed in the geographic subarea.

[0087] For data collection purposes, to address its spatial locality, a data collection device 201 may first determine a domain splitting scheme (sub-scopes of the whole service area) , for example, by TRP-ID, cell-ID, sector ID, or cell-ID group. Such a list of cell_IDs (for example) is used to indicate the smallest indivisible geographic area for the purpose of data-collection. A dataset of measurements collected in such a sub-area will be most informative to the ML function within this sub-area while any other data collected outside this sub-area are irrelevant or less relevant.

[0088] For instance, such a sub-area could be a specific indoor area within a big hall. The specific area is covered by a list of TRPs, where the associated IDs are listed in the aforementioned cell-ID list or sector ID list. In another example, a sub-area can be the area of a certain floor in a multi-level factory or office building.

[0089] The data collection device 201 may send the data collection domain information, i.e., the sub-area information (e.g., data_collection_subarea_ID) to the data collection assisting nodes deployed to cover the sub-area. The data collection assisting nodes include network-side nodes and UE-side nodes. The data collection nodes (e.g., UEs, PRUs, TRPs, gNBs) become aware of the sub-area information, after their registration as a member of a data-collection cooperative node in the given sub-area. Each sub-area is assigned with a data_collection_subarea_ID.

[0090] In some embodiments, assignment information together with the data collection domain information may be transmitted to the at least one communication device 202. The assignment information indicates the role of assisting the data collection. In other words, whenever a UE / PRU / TRP obtains a membership in data collection as authorized by the data collection device 201, it will be informed about its membership being associated with a data_collection_subarea_ID and is expected to report its measurement along with such an ID.In some embodiments, measurement data together with the identity of the geographic subarea may be received from the at least one communication device 202, and wherein the training dataset may be determined based on the received measurement data.

[0091] In addition, to make the signaling efficient, the UE / PRU / TRPs associated with a given data_collection_subarea_ID are expected to follow group-based instructions associated with such an ID.

[0092] In some embodiments, the data collection device 210 may transmit first configuration information to the at least one communication device 202. The first configuration information indicates parameters for at least one of the following: a registration request, a registration confirmation, reporting measurement data, or triggering measurement; and / or wherein the first configuration information is specific to the geographic subarea. Hence, the measurement nodes such as a PRU could get their configuration information from data collection system information associated with a data_collection_subarea_ID. The configuration information could include all the parameters necessary for registration request and confirmation, for reporting measurement data samples, for triggering measurements, etc. The configuration information is specific to the sub-area assigned with the data_collection_subarea_ID.

[0093] In some embodiments, the information transmitted by the data collection device 201 to the communication devices 202 may further comprise at least one identifier of at least one network device with which a terminal device performs the data collection. The identifiers of network nodes (e.g., TRPs, gNBs) identify the network nodes that the UE works to perform data collection when the UE receives a data-collection request from the data collection device 201. The identified network nodes are assisting members for the purpose of data collection. In some embodiments, the information transmitted by the data collection device 201 may additionally or alternatively comprise dataset access information for accessing the training dataset to be collected, which may be used by the ML trainer to get dataset availability and access IDs, etc.

[0094] In some embodiments, the communication devices 202 located in the sub-area for data collection may register with the data collection device 201 as data collection assisting nodes. In the registration of the data collection assisting node, at least one of the following factor may be determined: availability of radio resources of network devices in the geographical subarea, respective types of terminal devices in the geographical subarea, or respective capabilities of terminal devices in the geographical subarea. The data collection device 201 may identify, at least based on the at least one factor, the at least one communication device 202 to assign with the role of assisting the data collection.

[0095] In some examples, the data collection device 201 identifies and collects the availability of radio resources of TRP / gNBs in a certain service sub-area. The gNB may support certain kinds of measurements / reports according to pre-ranked measurement priorities. The measurement priorities may be determined using: uplink (UL) or downlink (DL) channel state information (CSI) , power delay profile (PDP) property, reference signal received power (RSRP) , time, or angular values of radio links between a network node and the UE.

[0096] In some embodiments, a request for data collection may be transmitted to the at least one communication device 202. In accordance with a reception of a response to the request for data collection from the at least one communication device 202, the at least one communication device 202 may be assigned with the role of assisting the data collection. The data collection device 201 assigns UE / PRUs membership upon PRU / UE’s responses to the request for data-collection. The request can be sent in a unicast message, a multi-cast message, or a system information message.

[0097] The data collection device 201 identifies the PRU types and capabilities. The PRUs can be registered as data-collection assisting nodes. Similarly, if a UE is considered a data-collection assisting node, the data collection device 201 collects UE capability of measurements.

[0098] In some embodiments, the metadata corresponding to the training dataset may be obtained. The metadata at least indicates context information related to collection of the training dataset. The context information may comprise at least one of the following: context information related to wireless communication signals that are communicated for collecting the training dataset, or context information related to locality where the training dataset is collected, or context information related to spatial filtering applied in transmitting and / or receiving the wireless communication signals.

[0099] To make the ML learner aware of the data-collection-context, data collection / management function also conducts a data tagging and analysis to generate metadata to describe the collected data using their context-relevant attributes. Therefore, regarding the structural characteristics of a training data set, at least two categories of the training data will be collected and maintained, and provided to the ML trainers.

[0100] The data collection device 201 collects and maintains measurements of radio network signals (at either uplinks or downlinks) that are most useful for a machine learner to learn inter-variable relationship. Therefore, it would instruct the gNB / TRP / UE / PRU to measure and report the following two types of data. The two types of data may include Category A that contains measurement data in the training dataset, and Category B that contains metadata corresponding to each of measurement data sets.

[0101] For Category A that contains measurement data, the measurement data refers to data samples that corresponding to model input and model output, which are collected for the purpose of model training. The measurement data can be raw data, or pre-processed data. It specifies the concrete measurement object, such as RSRPP of a link. In one option, the measurement data are versions of raw data, i.e., data as collected in the field. Typically the raw data contain measurements of wireless signals on uplink, or downlink, or sidelink. In another option, the measurement data is processed or filtered data, which are obtained after certain preprocessing of the raw data. Pre-processed data can be preferred over raw data since it is more efficient for storage and transport. The preprocessing may include one or more of the following actions: (a) perform dimensional reduction of the features for the model input, e.g., remove redundant features; (b) convert raw measurements of wireless signal to a transformed signal of smaller size; (c) re-sample the raw data to use a portion of the original data; (d) analyze the raw data such that less effective training data samples are filtered out, e.g., redundant data; biased data; obsolete historical data, data that are too noisy or too distorted.

[0102] For Category B that contains metadata, which is attached to a measurement data set. In contrast to measurement data, metadata are not to data samples that corresponding to model input and model output. Metadata provides context information about the training dataset. To keep data-efficiency, it is preferable that only context information that can potentially impact ML performance are included in the metadata set. Example of information to include in the metadata may indicate the type of PRU or UEs attached to an anchoring TRP, or distributed in a serving cell, to support training data collection; and / or the TRP ID, TRP capability, etc. In principle, to keep data-efficiency, only context information potentially impacting ML performance are included in the metadata set to accompany the measurement data.

[0103] The data collection device 201 may instruct the communication device (s) 202 (e.g., Instruction of UE / TRP / PRU to retrieve the required ML context information. To secure an integrity of ML based positioning service, one of key aspects is to have a consistent radio-link condition between model training stage and model inference stage. That is, the training-context (i.e., the context of the trained model) is consistent with the inference context (i.e., the context of the model deployment) .

[0104] Owing to diversity of radio communications and channel status, consistency between model training stage and model inference stage may not be satisfied under certain circumstances, which causes misaligned contexts between the training stage and the corresponding inference stage. Misaligned contexts lead to poor model inference performance and should be avoided as much as possible. Contextual information to indicate different conditions should be informative and contribute to improving the positioning service quality.

[0105] The data collection device 201 may manage network entities when that are registered as data collection assisting nodes. In some embodiments, at least a part of the metadata may be collected from at least one network device in the geographic subarea. It should be noted that attributes of the data sample need to be collected while collecting measurement data. Some attributes of the data samples can be recorded as (part of) data-collection-context, and / or (part of) training-context. As TRP / gNB network side nodes are aware of contextual information about their transmitted reference signals, network side nodes (e.g., TRP, gNB) are configured to collect the desired list of contextual data. The collected contextual data is attached to the measurement data (e.g., measurement of wireless signals) .

[0106] Specifically, one or more of the following aspects are included as context information that can be obtained from the network entities. For example, the context information may include the data_collection_subarea_ID, which is described above. Alternatively, or in addition, the context information may indicate parameters of reference signal characteristics, for instances, some field values defined in NR-DL-PRS-Info. Alternatively, or in addition, the context information may indicate measurement schedule, training dataset updating schedule, prioritized or preferred locations for measurements. Alternatively, or in addition, the context information may indicate measurement gap configuration when performing the measurements, such as Measurement Gap Repetition Period, Measurement Gap Length (MGL) or UE PRS processing window parameters. Alternatively, or in addition, the context information may indicate bandwidth part (BWP) , numerology (e.g., carrier frequency, subcarrier spacing (SCS) ) . Alternatively, or in addition, the context information may indicate frequency bands, frequency layer, bandwidth aggregation. Alternatively, or in addition, the context information may indicate the classification of PRS-only (positioning reference signal only) TRP and full-functioning TRPs.

[0107] In some embodiments, the at least one communication device 202 may comprise at least one terminal device, e.g., UEs / PRUs. The data collection device 201 may transmit reporting information to the at least one terminal device. The reporting information indicates at least one channel for the at least one terminal device to report measurement data. The data collection device 201 may assign reporting channels for UEs to report their measurements of reference signals from a PRS-only TRP.

[0108] The data collection device 201 may manage terminal entities, such as UEs / PRUs when that are registered as data collection assisting nodes. The data collection device 201 confirms (i.e., handshake with) UE / PRU for their role of data-collection member device when certain conditions are satisfied. For example, the conditions may include: the UE / PRU is available at the sub-area with data_collection_subarea_ID, and the UE / PRU has responded to request for data-measurement assistance. In some embodiments, the at least one communication device 202 may comprise at least one terminal device. Further, second configuration information may be transmitted to each of the at least one terminal device. The second configuration information indicates at least one of the following: at least one measurement parameter for collecting measurement data, or a type of data collection assisting node that is determined based on a location determination mechanism of the terminal device.

[0109] The data collection device 201 configures the UE / PRU with the measurement behavior. In one example, the data collection device 201 configures the measurement parameters, such as PRS parameters including radio resource, measurement period, and type of location-determining method. In another example, the data collection device 201 assigns a UE or the PRU a role / type according to its location-determination method. For instance, the role may be assigned differently when the UE location-determination method is a non-RAN-based method of a recognized high accuracy, such as validated fixed installation location or entrusted source of location such as laser-meter assisted measurement.

[0110] In another example, the data collection device 201 assigns a UE a mobile PRU role / type if this UE is mobile and is a specialized instrument with highly accurate location coordinates. An example is a specialized robot-like UAV working for measurement purposes.

[0111] In another example, the data collection device 201 assigns a UE a trajectory manageable PRU role / type if a robot-like UAV is a special type of instrument with the capability of receiving preferable location information for intended measurements. Moreover, it is able to follow such location information to move into the specified spot for data collection, where the specified spot is preferred by the data collection management function.

[0112] In some embodiments, the data collection device 201 may manage spatial density of measurements and collections. A training dataset may be collected based on a spatial density requirement of measurement data in the training dataset.

[0113] To achieve as uniform as possible positioning performance over different spots, datapoints for ML model training need to be evenly spatially sampled. Therefore, it is proposed to have the following measurement steps when carrying out the measurements.

[0114] In some embodiments, the data collection device 201 may sample available data positioning coordinates and calculates their spatial density of a sub-area of data collection.

[0115] In some embodiments, the data collection device 201 first identifies low-density area from the density calculation of already collected data samples and compares it to the desired density threshold. The goal is to prioritize low-density areas for subsequent data collection and achieve a training dataset with evenly distributed data samples in the targeted deployment area.

[0116] In some embodiments, the data collection device 201 may trigger new measurements and data collections on a certain TRP / UE / PRUs for enriched datasets with spatial samples at that low-density area. To do so, the data collection device 201 may identify the data collection assisting nodes associated with a data_collection_subarea_ID of interest and send instructions to those identified nodes to trigger measurements and reporting. Optionally, it sends out preferable spot coordinates to nearby mobile PRUs to guide it toward the preferred spots to perform data collection. The goal is to balance the measurement density over the whole data-collection sub-area.

[0117] In some embodiments, the data collection device 201 may perform data-set version controls using information such as time-stamp.

[0118] In some embodiments, the training dataset may comprise measurement data collected by the at least one communication device 202. In some embodiments, the data collection device 201 may monitor the behavior of the at least one communication device 202 (e.g., UEs / PRUs) and grading their reliability.

[0119] At least one reliability level of the at least one communication device 202 may be determined based on a quality of the measurement data collected by the at least one communication device 202. In accordance with a determination that a first reliability level of a first communication device 202 is below a threshold level, the role of assisting the data collection may be removed from the first communication device 202. In accordance with a determination that a first reliability level of a second communication device 202 is above the threshold level, the role of assisting the data collection may be maintained for the second communication device 202.

[0120] To monitor the integrity of UE / PRU’s behavior, the data collection device 201 periodically checks the quality of UE and PRU’s measurement labels (the location coordinates reported by UE / PRU) . For instance, the data collection device 201 employs a trusted positioning method that can accurately locate the PRU in the deployment environment. The required measurements (e.g., LiDAR or possibly radio link measurements) of a PRU are fed to the trusted positioning method to get an output of estimated position of the PRU. Afterwards, the data collection device 201 compares the estimated position coordinates with the reported ones.

[0121] Using the comparison outcome, the data collection device 201 carries out a certain procedure to validate and grade the UE / PRU data collection quality. The procedure is outlined as follows. Within a preconfigured period, the data collection device 201 calculates a statistic of the comparison outcomes, for example, the magnitude of differences between the estimated position coordinates and the reported ones. For instance, data collection device 201 could generate a cumulative distribution function (CDF) curve of the error values to grade a PRU’s measurement label’s reliability. A threshold is set for the top 5% (for example) of largest errors. If the distribution of top 5%exceeding a predefined threshold, then a warning message should be triggered regarding the reliability of labels provided by the PRU.

[0122] This type of warning could indicate any one of following actions of data collection: reducing the reliability grade level assigned a PRU, in addition or alternatively, removing a PRU’s membership as a data-collection assisting node. For example, for a mobile PRU, if it is moving outside a sub-area by a substantial distance, its membership is revoked.

[0123] In some embodiments, the AI / ML-based functionality may comprise an AI / ML-based positioning functionality. In other embodiments, the AI / ML-based functionality may comprise an AI / ML-based beam management, or other functionalities that are utilized in the communication system.

[0124] FIG. 5 shows an example of a communication system 500 in accordance with some embodiments.

[0125] In the example, the communication system 500 includes a telecommunication network 502 that includes an access network 504, such as a radio access network (RAN) , and a core network 506, which includes one or more core network nodes 508. The access network 504 includes one or more access network nodes, such as network nodes 510a and 510b (one or more of which may be generally referred to as network nodes 510) , or any other similar 3rd Generation Partnership Project (3GPP) access node or non-3GPP access point. The network nodes 510 facilitate direct or indirect connection of user equipment (UE) , such as by connecting UEs 512a, 512b, 512c, and 512d (one or more of which may be generally referred to as UEs 512) to the core network 506 over one or more wireless connections.

[0126] Example wireless communications over a wireless connection include transmitting and / or receiving wireless signals using electromagnetic waves, radio waves, infrared waves, and / or other types of signals suitable for conveying information without the use of wires, cables, or other material conductors. Moreover, in different embodiments, the communication system 500 may include any number of wired or wireless networks, network nodes, UEs, and / or any other components or systems that may facilitate or participate in the communication of data and / or signals whether via wired or wireless connections. The communication system 500 may include and / or interface with any type of communication, telecommunication, data, cellular, radio network, and / or other similar type of system.

[0127] The UEs 512 may be any of a wide variety of communication devices, including wireless devices arranged, configured, and / or operable to communicate wirelessly with the network nodes 510 and other communication devices. Similarly, the network nodes 510 are arranged, capable, configured, and / or operable to communicate directly or indirectly with the UEs 512 and / or with other network nodes or equipment in the telecommunication network 502 to enable and / or provide network access, such as wireless network access, and / or to perform other functions, such as administration in the telecommunication network 502.

[0128] In the depicted example, the core network 506 connects the network nodes 510 to one or more hosts, such as host 516. These connections may be direct or indirect via one or more intermediary networks or devices. In other examples, network nodes may be directly coupled to hosts. The core network 506 includes one more core network nodes (e.g., core network node 508) that are structured with hardware and software components. Features of these components may be substantially similar to those described with respect to the UEs, network nodes, and / or hosts, such that the descriptions thereof are generally applicable to the corresponding components of the core network node 508. Example core network nodes include functions of one or more of a Mobile Switching Center (MSC) , Mobility Management Entity (MME) , Home Subscriber Server (HSS) , Access and Mobility Management Function (AMF) , Session Management Function (SMF) , Authentication Server Function (AUSF) , Subscription Identifier De-concealing function (SIDF) , Unified Data Management (UDM) , Security Edge Protection Proxy (SEPP) , Network Exposure Function (NEF) , and / or a User Plane Function (UPF) .

[0129] The host 516 may be under the ownership or control of a service provider other than an operator or provider of the access network 504 and / or the telecommunication network 502, and may be operated by the service provider or on behalf of the service provider. The host 516 may host a variety of applications to provide one or more service. Examples of such applications include live and pre-recorded audio / video content, data collection services such as retrieving and compiling data on various ambient conditions detected by a plurality of UEs, analytics functionality, social media, functions for controlling or otherwise interacting with remote devices, functions for an alarm and surveillance center, or any other such function performed by a server.

[0130] As a whole, the communication system 500 of FIG. 5 enables connectivity between the UEs, network nodes, and hosts. In that sense, the communication system may be configured to operate according to predefined rules or procedures, such as specific standards that include, but are not limited to: Global System for Mobile Communications (GSM) ; Universal Mobile Telecommunications System (UMTS) ; Long Term Evolution (LTE) , and / or other suitable 2G, 3G, 4G, 5G standards, or any applicable future generation standard (e.g., 6G) ; wireless local area network (WLAN) standards, such as the Institute of Electrical and Electronics Engineers (IEEE) 802.11 standards (WiFi) ; and / or any other appropriate wireless communication standard, such as the Worldwide Interoperability for Microwave Access (WiMax) , Bluetooth, Z-Wave, Near Field Communication (NFC) ZigBee, LiFi, and / or any low-power wide-area network (LPWAN) standards such as LoRa and Sigfox.

[0131] In some examples, the telecommunication network 502 is a cellular network that implements 3GPP standardized features. Accordingly, the telecommunications network 502 may support network slicing to provide different logical networks to different devices that are connected to the telecommunication network 502. For example, the telecommunications network 502 may provide Ultra Reliable Low Latency Communication (URLLC) services to some UEs, while providing Enhanced Mobile Broadband (eMBB) services to other UEs, and / or Massive Machine Type Communication (mMTC)  / Massive IoT services to yet further UEs.

[0132] In some examples, the UEs 512 are configured to transmit and / or receive information without direct human interaction. For instance, a UE may be designed to transmit information to the access network 504 on a predetermined schedule, when triggered by an internal or external event, or in response to requests from the access network 504. Additionally, a UE may be configured for operating in single-or multi-RAT or multi-standard mode. For example, a UE may operate with any one or combination of Wi-Fi, NR (New Radio) and LTE, i.e. being configured for multi-radio dual connectivity (MR-DC) , such as E-UTRAN (Evolved-UMTS Terrestrial Radio Access Network) New Radio –Dual Connectivity (EN-DC) .

[0133] In the example, the hub 514 communicates with the access network 504 to facilitate indirect communication between one or more UEs (e.g., UE 512c and / or 512d) and network nodes (e.g., network node 510b) . In some examples, the hub 514 may be a controller, router, content source and analytics, or any of the other communication devices described herein regarding UEs. For example, the hub 514 may be a broadband router enabling access to the core network 506 for the UEs. As another example, the hub 514 may be a controller that sends commands or instructions to one or more actuators in the UEs. Commands or instructions may be received from the UEs, network nodes 510, or by executable code, script, process, or other instructions in the hub 514. As another example, the hub 514 may be a data collector that acts as temporary storage for UE data and, in some embodiments, may perform analysis or other processing of the data. As another example, the hub 514 may be a content source. For example, for a UE that is a VR headset, display, loudspeaker or other media delivery device, the hub 514 may retrieve VR assets, video, audio, or other media or data related to sensory information via a network node, which the hub 514 then provides to the UE either directly, after performing local processing, and / or after adding additional local content. In still another example, the hub 514 acts as a proxy server or orchestrator for the UEs, in particular in if one or more of the UEs are low energy IoT devices.

[0134] The hub 514 may have a constant / persistent or intermittent connection to the network node 510b. The hub 514 may also allow for a different communication scheme and / or schedule between the hub 514 and UEs (e.g., UE 512c and / or 512d) , and between the hub 514 and the core network 506. In other examples, the hub 514 is connected to the core network 506 and / or one or more UEs via a wired connection. Moreover, the hub 514 may be configured to connect to an M2M service provider over the access network 504 and / or to another UE over a direct connection. In some scenarios, UEs may establish a wireless connection with the network nodes 510 while still connected via the hub 514 via a wired or wireless connection. In some embodiments, the hub 514 may be a dedicated hub –that is, a hub whose primary function is to route communications to / from the UEs from / to the network node 510b. In other embodiments, the hub 514 may be a non-dedicated hub –that is, a device which is capable of operating to route communications between the UEs and network node 510b, but which is additionally capable of operating as a communication start and / or end point for certain data channels.

[0135] FIG. 6 shows a UE 600 in accordance with some embodiments. As used herein, a UE refers to a device capable, configured, arranged and / or operable to communicate wirelessly with network nodes and / or other UEs. Examples of a UE include, but are not limited to, a smart phone, mobile phone, cell phone, voice over IP (VoIP) phone, wireless local loop phone, desktop computer, personal digital assistant (PDA) , wireless cameras, gaming console or device, music storage device, playback appliance, wearable terminal device, wireless endpoint, mobile station, tablet, laptop, laptop-embedded equipment (LEE) , laptop-mounted equipment (LME) , smart device, wireless customer-premise equipment (CPE) , vehicle-mounted or vehicle embedded / integrated wireless device, etc. Other examples include any UE identified by the 3rd Generation Partnership Project (3GPP) , including a narrow band internet of things (NB-IoT) UE, a machine type communication (MTC) UE, and / or an enhanced MTC (eMTC) UE.

[0136] A UE may support device-to-device (D2D) communication, for example by implementing a 3GPP standard for sidelink communication, Dedicated Short-Range Communication (DSRC) , vehicle-to-vehicle (V2V) , vehicle-to-infrastructure (V2I) , or vehicle-to-everything (V2X) . In other examples, a UE may not necessarily have a user in the sense of a human user who owns and / or operates the relevant device. Instead, a UE may represent a device that is intended for sale to, or operation by, a human user but which may not, or which may not initially, be associated with a specific human user (e.g., a smart sprinkler controller) . Alternatively, a UE may represent a device that is not intended for sale to, or operation by, an end user but which may be associated with or operated for the benefit of a user (e.g., a smart power meter) .

[0137] The UE 600 includes processing circuitry 602 that is operatively coupled via a bus 604 to an input / output interface 606, a power source 608, a memory 610, a communication interface 612, and / or any other component, or any combination thereof. Certain UEs may utilize all or a subset of the components shown in FIG. 6. The level of integration between the components may vary from one UE to another UE. Further, certain UEs may contain multiple instances of a component, such as multiple processors, memories, transceivers, transmitters, receivers, etc.

[0138] The processing circuitry 602 is configured to process instructions and data and may be configured to implement any sequential state machine operative to execute instructions stored as machine-readable computer programs in the memory 610. The processing circuitry 602 may be implemented as one or more hardware-implemented state machines (e.g., in discrete logic, field-programmable gate arrays (FPGAs) , application specific integrated circuits (ASICs) , etc. ) ; programmable logic together with appropriate firmware; one or more stored computer programs, general-purpose processors, such as a microprocessor or digital signal processor (DSP) , together with appropriate software; or any combination of the above. For example, the processing circuitry 602 may include multiple central processing units (CPUs) .

[0139] In the example, the input / output interface 606 may be configured to provide an interface or interfaces to an input device, output device, or one or more input and / or output devices. Examples of an output device include a speaker, a sound card, a video card, a display, a monitor, a printer, an actuator, an emitter, a smartcard, another output device, or any combination thereof. An input device may allow a user to capture information into the UE 600. Examples of an input device include a touch-sensitive or presence-sensitive display, a camera (e.g., a digital camera, a digital video camera, a web camera, etc. ) , a microphone, a sensor, a mouse, a trackball, a directional pad, a trackpad, a scroll wheel, a smartcard, and the like. The presence-sensitive display may include a capacitive or resistive touch sensor to sense input from a user. A sensor may be, for instance, an accelerometer, a gyroscope, a tilt sensor, a force sensor, a magnetometer, an optical sensor, a proximity sensor, a biometric sensor, etc., or any combination thereof. An output device may use the same type of interface port as an input device. For example, a Universal Serial Bus (USB) port may be used to provide an input device and an output device.

[0140] In some embodiments, the power source 608 is structured as a battery or battery pack. Other types of power sources, such as an external power source (e.g., an electricity outlet) , photovoltaic device, or power cell, may be used. The power source 608 may further include power circuitry for delivering power from the power source 608 itself, and / or an external power source, to the various parts of the UE 600 via input circuitry or an interface such as an electrical power cable. Delivering power may be, for example, for charging of the power source 608. Power circuitry may perform any formatting, converting, or other modification to the power from the power source 608 to make the power suitable for the respective components of the UE 600 to which power is supplied.

[0141] The memory 610 may be or be configured to include memory such as random access memory (RAM) , read-only memory (ROM) , programmable read-only memory (PROM) , erasable programmable read-only memory (EPROM) , electrically erasable programmable read-only memory (EEPROM) , magnetic disks, optical disks, hard disks, removable cartridges, flash drives, and so forth. In one example, the memory 610 includes one or more application programs 614, such as an operating system, web browser application, a widget, gadget engine, or other application, and corresponding data 616. The memory 610 may store, for use by the UE 600, any of a variety of various operating systems or combinations of operating systems.

[0142] The memory 610 may be configured to include a number of physical drive units, such as redundant array of independent disks (RAID) , flash memory, USB flash drive, external hard disk drive, thumb drive, pen drive, key drive, high-density digital versatile disc (HD-DVD) optical disc drive, internal hard disk drive, Blu-Ray optical disc drive, holographic digital data storage (HDDS) optical disc drive, external mini-dual in-line memory module (DIMM) , synchronous dynamic random access memory (SDRAM) , external micro-DIMM SDRAM, smartcard memory such as tamper resistant module in the form of a universal integrated circuit card (UICC) including one or more subscriber identity modules (SIMs) , such as a USIM and / or ISIM, other memory, or any combination thereof. The UICC may for example be an embedded UICC (eUICC) , integrated UICC (iUICC) or a removable UICC commonly known as ‘SIM card. ’ The memory 610 may allow the UE 600 to access instructions, application programs and the like, stored on transitory or non-transitory memory media, to off-load data, or to upload data. An article of manufacture, such as one utilizing a communication system may be tangibly embodied as or in the memory 610, which may be or comprise a device-readable storage medium.

[0143] The processing circuitry 602 may be configured to communicate with an access network or other network using the communication interface 612. The communication interface 612 may comprise one or more communication subsystems and may include or be communicatively coupled to an antenna 622. The communication interface 612 may include one or more transceivers used to communicate, such as by communicating with one or more remote transceivers of another device capable of wireless communication (e.g., another UE or a network node in an access network) . Each transceiver may include a transmitter 618 and / or a receiver 620 appropriate to provide network communications (e.g., optical, electrical, frequency allocations, and so forth) . Moreover, the transmitter 618 and receiver 620 may be coupled to one or more antennas (e.g., antenna 622) and may share circuit components, software or firmware, or alternatively be implemented separately.

[0144] In the illustrated embodiment, communication functions of the communication interface 612 may include cellular communication, Wi-Fi communication, LPWAN communication, data communication, voice communication, multimedia communication, short-range communications such as Bluetooth, near-field communication, location-based communication such as the use of the global positioning system (GPS) to determine a location, another like communication function, or any combination thereof. Communications may be implemented in according to one or more communication protocols and / or standards, such as IEEE 802.11, Code Division Multiplexing Access (CDMA) , Wideband Code Division Multiple Access (WCDMA) , GSM, LTE, New Radio (NR) , UMTS, WiMax, Ethernet, transmission control protocol / internet protocol (TCP / IP) , synchronous optical networking (SONET) , Asynchronous Transfer Mode (ATM) , QUIC, Hypertext Transfer Protocol (HTTP) , and so forth.

[0145] Regardless of the type of sensor, a UE may provide an output of data captured by its sensors, through its communication interface 612, via a wireless connection to a network node. Data captured by sensors of a UE can be communicated through a wireless connection to a network node via another UE. The output may be periodic (e.g., once every 15 minutes if it reports the sensed temperature) , random (e.g., to even out the load from reporting from several sensors) , in response to a triggering event (e.g., when moisture is detected and an alert is sent) , in response to a request (e.g., a user initiated request) , or a continuous stream (e.g., a live video feed of a patient) .

[0146] As another example, a UE comprises an actuator, a motor, or a switch, related to a communication interface configured to receive wireless input from a network node via a wireless connection. In response to the received wireless input the states of the actuator, the motor, or the switch may change. For example, the UE may comprise a motor that adjusts the control surfaces or rotors of a drone in flight according to the received input or to a robotic arm performing a medical procedure according to the received input.

[0147] A UE, when in the form of an Internet of Things (IoT) device, may be a device for use in one or more application domains, these domains comprising, but not limited to, city wearable technology, extended industrial application and healthcare. Non-limiting examples of such an IoT device are a device which is or which is embedded in: a connected refrigerator or freezer, a TV, a connected lighting device, an electricity meter, a robot vacuum cleaner, a voice controlled smart speaker, a home security camera, a motion detector, a thermostat, a smoke detector, a door / window sensor, a flood / moisture sensor, an electrical door lock, a connected doorbell, an air conditioning system like a heat pump, an autonomous vehicle, a surveillance system, a weather monitoring device, a vehicle parking monitoring device, an electric vehicle charging station, a smart watch, a fitness tracker, a head-mounted display for Augmented Reality (AR) or Virtual Reality (VR) , a wearable for tactile augmentation or sensory enhancement, a water sprinkler, an animal-or item-tracking device, a sensor for monitoring a plant or animal, an industrial robot, an Unmanned Aerial Vehicle (UAV) , and any kind of medical device, like a heart rate monitor or a remote controlled surgical robot. A UE in the form of an IoT device comprises circuitry and / or software in dependence of the intended application of the IoT device in addition to other components as described in relation to the UE 600 shown in FIG. 6.

[0148] As yet another specific example, in an IoT scenario, a UE may represent a machine or other device that performs monitoring and / or measurements, and transmits the results of such monitoring and / or measurements to another UE and / or a network node. The UE may in this case be an M2M device, which may in a 3GPP context be referred to as an MTC device. As one particular example, the UE may implement the 3GPP NB-IoT standard. In other scenarios, a UE may represent a vehicle, such as a car, a bus, a truck, a ship and an airplane, or other equipment that is capable of monitoring and / or reporting on its operational status or other functions associated with its operation.

[0149] In practice, any number of UEs may be used together with respect to a single use case. For example, a first UE might be or be integrated in a drone and provide the drone’s speed information (obtained through a speed sensor) to a second UE that is a remote controller operating the drone. When the user makes changes from the remote controller, the first UE may adjust the throttle on the drone (e.g. by controlling an actuator) to increase or decrease the drone’s speed. The first and / or the second UE can also include more than one of the functionalities described above. For example, a UE might comprise the sensor and the actuator, and handle communication of data for both the speed sensor and the actuators.

[0150] FIG. 7 shows a network node 700 in accordance with some embodiments. As used herein, network node refers to equipment capable, configured, arranged and / or operable to communicate directly or indirectly with a UE and / or with other network nodes or equipment, in a telecommunication network. Examples of network nodes include, but are not limited to, access points (APs) (e.g., radio access points) , base stations (BSs) (e.g., radio base stations, Node Bs, evolved Node Bs (eNBs) and NR NodeBs (gNBs) ) .

[0151] Base stations may be categorized based on the amount of coverage they provide (or, stated differently, their transmit power level) and so, depending on the provided amount of coverage, may be referred to as femto base stations, pico base stations, micro base stations, or macro base stations. A base station may be a relay node or a relay donor node controlling a relay. A network node may also include one or more (or all) parts of a distributed radio base station such as centralized digital units and / or remote radio units (RRUs) , sometimes referred to as Remote Radio Heads (RRHs) . Such remote radio units may or may not be integrated with an antenna as an antenna integrated radio. Parts of a distributed radio base station may also be referred to as nodes in a distributed antenna system (DAS) .

[0152] Other examples of network nodes include multiple transmission point (multi-TRP) 5G access nodes, multi-standard radio (MSR) equipment such as MSR BSs, network controllers such as radio network controllers (RNCs) or base station controllers (BSCs) , base transceiver stations (BTSs) , transmission points, transmission nodes, multi-cell / multicast coordination entities (MCEs) , Operation and Maintenance (O&M) nodes, Operations Support System (OSS) nodes, Self-Organizing Network (SON) nodes, positioning nodes (e.g., Evolved Serving Mobile Location Centers (E-SMLCs) ) , and / or Minimization of Drive Tests (MDTs) .

[0153] The network node 700 includes a processing circuitry 702, a memory 704, a communication interface 706, and a power source 708. The network node 700 may be composed of multiple physically separate components (e.g., a NodeB component and a RNC component, or a BTS component and a BSC component, etc. ) , which may each have their own respective components. In certain scenarios in which the network node 700 comprises multiple separate components (e.g., BTS and BSC components) , one or more of the separate components may be shared among several network nodes. For example, a single RNC may control multiple NodeBs. In such a scenario, each unique NodeB and RNC pair, may in some instances be considered a single separate network node. In some embodiments, the network node 700 may be configured to support multiple radio access technologies (RATs) . In such embodiments, some components may be duplicated (e.g., separate memory 704 for different RATs) and some components may be reused (e.g., a same antenna 710 may be shared by different RATs) . The network node 700 may also include multiple sets of the various illustrated components for different wireless technologies integrated into network node 700, for example GSM, WCDMA, LTE, NR, WiFi, Zigbee, Z-wave, LoRaWAN, Radio Frequency Identification (RFID) or Bluetooth wireless technologies. These wireless technologies may be integrated into the same or different chip or set of chips and other components within network node 700.

[0154] The processing circuitry 702 may comprise a combination of one or more of a microprocessor, controller, microcontroller, central processing unit, digital signal processor, application-specific integrated circuit, field programmable gate array, or any other suitable computing device, resource, or combination of hardware, software and / or encoded logic operable to provide, either alone or in conjunction with other network node 700 components, such as the memory 704, to provide network node 700 functionality.

[0155] In some embodiments, the processing circuitry 702 includes a system on a chip (SOC) . In some embodiments, the processing circuitry 702 includes one or more of radio frequency (RF) transceiver circuitry 712 and baseband processing circuitry 714. In some embodiments, the radio frequency (RF) transceiver circuitry 712 and the baseband processing circuitry 714 may be on separate chips (or sets of chips) , boards, or units, such as radio units and digital units. In alternative embodiments, part or all of RF transceiver circuitry 712 and baseband processing circuitry 714 may be on the same chip or set of chips, boards, or units.

[0156] The memory 704 may comprise any form of volatile or non-volatile computer-readable memory including, without limitation, persistent storage, solid-state memory, remotely mounted memory, magnetic media, optical media, random access memory (RAM) , read-only memory (ROM) , mass storage media (for example, a hard disk) , removable storage media (for example, a flash drive, a Compact Disk (CD) or a Digital Video Disk (DVD) ) , and / or any other volatile or non-volatile, non-transitory device-readable and / or computer-executable memory devices that store information, data, and / or instructions that may be used by the processing circuitry 702. The memory 704 may store any suitable instructions, data, or information, including a computer program, software, an application including one or more of logic, rules, code, tables, and / or other instructions capable of being executed by the processing circuitry 702 and utilized by the network node 700. The memory 704 may be used to store any calculations made by the processing circuitry 702 and / or any data received via the communication interface 706. In some embodiments, the processing circuitry 702 and memory 704 is integrated.

[0157] The communication interface 706 is used in wired or wireless communication of signaling and / or data between a network node, access network, and / or UE. As illustrated, the communication interface 706 comprises port (s)  / terminal (s) 716 to send and receive data, for example to and from a network over a wired connection. The communication interface 706 also includes radio front-end circuitry 718 that may be coupled to, or in certain embodiments a part of, the antenna 710. Radio front-end circuitry 718 comprises filters 720 and amplifiers 722. The radio front-end circuitry 718 may be connected to an antenna 710 and processing circuitry 702. The radio front-end circuitry may be configured to condition signals communicated between antenna 710 and processing circuitry 702. The radio front-end circuitry 718 may receive digital data that is to be sent out to other network nodes or UEs via a wireless connection. The radio front-end circuitry 718 may convert the digital data into a radio signal having the appropriate channel and bandwidth parameters using a combination of filters 720 and / or amplifiers 722. The radio signal may then be transmitted via the antenna 710. Similarly, when receiving data, the antenna 710 may collect radio signals which are then converted into digital data by the radio front-end circuitry 718. The digital data may be passed to the processing circuitry 702. In other embodiments, the communication interface may comprise different components and / or different combinations of components.

[0158] In certain alternative embodiments, the network node 700 does not include separate radio front-end circuitry 718, instead, the processing circuitry 702 includes radio front-end circuitry and is connected to the antenna 710. Similarly, in some embodiments, all or some of the RF transceiver circuitry 712 is part of the communication interface 706. In still other embodiments, the communication interface 706 includes one or more ports or terminals 716, the radio front-end circuitry 718, and the RF transceiver circuitry 712, as part of a radio unit (not shown) , and the communication interface 706 communicates with the baseband processing circuitry 714, which is part of a digital unit (not shown) .

[0159] The antenna 710 may include one or more antennas, or antenna arrays, configured to send and / or receive wireless signals. The antenna 710 may be coupled to the radio front-end circuitry 718 and may be any type of antenna capable of transmitting and receiving data and / or signals wirelessly. In certain embodiments, the antenna 710 is separate from the network node 700 and connectable to the network node 700 through an interface or port.

[0160] The antenna 710, communication interface 706, and / or the processing circuitry 702 may be configured to perform any receiving operations and / or certain obtaining operations described herein as being performed by the network node. Any information, data and / or signals may be received from a UE, another network node and / or any other network equipment. Similarly, the antenna 710, the communication interface 706, and / or the processing circuitry 702 may be configured to perform any transmitting operations described herein as being performed by the network node. Any information, data and / or signals may be transmitted to a UE, another network node and / or any other network equipment.

[0161] The power source 708 provides power to the various components of network node 700 in a form suitable for the respective components (e.g., at a voltage and current level needed for each respective component) . The power source 708 may further comprise, or be coupled to, power management circuitry to supply the components of the network node 700 with power for performing the functionality described herein. For example, the network node 700 may be connectable to an external power source (e.g., the power grid, an electricity outlet) via an input circuitry or interface such as an electrical cable, whereby the external power source supplies power to power circuitry of the power source 708. As a further example, the power source 708 may comprise a source of power in the form of a battery or battery pack which is connected to, or integrated in, power circuitry. The battery may provide backup power should the external power source fail.

[0162] Embodiments of the network node 700 may include additional components beyond those shown in FIG. 7 for providing certain aspects of the network node’s functionality, including any of the functionality described herein and / or any functionality necessary to support the subject matter described herein. For example, the network node 700 may include user interface equipment to allow input of information into the network node 700 and to allow output of information from the network node 700. This may allow a user to perform diagnostic, maintenance, repair, and other administrative functions for the network node 700.

[0163] According to an aspect of the present disclosure, a method implemented at a terminal device is provided. The method comprises transmitting, to at least one communication device, a data collection request for an artificial intelligence / machine learning (AI / ML) -based functionality in a communication system; and obtaining, at least from the at least one communication device, a training dataset for the AI / ML-based functionality and metadata corresponding to the training dataset, the training dataset at least comprising measurement data in the communication system, and the metadata at least indicating context information related to collection of the training dataset.

[0164] In some embodiments, the measurement data in the training dataset comprises a plurality of measurement data samples each corresponding to a model input and a model output for the AI / ML-based functionality.

[0165] In some embodiments, the metadata comprises at least one of the following: context information related to wireless communication signals that are communicated for collecting the training dataset, or context information related to locality where the training dataset is collected, or context information related to spatial filtering applied in transmitting and / or receiving the wireless communication signals.

[0166] In some embodiments, the data collection device comprises: storing the metadata in a dictionary format for each attribute of the training dataset or a datapoint in the training dataset; and / or storing the measurement data in arrays or sequences in the training dataset.

[0167] In some embodiments, obtaining the training dataset comprises: collecting a plurality of available features for the measurement data; determining relevance of respective available features of the plurality of available features to the AI / ML-based functionality; and storing a measurement data sample into the training dataset based on the determined relevance.

[0168] In some embodiments, the data collection device comprises: creating a dataset ID and / or a version number for the training dataset; and maintaining or sharing the training dataset in association with the dataset ID and / or the version number.

[0169] In some embodiments, the data collection device comprises: receiving a dataset request from a further communication device that is configured to train an AI / ML model; and in accordance with a determination that a type of the training dataset matches with a type of the AI / ML model, transmitting the training dataset to the further communication device.

[0170] In some embodiments, obtaining the training dataset comprises: in accordance with a determination that a data collection start condition is satisfied, starting collection of the training dataset; and in accordance with a determination that a data collection termination condition is satisfied, terminating the collection of the training dataset.

[0171] In some embodiments, obtaining the training dataset comprises: configuring at least one of following data collection requirements: a minimum total number of data samples to be collected, a minimum spatial sampling density for an area, or a highest acceptable percentage of corrupted measurement data samples, and obtaining the training dataset based on the at least one data collection requirement.

[0172] In some embodiments, the at least one communication device comprises at least one of the following: at least one user equipment (UE) , at least one positioning reference unit (PRU) , or at least one network device.

[0173] In some embodiments, a data collection device is provided. The data collection device comprises: at least one processor; and at least one memory, the at least one memory containing instructions executable by the at least one processor, whereby the data collection device is operative to: transmit, to at least one communication device, a data collection request for an artificial intelligence / machine learning (AI / ML) -based functionality in a communication system; and obtain, at least from the at least one communication device, a training dataset for the AI / ML-based functionality and metadata corresponding to the training dataset, the training dataset at least comprising measurement data in the communication system, and the metadata at least indicating context information related to collection of the training dataset.

[0174] In some embodiments, the data collection device is operative to perform the method according to the method described above.

[0175] In some embodiments, a communication system is provided. The communication system comprises: at least one data collection device that is operative to perform the method described above; at least one terminal device; and at least one network device.

[0176] In some embodiments, a computer readable storage medium is provided. The computer readable storage medium comprises instructions, which, when executed by at least one processor, cause the at least one processor to perform the method.

[0177] In general, the various exemplary embodiments may be implemented in hardware or special purpose circuits, software, logic or any combination thereof. For example, some aspects may be implemented in hardware, while other aspects may be implemented in firmware or software which may be executed by a controller, microprocessor or other computing device, although the present disclosure is not limited thereto. While various aspects of the exemplary embodiments of this disclosure may be illustrated and described as block diagrams, flow charts, or using some other pictorial representation, it is well understood that these blocks, apparatus, systems, techniques or methods described herein may be implemented in, as non-limiting examples, hardware, software, firmware, special purpose circuits or logic, general purpose hardware or controller or other computing devices, or some combination thereof.

[0178] As such, it should be appreciated that at least some aspects of the exemplary embodiments of the present disclosure may be practiced in various components such as integrated circuit chips and modules. It should thus be appreciated that the exemplary embodiments of this disclosure may be realized in an apparatus that is embodied as an integrated circuit, where the integrated circuit may comprise circuitry (as well as possibly firmware) for embodying at least one or more of a data processor, a digital signal processor, baseband circuitry and radio frequency circuitry that are configurable so as to operate in accordance with the exemplary embodiments of this disclosure.

[0179] It should be appreciated that at least some aspects of the exemplary embodiments of the present disclosure may be embodied in computer-executable instructions, such as in one or more program modules, executed by one or more computers or other devices. Generally, program modules include routines, programs, objects, components, data structures, etc. that perform particular tasks or implement particular abstract data types when executed by a processor in a computer or other device. The computer executable instructions may be stored on a computer readable medium such as a hard disk, optical disk, removable storage media, solid state memory, RAM, etc. As will be appreciated by one skilled in the art, the function of the program modules may be combined or distributed as desired in various embodiments. In addition, the function may be embodied in whole or in part in firmware or hardware equivalents such as integrated circuits, field programmable gate arrays (FPGA) , and the like.

[0180] References in the present disclosure to “one embodiment” , “an embodiment” and so on, indicate that the embodiment described may include a particular feature, structure, or characteristic, but it is not necessary that every embodiment includes the particular feature, structure, or characteristic. Moreover, such phrases are not necessarily referring to the same embodiment. Further, when a particular feature, structure, or characteristic is described in connection with an embodiment, it is submitted that it is within the knowledge of one skilled in the art to implement such feature, structure, or characteristic in connection with other embodiments whether or not explicitly described.

[0181] The present disclosure includes any novel feature or combination of features disclosed herein either explicitly or any generalization thereof. Various modifications and adaptations to the foregoing exemplary embodiments of this disclosure may become apparent to those skilled in the relevant arts in view of the foregoing description, when read in conjunction with the accompanying drawings. However, any and all modifications will still fall within the scope of the non-limiting and exemplary embodiments of this disclosure.

Claims

1.A method (200) implemented at a data collection device comprising:transmitting (210) , to at least one communication device, a data collection request for an artificial intelligence / machine learning (AI / ML) -based functionality in a communication system; andobtaining (220) , at least from the at least one communication device, a training dataset for the AI / ML-based functionality and metadata corresponding to the training dataset, the training dataset at least comprising measurement data in the communication system, and the metadata at least indicating context information related to collection of the training dataset.2.The method of claim 1, wherein the measurement data in the training dataset comprises a plurality of measurement data samples each corresponding to a model input and a model output for the AI / ML-based functionality.3.The method of claim 1 to 2, wherein the metadata comprises at least one of the following:context information related to wireless communication signals that are communicated for collecting the training dataset, orcontext information related to locality where the training dataset is collected, orcontext information related to spatial filtering applied in transmitting and / or receiving the wireless communication signals.4.The method of any of claims 1 to 3, further comprising:storing the metadata in a dictionary format for each attribute of the training dataset or a datapoint in the training dataset; and / orstoring the measurement data in arrays or sequences in the training dataset.5.The method of any of claims 1 to 4, wherein obtaining the training dataset comprises:collecting a plurality of available features for the measurement data;determining relevance of respective available features of the plurality of available features to the AI / ML-based functionality; andstoring a measurement data sample into the training dataset based on the determined relevance.6.The method of any of claims 1 to 5, further comprising:creating a dataset ID and / or a version number for the training dataset; andmaintaining or sharing the training dataset in association with the dataset ID and / or the version number.7.The method of any of claims 1 to 6, further comprising:receiving a dataset request from a further communication device that is configured to train an AI / ML model; andin accordance with a determination that a type of the training dataset matches with a type of the AI / ML model, transmitting the training dataset to the further communication device.8.The method of any of claims 1 to 7, wherein obtaining the training dataset comprises:in accordance with a determination that a data collection start condition is satisfied, starting collection of the training dataset; andin accordance with a determination that a data collection termination condition is satisfied, terminating the collection of the training dataset.9.The method of any of claims 1 to 8, wherein obtaining the training dataset comprises:configuring at least one of following data collection requirements:a minimum total number of data samples to be collected,a minimum spatial sampling density for an area, ora highest acceptable percentage of corrupted measurement data samples, andobtaining the training dataset based on the at least one data collection requirement.10.The method of any of claims 1 to 9, wherein the at least one communication device comprises at least one of the following:at least one user equipment (UE) ,at least one positioning reference unit (PRU) , orat least one network device.11.A data collection device (300) comprising:at least one processor (310) ; andat least one memory (320) , the at least one memory (320) containing instructions executable by the at least one processor (310) , whereby the data collection device (300) is operative to:transmit, to at least one communication device, a data collection request for an artificial intelligence / machine learning (AI / ML) -based functionality in a communication system; andobtain, at least from the at least one communication device, a training dataset for the AI / ML-based functionality and metadata corresponding to the training dataset, the training dataset at least comprising measurement data in the communication system, and the metadata at least indicating context information related to collection of the training dataset.12.The data collection device (300) of claim 11, wherein the data collection device (300) is operative to perform the method according to any of claims 2 to 10.13.A communication system (500) , comprising:at least one data collection device (300) that is operative to perform the method according to any of claims 1-10;at least one terminal device (512) ; andat least one network device (510) .14.A computer readable storage medium comprising instructions which when executed by at least one processor, cause the at least one processor to perform the method (200) according to any of claims 1-10.

Images