User equipment generated labelled data collection

Abstract

Embodiments of the present disclosure relate to user equipment (UE) generated labelled data collection. In an aspect, a network device transmits, to a plurality of terminal devices, a request for testing of an artificial intelligence (AI) / machine learning (ML) model of the plurality of terminal devices. The network device receives, from a first terminal device among the plurality of terminal devices, a result of the testing of the AI / ML model. The network device transmits, to the first terminal device, a request for channel measurement and labelling the channel measurement by the first terminal device in the case that the first terminal device is selected based on the result of the testing. And the network device receives data of the channel measurement and its corresponding labels from the first terminal device. As provided in the present disclosure, the labelled data can be generated by the terminal device and collected by the network device.

Description

USER EQUIPMENT GENERATED LABELLED DATA COLLECTIONFIELD

[0001] Various example embodiments relate to the field of communication and in particular, to methods, devices, apparatuses and a computer readable storage medium for user equipment (UE) generated labelled data collection.BACKGROUND

[0002] 3rd Generation Partnership Project (3GPP) has initiated a study item on artificial intelligence (AI)  / machine learning (ML) for air interface, where one of the key use cases being considered is positioning accuracy enhancements with the use of AI / ML. And currently there are 5 use-cases under discussion as part of the Rel-18 study item on AI / ML for air Interface, such as, UE-based positioning with UE-side model for direct AI / ML or AI / ML assisted positioning, UE-assisted / location management function based (LMF-based) positioning with UE-side model for AI / ML assisted positioning, UE-assisted / LMF-based positioning with LMF-side model for direct AI / ML positioning, next generation radio access network (NG-RAN) node assisted positioning with next-generation NodeB side (gNB-side) model for AI / ML assisted positioning, and NG-RAN node assisted positioning with LMF-side model for direct AI / ML positioning.SUMMARY

[0003] In general, example embodiments of the present disclosure provide a solution for labelled data collection, especially for signaling framework for UE generated labelled data collection. With this solution, the labelled data can be generated by the terminal device in the case that the positioning reference unit (PRU) is unavailability.

[0004] In a first aspect, there is provided a network device. The network device comprises at least one processor and at least one memory storing instructions. The instructions, when executed by the at least one processor, cause the network device at least to: transmit, to a plurality of terminal devices, a request for testing of an artificial intelligence (AI)  / machine learning (ML) model of the plurality of terminal devices; receive, from a first terminal device among the plurality of terminal devices, a result of the testing of the AI / ML model; transmit, to the first terminal device, a request for channel measurement and labelling the channel  measurement by the first terminal device in the case that the first terminal device is selected based on the result of the testing; and receive the data of channel measurement and its corresponding labels from plurality of the first terminal device.

[0005] In a second aspect, there is provided a first terminal device. The first terminal device comprises at least one processor and at least one memory storing instructions. The instructions, when executed by the at least one processor, cause the first terminal device at least to: receive, from a network device, a request for testing of an artificial intelligence (AI)  / machine learning (ML) model of the first terminal device; transmit, to the network device, a result of the testing of the AI / ML model; receive, from the network device, a request for channel measurement and labelling the channel measurement by the first terminal device; and transmit the data of channel measurement and its corresponding labels to the network device.

[0006] In a third aspect, there is provided a second terminal device. The second terminal device comprises at least one processor and at least one memory storing instructions. The instructions, when executed by the at least one processor, cause the second terminal device at least to: receive, from a network device, a request for labelling of channel measurement data corresponding to labelled data collected and labelled by a first terminal device; and transmit, to the network device, labels generated by the second terminal device.

[0007] In a fourth aspect, there is provided a fourth terminal device. The fourth terminal device comprises at least one processor and at least one memory storing instructions. The instructions, when executed by the at least one processor, cause the first terminal device at least to: transmit, to a network device, a request for querying data for training or fine-tuning of an artificial intelligence (AI)  / machine learning (ML) model of the fourth terminal device; and receive, from the network device, labelled data generated by a first terminal device for the training or fine-tuning of the AI / ML model.

[0008] In a fifth aspect, there is provided a method implemented at a network device. The method comprises transmitting, at a network device and to a plurality of terminal devices, a request for testing of an artificial intelligence (AI)  / machine learning (ML) model of the plurality of terminal devices; receiving, from a first terminal device among the plurality of terminal devices, a result of the testing of the AI / ML model; transmitting, to the first terminal device, a request for channel measurement and labelling the channel measurement by the first terminal device in the case that the first terminal device is selected based on the result of the  testing; and receiving the data of channel measurement and its corresponding labels from plurality of the first terminal device.

[0009] In a sixth aspect, there is provided a method implemented at a first terminal device. The method comprises receiving, at a first terminal device and from a network device, a request for testing of an artificial intelligence (AI)  / machine learning (ML) model of the first terminal device; transmitting, to the network device, a result of the testing of the AI / ML model; receiving, from the network device, a request for channel measurement and labelling the channel measurement by the first terminal device; and transmitting the data of channel measurement and its corresponding labels to the network device.

[0010] In a seventh aspect, there is provided a method implemented at a second terminal device. The method comprises receiving, at a second terminal device and from a network device, a request for labelling of channel measurement data corresponding to labelled data collected and labelled by a first terminal device; and transmitting, to the network device, labels generated by the second terminal device.

[0011] In an eighth aspect, there is provided a method implemented at a fourth terminal device. The method comprises transmitting, at a fourth terminal device and to a network device, a request for querying data for training or fine-tuning of an artificial intelligence (AI)  / machine learning (ML) model of the fourth terminal device; and receiving, from the network device, labelled data generated by a first terminal device for the training or fine-tuning of the AI / ML model.

[0012] In a ninth aspect, there is provided an apparatus. The apparatus comprises means for means for transmitting, to a plurality of terminal devices, a request for testing of an artificial intelligence (AI)  / machine learning (ML) model of the plurality of terminal devices; means for receiving, from a first terminal device among the plurality of terminal devices, a result of the testing of the AI / ML model; means for transmitting, to the first terminal device, a request for channel measurement and labelling the channel measurement by the first terminal device in the case that the first terminal device is selected based on the result of the testing; and means for receiving the data of channel measurement and its corresponding labels from plurality of the first terminal device.

[0013] In a tenth aspect, there is provided an apparatus. The apparatus comprises means for receiving, from a network device, a request for testing of an artificial intelligence (AI)  / machine learning (ML) model of the apparatus; means for transmitting, to the network  device, a result of the testing of the AI / ML model; means for receiving, from the network device, a request for channel measurement and labelling the channel measurement by the apparatus; and means for transmitting the data of channel measurement and its corresponding labels to the network device.

[0014] In an eleventh aspect, there is provided an apparatus. The apparatus comprises means for receiving, from a network device, a request for labelling of channel measurement data corresponding to labelled data collected and labelled by a first terminal device; and means for transmitting, to the network device, labels generated by the apparatus.

[0015] In a twelfth aspect, there is provided an apparatus. The apparatus comprises means for transmitting, to a network device, a request for querying data for training or fine-tuning of an artificial intelligence (AI)  / machine learning (ML) model of the apparatus; and receiving, from the network device, labelled data generated by a first terminal device for the training or fine-tuning of the AI / ML model.

[0016] In a thirteenth aspect, there is provided a non-transitory computer readable medium comprising program instructions for causing an apparatus to perform at least the method according to any one of the above fifth to eighth aspects.

[0017] In a fourteenth aspect, there is provided a computer program comprising instructions, which, when executed by an apparatus, cause the apparatus to perform at least the method according to any one of the above fifth to eighth aspects.

[0018] In a fifteen aspect, there is provided a network device. The network device comprises: first transmitting circuitry configured to transmit, to a plurality of terminal devices, a request for testing of an artificial intelligence (AI)  / machine learning (ML) model of the plurality of terminal devices; first receiving circuitry configured to receive, from a first terminal device among the plurality of terminal devices, a result of the testing of the AI / ML model; second transmitting circuitry configured to transmit, to the first terminal device, a request for channel measurement and labelling the channel measurement by the first terminal device in the case that the first terminal device is selected based on the result of the testing; and second receiving circuitry configured to receive the data of channel measurement and its corresponding labels from plurality of the first terminal device.

[0019] In a sixteen aspect, there is provided a first terminal device. The first terminal device comprises: first receiving circuitry configured to receive, from a network device, a request for testing of an artificial intelligence (AI)  / machine learning (ML) model of the first  terminal device; first transmitting circuitry configured to transmit, to the network device, a result of the testing of the AI / ML model; second receiving circuitry configured to receive, from the network device, a request for channel measurement and labelling the channel measurement generated by the first terminal device; and second transmitting circuitry configured to transmit the data of channel measurement and its corresponding labels to the network device.

[0020] In a seventeen aspect, there is provided a second terminal device. The second terminal device comprises: receiving circuitry configured to receive, from a network device, a request for labelling of channel measurement data corresponding to labelled data collected and labelled by a first terminal device; and transmitting circuitry configured to transmit, to the network device, labels generated by the second terminal device.

[0021] In an eighteen aspect, there is provided a fourth terminal device. The fourth terminal device comprises: transmitting circuitry configured to transmit, to a network device, a request for querying data for training or fine-tuning of an artificial intelligence (AI)  / machine learning (ML) model of the fourth terminal device; and receiving circuitry configured to receive, from the network device, labelled data generated by a first terminal device for the training or fine-tuning of the AI / ML model.

[0022] It is to be understood that the summary section is not intended to identify key or essential features of embodiments of the present disclosure, nor is it intended to be used to limit the scope of the present disclosure. Other features of the present disclosure will become easily comprehensible through the following description.BRIEF DESCRIPTION OF THE DRAWINGS

[0023] Some example embodiments will now be described with reference to the accompanying drawings, in which:

[0024] Fig. 1 illustrates an example communication network in which embodiments of the present disclosure may be implemented;

[0025] Fig. 2 illustrates a flowchart illustrating an example of process for UGLD collection according to some embodiments of the present disclosure;

[0026] Fig. 3 illustrates a flowchart illustrating another example of process for QoE according to some embodiments of the present disclosure;

[0027] Fig. 4 illustrates a diagram illustrating example of selection of trusted-terminal device according to some embodiments of the present disclosure;

[0028] Fig. 5 illustrates a diagram illustrating example of UGLD by trusted-terminal device according to some embodiments of the present disclosure;

[0029] Fig. 6 illustrates a diagram illustrating example of cross-evaluation of UGLD according to some embodiments of the present disclosure;

[0030] Fig. 7 illustrates a diagram illustrating example of providing UGLD according to some embodiments of the present disclosure;

[0031] Fig. 8 illustrates a flowchart for selection of trusted terminal device and high-quality UGLD according to some embodiments of the present disclosure;

[0032] Fig. 9 illustrates a flowchart of a method implemented at a network device according to some embodiments of the present disclosure;

[0033] Fig. 10 illustrates a flowchart of a method implemented at a first terminal device according to some other embodiments of the present disclosure;

[0034] Fig. 11 illustrates a flowchart of a method implemented at a second terminal device according to some other embodiments of the present disclosure;

[0035] Fig. 12 illustrates a flowchart of a method implemented at a fourth terminal device according to some other embodiments of the present disclosure;

[0036] Fig. 13 illustrates a simplified block diagram of an apparatus that is suitable for implementing embodiments of the present disclosure; and

[0037] FIG. 14 illustrates a block diagram of an example computer readable medium in accordance with some embodiments of the present disclosure.

[0038] Throughout the drawings, the same or similar reference numerals represent the same or similar element.DETAILED DESCRIPTION

[0039] Principle of the present disclosure will now be described with reference to some example embodiments. It is to be understood that these embodiments are described only for the purpose of illustration and help those skilled in the art to understand and implement the present disclosure, without suggesting any limitation as to the scope of the disclosure.  The disclosure described herein can be implemented in various manners other than the ones described below.

[0040] In the following description and claims, unless defined otherwise, all technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skills in the art to which this disclosure belongs.

[0041] References in the present disclosure to “one embodiment, ” “an embodiment, ” “an example embodiment, ” and the like indicate that the embodiment described may include a particular feature, structure, or characteristic, but it is not necessary that every embodiment includes the particular feature, structure, or characteristic. Moreover, such phrases are not necessarily referring to the same embodiment. Further, when a particular feature, structure, or characteristic is described in connection with an embodiment, it is submitted that it is within the knowledge of one skilled in the art to affect such feature, structure, or characteristic in connection with other embodiments whether or not explicitly described.

[0042] It shall be understood that although the terms “first” and “second” etc. may be used herein to describe various elements, these elements should not be limited by these terms. These terms are only used to distinguish one element from another. For example, a first element could be termed a second element, and similarly, a second element could be termed a first element, without departing from the scope of example embodiments. As used herein, the term “and / or” includes any and all combinations of one or more of the listed terms.

[0043] The terminology used herein is for describing particular embodiments only and is not intended to be limiting of example embodiments. As used herein, the singular forms “a” , “an” and “the” are intended to include the plural forms as well, unless the context clearly indicates otherwise. It will be further understood that the terms “comprises” , “comprising” , “has” , “having” , “includes” and / or “including” , when used herein, specify the presence of stated features, elements, and / or components etc., but do not preclude the presence or addition of one or more other features, elements, components and / or combinations thereof. As used herein, “at least one of the following: <a list of two or more elements>” and “at least one of <a list of two or more elements>” and similar wording, where the list of two or more elements are joined by “and” or “or” , mean at least any one of the elements, or at least any two or more of the elements, or at least all the elements.

[0044] As used in this application, the term “circuitry” may refer to one or more or all of the following:

[0045] (a) hardware-only circuit implementations (such as implementations in only analog and / or digital circuitry) and

[0046] (b) combinations of hardware circuits and software, such as (as applicable) :

[0047] (i) a combination of analog and / or digital hardware circuit (s) with software / firmware and

[0048] (ii) any portions of hardware processor (s) with software (including digital signal processor (s) ) , software, and memory (ies) that work together to cause an apparatus, such as a mobile phone or server, to perform various functions) and

[0049] (c) hardware circuit (s) and or processor (s) , such as a microprocessor (s) or a portion of a microprocessor (s) , that requires software (e.g., firmware) for operation, but the software may not be present when it is not needed for operation.

[0050] This definition of circuitry applies to all uses of this term in this application, including in any claims. As a further example, as used in this application, the term circuitry also covers an implementation of merely a hardware circuit or processor (or multiple processors) or portion of a hardware circuit or processor and its (or their) accompanying software and / or firmware. The term circuitry also covers, for example and if applicable to the particular claim element, a baseband integrated circuit or processor integrated circuit for a mobile device or a similar integrated circuit in server, a cellular network device, or other computing or network device.

[0051] As used herein, the term “communication network” refers to a network following any suitable communication standards, such as Long Term Evolution (LTE) , LTE-Advanced (LTE-A) , Wideband Code Division Multiple Access (WCDMA) , High-Speed Packet Access (HSPA) , Narrow Band Internet of Things (NB-IoT) and so on. Furthermore, the communications between a terminal device and a network device in the communication network may be performed according to any suitable generation communication protocols, including, but not limited to, the first generation (1G) , the second generation (2G) , 2.5G, 2.75G, the third generation (3G) , the fourth generation (4G) , 4.5G, the future fifth generation (5G) communication protocols, and / or any other protocols either currently known or to be developed in the future. Embodiments of the present disclosure may be applied in various communication systems. Given the rapid development in communications, there will of course also be future type communication technologies and systems with which the present disclosure may be embodied. It should not be seen as limiting the scope of the present  disclosure to only the aforementioned system.

[0052] As used herein, the term “network device” and “access network device” refer to a node in a communication network via which a terminal device accesses the network and receives services therefrom. The network device may refer to a base station (BS) or an access point (AP) , for example, a node B (NodeB or NB) , an evolved NodeB (eNodeB or eNB) , a NR NB (also referred to as a gNB) , a Remote Radio Unit (RRU) , a radio header (RH) , a remote radio head (RRH) , a relay, a low power node such as a femto, a pico, and so forth, depending on the applied terminology and technology. The “network device” may further comprise a core network device, for example, the LMF, the OTT server. It is to be understood that the LMF and OTT are merely examples, and any other suitable forms are also feasible.

[0053] The term “terminal device” refers to any end device that may be capable of wireless communication. By way of example rather than limitation, a terminal device may also be referred to as a communication device, user equipment (UE) , a Subscriber Station (SS) , a Portable Subscriber Station, a Mobile Station (MS) , or an Access Terminal (AT) . The terminal device may include, but not limited to, a mobile phone, a cellular phone, a smart phone, voice over IP (VoIP) phones, wireless local loop phones, a tablet, a wearable terminal device, a personal digital assistant (PDA) , portable computers, desktop computer, image capture terminal devices such as digital cameras, gaming terminal devices, music storage and playback appliances, vehicle-mounted wireless terminal devices, wireless endpoints, mobile stations, laptop-embedded equipment (LEE) , laptop-mounted equipment (LME) , USB dongles, smart devices, wireless customer-premises equipment (CPE) , an Internet of Things (loT) device, a watch or other wearable, a head-mounted display (HMD) , a vehicle, a drone, a medical device and applications (e.g., remote surgery) , an industrial device and applications (e.g., a robot and / or other wireless devices operating in an industrial and / or an automated processing chain contexts) , a consumer electronics device, a device operating on commercial and / or industrial wireless networks, and the like. In the following description, the terms “terminal device” , “communication device” , “terminal” , “user equipment” and “UE” may be used interchangeably.

[0054] As stated above, 3GPP has initiated a study item on AI / ML for air interface. For AI-model training / fine-tuning, labelled data is a must to have. And ground truth label generation has been discussed in 3GPP. A prerequisite in supervised learning of AI / ML is that sufficient number of well labelled data is required ahead of time, which determines the quality of model  training / fine-tuning. In fact, labelling data with high quality labels (either line of sight (LOS)  / non line of sight (NLOS) index or coordinates) is considerably costly, it typically requires external gears / devices support for an in-field measurement. PRU is intrinsically suitable to accommodate real-world measurement and labelling in practice. However, when terminal device requires data-host (e.g., LMF / gNB / over the top (OTT) ) for labelled data for AI-model training or fine-tuning, the data-host, cannot provide sufficient labelled data per request and meanwhile with the absence of PRU for prompt in-field data measurement and labelling.

[0055] According to embodiments of the present disclosure, there is provided a solution for providing a high-quality UGLD approach with signaling framework. And the solution comprises two main innovative functionalities of terminal device-model testing and high-quality labelled data generation and assessment via cross-evaluation. This solution can be for the scenarios with unavailability of PRU. And terminal device model proprietary is well reserved via such cross-evaluation mechanism. Principle and embodiments of the present disclosure will be described in detail below with reference to the accompanying drawings.

[0056] FIG. 1 illustrates a schematic diagram of an example communication network 100 in which some embodiments of the present disclosure can be implemented. As shown in FIG. 1, the communication network 100 may include terminal device 110 and network device 120. The network device 120 may be a gNB 120-1, a LMF 120-2, or a OTT 120-3. The network device 120 can be the data host for labelled database with ground truth labels.

[0057] It is to be understood that the number of network devices and terminal devices is only for the purpose of illustration without suggesting any limitations. The system 100 may include any suitable number of network devices and terminal devices adapted for implementing embodiments of the present disclosure.

[0058] Communications in the communication system 100 may be implemented according to any proper communication protocol (s) , comprising, but not limited to, cellular communication protocols of the first generation (1G) , the second generation (2G) , the third generation (3G) , the fourth generation (4G) and the fifth generation (5G) and on the like, wireless local network communication protocols such as Institute for Electrical and Electronics Engineers (IEEE) 802.11 and the like, and / or any other protocols currently known or to be developed in the future. Moreover, the communication may utilize any proper wireless communication technology, comprising but not limited to: Code Division Multiple Access (CDMA) , Frequency Division Multiple Access (FDMA) , Time Division Multiple  Access (TDMA) , Frequency Division Duplex (FDD) , Time Division Duplex (TDD) , Multiple-Input Multiple-Output (MIMO) , Orthogonal Frequency Division Multiple (OFDM) , Discrete Fourier Transform spread OFDM (DFT-s-OFDM) and / or any other technologies currently known or to be developed in the future.

[0059] Fig. 2 illustrates a flowchart illustrating an example of process for UGLD collection according to some embodiments of the present disclosure. For the purpose of discussion, the process 200 will be described with reference to Fig. 1. The process 200 may involve the terminal devices 110-1, 110-2 and 110-4, the network devices 120 as illustrated in Fig. 1. It would be appreciated that although the process 200 for link has been described in the communication system 100 of Fig. 1, this process may be likewise applied to other communication scenarios where different network devices are jointly deployed to provide respective serving cells. It would also be appreciated that although the process for UGLD collection of the terminal devices 110-1, 110-2 and 110-4 is discussed, a similar process can be applied for any other terminal devices.

[0060] In some embodiments, the terminal device 110-4 transmits, to the network device 120, a request for querying data for training or fine-tuning of an AI / ML model of the terminal device 110-4. And the network device 120 transmits to a plurality of terminal devices a request for testing of an AI / ML model of the plurality of terminal devices, such as terminal device 110-1 and 110-2. The network device receives, from the terminal devices 110-1 and 110-2, a result of the testing of the AI / ML model. Then the network device 120 transmits to the terminal devices 110-1 and 110-2, a request for channel measurement and labelling the channel measurement by the terminal devices 110-1and 110-2 in the case that the terminal devices 110-1 and 110-2 is selected based on the result of the testing. And the network device 120 receive the data of channel measurement and its corresponding labels from the terminal devices 110-1 and 110-2. Then the terminal device 110-4 receives, from the network device 120, a request for labelling of data corresponding to labelled data of terminal device 110-1. And the terminal device 110-2 transmits, to the network device 120, labelled data generated by the terminal device 110-2. The terminal device 110-4 receives the labelled data from network device 120.

[0061] Specifically, as shown in FIG. 2, the terminal device sends 201 the request of data 202 to the network device 120. The network device 120 sends 204 the request of testing 205 to terminal device 110-1. And the network device 120 sends 207 the request of testing 208 to terminal device 110-2. The terminal device 110-1 sends 210 the result of testing 211 to the  network device 120. The terminal device 110-2 sends 213 the result of testing 214 to the network device 120. The network device 120 sends 216 the request of measurement and labelling 217 to terminal device 110-1 since the terminal device 110-1 is selected based on the testing result. The network device 120 sends 219 the request of measurement and labelling 220 to terminal device 110-2 since the terminal device 110-2 is selected based on the testing result. The terminal device 110-1 sends 222 the data of channel measurement and labels 223 to the network device 120. The terminal device 110-2 sends 225 the data of channel measurement and labels 226 to the network device 120. The network device 120 send the request for labelling of channel measurement data 229 to the terminal device 110-2, and the labelling of channel measurement data corresponding to labelled data collected and labelled by terminal device 110-1. The terminal device 110-2 send 231 the labels 232 to the network device 233. And the network device 120 sends the labelled data 235 to the terminal device 110-4. For the solution of the process, it can be for the scenario that the PRU is unavailable. And the model of AI / ML deployed on terminal device can be tested before the labelled data collection.

[0062] FIG. 3 illustrates a flowchart illustrating another example of process for QoE according to some embodiments of the present disclosure. In FIG. 3, there is detailed signaling workflow to support above mentioned solution. For the purpose of discussion, the process 300 will be described with reference to Fig. 1. The process 200 may involve the terminal device 110-1, 110-2, 110-3 and 110-4, and the network devices 120 as illustrated in Fig. 1. The process involves the network device 120 as data host. The network device can be gNB, LMF or OTT, such as 120-1, 120-2 and 120-3. In addition, terminal device 110-4 represents the data end user, terminal device 110-1, terminal device 110-2 and terminal device 112-3 represents legacy terminal devices with well pretrained models. Every pretrained terminal device-model possesses strong inference capability from its vendor-owned sufficiently large dataset, but the gap between pretrained dataset and current environment leads to different performance in terms of inference accuracy.

[0063] It would be appreciated that although the process 200 for link has been described in the communication system 100 of Fig. 1, this process may be likewise applied to other communication scenarios where different network devices are jointly deployed to provide respective serving cells. It would also be appreciated that although the process for UGLD collection of the terminal device 110-1, 110-2 and 110-3 is discussed, a similar process can be applied for any other terminal devices.

[0064] In some embodiments, the network device 120 receives a request from LMF about training or fine-tuning of AI / ML model. Specifically, as shown in FIG. 3, when terminal device 110-4 is a new terminal device, its pretrained model underperforms per requirement and therefore needs upgrading. Such upgrading request could be generated either by NW side. So the LMF triggers 301 model training or fine-tuning.

[0065] In some embodiments, the network device 120 receives from the terminal device 110-4, a request for querying data for training or fine-tuning of an AI / ML model of the terminal device 110-4. Specifically, as shown in FIG. 3, the upgrading request also can be triggered by terminal device 110-4. That is, terminal device 110-4 send 302 request for querying data for model training or fine-tuning from network device 120. If network device 120 possesses enough labelled data per the request, it sends terminal device 110-4 the required data and doesn’t trigger the signaling workflow as shown in FIG. 3. If network device 120 happens to have some but insufficient labelled data per the request, workflow of present application will be triggered.

[0066] In some embodiments, the network device 120 transmits to a plurality of terminal devices a request for testing of an AI / ML model of the plurality of terminal devices, such as terminal device 110-1, 110-2 and 110-3. Specifically, as shown in FIG. 3, in phase-1 of the process, network device 120 casts a testing quiz request to all legacy terminal devices to select out trusted terminal device models. Specifically, the network device 120 sends 306 request of model test 307 to terminal device 110-1, sends 309 request of model test 310 to terminal device 110-2, and sends 312 request of model test 313 to terminal device 110-3.

[0067] In some embodiments, the terminal devices transmit to the network device 120 an ACK for the request for the testing. Specifically, as shown in FIG. 3, the terminal device 110-1 sends 315 ACK or NACK to network device 120. The terminal device 110-2 sends 318 ACK or NACK to network device 120. The terminal device 110-3 sends 318 ACK or NACK to network device 120.

[0068] In some embodiments, the network device 120 transmits to the terminal devices, data for the testing. And the network device 120 receives from the terminal devices a result of the testing of the AI / ML model. Specifically, as shown in FIG. 3, the network device 120 sends testing data of RF channel measurement (without sending ground truth labels) from its dataset to all ACK terminal devices. For example, in the case that all of terminal device 110-1, terminal device 110-2 and terminal device 110-3 send ACK to network device 120, the  network device 120 sends 324 test data 325 to the terminal device 110-1, the network device 120 sends 327 test data 328 to the terminal device 110-2, the network device 120 sends 330 test data 331 to the terminal device 110-3. And terminal device 110-1 sends 333 report inference results on test data 334 to the network device 120. The terminal device 110-2 sends 336 report inference results on test data 337 to the network device 120. The terminal device 110-3 sends 339 report inference results on test data 340 to the network device 120.

[0069] In some embodiments, the network device 120 scores and ranks performance of the terminal devices based on the result of the testing, and selects the terminal device based on the scoring and ranking performance. Specifically, as shown in FIG. 3, by referring to ground truth, the network device 120 assesses each terminal devices’ inference accuracy and selects the top scored terminal devices as the trusted terminal devices. Specifically, the network device 120 scores and ranks 342 terminal device’s performance for the inference accuracy. In addition, the network device 120 selects 343 trusted terminal devices, such as terminal device 110-2 and terminal device 110-3.

[0070] In some embodiments, the network device 120 transmits to the terminal devices, a request for channel measurement and labelling the channel measurement by the terminal devices in the case that the terminal devices are selected based on the result of the testing. And the network device 120 receive the data of channel measurement and its corresponding labels from the terminal devices. Specifically, as shown in FIG. 3, network device 120 sends request to such trusted terminal devices to collect RF channel measurement and give labeling. Since the labelled data are generated by terminal device, therefore it’s termed as UGLD short for terminal device generated labelled data. As shown in FIG. 3, the network device 120 sends 344 request for collecting labelled data 345 to the terminal device 110-2, and sends 347 request for collecting labelled data 348 to the terminal device 110-3. The terminal device 110-2 sends 350 the UGLD 351 to the network device 120. The terminal device 110-3 sends 353 the UGLD 354 to the network device 120.

[0071] In some embodiments, the network device 120 transmits to terminal device among the plurality of terminal devices, a request for labelling of channel measurement data corresponding to the labelled data collected and labelled by another terminal device. And the network device 120 receives from the terminal device, labels generated by the terminal device. Then the network device 120 determines whether the labels generated by the terminal device based on the channel measurement by the other terminal device is consistent with the labels generated by the other terminal device. And the labelled data of the terminal device is selected  as high-quality in the case that the labels of the terminal device is consistent with the labels of other terminal device. Specifically, as shown in FIG 3, in phase-2, the network device 120 assesses the quality of UGLD from trusted terminal devices by cross-evaluation among different trusted terminal devices. Specifically, the network device 120 sends 358 the UGLD from terminal device 110-2 to terminal device 110-3 for cross evaluation. And the terminal device 110-2 repeats the steps in phase-1 and gives labels per terminal device 110-2’s RF channel measurement. Then if the labels generated by terminal device 110-3 consists with terminal device 110-2, such UGLD is ranked as high-quality.

[0072] The reasons for why such cross-evaluation approach works on providing high quality UGLD is that every pre-trained terminal device model possesses a strong ability for inference (labeling) , yet it may not necessarily be suitable for the current environment. However, through cross-validation, common knowledge pertaining to the present environment is distilled and unearthed among various terminal device-models.

[0073] In some embodiments, the high-quality of the labelled data is archived. And the network device 120 transmits to the terminal device, the labelled data for the training or fine-tuning of the AI / ML model. Specifically, as shown in FIG. 3, the network device 120 archives 360 the high-quality UGLD in database. And the network device 120 sends 359 the high-quality UGLD 360 to terminal device 110-4 per its data request.

[0074] FIG. 4 also illustrates that the network device 120 selects trusted terminal device / vendor models out of all legacy terminal devices that fit current RF environment most by casting a labelling quiz from its possessed (small amount of) labelled dataset. Specifically, as shown in FIG. 4, the network device 120 has a limited number of labelled database with ground truth labels which is insufficient per the data request from terminal device 110-4 for training / retuning, nevertheless is suitable for a labelling quiz. Network device 120 firstly casts (401, 402, 403) a request on “labelling the RF measurement” with channel measurement on a dataset from its (small sized) database to all testing-terminal devices (such as terminal device 110-1, 110-2 and 110-3) . Of course, the ground-truth is not sent. Terminal device reports its inference results back to data-host. And the network device receives the test report (404, 405, 406) from the terminal devices. By referring to the ground truth labels in its labelled database, the network device 120 assesses and ranks testing-terminal device model’s performance. The network devices 120 selects the most trusted terminal devices / models amongst the testing-terminal devices (e.g., terminal device 110-1 and terminal 110-2) .

[0075] FIG. 5 also illustrates that network device 120 grants authorization to trusted terminal devices to collect UGLD in the deployment field. Specifically, as shown in FIG. 5, the network device 120 sends the labelling request (401, 402) to the terminal devices 110-1 and 110-2. Then the terminal devices 110-1 and 110-2 send the report UGLD (403, 404) to the network device 120.

[0076] FIG. 6 also illustrates that the network device 120 cross-evaluates the UGLD from one trusted terminal device to another and mark the UGLD as high-quality that receives consistent labelling from different trusted terminal devices. Specifically, as shown in FIG. 6, the network device 120 sends the labelling request 601 to terminal device, and the labelling request is for the data associated with the UGLD of terminal device 110-3. The network device 120 sends the labelling request 602 to terminal device 110-3, and the labelling request is for the data associated with the UGLD of terminal device 110-2. Then the network device receives the report UGLD 603 from 110-3, and receives the report UGLD 604 from terminal device 110-2.

[0077] FIG. 7 also illustrates that such cross-evaluated ‘high-quality UGLD’ data are sent to terminal device per its data request for model training / fine-tuning. Specifically, as shown in FIG. 7, the terminal device 120 sends the high quality UGLD 701 to the terminal device 110-4.

[0078] In some embodiments, the network device 120 transmits, to a third terminal device, the request for labelling of channel measurement data corresponding to the labelled data of the first terminal device in the case that the labels generated by the second terminal device is not consistent with the labels generated by the first terminal device. The network device receives, from the third terminal device, labels generated on the channel measurement data collected by the first terminal device by the third terminal device. The network device determines whether the labels generated by the third terminal device is consistent with the labels generated based on the channel measurement data of the first terminal device. Specifically, assume terminal device 110-1, terminal device 110-2, terminal device 110-3…are trusted terminal devices ranked according to its testing score. Firstly, terminal devices 110-1 and 110-2 are selected to generate UGLD and then cross evaluated. If terminal devices 110-1 and 110-2 comes up with consistent result, UGLD can be regarded as high-quality. However, if they come up with conflict results, either the UGLD is discarded or terminal device 110-3 is involved to participant in the cross-evaluation and voting.

[0079] In some embodiments, the request for channel measurement and labelling the channel measurement is transmitted in the case that a request for assessment of inference on radio frequency (RF) channel measurement of the first terminal device is received. Specifically, based on above solution, the network device 120 can provide labelling confidence assessment service, that is, when there’s a request querying if an inference on RF channel measurement by terminal device is correct or not, the network device can forward the RF channel measurement to trusted terminal devices for labelling and voting.

[0080] In some embodiments, the request for testing is not transmitted and the request for channel measurement and labelling the channel measurement is transmitted to the plurality of terminal devices in the case that the network device does not have pre-labelled data. Specifically, in cases where data host has NO pre-labelled data at all in the first place, which means Phase-1 terminal device-testing must been skipped and only phase-2 cross evaluation is executed directly. In this case, since there will be no selected trusted-terminal device by phase-1, UGLD from any terminal device can be used for phase-2.

[0081] FIG. 8 illustrates a flowchart for selection of trusted terminal device and high-quality UGLD according to some embodiments of the present disclosure. Specifically, the present application comprises trusted-terminal device selection and high-quality-UGLD generation & assessment. The proposed approach can be triggered whenever there lacks labelled data per request, and applicable at different stages of an AI model’s life cycle like model training, fine-tuning, performance monitoring. For level-1 of trusted-terminal device selection, only trusted terminal device are selected for next operations, untrusted terminal device are eliminated from the following steps. For level-2 of high-quality-UGLD generation & assessment, UGLD is firstly generated by trusted terminal devices, of which low-quality UGLD is eliminated and only high-quality UGLD is selected and used.

[0082] Specifically, as shown in FIG. 8, the enough labelled data for training is ready or not is determined at 801. If the data is enough, the regular training is performed at 802. Otherwise, the data host selects the trusted UEs at 803. If the data host determines that the UE is trusted at 804, the data host queries the trusted UE for UGLD at 806. Otherwise, at 805, the UE is not selected and the process is ended. At 807, the data host determine whether the UGLD is high-quality. If the UGLD is high quality, the UGLD is selected at 809. Otherwise, at 808, the UGLD is not selected and the process is ended.

[0083] For the solution of present application, it is with especial value to scenarios with  unavailability of PRU. And it can be used for throughput AI-model’s full life cycles, including model training, fine-tuning, or monitoring. With such workflow and signaling framework, terminal device generated data labelling therefore can become a service, as a branch of AIaaS. Accordingly, charging mechanism can be further developed e.g., w.r.t the volume of accepted labels. In addition, the terminal device model proprietary is well reserved via such cross-evaluation mechanism. The solution of present application can also be used to assess terminal device model’s inference accuracy via cross-evaluation mechanism which is valuable without ground truth.

[0084] Fig. 9 shows a flowchart of an example method 900 implemented at a network device in accordance with some embodiments of the present disclosure. For the purpose of discussion, the method 900 will be described from the perspective of the access network device 120 with reference to Fig. 1.

[0085] At block 910, the network device 120 transmits, to a plurality of terminal devices, a request for testing of an artificial intelligence (AI)  / machine learning (ML) model of the plurality of terminal devices. At block 920, the network device 120 receives, from a first terminal device among the plurality of terminal devices, a result of the testing of the AI / ML model. At block 930, the network device 120 transmits, to the first terminal device, a request for channel measurement and labelling the channel measurement by the first terminal device in the case that the first terminal device is selected based on the result of the testing. And at block 940, the network device 120 receives the data of channel measurement and its corresponding labels from the first terminal device.

[0086] In some embodiments, the network device 120 transmits, to a second terminal device among the plurality of terminal devices, a request for labelling of channel measurement data corresponding to the labelled data collected and labelled by the first terminal device; receives, from the second terminal device, labels generated by the second terminal device; and determines, whether the labels generated by the second terminal device based on the channel measurement by the first terminal device is consistent with the labels generated based on the channel measurement data of the first terminal device.

[0087] In some embodiments, the network device 120 receives, from the first terminal device or the second terminal device, an acknowledgement (ACK) for the request for the testing or the request for in-field channel measurement data collection and labelling; and transmits, to the first terminal device or the second terminal device, channel measurement  data for the testing or the request for the labelling.

[0088] In some embodiments, the network device 120 transmits, to a third terminal device, the request for labelling of channel measurement data corresponding to the labelled data of the first terminal device in the case that the labels generated by the second terminal device is not consistent with the labels generated by the first terminal device; receives, from the third terminal device, labels generated on the channel measurement data collected by the first terminal device by the third terminal device; and determines, whether the labels generated by the third terminal device is consistent with the labels generated based on the channel measurement data of the first terminal device.

[0089] In some embodiments, the labelled data of the first terminal device is discarded in the case that the labels by the second terminal device based on the channel measurement collected by the first terminal device is not consistent with the labelled data of the first terminal device.

[0090] In some embodiments, the request for channel measurement and labelling the channel measurement is transmitted in the case that a request for assessment of inference on radio frequency (RF) channel measurement of the first terminal device is received.

[0091] In some embodiments, the request for testing is not transmitted and the request for channel measurement and labelling the channel measurement is transmitted to the plurality of terminal devices in the case that the network device does not have pre-labelled data.

[0092] In some embodiments, the request for testing is transmitted in the case that a location management function (LMF) requests training or fine-tuning of AI / ML-based positioning model.

[0093] In some embodiments, the network device 120 receives, from a fourth terminal device, a request for querying data for training or fine-tuning of an AI / ML model of the fourth terminal device; and transmits, to the fourth terminal device, the labelled data for the training or fine-tuning of the AI / ML model.

[0094] In some embodiments, selecting the first terminal device based on the result of the testing comprises: scoring and ranking performance of the first terminal device based on the result of the testing; selecting the first terminal device based on the scoring and ranking performance.

[0095] In some embodiments, the labelled data of the first terminal device is selected as  high-quality in the case that the labels of the second terminal device is consistent with the labels of the first terminal device.

[0096] In some embodiments, the high-quality of the labelled data is archived.

[0097] In some embodiments, the network device is one of the following: location management function (LMF) ; next generation NodeB (gNB) ; or over the top (OTT) .

[0098] Fig. 10 shows a flowchart of an example method 1000 implemented at a first terminal device in accordance with some embodiments of the present disclosure. For the purpose of discussion, the method 1000 will be described from the perspective of the terminal device 110 with reference to Fig. 1.

[0099] At block 1010, the terminal device 110 receives, from a network device, a request for testing of an artificial intelligence (AI)  / machine learning (ML) model of the first terminal device. At block 1020, the terminal device 110 transmits, to the network device, a result of the testing of the AI / ML model. At block 1030, the terminal device 110 receives, from the network device, a request for channel measurement and labelling the channel measurement by the first terminal device. At block 1040, the terminal device 110 transmits the data of channel measurement and its corresponding labels to the network device.

[0100] In some embodiments, the terminal device 110 transmits, to the network device, an acknowledgement (ACK) for the request for the testing; and receives, from the network device, data for the testing.

[0101] Fig. 11 shows a flowchart of an example method 1100 implemented at a second terminal device in accordance with some embodiments of the present disclosure. For the purpose of discussion, the method 1100 will be described from the perspective of the terminal device 110 with reference to Fig. 1.

[0102] At block 1110, the terminal device 110 receives, from a network device, a request for labelling of channel measurement data corresponding to labelled data collected and labelled by a first terminal device. At block 1120, the terminal device 110 transmits, to the network device, labels generated by the second terminal device.

[0103] In some embodiments, the terminal device 110 transmits, to the network device, an acknowledgement (ACK) for the request for in-field channel measurement data collection and labelling; and receives, from the network device, channel measurement data for the request for the labelling.

[0104] Fig. 12 shows a flowchart of an example method 1200 implemented at a fourth terminal device in accordance with some embodiments of the present disclosure. For the purpose of discussion, the method 1200 will be described from the perspective of the terminal device 110 with reference to Fig. 1.

[0105] At block 1210, the terminal device transmits, to a network device, a request for querying data for training or fine-tuning of an artificial intelligence (AI)  / machine learning (ML) model of the fourth terminal device. At block 1220, the terminal device 110 receives, from the network device, labelled data generated by a first terminal device for the training or fine-tuning of the AI / ML model.

[0106] In some embodiments, an apparatus capable of performing any of the method 900 (for example, the network device 120) may comprise means for performing the respective steps of the method 900. The means may be implemented in any suitable form. For example, the means may be implemented in a circuitry or software module.

[0107] In some embodiments, the apparatus comprises means for transmitting, to a plurality of terminal devices, a request for testing of an artificial intelligence (AI)  / machine learning (ML) model of the plurality of terminal devices; means for receiving, from a first terminal device among the plurality of terminal devices, a result of the testing of the AI / ML model; means for transmitting, to the first terminal device, a request for channel measurement and labelling the channel measurement by the first terminal device in the case that the first terminal device is selected based on the result of the testing; and means for receive the data of channel measurement and its corresponding labels from plurality of the first terminal devices.

[0108] In some embodiments, the apparatus further comprises means for transmitting, to a second terminal device among the plurality of terminal devices, a request for labelling of channel measurement data corresponding to the labelled data collected and labelled by the first terminal device; means for receiving, from the second terminal device, labels generated by the second terminal device; and means for determining, whether the labels generated by the second terminal device based on the channel measurement by the first terminal device is consistent with the labels generated based on the channel measurement data of the first terminal device.

[0109] In some embodiments, the apparatus further comprises means for receiving, from the first terminal device or the second terminal device, an acknowledgement (ACK) for the  request for the testing or the request for in-field channel measurement data collection and labelling; and means for transmitting, to the first terminal device or the second terminal device, channel measurement data for the testing or the request for the labelling.

[0110] In some embodiments, the apparatus further comprises means for transmitting, to a third terminal device, the request for labelling of channel measurement data corresponding to the labelled data of the first terminal device in the case that the labels generated by the second terminal device is not consistent with the labels generated by the first terminal device; means for receiving, from the third terminal device, labels generated on the channel measurement data collected by the first terminal device by the third terminal device; and means for determining, whether the labels generated by the third terminal device is consistent with the labels generated based on the channel measurement data of the first terminal device.

[0111] In some embodiments, the labelled data of the first terminal device is discarded in the case that the labels by the second terminal device based on the channel measurement collected by the first terminal device is not consistent with the labelled data of the first terminal device.

[0112] In some embodiments, the request for channel measurement and labelling the channel measurement is transmitted in the case that a request for assessment of inference on radio frequency (RF) channel measurement of the first terminal device is received.

[0113] In some embodiments, the request for testing is not transmitted and the request for channel measurement and labelling the channel measurement is transmitted to the plurality of terminal devices in the case that the network device does not have pre-labelled data.

[0114] In some embodiments, the request for testing is transmitted in the case that a location management function (LMF) requests training or fine-tuning of AI / ML-based positioning model.

[0115] In some embodiments, the apparatus further comprises means for receiving, from a fourth terminal device, a request for querying data for training or fine-tuning of an AI / ML model of the fourth terminal device; and means for transmitting, to the fourth terminal device, the labelled data for the training or fine-tuning of the AI / ML model.

[0116] In some embodiments, selecting the first terminal device based on the result of the testing comprises: scoring and ranking performance of the first terminal device based on the result of the testing; selecting the first terminal device based on the scoring and ranking performance.

[0117] In some embodiments, selecting the first terminal device based on the result of the testing comprises: scoring and ranking performance of the first terminal device based on the result of the testing; selecting the first terminal device based on the scoring and ranking performance.

[0118] In some embodiments, the labelled data of the first terminal device is selected as high-quality in the case that the labels of the second terminal device is consistent with the labels of the first terminal device.

[0119] In some embodiments, the high-quality of the labelled data is archived.

[0120] In some embodiments, the network device is one of the following: location management function (LMF) ; next generation NodeB (gNB) ; or over the top (OTT) .

[0121] In some embodiments, an apparatus capable of performing any of the method 1000 (for example, the terminal device 110) may comprise means for performing the respective steps of the method 1000. The means may be implemented in any suitable form. For example, the means may be implemented in a circuitry or software module.

[0122] In some embodiments, the apparatus comprises means for receiving, from a network device, a request for testing of an artificial intelligence (AI)  / machine learning (ML) model of the apparatus; means for transmitting, to the network device, a result of the testing of the AI / ML model; means for receiving, from the network device, a request for channel measurement and labelling the channel measurement by the apparatus; and means for transmitting data of the channel measurement and its corresponding labels to the network device.

[0123] In some embodiments, the apparatus further comprises means for transmitting, to the network device, an acknowledgement (ACK) for the request for the testing; and receives, from the network device, data for the testing.

[0124] In some embodiments, an apparatus capable of performing any of the method 1100 (for example, the terminal device 110) may comprise means for performing the respective steps of the method 1100. The means may be implemented in any suitable form. For example, the means may be implemented in a circuitry or software module.

[0125] In some embodiments, the apparatus comprises means for receiving, from a network device, a request for labelling of channel measurement data corresponding to labelled data collected and labelled by a first terminal device; and means for transmitting, to the network  device, labels generated by the apparatus.

[0126] In some embodiments, the apparatus further comprises means for transmitting, to the network device, an acknowledgement (ACK) for the request for in-field channel measurement data collection and labelling; and means for receiving, from the network device, channel measurement data for the request for the labelling.

[0127] In some embodiments, an apparatus capable of performing any of the method 1200 (for example, the terminal device 110) may comprise means for performing the respective steps of the method 1200. The means may be implemented in any suitable form. For example, the means may be implemented in a circuitry or software module.

[0128] In some embodiments, the apparatus further comprises means for transmitting, to a network device, a request for querying data for training or fine-tuning of an artificial intelligence (AI)  / machine learning (ML) model of the fourth terminal device. Means for receiving, from the network device, labelled data generated by a first terminal device for the training or fine-tuning of the AI / ML model.

[0129] FIG. 13 is a simplified block diagram of a device 1300 that is suitable for implementing embodiments of the present disclosure. The device 1300 may be provided to implement the communication device, for example the terminal device 110, the network device 120 as shown in FIG. 1. As shown, the device 1300 includes one or more processors 1310, one or more memories 1340 coupled to the processor 1310, and one or more communication modules 1340 coupled to the processor 1310.

[0130] The communication module 1340 is for bidirectional communications. The communication module 1340 has at least one antenna to facilitate communication. The communication interface may represent any interface that is necessary for communication with other network elements.

[0131] The processor 1310 may be of any type suitable to the local technical network and may include one or more of the following: general purpose computers, special purpose computers, microprocessors, digital signal processors (DSPs) and processors based on multicore processor architecture, as non-limiting examples. The device 600 may have multiple processors, such as an application specific integrated circuit chip that is slaved in time to a clock which synchronizes the main processor.

[0132] The memory 1320 may include one or more non-volatile memories and one or more volatile memories. Examples of the non-volatile memories include, but are not limited to,  a Read Only Memory (ROM) 1324, an electrically programmable read only memory (EPROM) , a flash memory, a hard disk, a compact disc (CD) , a digital video disk (DVD) , and other magnetic storage and / or optical storage. Examples of the volatile memories include, but are not limited to, a random access memory (RAM) 1322 and other volatile memories that will not last in the power-down duration.

[0133] A computer program 1330 includes computer executable instructions that are executed by the associated processor 1310. The program 1330 may be stored in the ROM 1020. The processor 1310 may perform any suitable actions and processing by loading the program 1330 into the RAM 1322.

[0134] The embodiments of the present disclosure may be implemented by means of the program 1330 so that the device 1300 may perform any process of the disclosure as discussed with reference to FIGS. 2 to 12. The embodiments of the present disclosure may also be implemented by hardware or by a combination of software and hardware.

[0135] In some embodiments, the program 1330 may be tangibly contained in a computer readable medium which may be included in the device 1300 (such as in the memory 1320) or other storage devices that are accessible by the device 1300. The device 1300 may load the program 1330 from the computer readable medium to the RAM 1322 for execution. The computer readable medium may include any types of tangible non-volatile storage, such as ROM, EPROM, a flash memory, a hard disk, CD, DVD, and the like. Fig. 14 shows an example of the computer readable medium 800 in form of CD or DVD. The computer readable medium has the program 1330 stored thereon.

[0136] Generally, various embodiments of the present disclosure may be implemented in hardware or special purpose circuits, software, logic or any combination thereof. Some aspects may be implemented in hardware, while other aspects may be implemented in firmware or software which may be executed by a controller, microprocessor or other computing device. While various aspects of embodiments of the present disclosure are illustrated and described as block diagrams, flowcharts, or using some other pictorial representations, it is to be understood that the block, apparatus, system, technique or method described herein may be implemented in, as non-limiting examples, hardware, software, firmware, special purpose circuits or logic, general purpose hardware or controller or other computing devices, or some combination thereof.

[0137] The present disclosure also provides at least one computer program product tangibly  stored on a non-transitory computer readable storage medium. The computer program product includes computer-executable instructions, such as those included in program modules, being executed in a device on a target real or virtual processor, to carry out the methods 900-1200 as described above with reference to FIGS. 9-12. Generally, program modules include routines, programs, libraries, objects, classes, components, data structures, or the like that perform particular tasks or implement particular abstract data types. The functionality of the program modules may be combined or split between program modules as desired in various embodiments. Machine-executable instructions for program modules may be executed within a local or distributed device. In a distributed device, program modules may be located in both local and remote storage media.

[0138] Program code for carrying out methods of the present disclosure may be written in any combination of one or more programming languages. These program codes may be provided to a processor or controller of a general purpose computer, special purpose computer, or other programmable data processing apparatus, such that the program codes, when executed by the processor or controller, cause the functions / operations specified in the flowcharts and / or block diagrams to be implemented. The program code may execute entirely on a machine, partly on the machine, as a stand-alone software package, partly on the machine and partly on a remote machine or entirely on the remote machine or server.

[0139] In the context of the present disclosure, the computer program codes or related data may be carried by any suitable carrier to enable the device, apparatus or processor to perform various processes and operations as described above. Examples of the carrier include a signal, computer readable medium, and the like.

[0140] The computer readable medium may be a computer readable signal medium or a computer readable storage medium. A computer readable medium may include but not limited to an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any suitable combination of the foregoing. More specific examples of the computer readable storage medium would include an electrical connection having one or more wires, a portable computer diskette, a hard disk, a random access memory (RAM) , a read-only memory (ROM) , an erasable programmable read-only memory (EPROM or Flash memory) , an optical fiber, a portable compact disc read-only memory (CD-ROM) , an optical storage device, a magnetic storage device, or any suitable combination of the foregoing. The term “non-transitory, ” as used herein, is a limitation of the medium itself (i.e., tangible, not a signal) as opposed to a limitation on data storage persistency (e.g., RAM  vs. ROM) .

[0141] Further, while operations are depicted in a particular order, this should not be understood as requiring that such operations be performed in the particular order shown or in sequential order, or that all illustrated operations be performed, to achieve desirable results. In certain circumstances, multitasking and parallel processing may be advantageous. Likewise, while several specific implementation details are contained in the above discussions, these should not be construed as limitations on the scope of the present disclosure, but rather as descriptions of features that may be specific to particular embodiments. Certain features that are described in the context of separate embodiments may also be implemented in combination in a single embodiment. Conversely, various features that are described in the context of a single embodiment may also be implemented in multiple embodiments separately or in any suitable sub-combination.

[0142] Although the present disclosure has been described in languages specific to structural features and / or methodological acts, it is to be understood that the present disclosure defined in the appended claims is not necessarily limited to the specific features or acts described above. Rather, the specific features and acts described above are disclosed as example forms of implementing the claims.

Claims

1.A network device comprising:at least one processor; andat least one memory storing instructions that, when executed by the at least one processor, cause the network device at least to:transmit, to a plurality of terminal devices, a request for testing of an artificial intelligence (AI)  / machine learning (ML) model of the plurality of terminal devices;receive, from a first terminal device among the plurality of terminal devices, a result of the testing of the AI / ML model;transmit, to the first terminal device, a request for channel measurement and labelling the channel measurement by the first terminal device in the case that the first terminal device is selected based on the result of the testing; andreceive, data of the channel measurement and its corresponding labels from plurality of the first terminal devices.2.The network device of claim 1, wherein the network device is further caused to:transmit, to a second terminal device among the plurality of terminal devices, a request for labelling of channel measurement data corresponding to labelled data collected and labelled by the first terminal device;receive, from the second terminal device, labels generated by the second terminal device; anddetermine, whether the labels generated by the second terminal device based on the channel measurement by the first terminal device is consistent with the labels generated based on the channel measurement data of the first terminal device.3.The network device of claim 1 or 2, wherein the network device is further caused to:receive, from the first terminal device or the second terminal device, an acknowledgement (ACK) for the request for the testing or request for in-field channel measurement data collection and labelling; andtransmit, to the first terminal device or the second terminal device, channel measurement data for the testing or the request for the labelling.4.The network device of any of claims 1-3, wherein the network device is further caused to:transmit, to a third terminal device, the request for labelling of channel measurement data corresponding to labelled data of the first terminal device in the case that the labels generated by the second terminal device is not consistent with the labels generated by the first terminal device;receive, from the third terminal device, labels generated on the channel measurement data collected by the first terminal device by the third terminal device; anddetermine, whether the labels generated by the third terminal device is consistent with the labels generated based on the channel measurement data of the first terminal device.5.The network device of any of claims 1-4, wherein the labelled data of the first terminal device is discarded in the case that the labels generated by the second terminal device is not consistent with the labels generated by the first terminal device.6.The network device of any of claims 1-5, wherein the request for channel measurement and labelling the channel measurement is transmitted in the case that a request for assessment of inference on radio frequency (RF) channel measurement of the first terminal device is received.7.The network device of any of claims 1-6, wherein the request for testing is not transmitted and the request for channel measurement and labelling the channel measurement is transmitted to the plurality of terminal devices in the case that the network device does not have pre-labelled data.8.The network device of any of claims 1-7, wherein the request for testing is transmitted in the case that a location management function (LMF) requests training or fine-tuning of AI / ML-based positioning model.9.The network device of any of claims 1-8, wherein the network device is further caused to:receive, from a fourth terminal device, a request for querying data for training or fine-tuning of an AI / ML model of the fourth terminal device; andtransmit, to the fourth terminal device, the labelled data for the training or fine-tuning of the AI / ML model.10.The network device of any of claims 1-9, wherein selecting the first terminal device based on the result of the testing comprises:scoring and ranking performance of the first terminal device based on the result of the testing; andselecting the first terminal device based on the scoring and ranking performance.11.The network device of any of claims 1-10, wherein the labelled data of the first terminal device is selected as high-quality in the case that the labels of the second terminal device is consistent with the labels of the first terminal device.12.The network device of any of claims 1-11, wherein the high-quality of the labelled data is archived.13.The network device of any of claims 1-12, wherein the network device is one of the following:location management function (LMF) ;next generation NodeB (gNB) ; orover the top (OTT) .14.A first terminal device comprising:at least one processor; andat least one memory storing instructions that, when executed by the at least one processor, cause the first terminal device at least to:receive, from a network device, a request for testing of an artificial intelligence (AI)  / machine learning (ML) model of the first terminal device;transmit, to the network device, a result of the testing of the AI / ML model;receive, from the network device, a request for channel measurement and labelling the channel measurement by the first terminal device; andtransmit, data of the channel measurement and its corresponding labels to the network device.15.The first terminal device of claim 14, wherein the first terminal device is  further caused to:transmit, to the network device, an acknowledgement (ACK) for the request for the testing; andreceive, from the network device, data for the testing.16.A second terminal device comprising:at least one processor; andat least one memory storing instructions that, when executed by the at least one processor, cause the second terminal device at least to:receive, from a network device, a request for labelling of channel measurement data corresponding to labelled data collected and labelled by a first terminal device; andtransmit, to the network device, labels generated by the second terminal device.17.The network device of claim 16, wherein the second terminal device is further caused to:transmit, to the network device, an acknowledgement (ACK) for the request for in-field channel measurement data collection and labelling; andreceive, from the network device, channel measurement data for the request for the labelling.18.A fourth terminal device comprising:at least one processor; andat least one memory storing instructions that, when executed by the at least one processor, cause the fourth terminal device at least to:transmit, to a network device, a request for querying data for training or fine-tuning of an artificial intelligence (AI)  / machine learning (ML) model of the fourth terminal device; andreceive, from the network device, labelled data generated by a first terminal device for the training or fine-tuning of the AI / ML model.19.A method comprising:transmitting, at a network device and to a plurality of terminal devices, a request for testing of an artificial intelligence (AI)  / machine learning (ML) model of the plurality of terminal devices;receiving, from a first terminal device among the plurality of terminal devices, a result of the testing of the AI / ML model;transmitting, to the first terminal device, a request for channel measurement and labelling the channel measurement by the first terminal device in the case that the first terminal device is selected based on the result of the testing; andreceiving, data of the channel measurement and its corresponding labels from plurality of the first terminal device.20.A method comprising:receiving, at a first terminal device and from a network device, a request for testing of an artificial intelligence (AI)  / machine learning (ML) model of the first terminal device;transmitting, to the network device, a result of the testing of the AI / ML model;receiving, from the network device, a request for channel measurement and labelling the channel measurement by the first terminal device; andtransmitting, data of the channel measurement and its corresponding labels to the network device.21.A method comprising:receiving, at a second terminal device and from a network device, a request for labelling of channel measurement data corresponding to labelled data collected and labelled by a first terminal device; andtransmitting, to the network device, labels generated by the second terminal device.22.A method comprising:transmitting, at a fourth terminal device and to a network device, a request for querying data for training or fine-tuning of an artificial intelligence (AI)  / machine learning (ML) model of the fourth terminal device; andreceiving, from the network device, labelled data generated by a first terminal device for the training or fine-tuning of the AI / ML model.23.An apparatus comprising:means for transmitting, to a plurality of terminal devices, a request for testing of an artificial intelligence (AI)  / machine learning (ML) model of the plurality of terminal devices;means for receiving, from a first terminal device among the plurality of terminal devices, a result of the testing of the AI / ML model;means for transmitting, to the first terminal device, a request for channel measurement and labelling the channel measurement by the first terminal device in the case that the first terminal device is selected based on the result of the testing; andmeans for receiving, data of the channel measurement and its corresponding labels from plurality of the first terminal device.24.An apparatus comprising:means for receiving, from a network device, a request for testing of an artificial intelligence (AI)  / machine learning (ML) model of the apparatus;means for transmitting, to the network device, a result of the testing of the AI / ML model;means for receiving, from the network device, a request for channel measurement and labelling the channel measurement by the apparatus; andmeans for transmitting, data of the channel measurement and its corresponding labels to the network device.25.An apparatus comprising:means for receiving, from a network device, a request for labelling of channel measurement data corresponding to labelled data collected and labelled by a first terminal device; andmeans for transmitting, to the network device, labels generated by the apparatus.26.An apparatus comprising:means for transmitting, to a network device, a request for querying data for training or fine-tuning of an artificial intelligence (AI)  / machine learning (ML) model of the apparatus; andmeans for receiving, from the network device, labelled data generated by a first terminal device for the training or fine-tuning of the AI / ML model.27.A non-transitory computer readable medium comprising program instructions that, when executed by an apparatus, cause the apparatus to perform at least the method of any of claims 19-22.

Images