Semi-supervised learning with data augmentation

Abstract

Example embodiments of the present disclosure provide a signaling framework for semi-supervised learning (SSL) with data augmentation. In an example method, a first device receives, from a second device, configuration information related to SSL training based on data augmentation. The first device trains an artificial intelligence / machine learning (AI / ML) model deployed at the first device based on the received configuration information and unlabeled data at the first device and transmits, to the second device, at least one model parameter of the trained AI / ML model. In this way, a distribution arrangement for training over different entities in the network involving separate pipelines using data augmentation is proposed where the performance of the AI / ML model can be improved.

Description

SEMI-SUPERVISED LEARNING WITH DATA AUGMENTATIONFIELD

[0001] Example embodiments of the present disclosure generally relate to the field of communication, and in particular, to devices, methods, apparatuses, and a computer readable medium for semi-supervised learning (SSL) with data augmentation, for example, federated SSL with data augmentation for enhanced artificial intelligence (AI)  / machine learning (ML) based UE positioning.BACKGROUND

[0002] 3GPP radio access network (RAN) 1 has initiated a study item on AI / ML for air interface, where one of the key use cases being considered is positioning accuracy enhancements with the use of AI / ML. It has been agreed that the performance impact from ground truth label availability on AI / ML positioning cases should be evaluated.

[0003] However, in real-world deployment, the ground truth labels are difficult or even not available to attain. Therefore, studying the standardization impact and the corresponding signaling on semi-supervised-learning (SSL) -based AI / ML positioning approach is a necessary and timely task.SUMMARY

[0004] In general, example embodiments of the present disclosure provide a solution for semi-supervised learning (SSL) with data augmentation, for example, federated SSL with data augmentation for enhanced artificial intelligence (AI)  / machine learning (ML) based UE positioning.

[0005] In a first aspect, there is provided a first device. The first device comprises at least one processor and at least one memory storing instructions that, when executed by the at least one processor, cause the first device at least to: receive, from a second device, configuration information related to semi-supervised leaning (SSL) training based on data augmentation; train an artificial intelligence / machine learning (AI / ML) model deployed at the first device based on the received configuration information and unlabeled data at the first device; and transmit, to the second device, at least one model parameter of the trained AI / ML model.

[0006] In a second aspect, there is provided a second device. The second device comprises at least one processor and at least one memory storing instructions that, when executed by the at least one processor, cause the second device at least to: transmit, to a first device, first configuration information related to semi-supervised leaning (SSL) training based on data augmentation; receive, from the first device, at least one model parameter of a first artificial intelligence / machine learning (AI / ML) model trained based on the transmitted first configuration information and unlabeled data at the first device; train a second AI / ML model deployed at the second device based on second configuration information related to supervised leaning (SL) training based on data augmentation and labeled data at the second device; and aggregate the at least one model parameter of trained first AI / ML model and at least one model parameter of the trained second AI / ML model.

[0007] In a third aspect, there is provided a method. The method comprises: receiving, at a first device and from a second device, configuration information related to semi-supervised leaning (SSL) training based on data augmentation; training an artificial intelligence / machine learning (AI / ML) model deployed at the first device based on the received configuration information and unlabeled data at the first device; and transmitting, to the second device, at least one model parameter of the trained AI / ML model.

[0008] In a fourth aspect, there is provided a method. The method comprises: transmitting, at a second device and to a first device, first configuration information related to semi-supervised leaning (SSL) training based on data augmentation; receiving, from the first device, at least one model parameter of a first artificial intelligence / machine learning (AI / ML) model trained based on the transmitted first configuration information and unlabeled data at the first device; training a second AI / ML model deployed at the second device based on second configuration information related to supervised leaning (SL) training based on data augmentation and labeled data at the second device; and aggregating the at least one model parameter of trained first AI / ML model and at least one model parameter of the trained second AI / ML model.

[0009] In a fifth aspect, there is provided an apparatus. The apparatus comprises: means for receiving, a first device and from a second device, configuration information related to semi-supervised leaning (SSL) training based on data augmentation; means for training an artificial intelligence / machine learning (AI / ML) model deployed at the first device based on the received configuration information and unlabeled data at the first device; and means for transmitting, to the second device, at least one model parameter of the trained AI / ML model.

[0010] In a sixth aspect, there is provided an apparatus. The apparatus comprises: means for transmitting, at a second device to a first device, first configuration information related to semi-supervised leaning (SSL) training based on data augmentation; means for receiving, from the first device, at least one model parameter of a first artificial intelligence / machine learning (AI / ML) model trained based on the transmitted first configuration information and unlabeled data at the first device; means for training a second AI / ML model deployed at the second device based on second configuration information related to supervised leaning (SL) training based on data augmentation and labeled data at the second device; and means for aggregating the at least one model parameter of trained first AI / ML model and at least one model parameter of the trained second AI / ML model.

[0011] In a seventh aspect, there is provided a non-transitory computer-readable storage medium comprising program instructions. The program instructions, when executed by an apparatus, cause the apparatus to perform at least the following: receiving, from a second device, configuration information related to semi-supervised leaning (SSL) training based on data augmentation; training an artificial intelligence / machine learning (AI / ML) model deployed at the first device based on the received configuration information and unlabeled data at the first device; and transmitting, to the second device, at least one model parameter of the trained AI / ML model.

[0012] In an eighth aspect, there is provided a non-transitory computer-readable storage medium comprising program instructions. The program instructions, when executed by an apparatus, cause the apparatus to perform at least the following: transmitting, to a first device, first configuration information related to semi-supervised leaning (SSL) training based on data augmentation; receiving, from the first device, at least one model parameter of a first artificial intelligence / machine learning (AI / ML) model trained based on the transmitted first configuration information and unlabeled data at the first device; training a second AI / ML model deployed at the second device based on second configuration information related to supervised leaning (SL) training based on data augmentation and labeled data at the second device; and aggregating the at least one model parameter of trained first AI / ML model and at least one model parameter of the trained second AI / ML model.

[0013] In a ninth aspect, there is provided a computer program comprising instructions, which, when executed by an apparatus, cause the apparatus at least to: receive, from a second device, configuration information related to semi-supervised leaning (SSL) training based on data augmentation; train an artificial intelligence / machine learning (AI / ML) model deployed  at the first device based on the received configuration information and unlabeled data at the first device; and transmit, to the second device, at least one model parameter of the trained AI / ML model.

[0014] In a tenth aspect, there is provided a computer program comprising instructions, which, when executed by an apparatus, cause the apparatus at least to: transmit, to a first device, first configuration information related to semi-supervised leaning (SSL) training based on data augmentation; receive, from the first device, at least one model parameter of a first artificial intelligence / machine learning (AI / ML) model trained based on the transmitted first configuration information and unlabeled data at the first device; train a second AI / ML model deployed at the second device based on second configuration information related to supervised leaning (SL) training based on data augmentation and labeled data at the second device; and aggregate the at least one model parameter of trained first AI / ML model and at least one model parameter of the trained second AI / ML model.

[0015] In an eleventh aspect, there is provided a first device. The first device comprises receiving circuity configured to receive, at a first device and from a second device, configuration information related to semi-supervised leaning (SSL) training based on data augmentation; training circuity configured to train an artificial intelligence / machine learning (AI / ML) model deployed at the first device based on the received configuration information and unlabeled data at the first device; and transmitting circuity configured to transmit, to the second device, at least one model parameter of the trained AI / ML model.

[0016] In a twelfth aspect, there is provided a second device. The second device comprises transmitting circuity configured to transmit, at a second device and to a first device, first configuration information related to semi-supervised leaning (SSL) training based on data augmentation; receiving circuity configured to receive, from the first device, at least one model parameter of a first artificial intelligence / machine learning (AI / ML) model trained based on the transmitted first configuration information and unlabeled data at the first device; training circuity configured to train a second AI / ML model deployed at the second device based on second configuration information related to supervised leaning (SL) training based on data augmentation and labeled data at the second device; and aggregating circuity configured to aggregate the at least one model parameter of trained first AI / ML model and at least one model parameter of the trained second AI / ML model.

[0017] It is to be understood that the summary section is not intended to identify key or essential features of embodiments of the present disclosure, nor is it intended to be used to limit the scope of the present disclosure. Other features of the present disclosure will become easily comprehensible through the following description.BRIEF DESCRIPTION OF THE DRAWINGS

[0018] Some example embodiments will now be described with reference to the accompanying drawings, in which:

[0019] FIG. 1 illustrates an example communication network in which embodiments of the present disclosure may be implemented;

[0020] FIG. 2 illustrates an example of a process flow in accordance with some example embodiments of the present disclosure;

[0021] FIG. 3 illustrates an example framework of the collaborative semi-supervised learning (SSL) for AI / ML based positioning in accordance with some example embodiments of the present disclosure;

[0022] FIG. 4 illustrates an example procedure for collaborative / federated semi-supervised learning (SSL) training in accordance with some example embodiments of the present disclosure;

[0023] FIG. 5 illustrates another example of a process flow in accordance with some example embodiments of the present disclosure;

[0024] FIG. 6 illustrates a summary of the neural-network model used for training;

[0025] FIG. 7 illustrates evaluation results among different schemes;

[0026] FIG. 8 illustrates a flowchart of an example method implemented at a first device in accordance with some other embodiments of the present disclosure;

[0027] FIG. 9 illustrates a flowchart of an example method 900 implemented at a first device in accordance with some other embodiments of the present disclosure;

[0028] FIG. 10 illustrates a simplified block diagram of a device that is suitable for implementing some example embodiments of the present disclosure; and

[0029] FIG. 11 illustrates a block diagram of an example of a computer-readable medium in accordance with some example embodiments of the present disclosure.

[0030] Throughout the drawings, the same or similar reference numerals represent the same or similar elements.DETAILED DESCRIPTION

[0031] Principles of the present disclosure will now be described with reference to some example embodiments. It is to be understood that these embodiments are described only for the purpose of illustration and help those skilled in the art to understand and implement the present disclosure, without suggesting any limitation as to the scope of the disclosure. The disclosure described herein can be implemented in various manners other than the ones described below.

[0032] In the following description and claims, unless defined otherwise, all technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skills in the art to which this disclosure belongs.

[0033] References in the present disclosure to “one embodiment, ” “an embodiment, ” “an example embodiment, ” and the like indicate that the embodiment described may include a particular feature, structure, or characteristic, but it is not necessary that every embodiment includes the particular feature, structure, or characteristic. Moreover, such phrases are not necessarily referring to the same embodiment. Further, when a particular feature, structure, or characteristic is described in connection with an embodiment, it is submitted that it is within the knowledge of one skilled in the art to affect such feature, structure, or characteristic in connection with other embodiments whether or not explicitly described.

[0034] It shall be understood that although the terms “first” and “second” etc. may be used herein to describe various elements, these elements should not be limited by these terms. These terms are only used to distinguish one element from another. For example, a first element could be termed a second element, and similarly, a second element could be termed a first element, without departing from the scope of example embodiments. As used herein, the term “and / or” includes any and all combinations of one or more of the listed terms.

[0035] The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of example embodiments. As used herein, the singular forms “a” , “an” and “the” are intended to include the plural forms as well, unless the context clearly indicates otherwise. It will be further understood that the terms “comprises” , “comprising” , “has” , “having” , “includes” and / or “including” , when used herein, specify the  presence of stated features, elements, and / or components etc., but do not preclude the presence or addition of one or more other features, elements, components and / or combinations thereof. As used herein, “at least one of the following: <a list of two or more elements>” and “at least one of <a list of two or more elements>” and similar wording, where the list of two or more elements are joined by “and” or “or” , mean at least any one of the elements, or at least any two or more of the elements, or at least all the elements.

[0036] As used in this application, the term “circuitry” may refer to one or more or all of the following:

[0037] (a) hardware-only circuit implementations (such as implementations in only analog and / or digital circuitry) and

[0038] (b) combinations of hardware circuits and software, such as (as applicable) :

[0039] (i) a combination of analog and / or digital hardware circuit (s) with software / firmware and

[0040] (ii) any portions of hardware processor (s) with software (including digital signal processor (s) ) , software, and memory (ies) that work together to cause an apparatus, such as a mobile phone or server, to perform various functions) and

[0041] (c) hardware circuit (s) and or processor (s) , such as a microprocessor (s) or a portion of a microprocessor (s) , that requires software (for example, firmware) for operation, but the software may not be present when it is not needed for operation.

[0042] This definition of circuitry applies to all uses of this term in this application, including in any claims. As a further example, as used in this application, the term circuitry also covers an implementation of merely a hardware circuit or processor (or multiple processors) or portion of a hardware circuit or processor and its (or their) accompanying software and / or firmware. The term circuitry also covers, for example and if applicable to the particular claim element, a baseband integrated circuit or processor integrated circuit for a mobile device or a similar integrated circuit in server, a cellular network device, or other computing or network device.

[0043] As used herein, the term “network” , “communication network” or “data network” refers to a network following any suitable communication standards, such as long term evolution (LTE) , LTE-advanced (LTE-A) , wideband code division multiple access (WCDMA) , high-speed packet access (HSPA) , narrow band Internet of things (NB-IoT) ,  wireless fidelity (Wi-Fi) and so on. Furthermore, the communications between a terminal device and a network device / element in the communication network may be performed according to any suitable generation communication protocols, including, but not limited to, the fourth generation (4G) , 4.5G, the future fifth generation (5G) , IEEE 802.11 communication protocols, and / or any other protocols either currently known or to be developed in the future. Embodiments of the present disclosure may be applied in various communication systems. Given the rapid development in communications, there will of course also be future type communication technologies and systems with which the present disclosure may be embodied. It should not be seen as limiting the scope of the present disclosure to only the aforementioned system.

[0044] As used herein, the term “network device” refers to a node in a communication network via which a terminal device receives services (e.g., positioning services) therefrom. The network device may refer to a core network device or access network device, such as base station (BS) or an access point (AP) or a transmission and reception point (TRP) , for example, a node B (NodeB or NB) , an evolved NodeB (eNodeB or eNB) , a NR NB (also referred to as a gNB) , a remote radio unit (RRU) , a radio header (RH) , a remote radio head (RRH) , a WiFi device, a relay, a low power node such as a femto, a pico, and so forth, depending on the applied terminology and technology. In the following description, the terms “network device” , “AP device” , “AP” and “access point” may be used interchangeably.

[0045] The term “terminal device” refers to any end device that may be capable of wireless communication. By way of example rather than limitation, a terminal device may also be referred to as a communication device, user equipment (UE) , a Subscriber Station (SS) , a Portable Subscriber Station, a Mobile Station (MS) , a station (STA) or station device, or an Access Terminal (AT) . The terminal device may include, but not limited to, a mobile phone, a cellular phone, a smart phone, voice over IP (VoIP) phones, wireless local loop phones, a tablet, a wearable terminal device, a personal digital assistant (PDA) , portable computers, desktop computer, image capture terminal devices such as digital cameras, gaming terminal devices, music storage and playback appliances, vehicle-mounted wireless terminal devices, wireless endpoints, mobile stations, laptop-embedded equipment (LEE) , laptop-mounted equipment (LME) , USB dongles, smart devices, wireless customer-premises equipment (CPE) , an Internet of Things (IoT) device, a watch or other wearable, a head-mounted display (HMD) , a vehicle, a drone, a medical device and applications (for example, remote surgery) , an industrial device and applications (for example, a robot and / or other wireless devices  operating in an industrial and / or an automated processing chain contexts) , a consumer electronics device, a device operating on commercial and / or industrial wireless networks, and the like. In the following description, the terms “station” , “station device” , “STA” , “terminal device” , “communication device” , “terminal” , “user equipment” and “UE” may be used interchangeably.

[0046] As used herein, the term “location management function” (LMF) refers to an entity defined in a network (e.g. 5G network) to provide positioning functionality by means to determine the geographic position of a terminal device based on downlink and uplink location radio measurements. The LMF may be provided in a network device in the core network or in the access network, or provided in a terminal device moving around in a communication environment. The LMF may receive measurements and assistance information from the next generation radio access network (NG-RAN) and the terminal device via e.g. the access and mobility management function (AMF) to compute the position of the terminal device.

[0047] As used herein, the term “positioning reference unit” (PRU) refers to an entity which provide its accurate position information as ground truth to other entities in the communication network, e.g. a terminal device and LMF. The PRU may be geographically fixed or movable in the environment.

[0048] 3GPP RAN1 has initiated a study item on AI / ML for air interface, where one of the key use case being considered is positioning accuracy enhancements with the use of AI / ML. It was agreed that the performance impact from ground truth label availability on AI / ML positioning cases should be evaluated. In real-world deployment, the ground truth labels are expensive or even not available to attain. Therefore, studying the standardization impact and the corresponding signaling on semi-supervised-learning-based AI / ML positioning approach should be a necessary and timely task.

[0049] Supervised, self-supervised and semi-supervised learning for AI / ML models are studied and applied in variety of fields. Fitting a model to a dataset is considerably easier when labeled data is plentiful. In many circumstances, however, access to labeled data is limited -meaning that learning a performant model is much harder, with high risk of overfitting the limited quantity of data. In such situations, therefore, using unlabeled data effectively is of critical importance.

[0050] The common characteristic of semi-supervised learning is that the dataset is composed by a small set of labeled data and a large unlabeled data. The expectation is that  there is a gain on using semi-supervised learning in scenarios with small, labeled datasets compared to scenarios that used supervised learning with the same small labeled dataset.

[0051] UE position may be estimated using AI / ML method. Generally supervised learning (SL) -based approach may be applied to infer UE position based on preselected input (e.g., radio measurements) for the direct positioning case. Similarly, for the assisted positioning, AI / ML with a supervised learning approach may be used to estimate an intermediate feature (e.g., line of sight (LOS)  / non line of sight (NLOS) flag) which in turn is used afterwards to estimate the UE position.

[0052] The UE might have abundant positioning related measurements, but is likely to not have position estimates (either due to Global Navigation Satellite System (GNSS) being unavailable or switched off) . This means that most UEs have a large amount of unlabeled data. On the other hand, a relatively smaller number of UEs also have their position estimates. Further, the LMF might be aware of the positions of a few UEs and these UEs might forward a few raw measurement samples to the LMF. This means that a relatively small number of UEs might have labelled data, and the LMF itself might have a relatively small quantity of labelled data. Therefore, a likely scenario is that a majority of the UEs will have a lot of unlabeled data while the LMF and a minority of UEs might have labelled data.

[0053] To use a supervised learning model for inference, it is mandatory to go through a training phase. This relates to the estimation of the model parameters using a set of labeled (ground truth) data (input and corresponding desired outputs of the model) . The performance of the trained model may be highly dependent on the used / available labeled data.

[0054] In practice, labeled data (e.g., radio measurements with UE position as label) may be costly to gather, and it is more probable to have much more unlabeled data available (e.g., radio measurements without UE position) . In this regard, semi-supervised learning (SSL) is a good option. Specifically, for training phase in addition to the labeled data, unlabeled data can also be utilized to enhance the performance of the model training. Therefore, the overhead of data collection can be significantly reduced by utilizing the unlabeled data. Particularly, to enable the semi-supervised learning different entities with their capability (PRU and regular UEs) can improve the data collection phase. PRUs may be utilized to provide the labeled data, whereas the regular UEs by default collect the unlabeled data samples.

[0055] Semi-supervised learning takes benefit of unlabeled data in addition to the labeled  one in order to further enhance the performance of the trained model. However, the way forward to enable the use of such semi-supervised approach for ML based positioning needs to be clearly defined to ensure the targeted performance.

[0056] In addition, so far, model-training is conventionally performed at a single entity such as LMF or UE. However, the training process can be heavy with large training dataset and a collaboration among different entities can be beneficial to optimize (in terms of used resources and delay) the training process.

[0057] Embodiments of the present disclosure provide the framework to enable collaboration between different entities to train a robust AI / ML model for UE localization. embodiments of the disclosure provide the distribution for training over different entities in the network involving separate pipelines for labeled and unlabeled data and supporting data augmentation is depicted. Each network entity utilizes data augmentation and handles local training processes either with labeled or unlabeled data, and local training outputs then are aggregated in a central node to combine their outcomes. Detailed description of the signaling framework tailored for federated SSL operation as well as a description of federated / collaborative SSL model training with labelled and unlabeled data sets is provided below.

[0058] For illustrative purposes, principles and example embodiments of the present disclosure will be described below with reference to FIG. 1 to FIG. 11. However, it is to be noted that these embodiments are given to enable the skilled in the art to understand inventive concepts of the present disclosure and implement the solution as proposed herein, and not intended to limit scope of the present application in any way.

[0059] FIG. 1 illustrates an example of an application scenario 100 in which some example embodiments of the present disclosure may be implemented. The application scenario 100, which is a part of a communication network, includes terminal devices and network devices.

[0060] In the descriptions of the example embodiments of the present disclosure, the network environment 100 may also be referred to as a communication system 100 (for example, a portion of a communication network) . For illustrative purposes only, various aspects of example embodiments will be described in the context of one or more terminal devices and network devices that communicate with one another. It should be appreciated, however, that the description herein may be applicable to other types of apparatus or other similar apparatuses that are referenced using other terminology.

[0061] A first device 110 may receive services (e.g., positioning services) from a second device 120, and the first device 110 and the second device 120 may communicate data and control information with each other via a network 102. In some embodiments, the first device 110 and the second device 120 may communicate with direct links / channels. The first device 110 may be terminal device or UE movable in the network environment 100. The second device may be a network device located at an access network or a core network. In some embodiments, the second device may be or comprise an LMF.

[0062] In the communication system 100, a link from the second device 120 to the first device 110 is referred to as a downlink (DL) , while a link from the first device 110 to the second device 120 is referred to as an uplink (UL) . In downlink, the second device 120 is a transmitting (TX) device (or a transmitter) and the first device 110 is a receiving (RX) device (or a receiver) . In uplink, the first device 110 is a transmitting (TX) device (or a transmitter) and the second device 120 is a RX device (or a receiver) .

[0063] The network 102 may be implemented according to any proper wireless or wired communication protocol (s) , comprising, but not limited to, cellular communication protocols and core network communication protocols of the fourth generation (4G) and the fifth generation (5G) and the like, wireless local network communication protocols such as Institute for Electrical and Electronics Engineers (IEEE) 802.11 and the like, and / or any other protocols currently known or to be developed in the future. Moreover, the communication may utilize any proper wireless communication technology, comprising but not limited to: Code Division Multiple Access (CDMA) , Frequency Division Multiple Access (FDMA) , Time Division Multiple Access (TDMA) , Frequency Division Duplex (FDD) , Time Division Duplex (TDD) , Multiple-Input Multiple-Output (MIMO) , Orthogonal Frequency Division Multiple (OFDM) , Discrete Fourier Transform spread OFDM (DFT-s-OFDM) and / or any other technologies currently known or to be developed in the future.

[0064] It is to be understood that the number of devices and their connection relationships and types shown in FIG. 1 are for illustrative purposes without suggesting any limitation. The communication system 100 may comprise any suitable number of devices adapted for implementing embodiments of the present disclosure.

[0065] FIG. 2 illustrates an example of a process flow 200 in accordance with some example embodiments of the present disclosure. For ease of understanding, the process flow 200 will be described with reference to FIG. 1. It would be appreciated that although the  process flow 200 has been described referring to the application scenario 100 of FIG. 1, this process flow 200 may be likewise applied to other similar communication scenarios.

[0066] The second device 120 transmits (201) first configuration information 202 related to semi-supervised leaning (SSL) training based on data augmentation. In some embodiments, the first configuration information may be determined based on capability of the first device 110. In some embodiments, the first configuration information may comprise at least one of the following: a data augmentation function for the data augmentation; at least one parameter related to the SSL training; at least one initial model parameter of the artificial intelligence / machine learning (AI / ML) model; or at least one convex combination weight.

[0067] Alternatively or additionally, the second device 120 may have second configuration information related to supervised leaning (SL) training based on data augmentation, where the second configuration may comprise at least one of the following: the same data augmentation function for the data augmentation; at least one parameter related to the SL training; same initial model parameter (s) of the AI / ML model; or at least one convex combination weight.

[0068] The first device 110 receives (203) the first configuration information 202 related to semi-supervised leaning (SSL) training based on data augmentation and performs local training. The first device 110 trains (204) a first AI / ML model deployed at the first device 110 based on the received the first configuration information 202 and unlabeled data at the first device 110. The first device 110 then transmits (205) at least one model parameter of the trained first AI / ML model 206 to the second device 120.

[0069] The second device 120 receives (207) the at least one model parameter of the trained first AI / ML model 206. The second device 120 trains (208) a second AI / ML model deployed at the second device 120 based on the second configuration information related to supervised leaning (SL) training based on data augmentation and labeled data at the second device 120.

[0070] The second device 120 aggregates (209) the at least one model parameter of trained first AI / ML model 206 and at least one model parameter of the trained second AI / ML model. In some embodiments, the second device 120 may aggregate, based on model parameter weights, the at least one model parameter of first AI / ML model 206 and at least one model parameter of the second AI / ML model to obtain at least one aggregated model parameter. In some embodiments, the model parameter weights may comprise a first model parameter weight for the at least one model parameter of first AI / ML model, and a second model  parameter weight for the at least one model parameter of the second AI / ML model, where the first model parameter weight and the model second parameter weight are non-negative and sum to unity.

[0071] In some embodiments, the first device 110 may receive, from the second device 120, the at least one aggregated model parameter, and may obtain an updated first AI / ML model having the at least one aggregated model parameter. In response to satisfying iteration condition, the first device 110 may train the updated first AI / ML model based on the unlabeled data. Furthermore, in some embodiments, the second device 120 may obtain an updated second AI / ML model having the at least one aggregated model parameter. In response to satisfying iteration condition, the second device 120 may train the updated second AI / ML model based on the labeled data.

[0072] In view of the above, embodiments of the disclosure provide a signaling framework to enable collaborative semi-supervised learning (SSL) for AI / ML based positioning. Such signaling framework enables to distribute the training over different entities in the network involving separate pipelines for labelled and unlabeled data and supporting data augmentation. Local training outputs are then aggregated in a central node to combine their outcomes and provide a better trained model.

[0073] FIG. 3 illustrates an example framework 300 of the collaborative semi-supervised learning (SSL) for AI / ML based positioning in accordance with some example embodiments of the present disclosure. In FIG. 3, the distribution for training over different entities in the network involving separate pipelines for labeled and unlabeled data and supporting data augmentation is depicted. Each network entity utilizes data augmentation and handles local training processes either with labeled or unlabeled data, and local training outputs then are aggregated in a central node to combine their outcomes. The framework 300 may be implemented by interworking between a UE and a LMF which respectively may be an example of the first device 110 and the second device 120 in FIGS. 1 and 2.

[0074] As shown in FIG. 3, at the pipeline with unlabeled data, the local training 313 may be implemented by UE (s) with the unlabeled data 321 and data augmentation configuration shared by LMF, where the augmentation configuration is based on their UE capabilities. At the pipeline with unlabeled data, the local training 323 may be implemented by gNB / UE with the labeled data 311 and data augmentation configuration shared by LMF. Based on the augmentation configuration, data augmentation 312 and 322 may be performed both on the  labeled data 311 and unlabeled data 321 for better training. The local training 313 and 323 are then combined into the aggregated training 330 at LMF.

[0075] FIG. 4 illustrates an example procedure 400 for collaborative / federated semi-supervised learning (SSL) training in accordance with some example embodiments of the present disclosure. In FIG. 4, each local pipeline as well as the aggregation performed at central entity (such as LMF) are depicted, where local trainings are realized at different entities / locations in the network with either labeled or unlabeled dataset. The procedure 400 may be implemented by interworking between a UE and a LMF which respectively may be an example of the first device 110 and the second device 120 in FIGS. 1 and 2.

[0076] As shown in FIG. 4, at the pipeline with the unlabeled data, the unlabeled data 321 may comprise collected labeled dataset (x, y) , where x, for example, refers to positioning reference signal measurements, such as channel impulse responses (CIR) or reference signal received power (RSRP) , and y, for example, refers to the corresponding label measurements, such as geographical position. A selected data augmentation implementation is applied on the data. The data augmentation implementation may be selected from, but not limited to, the following options.

[0077] One option is phase rotation. For example, every element of the original channel state information (CSI) vector is rotated by the same phase. The phase chosen is small in magnitude and is chosen randomly between [-θ, θ] where θ is a small angle.

[0078] Another option is amplitude magnification or reduction. For example, the magnitude of every element of the original CSI vector is altered by the same amount. This amount is chosen randomly between [-α, α] , where α is a small positive number and represents the fraction of the average magnitude of all the elements of the original CSI vector.

[0079] A further option is Gaussian noise. For example, a Gaussian noise vector is added to the original CSI vector, and the power of this noise vector is a small fraction of the average power of the original CSI vector.

[0080] A further option is filtering / smoothing. For example, if the CSI is in frequency domain, then the magnitude across subcarriers can be smoothened using a low-pass filter.

[0081] A yet option is neural network-based augmentation. This might involve the usage of a separate neural network that is trained to find appropriate augmentations for the input CSI vectors. The above options are exemplary, and other options can also be used.

[0082] The LMF may provide the configuration of the selected data augmentation implementation (e.g., shift angle value for the phase rotation implementation) . In FIG. 3, the function g refers to data augmentation function,  refers to the newly augmented data, and fθ is the neural network function (e.g.,  or ) , where neural network (NN) model (also referred to simply as a neural network) will be described as an example of the AI / ML model. This local training is performed to minimize the error between predicted positions and ground truth positions for both measurement and augmented samples.

[0083] As shown in FIG. 4, at the pipeline with unlabeled data, the labeled data 311 may comprise collected PRS radio measurements, such as CSI, RSRP. In the FIG. 4, the data augmentation function g is also applied on these data. Thereafter, a local training is performed to estimate the parameters of the local neural network fθ. For this purpose, the entity feeds the unlabeled input x to obtain It also sends the input through the data augmentation function g to obtain g (x) which is then input to the neural network fθto obtain The loss 403 is taken to be the mean square error (MSE) between  and  (i.e., MSE Loss L3 as shown in FIG. 4) .

[0084] Thereafter, both locally trained neural network functions are shared at central entity and aggregated to minimize the total loss 404 and obtain a robust ML model. The usage of data augmentation, both for labeled and unlabeled data, is to make the ML model robust to generalization errors.

[0085] In the case that the supervised learning (SL) training happens at the LMF and the (SSL) training at the UE, in each iteration, the LMF uses its local neural network (NN)  (with weights θLMF) to compute the loss 401 between the labels and the predicted outputs on a batch of labeled training samples (i.e., MSE Loss L1 between y and of the SL training at LMF as shown in FIG. 4) and also the loss 402 between the same labels and the predicted outputs for the same batch of input training samples that have undergone a data transformation (i.e., MSE Loss L2 between y and of the SL training at LMF as shown in FIG. 4) . Likewise, the UE uses its local NN  (with weights θUE) to compute the loss 403 between the predicted outputs of a batch of unlabeled samples and the predicted outputs of the same batch of unlabeled samples that have undergone a data transformation (i.e., MSE Loss L3 between and of the SSL training at UE as shown in FIG. 4) .

[0086] The UE sends this loss L3 to the LMF which aggregates all the losses {L1, L2, L3} (with a possible convex combination given by where the combination weights  w1,w2, w3 are non-negative with ) and performs a local model update of (e.g., by using gradient descent or any other optimization technique) . Likewise, the LMF also sends the losses {L1, L2} to the UE which then aggregates all the losses {L1, L2, L3} (e.g., by using the same weighted combination) to perform a model update of its local NN Therefore, in each iteration, the LMF and the UE exchange their respective local losses and perform local model updates individually. With perfect training, it is expected that the two local models are equal after each iteration because they were updated using the same aggregate loss and optimizer.

[0087] The LMF computes the losses {L1, L2} as mentioned in the previous case and performs local model updates of over several iterations. Likewise, the UE also computes the loss L3 and locally updates its local NN over several iterations. After a series of predefined number of iterations, the LMF and the UE send their respective local NN weights θLMF and θUE to one another. Each entity then updates its local NN weights using a pre-defined convex combination of the individual weights, given as wLMFθLMF+wUEθUE where wLMF and wUE are non-negative and sum to unity. With perfect training, it is expected that the two local models are synchronized after several iterations because they were updated using the same convex combination of weights. Alternatively or additionally, LMF does not send its local NN weights to the UE and the update is only realized at LMF based on the received local weights computed by the UE (or possibly multiple UEs as well) .

[0088] FIG. 5 illustrates another example of a process flow 500 in accordance with some example embodiments of the present disclosure. In FIG. 5, the signaling between the UE 51 and the LMF 52 is depicted, where the UE 51 and the LMF 52 respectively may be an example of the first device 110 and the second device 120 in FIG. 1 and FIG. 2.

[0089] FIG. 5 depicts that a first local training with unlabeled data is performed at UE side, a second local training with labeled data is performed at LMF and the final aggregation is performed at LMF side. Alternatively, or additionally, second training with labeled data may be performed at gNB and the final aggregation may be performed at LMF, or second training with locally collected labeled data may be performed at second UE and final aggregation may be performed at gNB or LMF.

[0090] In the signaling flow for the federated semi-supervised learning (SSL) training, UE 51 may perform SSL based on unlabeled data, and LMF 52 may perform supervised learning  (SL) training using labeled data. The LMF 52 Then perform the aggregation / combination of the different local NN weights θLMF and θUE in iterative manner up to obtaining a final NN model.

[0091] At 501, an initial step for UE positioning including initialization of the positioning procedure and request of UE capabilities may be performed. At 502, after initialization process, LMF 52 may decide based on UE capabilities to proceed with federated SSL method with data augmentation to obtain better ML based model in terms of accuracy, robustness, and generalization capabilities. In some embodiments, LMF 52 may decide, based on capability of UE 51, configuration information related to SSL training based on data augmentation. At 503, LMF 52 may send UE 51 a request for SSL training with data augmentation option.

[0092] At 503, LMF 52 may send UE 51 a request for SSL training with data augmentation option. Once getting approval from UE 51 to participate in this federated SSL training at 504, the LMF 52 may provide UE 51 with the necessary configuration and parameters for the SSL training with data augmentation at 505, including the data augmentation function (e.g., g in FIG. 4) as well as SSL related parameters such as unlabeled data size) , the NN function f parameters (e.g., the initial model parameter for the AI / ML model deployed at the UE 51) , the convex combination weights, etc. In some embodiments, LMF 52 may transmit the configuration information decided at 502 to the UE 51.

[0093] From 506, the iterative training process starts to be performed. Condition for determining whether to continue iteration may include, but not limited to, condition of predefined number of training iterations or a condition on aggregated ML model accuracy, etc. At 507, UE 51 may perform SSL training with data augmentation following LMF indications (i.e., the decided configuration information from LMF 52) . Once this SSL training is performed, the local NN weights θUE are then sent to LMF at 508. In some embodiments, the model parameter of the trained AI / ML model deployed at the UE 51 may be transmitted to LMF 52.

[0094] Furthermore, at 509, LMF 52 may perform SL training with available labeled data set which allows to obtain once the training completed local NN weights θLMF. At 510, the LMF 52 may perform an aggregation on both NN weights θLMF and θUE (such as a pre-defined convex combination of the individual weights, given as wLMFθLMF+wUEθUE where wLMF and wUE are non-negative and sum to unity) . At 511, the LMF 52 can  optionally share the aggregated NN weights and go back to step 7, where UE 51 may continue SSL training on unlabeled data but using the updated NN weights received from LMF.

[0095] Collaborative / federated SSL training with local training may be performed at different entities / locations in the network implying either labeled or unlabeled dataset. Alternatively or additionally, the aggregation may be performed at central entity (such as LMF) . furthermore, the SL training may be done in every UE that participates in the collaborative / federated approach, and the SSL training may be done in the network side (LMF) .

[0096] Alternatively or additionally, when the AI / ML model is deployed at the gNB side then the SL training may happen at the gNB (s) side whereas the SSL training is done at the LMF side. Every gNB participating in the collaborative / federated approach may utilize LMF as the aggregation entity.

[0097] In RAN1, there are 5 sub-use cases that mainly focus on the entity (UE, gNB, LMF) where the AI / ML model is deployed. Alternatively or additionally, based on the use case and the entity capability, availability of label data, the LMF may decide which entity will be used for SL and SSL, such indication may be provided by the LMF to relevant node (UE, PRU, gNB) before starting the training phase for collaborative / federated learning.

[0098] Alternatively or additionally, LMF may select the appropriate data augmenter e.g., set of augmentation function. LMF and UE may have exchange of messages, where LMF may send request to UE and adjust the range of the data augmentation over the Link-to-Point Protocol (LPP) protocol.

[0099] Simulation results showing the performance of SSL with data augmentation are discussed below, where dataset used for 3GPP RAN1 contributions on ML based positioning. For the Simulation dataset, InF-DH scenario with factory cl utter density of 40%, factory clutter height of 2 meters, factory clutter size of 2 meters, and factory ceiling height of 10 meters are considered. From this dataset, 5000 samples were chosen as labeled data and 10000 samples as test data. The remaining 23384 samples were chosen as unlabeled data (i.e., the labels weren’t used) .

[0100] The following schemes are trained and compared. Baseline-1 is supervised-learning only on the 5000 samples of labeled data (SL without data augmentation (DA) ) . Baseline-2 is supervised-learning with data augmentation (SL with DA) on the 5000 samples of labeled data. This corresponds to the part of procedure in FIG. 4 with only the LMF involved. The  scheme in accordance with some example embodiments of the present disclosure is semi-supervised learning with data augmentation (SSL with DA) on the 5000 samples of labeled data and the 23384 samples of unlabeled data. This corresponds to the whole procedure depicted in FIG. 4.

[0101] For all the cases, the same 5000 samples were used as labelled data and the same 10000 samples were used as test data. Mean-squared error loss was used during the training. FIG. 6 illustrates a summary of the neural-network model used for training. For data augmentation, an appropriate Gaussian noise generator was used.

[0102] FIG. 7 illustrates evaluation results among different schemes. In FIG. 7, the empirical Cumulative Distribution Function (CDF) of the prediction error for the three cases is depicted. The prediction error for test sample i is given by  where the ground truth is [yi, 1, yi, 2] and the prediction is

[0103] As shown in FIG. 7, evaluation result 701 is corresponding to semi-supervised learning with data augmentation (SSL with DA) , evaluation result 702 is corresponding to supervised-learning with data augmentation (SL with DA) , and evaluation result 703 is corresponding to supervised-learning without data augmentation (SSL with DA) . It can be observed from FIG. 7 that data augmentation helps significantly improve the accuracy while the usage of semi-supervised learning with unlabelled data improves the prediction quality even further.

[0104] FIG. 8 illustrates a flowchart of an example method 800 implemented at a first device in accordance with some other embodiments of the present disclosure. For ease of understanding, the method 800 will be described from the perspective of the first device 110 with reference to FIG. 1.

[0105] At block 810, the first device 110 receives, from a second device 120, configuration information related to semi-supervised leaning (SSL) training based on data augmentation. In some embodiments, the configuration information may be determined based on capability of the first device 110. In some embodiments, the configuration information comprises at least one of the following: a data augmentation function for the data augmentation; at least one parameter related to the SSL training; at least one initial model parameter of the AI / ML model; or at least one convex combination weight.

[0106] In some embodiments, prior to receiving the configuration information, the first device 110 may receive, from the second device 120, a request for the SSL training. Based on receiving the request, the first device 110 transmit, to the second device 120, an indication of approval for the SSL training.

[0107] At block 820, the first device 110 trains an artificial intelligence / machine learning (AI / ML) model deployed at the first device 110 based on the received configuration information and unlabeled data at the first device 110. In some embodiments, the first device 110 may input the unlabeled data into the AI / ML model to obtain predicted output data. The first device 110 may transform, based on a data augmentation function for the data augmentation, the unlabeled data into augmented unlabeled data, and may input the augmented unlabeled data into the AI / ML model to obtain augmented predicted output data. In some embodiments, the transforming of the unlabeled data may be based on at least one of the following: a phase rotation; an amplitude magnification or reduction; a Gaussian noise vector; filtering or smoothing; or neural network-based augmentation.

[0108] In some embodiments, the first device 110 may calculate a first loss of the AI / ML model based on a difference between the predicted output data and the augmented predicted output data, and may transmit the first loss to the second device 120. In some embodiments, the first device 110 may receive an aggregated loss from the second device 120, wherein the aggregated loss is determined based on the first loss of the AI / ML model. The first device 110 may update, based on the aggregated loss, the at least one model parameter of the AI / ML model.

[0109] At block 830, the first device 110 transmits, to the second device 120, at least one model parameter of the trained AI / ML model. In some embodiments, the first device 110 may receive, from the second device 120, at least one aggregated model parameter, wherein the at least one aggregated model parameter is determined based on the at least one model parameter of the AI / ML model. The first device 110 may obtain an updated AI / ML model having the at least one aggregated model parameter, and in response to satisfying iteration condition, may train the updated AI / ML model based on the unlabeled data. In some embodiments, the first device 110 may comprise a user equipment (UE) , or the second device 120 may comprise a location management function (LMF) .

[0110] FIG. 9 illustrates a flowchart of an example method 900 implemented at a first device in accordance with some other embodiments of the present disclosure. For ease of  understanding, the method 900 will be described from the perspective of the first device 110 with reference to FIG. 1.

[0111] At block 910, the second device 120, transmits, to a first device 110, first configuration information related to semi-supervised leaning (SSL) training based on data augmentation. In some embodiments, prior to transmitting the first configuration information, the second device 120 may determine, based on capability of the first device 110, first the configuration information. The second device 120 may transmit, to the first device110, a request for the SSL training, and may receive, from the first device110, an indication of approval for the SSL training. In some embodiments, the configuration information comprises at least one of the following: a data augmentation function for the data augmentation; at least one parameter related to the SSL training; at least one initial model parameter of the AI / ML model; or at least one convex combination weight.

[0112] At block 920, the second device 120, receive, from the first device 110, at least one model parameter of a first artificial intelligence / machine learning (AI / ML) model trained based on the transmitted first configuration information and unlabeled data at the first device 110.

[0113] At block 930, the second device 120 trains a second AI / ML model deployed at the second device 120 based on second configuration information related to supervised leaning (SL) training based on data augmentation and labeled data at the second device 120. In some embodiments, the labeled data may comprise labeled input data and labeled output data. The second device 120 may input the labeled input data into the second AI / ML model to obtain predicted output data. the second device 120 may transform, based on the data augmentation function, the labeled input data into augmented labeled input data, and may input the augmented labeled input data into the second AI / ML model to obtain augmented predicted output data. In some embodiments, the transforming of the labeled input data may be based on at least one of the following: a phase rotation; an amplitude magnification or reduction; a Gaussian noise vector; filtering or smoothing; or neural network-based augmentation.

[0114] In some embodiments, the second device 120 may calculate a second loss of the second AI / ML model based on a difference between the predicted output data and the labeled output data, and can calculate a third loss of the second AI / ML model based on a difference between the augmented predicted output data and the labeled output data. the second device 120 may receive, from the first device 110, a first loss of the first AI / ML model.

[0115] In some embodiments, the second device 120 may aggregate, based on loss weights, the first loss, the second loss and the third loss to obtain aggregated loss, and may update, based on the aggregated loss, at least model parameter of the second AI / ML model. In some embodiments, the loss weights may comprise a first loss weight for the first loss, a second loss weight for the second loss and a third loss weight for the third loss, where the first loss weight, the second loss weight and the third loss weight are non-negative and sum to unity.

[0116] At block 940, the second device 120 aggregates the at least one model parameter of trained first AI / ML model and at least one model parameter of the trained second AI / ML model. In some embodiments, the second device 120 may aggregate, based on model parameter weights, the at least one model parameter of first AI / ML model and at least one model parameter of the second AI / ML model to obtain at least one aggregated model parameter. In some embodiments, the second device 120 may obtain an updated second AI / ML model having the at least one aggregated model parameter, and in response to satisfying iteration condition, may train the updated second AI / ML model based on the labeled data. In some embodiments, the model parameter weights may comprise: a first model parameter weight for the at least one model parameter of first AI / ML model, and a second model parameter weight for the at least one model parameter of the second AI / ML model, where the first model parameter weight and the model second parameter weight are non-negative and sum to unity.

[0117] In some embodiments, in response to satisfying iteration condition, the second device 120 may transmit, to the first device 110, the at least one aggregated model parameter, and may transmit, to the first device 110, a further request for the SSL training. In some embodiments, the first device may comprise a user equipment (UE) ; or the second device 120 may comprise a location management function (LMF) .

[0118] In some embodiments, an apparatus capable of performing the method 800 (for example, the first device 110) may comprise means for performing the respective steps of the method 800. The means may be implemented in any suitable form. For example, the means may be implemented in a circuitry or software module.

[0119] In some example embodiments, the apparatus comprises: means for receiving, from a second device, configuration information related to semi-supervised leaning (SSL) training based on data augmentation; means for training an artificial intelligence / machine learning (AI / ML) model deployed at the first device based on the received configuration information  and unlabeled data at the first device; and means for transmitting, to the second device, at least one model parameter of the trained AI / ML model.

[0120] In some embodiments, the configuration information may be determined based on capability of the first device 110. In some embodiments, the configuration information comprises at least one of the following: a data augmentation function for the data augmentation; at least one parameter related to the SSL training; at least one initial model parameter of the AI / ML model; or at least one convex combination weight.

[0121] In some example embodiments, the apparatus may further comprise: means for receiving, from the second device, a request for the SSL training prior to receiving the configuration information; and means for transmitting, to the second device, an indication of approval for the SSL training based on receiving the request.

[0122] In some embodiments, the means for training the AI / ML model may comprise: means for inputting the unlabeled data into the AI / ML model to obtain predicted output data; means for transforming, based on a data augmentation function for the data augmentation, the unlabeled data into augmented unlabeled data; and means for inputting the augmented unlabeled data into the AI / ML model to obtain augmented predicted output data. In some embodiments, the transforming of the unlabeled data may be based on at least one of the following: a phase rotation; an amplitude magnification or reduction; a Gaussian noise vector; filtering or smoothing; or neural network-based augmentation.

[0123] In some embodiments, the means for training the AI / ML model may comprise: means for calculating a first loss of the AI / ML model based on a difference between the predicted output data and the augmented predicted output data; and means for transmitting the first loss to the second device. In some embodiments, the means for training the AI / ML model may comprise: means for receiving an aggregated loss from the second device, wherein the aggregated loss is determined based on the first loss of the AI / ML model; and means for updating, based on the aggregated loss, the at least one model parameter of the AI / ML model.

[0124] In some example embodiments, the apparatus may further comprise: means for receiving, from the second device, at least one aggregated model parameter, wherein the at least one aggregated model parameter is determined based on the at least one model parameter of the AI / ML model; means for obtain an updated AI / ML model having the at least one aggregated model parameter; and means for train the updated AI / ML model based on the  unlabeled data in response to satisfying iteration condition. In some example embodiments, the first device may comprise a user equipment (UE) ; or the second device may comprise a location management function (LMF) .

[0125] In some embodiments, the apparatus further comprises means for performing other steps in some embodiments of the method 800. In some embodiments, the means comprises at least one processor and at least one memory including computer program code, the at least one memory and computer program code configured to, with the at least one processor, cause the performance of the apparatus.

[0126] In some embodiments, an apparatus capable of performing the method 900 (for example, the first device 120) may comprise means for performing the respective steps of the method 900. The means may be implemented in any suitable form. For example, the means may be implemented in a circuitry or software module.

[0127] In some example embodiments, the apparatus comprises: means for transmitting, to a first device, first configuration information related to semi-supervised leaning (SSL) training based on data augmentation; means for receiving, from the first device, at least one model parameter of a first artificial intelligence / machine learning (AI / ML) model trained based on the transmitted first configuration information and unlabeled data at the first device; means for training a second AI / ML model deployed at the second device based on second configuration information related to supervised leaning (SL) training based on data augmentation and labeled data at the second device; and means for aggregating the at least one model parameter of trained first AI / ML model and at least one model parameter of the trained second AI / ML model.

[0128] In some example embodiments, the apparatus may further comprise: means for determining, based on capability of the first device, first the configuration information prior to transmitting the first configuration information; means for transmitting, to the first device, a request for the SSL training; and means for receiving, from the first device, an indication of approval for the SSL training. In some embodiments, the configuration information comprises at least one of the following: a data augmentation function for the data augmentation; at least one parameter related to the SSL training; at least one initial model parameter of the AI / ML model; or at least one convex combination weight.

[0129] In some example embodiments, the labeled data may comprise labeled input data and labeled output data. The means for training the second AI / ML model may comprise:  means for inputting the labeled input data into the second AI / ML model to obtain predicted output data; means for transforming, based on the data augmentation function, the labeled input data into augmented labeled input data; and means for inputting the augmented labeled input data into the second AI / ML model to obtain augmented predicted output data. In some example embodiments, the transforming of the labeled input data may be based on at least one of the following: a phase rotation; an amplitude magnification or reduction; a Gaussian noise vector; filtering or smoothing; or neural network-based augmentation.

[0130] In some example embodiments, the means for training the second AI / ML model may comprise: means for calculating a second loss of the second AI / ML model based on a difference between the predicted output data and the labeled output data; means for calculating a third loss of the second AI / ML model based on a difference between the augmented predicted output data and the labeled output data; and means for receiving, from the first device, a first loss of the first AI / ML model. In some example embodiments, the means for training the second AI / ML model may comprise: means for aggregating, based on loss weights, the first loss, the second loss and the third loss to obtain aggregated loss; and means for updating, based on the aggregated loss, at least model parameter of the second AI / ML model. In some example embodiments, the loss weights may comprise a first loss weight for the first loss, a second loss weight for the second loss, and a third loss weight for the third loss, where the first loss weight, the second loss weight and the third loss weight are non-negative and sum to unity.

[0131] In some example embodiments, the means for aggregating the at least one model parameter of trained first AI / ML model and the at least one model parameter of the trained second AI / ML model may comprise: means for aggregating, based on model parameter weights, the at least one model parameter of first AI / ML model and at least one model parameter of the second AI / ML model to obtain at least one aggregated model parameter, and wherein the second device further comprises: means for obtaining an updated second AI / ML model having the at least one aggregated model parameter; and means for training the updated second AI / ML model based on the labeled data in response to satisfying iteration condition. In some example embodiments, the model parameter weights comprise a first model parameter weight for the at least one model parameter of first AI / ML model and a second model parameter weight for the at least one model parameter of the second AI / ML model, where the first model parameter weight and the model second parameter weight are non-negative and sum to unity.

[0132] In some example embodiments, the apparatus may further comprise: means for transmitting, to the first device, the at least one aggregated model parameter in response to satisfying iteration condition; and means for transmitting, to the first device, a further request for the SSL training in response to satisfying iteration condition. In some embodiments, the first device may comprise a user equipment (UE) ; or the second device 120 may comprise a location management function (LMF) .

[0133] In some embodiments, the apparatus further comprises means for performing other steps in some embodiments of the method 900. In some embodiments, the means comprises at least one processor and at least one memory including computer program code, the at least one memory and computer program code configured to, with the at least one processor, cause the performance of the apparatus.

[0134] FIG. 10 illustrates a simplified block diagram of a device 1000 that is suitable for implementing some example embodiments of the present disclosure. The device 1000 may be provided to implement a communication device, for example, the first device 110 or the second device 120 as shown in FIG. 1. As shown, the device 1000 includes one or more processors 1010, one or more memories 1020 coupled to the processor 1010, and one or more communication modules 1040 coupled to the processor 1010.

[0135] The communication module 1040 is for bidirectional communications. The communication module 1040 has at least one antenna to facilitate communication. The communication interface may represent any interface that is necessary for communication with other network elements.

[0136] The processor 1010 may be of any type suitable to the local technical network and may include one or more of the following: general purpose computers, special purpose computers, microprocessors, digital signal processors (DSPs) and processors based on multicore processor architecture, as non-limiting examples. The device 1000 may have multiple processors, such as an application specific integrated circuit chip that is slaved in time to a clock which synchronizes the main processor.

[0137] The memory 1020 may include one or more non-volatile memories and one or more volatile memories. Examples of the non-volatile memories include, but are not limited to, a Read Only Memory (ROM) 1024, an electrically programmable read only memory (EPROM) , a flash memory, a hard disk, a compact disc (CD) , a digital video disk (DVD) , and other magnetic storage and / or optical storage. Examples of the volatile memories include,  but are not limited to, a random access memory (RAM) 1022 and other volatile memories that will not last in the power-down duration.

[0138] A computer program 1030 includes computer executable instructions that are executed by the associated processor 1010. The program 1030 may be stored in the ROM 1024. The processor 1010 may perform any suitable actions and processing by loading the program 1030 into the RAM 1022.

[0139] The embodiments of the present disclosure may be implemented by means of the program 1030 so that the device 1000 may perform any process of the disclosure as discussed with reference to FIGS. 5 and 6. The embodiments of the present disclosure may also be implemented by hardware or by a combination of software and hardware.

[0140] In some example embodiments, the program 1030 may be tangibly contained in a computer-readable medium which may be included in the device 1000 (such as in the memory 1020) or other storage devices that are accessible by the device 1000. The device 1000 may load the program 1030 from the computer-readable medium to the RAM 1022 for execution. The computer-readable medium may include any types of tangible non-volatile storage, such as ROM, EPROM, a flash memory, a hard disk, CD, DVD, and the like.

[0141] FIG. 11 illustrates a block diagram of an example of a computer-readable medium 1100 in accordance with some example embodiments of the present disclosure. The computer-readable medium 1100 has the program 1030 stored thereon. It is noted that although the computer-readable medium 1100 is depicted in form of CD or DVD in FIG. 11, the computer-readable medium 1100 may be in any other form suitable for carry or hold the program 1030.

[0142] Generally, various embodiments of the present disclosure may be implemented in hardware or special purpose circuits, software, logic or any combination thereof. Some aspects may be implemented in hardware, while other aspects may be implemented in firmware or software which may be executed by a controller, microprocessor or other computing device. While various aspects of embodiments of the present disclosure are illustrated and described as block diagrams, flowcharts, or using some other pictorial representations, it is to be understood that the block, apparatus, system, technique or method described herein may be implemented in, as non-limiting examples, hardware, software, firmware, special purpose circuits or logic, general purpose hardware or controller or other computing devices, or some combination thereof.

[0143] The present disclosure also provides at least one computer program product tangibly stored on a non-transitory computer-readable storage medium. The computer program product includes computer-executable instructions, such as those included in program modules, being executed in a device on a target real or virtual processor, to carry out the method 800 or 900 as described above with reference to FIG. 8 or 9. Generally, program modules include routines, programs, libraries, objects, classes, components, data structures, or the like that perform particular tasks or implement particular abstract data types. The functionality of the program modules may be combined or split between program modules as desired in various embodiments. Machine-executable instructions for program modules may be executed within a local or distributed device. In a distributed device, program modules may be located in both local and remote storage media.

[0144] Program code for carrying out methods of the present disclosure may be written in any combination of one or more programming languages. These program codes may be provided to a processor or controller of a general purpose computer, special purpose computer, or other programmable data processing apparatus, such that the program codes, when executed by the processor or controller, cause the functions / operations specified in the flowcharts and / or block diagrams to be implemented. The program code may execute entirely on a machine, partly on the machine, as a stand-alone software package, partly on the machine and partly on a remote machine or entirely on the remote machine or server.

[0145] In the context of the present disclosure, the computer program codes or related data may be carried by any suitable carrier to enable the device, apparatus or processor to perform various processes and operations as described above. Examples of the carrier include a signal, computer-readable medium, and the like.

[0146] The computer-readable medium may be a computer-readable signal medium or a computer-readable storage medium. A computer-readable medium may include but not limited to an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any suitable combination of the foregoing. More specific examples of the computer-readable storage medium would include an electrical connection having one or more wires, a portable computer diskette, a hard disk, a random access memory (RAM) , a read-only memory (ROM) , an erasable programmable read-only memory (EPROM or Flash memory) , an optical fiber, a portable compact disc read-only memory (CD-ROM) , an optical storage device, a magnetic storage device, or any suitable combination of the foregoing. The term “non-transitory, ” as used herein, is a limitation of the medium  itself (i.e., tangible, not a signal) as opposed to a limitation on data storage persistency (e.g., RAM vs. ROM) .

[0147] Further, while operations are depicted in a particular order, this should not be understood as requiring that such operations be performed in the particular order shown or in sequential order, or that all illustrated operations be performed, to achieve desirable results. In certain circumstances, multitasking and parallel processing may be advantageous. Likewise, while several specific implementation details are contained in the above discussions, these should not be construed as limitations on the scope of the present disclosure, but rather as descriptions of features that may be specific to particular embodiments. Certain features that are described in the context of separate embodiments may also be implemented in combination in a single embodiment. Conversely, various features that are described in the context of a single embodiment may also be implemented in multiple embodiments separately or in any suitable sub-combination.

[0148] Although the present disclosure has been described in languages specific to structural features and / or methodological acts, it is to be understood that the present disclosure defined in the appended claims is not necessarily limited to the specific features or acts described above. Rather, the specific features and acts described above are disclosed as example forms of implementing the claims.

Claims

1.A first device comprising:at least one processor; andat least one memory storing instructions that, when executed by the at least one processor, cause the first device at least to:receive, from a second device, configuration information related to semi-supervised leaning (SSL) training based on data augmentation;train an artificial intelligence / machine learning (AI / ML) model deployed at the first device based on the received configuration information and unlabeled data at the first device; andtransmit, to the second device, at least one model parameter of the trained AI / ML model.2.The first device of claim 1, wherein the first device is further caused to:prior to receiving the configuration information, receive, from the second device, a request for the SSL training; andbased on receiving the request, transmit, to the second device, an indication of approval for the SSL training.3.The first device of claim 1 or 2, wherein the configuration information is determined based on capability of the first device.4.The first device of any of claims 1 to 3, wherein the configuration information comprises at least one of the following:a data augmentation function for the data augmentation;at least one parameter related to the SSL training;at least one initial model parameter of the AI / ML model; orat least one convex combination weight.5.The first device of any of claims 1 to 4, wherein the first device is caused to train the AI / ML model by:inputting the unlabeled data into the AI / ML model to obtain predicted output data;transforming, based on a data augmentation function for the data augmentation, the unlabeled data into augmented unlabeled data; andinputting the augmented unlabeled data into the AI / ML model to obtain augmented predicted output data.6.The first device of claim 5, wherein the transforming of the unlabeled data is based on at least one of the following:a phase rotation;an amplitude magnification or reduction;a Gaussian noise vector;filtering or smoothing; orneural network-based augmentation.7.The first device of any of claims 1 to 6, wherein the first device is caused to train the AI / ML model by:calculating a first loss of the AI / ML model based on a difference between the predicted output data and the augmented predicted output data; andtransmitting the first loss to the second device.8.The first device of claim 7, wherein the first device is caused to train the AI / ML model by:receiving an aggregated loss from the second device, wherein the aggregated loss is determined based on the first loss of the AI / ML model; andupdating, based on the aggregated loss, the at least one model parameter of the AI / ML model.9.The first device of any of claims 1 to 7, wherein the first device is further caused to:receive, from the second device, at least one aggregated model parameter, wherein the at least one aggregated model parameter is determined based on the at least one model parameter of the AI / ML model;obtain an updated AI / ML model having the at least one aggregated model parameter; andin response to satisfying iteration condition, train the updated AI / ML model based on the unlabeled data.10.The first device of any of claims 1-9, wherein at least one of the following:the first device is a user equipment (UE) ; orthe second device is a location management function (LMF) .11.A second device comprising:at least one processor; andat least one memory storing instructions that, when executed by the at least one processor, cause the second device at least to:transmit, to a first device, first configuration information related to semi-supervised leaning (SSL) training based on data augmentation;receive, from the first device, at least one model parameter of a first artificial intelligence / machine learning (AI / ML) model trained based on the transmitted first configuration information and unlabeled data at the first device;train a second AI / ML model deployed at the second device based on second configuration information related to supervised leaning (SL) training based on data augmentation and labeled data at the second device; andaggregate the at least one model parameter of trained first AI / ML model and at least one model parameter of the trained second AI / ML model.12.The second device of claim 11, wherein the second device is further caused to:prior to transmitting the first configuration information, determine, based on capability of the first device, first the configuration information;transmit, to the first device, a request for the SSL training; andreceive, from the first device, an indication of approval for the SSL training.13.The second device of claim 11 or 12, wherein the first configuration information comprises at least one of the following:a data augmentation function for the data augmentation;at least one parameter related to the SSL training;at least one initial model parameter of the AI / ML model; orat least one convex combination weight.14.The second device of any of claims 11 to 13, wherein the labeled data comprise labeled input data and labeled output data, and the second device is caused to train the second AI / ML model by:inputting the labeled input data into the second AI / ML model to obtain predicted output data;transforming, based on the data augmentation function, the labeled input data into augmented labeled input data; andinputting the augmented labeled input data into the second AI / ML model to obtain augmented predicted output data.15.The second device of claim 14, wherein the transforming of the labeled input data is based on at least one of the following:a phase rotation;an amplitude magnification or reduction;a Gaussian noise vector;filtering or smoothing; orneural network-based augmentation.16.The second device of any of claims 11 to 15, wherein the second device is caused to train the second AI / ML model by:calculating a second loss of the second AI / ML model based on a difference between the predicted output data and the labeled output data;calculating a third loss of the second AI / ML model based on a difference between the augmented predicted output data and the labeled output data; andreceiving, from the first device, a first loss of the first AI / ML model.17.The second device of claim 16, wherein the second device is caused to train the second AI / ML model by:aggregating, based on loss weights, the first loss, the second loss and the third loss to obtain aggregated loss; andupdating, based on the aggregated loss, at least model parameter of the second AI / ML model.18.The second device of claim 17, wherein the loss weights comprise:a first loss weight for the first loss;a second loss weight for the second loss; anda third loss weight for the third loss, andthe first loss weight, the second loss weight and the third loss weight are non-negative and sum to unity.19.The second device of any of claims 12 to 18, wherein the second device is caused to aggregate the at least one model parameter of trained first AI / ML model and the at least one model parameter of the trained second AI / ML model by:aggregating, based on model parameter weights, the at least one model parameter of first AI / ML model and at least one model parameter of the second AI / ML model to obtain at least one aggregated model parameter, and wherein the second device is further caused to:obtain an updated second AI / ML model having the at least one aggregated model parameter; andin response to satisfying iteration condition, train the updated second AI / ML model based on the labeled data.20.The second device of claim 19, wherein the model parameter weights comprise:a first model parameter weight for the at least one model parameter of first AI / ML model; anda second model parameter weight for the at least one model parameter of the second AI / ML model, andthe first model parameter weight and the model second parameter weight are non-negative and sum to unity.21.The second device of any of claims 12 to 20, wherein the second device is further caused to:in response to satisfying iteration condition,transmitting, to the first device, the at least one aggregated model parameter; andtransmitting, to the first device, a further request for the SSL training.22.The first device of any of claims 12-21, wherein at least one of the following:the first device is a user equipment (UE) ; orthe second device is a location management function (LMF) .23.A method comprising:receiving, at a first device and from a second device, configuration information related to semi-supervised leaning (SSL) training based on data augmentation;training an artificial intelligence / machine learning (AI / ML) model deployed at the first device based on the received configuration information and unlabeled data at the first device; andtransmitting, to the second device, at least one model parameter of the trained AI / ML model.24.A method comprising:transmitting, at a second device and to a first device, first configuration information related to semi-supervised leaning (SSL) training based on data augmentation;receiving, from the first device, at least one model parameter of a first artificial intelligence / machine learning (AI / ML) model trained based on the transmitted first configuration information and unlabeled data at the first device;training a second AI / ML model deployed at the second device based on second configuration information related to supervised leaning (SL) training based on data augmentation and labeled data at the second device; andaggregating the at least one model parameter of trained first AI / ML model and at least one model parameter of the trained second AI / ML model.25.An apparatus comprising:means for receiving, at a first device and from a second device, configuration information related to semi-supervised leaning (SSL) training based on data augmentation;means for training an artificial intelligence / machine learning (AI / ML) model deployed at the first device based on the received configuration information and unlabeled data at the first device; andmeans for transmitting, to the second device, at least one model parameter of the trained AI / ML model.26.An apparatus comprising:means for transmitting, at a second device and to a first device, first configuration information related to semi-supervised leaning (SSL) training based on data augmentation;means for receiving, from the first device, at least one model parameter of a first artificial intelligence / machine learning (AI / ML) model trained based on the transmitted first configuration information and unlabeled data at the first device;means for training a second AI / ML model deployed at the second device based on second configuration information related to supervised leaning (SL) training based on data augmentation and labeled data at the second device; andmeans for aggregating the at least one model parameter of trained first AI / ML model and at least one model parameter of the trained second AI / ML model.27.A non-transitory computer readable medium comprising program instructions that, when executed by an apparatus, cause the apparatus to perform at least:receiving, at a first device and from a second device, configuration information related to semi-supervised leaning (SSL) training based on data augmentation;training an artificial intelligence / machine learning (AI / ML) model deployed at the first device based on the received configuration information and unlabeled data at the first device; andtransmitting, to the second device, at least one model parameter of the trained AI / ML model.28.A non-transitory computer readable medium comprising program instructions that, when executed by an apparatus, cause the apparatus to perform at least:transmitting, at a second device and to a first device, first configuration information related to semi-supervised leaning (SSL) training based on data augmentation;receiving, from the first device, at least one model parameter of a first artificial intelligence / machine learning (AI / ML) model trained based on the transmitted first configuration information and unlabeled data at the first device;training a second AI / ML model deployed at the second device based on second configuration information related to supervised leaning (SL) training based on data augmentation and labeled data at the second device; andaggregating the at least one model parameter of trained first AI / ML model and at least one model parameter of the trained second AI / ML model.

Images