Artificial intelligence / machine learning model updating

Abstract

Embodiments of the present disclosure relate to artificial intelligence (AI) / machine learning (ML) model updating. In an aspect, a network device receives an AI / ML model and a first dataset. The first dataset comprises a first set of data samples associated with a first set of labels. The network device obtains a second dataset based on a plurality of unlabeled data samples, the AI / ML model, and a ratio of a number of labels indicative of a line of sight (LOS) path to a number of labels indicative of a non-line of sight (NLOS) path among the first set of labels. The network device updates at least one model parameter of the AI / ML model based on the second dataset. As provided in the present disclosure, a higher LOS / NLOS classification accuracy can be provided by the updated AI / ML model.

Description

ARTIFICIAL INTELLIGENCE / MACHINE LEARNING MODEL UPDATINGFIELD

[0001] Various example embodiments generally relate to the field of communication, and in particular, to a network device, a terminal device, methods, apparatuses and a computer readable storage medium related to artificial intelligence (AI)  / machine learning (ML) model updating.BACKGROUND

[0002] In a communication technology, the scope of an AI / ML enabled positioning may be based on radio frequency (RF) fingerprinting (e.g., channel impulse response (CIR) , etc. ) as discussed in the 3rd generation partnership project (3GPP) . In practice, some labeled data can be collected by positioning reference unit (PRUs) deployed in a network. However, it is difficult to collect enough labeled data to enable large-scale model training for the use case of AI / ML based positioning accuracy enhancement. This motivates people to investigate the AI / ML technologies with low labeled data dependence.

[0003] Fortunately, the unlabeled data containing CIR only is relatively easy to be obtained. For example, one way to collect unlabeled data at network side is that a user equipment (UE) reports CIRs estimated from positioning reference signal (PRS) measurement. In this way, large amounts of data without location labels but relatively small amounts of data with location labels will be obtained. A high-accuracy AI / ML model can be trained with these data.SUMMARY

[0004] In general, example embodiments of the present disclosure provide a network device, a terminal device, methods, apparatuses and a computer readable storage medium of AI / ML updating. For example, the solution provided by the example embodiments of the present disclosure can allow the network device to support the updating of AI-positioning model deployed at the terminal device with pseudo labels, and thus provide a higher line of sight (LOS)  / non-line of sight (NLOS) classification accuracy.

[0005] In a first aspect, there is provided a network device. The network device may comprise at least one processor and at least one memory storing instructions that, when  executed by the at least one processor, cause the network device at least to: receive, from a terminal device, an AI / ML model and a first dataset, wherein the AI / ML model has capability to provide an inference result of LOS / NLOS classification with a confidence level, and the first dataset comprises a first set of data samples associated with a first set of labels which are ground truth labels indicative of a LOS path or a NLOS path; obtain a second dataset based on a plurality of unlabeled data samples, the AI / ML model, and a ratio of a number of labels indicative of a LOS path to a number of labels indicative of a NLOS path among the first set of labels, wherein the second dataset comprises a second set of data samples associated with a second set of labels which are pseudo labels indicative of a LOS path or a NLOS path; and update at least one model parameter of the AI / ML model based on the second dataset.

[0006] In a second aspect, there is provided a terminal device. The terminal device may comprise at least one processor and at least one memory storing instructions that, when executed by the at least one processor, cause the terminal device at least to: receive, from a network device, a query message for querying whether an AI / ML model at the terminal device has capability to provide an inference result of LOS / NLOS classification with a confidence level; based on determining that the AI / ML model has the capability, transmit the AI / ML model and a dataset to the network device, wherein the dataset comprises a set of data samples associated with a set of labels which are ground truth labels indicative of a LOS path or a NLOS path; and receive, from the network device, at least one model parameter of an updated AI / ML model obtained by updating the AI / ML model.

[0007] In a third aspect, there is provided a method. The method may comprise: receiving, at a network device and from a terminal device, an AI / ML model and a first dataset, wherein the AI / ML model has capability to provide an inference result of LOS / NLOS classification with a confidence level, and the first dataset comprises a first set of data samples associated with a first set of labels which are ground truth labels indicative of a LOS path or a NLOS path; obtaining a second dataset based on a plurality of unlabeled data samples, the AI / ML model, and a ratio of a number of labels indicative of a LOS path to a number of labels indicative of a NLOS path among the first set of labels, wherein the second dataset comprises a second set of data samples associated with a second set of labels which are pseudo labels indicative of a LOS path or a NLOS path; and updating at least one model parameter of the AI / ML model based on the second dataset.

[0008] In a fourth aspect, there is provided a method. The method may comprise: receiving, at a terminal device and from a network device, a query message for querying whether an AI / ML model at the terminal device has capability to provide an inference result of LOS / NLOS classification with a confidence level; based on determining that the AI / ML model has the capability, transmitting the AI / ML model and a dataset to the network device, wherein the dataset comprises a set of data samples associated with a set of labels which are ground truth labels indicative of a LOS path or a NLOS path; and receiving, from the network device, at least one model parameter of an updated AI / ML model obtained by updating the AI / ML model.

[0009] In a fifth aspect, there is provided an apparatus. The apparatus may comprise: means for receiving, at a network device and from a terminal device, an AI / ML model and a first dataset, wherein the AI / ML model has capability to provide an inference result of LOS / NLOS classification with a confidence level, and the first dataset comprises a first set of data samples associated with a first set of labels which are ground truth labels indicative of a LOS path or a NLOS path; means for obtaining a second dataset based on a plurality of unlabeled data samples, the AI / ML model, and a ratio of a number of labels indicative of a LOS path to a number of labels indicative of a NLOS path among the first set of labels, wherein the second dataset comprises a second set of data samples associated with a second set of labels which are pseudo labels indicative of a LOS path or a NLOS path; and means for updating at least one model parameter of the AI / ML model based on the second dataset.

[0010] In a sixth aspect, there is provided an apparatus. The apparatus may comprise: means for receiving, at a terminal device and from a network device, a query message for querying whether an AI / ML model at the terminal device has capability to provide an inference result of LOS / NLOS classification with a confidence level; means for based on determining that the AI / ML model has the capability, transmitting the AI / ML model and a dataset to the network device, wherein the dataset comprises a set of data samples associated with a set of labels which are ground truth labels indicative of a LOS path or a NLOS path; and means for receiving, from the network device, at least one model parameter of an updated AI / ML model obtained by updating the AI / ML model.

[0011] In a seventh aspect, there is provided a non-transitory computer readable medium comprising program instructions for causing an apparatus to perform at least the method according to the third or fourth aspect.

[0012] In an eighth aspect, there is provided a computer program comprising instructions, which, when executed by an apparatus, cause the apparatus at least to: receive, from a terminal device, an AI / ML model and a first dataset, wherein the AI / ML model has capability to provide an inference result of LOS / NLOS classification with a confidence level, and the first dataset comprises a first set of data samples associated with a first set of labels which are ground truth labels indicative of a LOS path or a NLOS path; obtain a second dataset based on a plurality of unlabeled data samples, the AI / ML model, and a ratio of a number of labels indicative of a LOS path to a number of labels indicative of a NLOS path among the first set of labels, wherein the second dataset comprises a second set of data samples associated with a second set of labels which are pseudo labels indicative of a LOS path or a NLOS path; and update at least one model parameter of the AI / ML model based on the second dataset.

[0013] In a ninth aspect, there is provided a computer program comprising instructions, which, when executed by an apparatus, cause the apparatus at least to: receive, from a network device, a query message for querying whether an AI / ML model at the terminal device has capability to provide an inference result of LOS / NLOS classification with a confidence level; based on determining that the AI / ML model has the capability, transmit the AI / ML model and a dataset to the network device, wherein the dataset comprises a set of data samples associated with a set of labels which are ground truth labels indicative of a LOS path or a NLOS path; and receive, from the network device, at least one model parameter of an updated AI / ML model obtained by updating the AI / ML model.

[0014] In a tenth aspect, there is provided a network device. The network device may comprise a receiving circuitry configured to receive, from a terminal device, an AI / ML model and a first dataset, wherein the AI / ML model has capability to provide an inference result of LOS / NLOS classification with a confidence level, and the first dataset comprises a first set of data samples associated with a first set of labels which are ground truth labels indicative of a LOS path or a NLOS path; an obtaining circuitry configured to obtain a second dataset based on a plurality of unlabeled data samples, the AI / ML model, and a ratio of a number of labels indicative of a LOS path to a number of labels indicative of a NLOS path among the first set of labels, wherein the second dataset comprises a second set of data samples associated with a second set of labels which are pseudo labels indicative of a LOS path or a NLOS path; and an updating circuitry configured to update at least one model parameter of the AI / ML model based on the second dataset.

[0015] In an eleventh aspect, there is provided a terminal device. The terminal device may comprise a first receiving circuitry configured to receive, from a network device, a query message for querying whether an AI / ML model at the terminal device has capability to provide an inference result of LOS / NLOS classification with a confidence level; a transmitting circuitry configured to, based on determining that the AI / ML model has the capability, transmit the AI / ML model and a dataset to the network device, wherein the dataset comprises a set of data samples associated with a set of labels which are ground truth labels indicative of a LOS path or a NLOS path; and a second receiving circuitry configured to receive, from the network device, at least one model parameter of an updated AI / ML model obtained by updating the AI / ML model.

[0016] It is to be understood that the summary section is not intended to identify key or essential features of embodiments of the present disclosure, nor is it intended to be used to limit the scope of the present disclosure. Other features of the present disclosure will become easily comprehensible through the following description.BRIEF DESCRIPTION OF THE DRAWINGS

[0017] Some example embodiments will now be described with reference to the accompanying drawings, in which:

[0018] FIG. 1 illustrates an example network environment in which example embodiments of the present disclosure may be implemented;

[0019] FIG. 2 illustrates an example signaling process of AI / ML model updating in accordance with some example embodiments of the present disclosure;

[0020] FIG. 3 illustrates an example architecture of the AI / ML model in accordance with some example embodiments of the present disclosure;

[0021] FIG. 4 illustrates example functionalities of a UE and a location management function (LMF) in accordance with some example embodiments of the present disclosure;

[0022] FIG. 5 illustrates another example signaling process of AI / ML model updating in accordance with some example embodiments of the present disclosure;

[0023] FIG. 6 illustrates an example flowchart of a process of AI / ML model updating in accordance with some example embodiments of the present disclosure;

[0024] FIG. 7 illustrates another example flowchart of a process of AI / ML model updating in accordance with some example embodiments of the present disclosure;

[0025] FIG. 8 illustrates an example simplified block diagram of a device that is suitable for implementing embodiments of the present disclosure; and

[0026] FIG. 9 illustrates an example block diagram of an example computer readable medium in accordance with some example embodiments of the present disclosure.

[0027] Throughout the drawings, the same or similar reference numerals represent the same or similar element.DETAILED DESCRIPTION

[0028] Principles of the present disclosure will now be described with reference to some example embodiments. It is to be understood that these embodiments are described only for the purpose of illustration and help those skilled in the art to understand and implement the present disclosure, without suggesting any limitation as to the scope of the disclosure. The disclosure described herein may be implemented in various manners other than the ones described below.

[0029] In the following description and claims, unless defined otherwise, all technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skills in the art to which the present disclosure belongs.

[0030] References in the present disclosure to “one embodiment, ” “an embodiment, ” “an example embodiment, ” and the like indicate that the embodiment described may include a particular feature, structure, or characteristic, but it is not necessary that every embodiment includes the particular feature, structure, or characteristic. Moreover, such phrases are not necessarily referring to the same embodiment. Further, when a particular feature, structure, or characteristic is described in connection with an embodiment, it is submitted that it is within the knowledge of one skilled in the art to affect such feature, structure, or characteristic in connection with other embodiments whether or not explicitly described.

[0031] It may be understood that although the terms “first” and “second” etc. may be used herein to describe various elements, these elements should not be limited by these terms. These terms are only used to distinguish one element from another. For example, a first element could be termed a second element, and similarly, a second element could be termed  a first element, without departing from the scope of example embodiments. As used herein, the term “and / or” includes any and all combinations of one or more of the listed terms.

[0032] The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of example embodiments. As used herein, the singular forms “a” , “an” and “the” are intended to include the plural forms as well, unless the context clearly indicates otherwise. It will be further understood that the terms “comprises” , “comprising” , “has” , “having” , “includes” and / or “including” , when used herein, specify the presence of stated features, elements, and / or components etc., but do not preclude the presence or addition of one or more other features, elements, components and / or combinations thereof. As used herein, “at least one of the following: <a list of two or more elements>” and “at least one of <a list of two or more elements>” and similar wording, where the list of two or more elements are joined by “and” or “or” , mean at least any one of the elements, or at least any two or more of the elements, or at least all the elements.

[0033] As used in this application, the term “circuitry” may refer to one or more or all of the following:

[0034] (a) hardware-only circuit implementations (such as implementations in only analog and / or digital circuitry) and

[0035] (b) combinations of hardware circuits and software, such as (as applicable) :

[0036] (i) a combination of analog and / or digital hardware circuit (s) with software / firmware and

[0037] (ii) any portions of hardware processor (s) with software (including digital signal processor (s) ) , software, and memory (ies) that work together to cause an apparatus, such as a mobile phone or server, to perform various functions) and

[0038] (c) hardware circuit (s) and or processor (s) , such as a microprocessor (s) or a portion of a microprocessor (s) that requires software (e.g., firmware) for operation, but the software may not be present when it is not needed for operation.

[0039] This definition of circuitry applies to all uses of this term in this application, including in any claims. As a further example, as used in this application, the term circuitry also covers an implementation of merely a hardware circuit or processor (or multiple processors) or portion of a hardware circuit or processor and its (or their) accompanying software and / or firmware. The term circuitry also covers, for example and if applicable to the  particular claim element, a baseband integrated circuit or processor integrated circuit for a mobile device or a similar integrated circuit in server, a cellular network device, or other computing or network device.

[0040] As used herein, the term “communication network” refers to a network following any suitable communication standards, such as long term evolution (LTE) , LTE-advanced (LTE-A) , wideband code division multiple access (WCDMA) , high-speed packet access (HSPA) , narrow band Internet of things (NB-IoT) and so on. Furthermore, the communications between a terminal device and a network device in the communication network may be performed according to any suitable generation communication protocols, including, but not limited to, the third generation (3G) , the fourth generation (4G) , 4.5G, the fifth generation (5G) communication protocols, and / or beyond. Embodiments of the present disclosure may be applied in various communication systems. Given the rapid development in communications, there will of course also be future type communication technologies and systems with which the present disclosure may be embodied. It should not be seen as limiting the scope of the present disclosure to only the aforementioned system.

[0041] As used herein, the term “network device” refers to a node in a communication network via which a terminal device accesses the network and receives services therefrom. The network device may refer to a base station (BS) or an access point (AP) , for example, a node B (NodeB or NB) , an evolved NodeB (eNodeB or eNB) , a NR NB (also referred to as a gNB) , a remote radio unit (RRU) , a radio header (RH) , a remote radio head (RRH) , a relay, a low power node such as a femto, a pico, and so forth, depending on the applied terminology and technology.

[0042] The term “terminal device” refers to any end device that may be capable of wireless communication. By way of example rather than limitation, a terminal device may also be referred to as a communication device, user equipment (UE) , a subscriber station (SS) , a portable subscriber station, a mobile station (MS) , or an access terminal (AT) . The terminal device may include, but not limited to, a mobile phone, a cellular phone, a smart phone, voice over IP (VoIP) phones, wireless local loop phones, a tablet, a wearable terminal device, a personal digital assistant (PDA) , portable computers, desktop computer, image capture terminal devices such as digital cameras, gaming terminal devices, music storage and playback appliances, vehicle-mounted wireless terminal devices, wireless endpoints, mobile stations, laptop-embedded equipment (LEE) , laptop-mounted equipment (LME) , USB dongles, smart devices, wireless customer-premises equipment (CPE) , an Internet of things  (loT) device, a watch or other wearable, a head-mounted display (HMD) , a vehicle, a drone, a medical device and applications (e.g., remote surgery) , an industrial device and applications (e.g., a robot and / or other wireless devices operating in an industrial and / or an automated processing chain contexts) , a consumer electronics device, a device operating on commercial, a relay node, an integrated access and backhaul (IAB) node, and / or industrial wireless networks, and the like. In the following description, the terms “terminal device” , “communication device” , “terminal” , “user equipment” and “UE” may be used interchangeably.

[0043] As used herein, the term “resource” , “transmission resource” , “resource block” , “physical resource block” (PRB) , “uplink (UL) resource” or “downlink (DL) resource” may refer to any resource for performing a communication, for example, a communication between a terminal device and a network device, such as a resource in time domain, a resource in frequency domain, a resource in space domain, a resource in code domain, a resource in a combination of more than one domain or any other resource enabling a communication, and the like. In the following, a resource in time domain (such as, a subframe) will be used as an example of a transmission resource for describing some example embodiments of the present disclosure. It is noted that example embodiments of the present disclosure are equally applicable to other resources in other domains.

[0044] As discussed above, the scope of machine learning (ML) enabled positioning may be based on RF fingerprinting (e.g., CIR, etc. ) , which is one of the three study item (SIDs) in 3GPP release 18 as shown in Table 1.

[0045] Table 1

[0046] A semi-supervised learning (SSL) may be also an effective way to tackle this challenging task. In 3GPP RAN1#110 meeting, the SSL has become an emerging hot topic under investigation for its capability of providing pseudo-labels to massive scale unlabeled data, it’s a promising solution for AI-positioning tasks where there are a few labelled data (e.g., {CIR / PDP, position-labels} ) with sufficient available unlabeled data {CIR / PDP; N / A positions} . This is shown in Table 2.

[0047] Table 2

[0048] AI / ML positioning is data-driven. The training of the AI / ML model highly depends on the large number of labeled data. In real world, however, collecting large number of labeled data would be difficult and of high consumption, while the unlabeled data containing CIR only is relatively easy to obtain. Therefore, an SSL, which trains a model using the combination of a small amount of labeled data and a large amount of unlabeled data, becomes a reasonable solution to this challenge.

[0049] In semi-supervised learning, an approach is to first train a model based on a small set of labeled data, and then to use the model to yield pseudo labels on unlabeled data. By combining the original labeled data with the unlabeled data with high confidence, the model can be finetune / retrained. Such procedures can be conduct iteratively to find the best model.

[0050] However, only using the unlabeled data with high confidence may not bring definite inference improvement, in some cases it may even lead to worse inference results, which is due to the ignorance of the data distribution at UE’s location, e.g., the proportion between LOS and NLOS. When the selected unlabeled dataset is different from the practical UE distribution, the model will be trained to get overfitting at the selected unlabeled dataset, which will cause performance degradation at the practical dataset at UE’s location.

[0051] Therefore, there is a need to propose a solution regarding training the AI / ML model considering the LOS / NLOS ratio for a real-deployment environment of the terminal device.  The example embodiments of the present disclosure provide a solution for an SSL for AI-updating. It can allow the network device (such as an LMF / over the top (OTT) device) to support UE’s AI-positioning model updating with artificially labelled data. This proposed a solution comprises of two ideas. The first idea is that an AI / ML-assisted positioning model provides estimation confidence as a secondary output besides its primary output of LOS / NLOS classification index. The second idea is that not solely based on the estimation confidence on unlabeled data, the LMF / OTT can adjust the LOS / NLOS ratio for CIR / PDP data in the selected unlabeled dataset according to the real-deployment environment and re-select dataset with pseudo labels for SSL training. Therefore, it involves new functionalities in UE / LMF / OTT and message exchange between the entities.

[0052] The proposed solution defines a framework on SSL training approaches for AI / ML model updating. The framework comprises an approach that in AI-assisted positioning. The AI-model at UE side can provide estimation confidence as a secondary output besides its primary LOS / NLOS classification output. The LMF can assist the UE to select proper unlabeled data from OTT according to AI-model’s estimation confidence. The framework further comprises that on top of the LOS / NLOS estimation confidence by AI-model, the LMF can adjust the LOS / NLOS ratio for CIR / PDP data according to the real-deployment environment and re-select dataset with pseudo labels (also referred to as artificial labels) for SSL training.

[0053] It is understood that the above procedure steps may work together, in a flow of operations as described in the next section, partly together or independently of each other. By implementing the embodiments of the present disclosure, the updating of the UE’s AI / ML model with pseudo labels can be supported by the network device, and thus a higher LOS / NLOS classification accuracy can be provided.

[0054] For illustrative purposes, principles and example embodiments of the present disclosure of AI / ML updating will be described below with reference to FIG. 1 through FIG. 9. However, it is to be noted that these embodiments are given to enable the skilled in the art to understand inventive concepts of the present disclosure and implement the solution as proposed herein, and not intended to limit scope of the present application in any way.

[0055] Reference is made to FIG. 1, which illustrates an example network environment 100 in which example embodiments of the present disclosure may be implemented. The network  environment 100, which may be a part of a communication network, includes a terminal device 102 and a network device 104.

[0056] As illustrated in FIG. 1, the terminal device 102 may also be referred as a user equipment 102 or a UE 102. The network device 104 may also be referred as an LMF 104. The network device 104 may further comprise an OTT. Alternatively, the LMF together with the OTT can be referred to as the network device 104. The network device 104 may be also referred to as a network node 104. The terminal device 102 and the network device 104 can communicate with each other. In some example embodiments, the network device 104 may also be referred to as an access network device comprising at least one of an LMF or an OTT device. In some example embodiments, the network device 104 may also be referred to as or a core network device comprising at least one of an LMF or an OTT device.

[0057] Reference is made to FIG. 2, which illustrates an example signaling process 200 of AI / ML model updating in accordance with some example embodiments of the present disclosure. FIG. 2 will be described with reference to FIG. 1.

[0058] As shown in FIG. 2, the network device 104 transmits (204) a query message 206 for querying whether an AI / ML model 224 at the terminal device 102 has capability to provide an inference result of LOS / NLOS classification with a confidence level. The terminal device 102 receives (202) the query message 206 from the network device 104.

[0059] The terminal device 102 determines (208) that the AI / ML model 224 has the capability. The terminal device 102 transmits (210) the AI / ML model 224 and a dataset (also referred to as a first dataset thereafter) to the network device 104. The first dataset comprises a set of data samples associated with a set of labels which are ground truth labels indicative of a LOS path or a NLOS path. The network device 104 receives (212) the AI / ML model 224 and the first dataset.

[0060] The network device 104 obtains (214) a second dataset based on a plurality of unlabeled data samples, the AI / ML model 224, and a ratio of a number of labels indicative of a LOS path to a number of labels indicative of a NLOS path among the first set of labels. The second dataset comprises a second set of data samples associated with a second set of labels which are pseudo labels indicative of a LOS path or a NLOS path.

[0061] The network device 104 updates (216) at least one model parameter of the AI / ML model 224 based on the second dataset. The network device 104 transmits (220) at least one  model parameter of the updated AI / ML model 224 to the terminal device 102. The terminal device 102 receives (218) the at least one model parameter of the updated AI / ML model 224.

[0062] The details of the obtaining (214) process, and the updating (216) process will be described with reference to FIGS. 3-5, and thus for the purpose of simplification, they will not be described here.

[0063] By implementing the embodiments of FIG. 2, the updating of the UE’s AI / ML model with pseudo labels can be supported by the network device. The LMF can adjust the LOS / NLOS data ratio according to the real-deployment environment and re-select dataset with pseudo labels for SSL training, and thus a higher LOS / NLOS classification accuracy can be provided.

[0064] Reference is made to FIG. 3, which illustrates an example architecture 300 of the AI / ML model in accordance with some example embodiments of the present disclosure. As an example, FIG. 3 shows an SSL model training framework for AI / ML-assisted positioning to classify LOS / NLOS signals with CIR / PDP as model input.

[0065] As shown in FIG. 3, the architecture 300 comprises CIP / PDP dataset 302, an SSL AI / ML model 304 and LOS-NLOS inference results 306. The input of the SSL AI / ML model 304 are the CIR / PDP vectors collected from each TRP, whose dimension is (Nport, Nt) . The output of the SSL AI / ML model 304 are LOS / NLOS confidences 306 instead of the hard value for LOS / NLOS classification. Table 3 demonstrates the internal architecture of the AI / ML-assisted positioning model. Cross entropy function is adopted as the loss function.

[0066] Table 3 The architecture of the AI / ML-assisted positioning model

[0067] Reference is made to FIG. 4, which illustrates example functionalities 400 of a UE and an LMF in accordance with some example embodiments of the present disclosure. As shown in FIG. 4, block 402 shows the functionality at UE side. The pretrained AI / ML assisted positioning model 304 is located at UE side and UE also stores small scale data 404 with ground truth labels for model life cycle management (LCM) . At UE side, the storage and computation capability is limited.

[0068] As another example, block 406 shows the functionality at LMF side. LMF collects unlabeled data from UEs and maintains a large-scale unlabeled dataset 408 to obtain the overview of the wireless environment. Since obtaining adequate ground truth labels is difficult and considering the limited storage space and computation capability at UE side, we can leverage the large-scale unlabeled dataset as well as adequate storage and computation capability at LMF side for model update. By using SSL-based model training, LMF can update the model with higher LOS / NLOS classification accuracy.

[0069] Reference is made to FIG. 5, which illustrates another example signaling process 500 of AI / ML model updating in accordance with some example embodiments of the present disclosure. FIG. 5 shows a scenario that the AI / ML model at UE side has been pre-trained with labeled dataset in a supervised manner, and the LMF 504 maintains an unlabeled CIR / PDP dataset. A UE 502 in FIG. 5 may correspond to the terminal device 102 in FIG. 1. An LMF 504 together with an OTT 506 may correspond to the network device 104 in FIG. 1.

[0070] As an example, the UE 502 may pre-trained (508) with labeled dataset in a supervised manner. The LMF 504 may be ready to monitor and manage (510) the AI / ML model. The OTT 506 may maintain (512) a dataset with unlabeled CIR / PDP samples.

[0071] Additionally or alternatively, the UE 502 may transmit (514) a message (518) to LMF 504 to request model update with SSL approaches. The LMF 504 may receive (516) the message (518) from the UE 502. Alternatively, the LMF 504 may trigger (520) the updating of the AI / ML model with the SSL approaches.

[0072] The LMF 504 may transmit (524) a query (526) that the UE 502’s AI / ML model has capability of providing AI / ML-assisted positioning inference result (such as LOS / NLOS classification) with confidence. The UE 502 may receive (522) the query (526) from the LMF 504.

[0073] If the UE 502’s AI / ML model is able to provide AI / ML-assisted positioning inference result with confidence, the UE 502 may transmit (528) an acknowledgment (ACK) (532) , together with the its AI / ML-assisted positioning model and a small-scale labeled dataset (for example, CIR / PDP+ labels) to the LMF 504. The LMF 504 may receive (530) the ACK (532) , the AI / ML model and the mall-scale labeled dataset from the UE 502.

[0074] If the UE 502’s AI / ML model is not able to provide AI / ML-assisted positioning inference result with confidence, the UE 502 may transmit (534) a negative acknowledgment (NACK) (538) to the LMF 504. The LMF 504 may receive (536) the NACK (538) from the UE 502. The UE 502 may terminate the process for updating the AI / ML model with the SSL approaches.

[0075] The LMF 504 may select (542) unlabeled CIR / PDP data out of the database in OTT with reference to the unlabeled data selection criterion, for example, inference confidence for class-LOS and class-NLOS, respectively.

[0076] Additionally or alternatively, the LMF 504 may calculate inference confidence and give unlabeled CIR / PDP samples with pseudo-labels. For example, by feeding the unlabeled data into the pretrained AI / ML-assisted model with LOS / NLOS classification capability, the LOS / NLOS confidence of the unlabeled dataset can be obtained. As discussed in FIG. 3, the output of the model may be a vector containing two values, the first value may be the confidence for LOS and the second value may be the confidence for NLOS. For instance, if the output is (a=98%, b=2%) , it means that this path is high probable to be a LOS path. pseudo labels to the unlabeled data with respect to output LOS / NLOS confidence may be then added.

[0077] The LMF 504 may rank (544) the selected unlabeled data at 542 for class-LOS and class-NLOS, respectively. The LMF 504 may select top samples from each class. The LMF 504 may construct a new dataset with the combination of data from two classes with original CIR / PDP and artificial LOS / NLOS labels.

[0078] In some example embodiments, the LOS / NLOS proportion in the labeled dataset may indicate the wireless environment of a UE location (for example, the location of the UE  502) . Keeping the same LOS / NLOS proportion in the selected unlabeled dataset can help to preserve the characteristics of the UE 502’s wireless environment. Otherwise there will be a drift between two environments which are represented by the two datasets and the LOS / NLOS accuracy will drop due to this drift.

[0079] Therefore, let Nunlabeled represents samples which are going to be selected out from the unlabeled dataset, per labeled dataset sent from the UE 502 to the LMF 504 / the OTT 506, the LOS / NLOS proportion in the labeled dataset can be obtained. Herein, the proportion of the LOS path is denoted as ρ%and the proportion of the NLOS dataset is denoted as 1-ρ%. Then, Nunlabeled·ρ%unlabeled samples with LOS pseudo labels and Nunlabeled· (1-ρ%) unlabeled samples with NLOS pseudo labels should be selected.

[0080] Per the gap between output LOS / NLOS confidence values, the LMF 504 may sort the samples to obtain the most confident LOS and NLOS paths. For instance, for the two outputs (a=98%, b=2%) and (a=60%, b=40%) , the former output (a=98%, b=2%) has higher probability to be a LOS path, which means the sample with larger gap between the output two values possesses higher inference confidence.

[0081] Thus, generally, the output LOS / NLOS confidence values can be denoted as (a, b) , then CLOS=a-b and CNLOS=b-a, where CLOS represents the inference confidence of LOS path and CNLOS represents the inference confidence of NLOS path. Regarding the LOS / NLOS proportion in the labeled dataset, the LMF 504 may select the Nunlabeled·ρ%unlabeled samples with highest CLOS value and Nunlabeled· (1-ρ%) unlabeled data with highest CNLOS value to constitute an SSL artificial dataset with pseudo label.

[0082] The LMF 504 may update (546) at least one model parameter of the model using SSL approaches with the selected unlabeled dataset. After the completion of the updating (546) , the LMF 504 may transmit (550) the at least one model parameter of the updated AI / ML-assisted positioning model back to UE 502. The UE 502 may receive (548) the at least one model parameter of the updated AI / ML-assisted positioning model.

[0083] With the selected SSL model training dataset with pseudo labels, the original model can be trained in the same supervised manner as mentioned at the beginning of this section. Such training process can be iterated at LMF side to obtain higher LOS / NLOS classification accuracy.

[0084] Some embodiments of the present disclosure also provide a simulation evaluation regarding the proposed solution. In this simulation, the AI / ML-assisted LOS / NLOS  classification model was trained in a supervised manner with one thousand labeled data samples. The same model is trained using three pseudo-label-based semi-supervised approaches. The first approach is SSL Approach-1: unlabeled data are randomly selected regardless of any confidence and LOS / NLOS proportion. The second approach is SSL Approach-2: unlabeled data are selected only w.r.t the output inference confidence (namely the absolute value of α) but regardless of LOS / NLOS proportion. The third approach is SSL Approach-3: unlabeled data are selected w.r.t both output inference confidence and LOS / NLOS proportion (namely α and β) . The simulation results are shown in Table 4.

[0085] Table 4. Error rate comparison among different semi-supervised training approaches

[0086] From table 4, the simulation results show that for approach 1, the model trained with the randomly selected data possesses no classification accuracy improvement, which validates the importance of unlabeled data selection. For approaches 2 and 3, it shows the classification accuracy improvement. Approach 3 possesses larger performance increment, and validates the importance of both confidence ranking per class-LOS &NLOS and LOS / NLOS proportion adjustment in SSL artificial dataset reconstruction. Therefore, it can be seen that the proposed solution can provide a higher LOS / NLOS classification accuracy.

[0087] Reference is made to FIG. 6, which illustrates an example flowchart of a process 600 of AI / ML model updating in accordance with some example embodiments of the present disclosure. FIG. 6 will be described with reference to FIG. 1.

[0088] At 602, the network device 104 receives an AI / ML model and a first dataset from a terminal device 102. The AI / ML model has capability to provide an inference result of LOS / NLOS classification with a confidence level. The first dataset comprises a first set of data samples associated with a first set of labels which are ground truth labels indicative of a LOS path or a NLOS path.

[0089] At 604, the network device 104 obtains a second dataset based on a plurality of unlabeled data samples, the AI / ML model, and a ratio of a number of labels indicative of a LOS path to a number of labels indicative of a NLOS path among the first set of labels. The second dataset comprises a second set of data samples associated with a second set of labels which are pseudo labels indicative of a LOS path or a NLOS path. At 606, the network device 104 updates at least one model parameter of the AI / ML model based on the second dataset.

[0090] In some example embodiments, the network device 104 may transmit a query message for querying the capability of the AI / ML model at the terminal device 102. The AI / ML model and the first dataset may be transmitted together with an ACK responsive to the query message.

[0091] In some example embodiments, the transmitting of the query message may be based on receiving, from the terminal device 102, a request message for requesting updating of the AI / ML model at the network device 104 based on SSL.

[0092] In some example embodiments, the transmitting of the query message may be based on determining, at the network device 104, to trigger the updating of the AI / ML model at the network device 104 based on the SSL. In some example embodiments, the network device 104 may transmit the updated AI / ML model to the terminal device 102.

[0093] In some example embodiments, the network device 104 may obtain the second dataset by determining, for the plurality of unlabeled data samples, a plurality of pseudo labels and a plurality of confidence levels by inputting the plurality of unlabeled data samples into the AI / ML model; and selecting the second set of data samples from the plurality of unlabeled data samples based on the plurality of pseudo labels, the plurality of confidence levels, and the ratio.

[0094] In some example embodiments, the network device 104 may select the second set of data samples by: determining, from the plurality of pseudo labels, a plurality of LOS pseudo labels indicative of a LOS path; sorting a first set of unlabeled data samples associated with the plurality of LOS pseudo labels based on LOS confidence levels of the first set of  unlabeled data samples; and selecting, from the sorted first set of unlabeled data samples, a first number of unlabeled data samples as a first part of the second set of data samples, wherein the first number of unlabeled data samples have confidence levels higher than other unlabeled data samples among the sorted first set of unlabeled data samples.

[0095] In some example embodiments, the network device 104 may select the second set of data samples by determining, from the plurality of pseudo labels, a plurality of NLOS pseudo labels indicative of a NLOS path; sorting a second set of unlabeled data samples associated with the plurality of NLOS pseudo labels based on NLOS confidence levels of the second set of unlabeled data samples; and selecting, from the sorted second set of unlabeled data samples, a second number of unlabeled data samples as a second part of the second set of data samples, wherein the second number of unlabeled data samples have confidence levels higher than other unlabeled data samples among the sorted second set of unlabeled data samples.

[0096] In some example embodiments, a ratio of the first number to the second number may be substantially equal to the ratio of the number of labels indicative of a LOS path to the number of the labels indicative of a NLOS path among the first set of labels. In some example embodiments, the network device 104 may determine the first number and the second number based on a predetermined number and the ratio.

[0097] In some example embodiments, an input of the AI / ML model may comprise a data sample. An output of the AI / ML model may comprise at least one of a first value indicative of confidence that the data sample is associated with a LOS path or a second value indicative of confidence that the data sample is associated with a NLOS path. A confidence level that the data sample is associated with the LOS path may be determined based on the first value minus the second value. A confidence level that the data sample is associated with the NLOS path may be determined based on the second value minus the first value.

[0098] In some example embodiments, the network device may be a first network device, and the plurality of unlabeled data samples may be stored in a second network (such as the OTT 506 in FIG. 5) device or the first network device. In some example embodiments, at least one of the first set of data samples or the second set of data samples may comprise CIR data samples or PDP data samples. In some example embodiments, the network device may perform an LMF.

[0099] Reference is made to FIG. 7, which illustrates another example flowchart of a process 700 of AI / ML model updating in accordance with some example embodiments of the present disclosure. FIG. 7 will be described with reference to FIG. 1.

[0100] At 702, the terminal device 102 receives a query message from a network device 104. The query message is for querying whether an AI / ML model at the terminal device 102 has capability to provide an inference result of LOS / NLOS classification with a confidence level.

[0101] At 704, the terminal device 102 transmits the AI / ML model and a dataset to the network device 104 based on determining that the AI / ML model has the capability. The dataset comprises a set of data samples associated with a set of labels which are ground truth labels indicative of a LOS path or a NLOS path. At 706, the terminal device 102 receives at least one model parameter of an updated AI / ML model obtained by updating the AI / ML model from the network device 104.

[0102] In some example embodiments, the AI / ML model and the dataset may be transmitted together with an ACK. In some example embodiments, the terminal device may transmit a NACK to the network device 104 based on determining that the AI / ML model does not have the capability.

[0103] In some example embodiments, prior to receiving the query message, the terminal device 104 may transmit, to the network device 104, a request message for requesting updating of the AI / ML model at the network device based on SSL.

[0104] In some example embodiments, the dataset may be a first dataset. The at least one model parameter of the updated AI / ML model may be updated based on a second dataset. The second dataset may be obtained based on a plurality of unlabeled data samples, the AI / ML model, and a ratio of a number of labels indicative of a LOS path to a number of labels indicative of a NLOS path among the set of labels.

[0105] In some example embodiments, an input of the AI / ML model may comprise a data sample. An output of the AI / ML model may comprise at least one of a first value indicative of confidence that the data sample is associated with a LOS path or a second value indicative of confidence that the data sample is associated with a NLOS path. A confidence level that the data sample is associated with the LOS path may be determined based on the first value minus the second value. A confidence level that the data sample is associated with the NLOS path may be determined based on the second value minus the first value.

[0106] In some example embodiments, at least one of the first set of data samples or the second set of data samples may comprise CIR data samples or PDP data samples. In some example embodiments, the network device may perform an LMF.

[0107] By implementing the embodiments of the methods 600 and 700, the updating of the UE’s AI / ML model with pseudo labels can be supported by the network device, and thus a higher LOS / NLOS classification accuracy can be provided.

[0108] In some example embodiments, an apparatus capable of performing the method 600 (for example, the network device 104) may comprise means for performing the respective steps of the method 600. The means may be implemented in any suitable form. For example, the means may be implemented in a circuitry or software module.

[0109] In some example embodiments, the apparatus may comprise means for receiving, at a network device and from a terminal device, an AI / ML model and a first dataset, wherein the AI / ML model has capability to provide an inference result of LOS / NLOS classification with a confidence level, and the first dataset comprises a first set of data samples associated with a first set of labels which are ground truth labels indicative of a LOS path or a NLOS path; means for obtaining a second dataset based on a plurality of unlabeled data samples, the AI / ML model, and a ratio of a number of labels indicative of a LOS path to a number of labels indicative of a NLOS path among the first set of labels, wherein the second dataset comprises a second set of data samples associated with a second set of labels which are pseudo labels indicative of a LOS path or a NLOS path; and means for updating at least one model parameter of the AI / ML model based on the second dataset.

[0110] In some example embodiments, the apparatus may comprise means for transmitting, to the terminal device, a query message for querying the capability of the AI / ML model at the terminal device, wherein the AI / ML model and the first dataset are transmitted together with an ACK responsive to the query message.

[0111] In some example embodiments, the transmitting of the query message may be based on one of the following: receiving, from the terminal device, a request message for requesting updating of the AI / ML model at the network device based on SSL; or determining, at the network device, to trigger the updating of the AI / ML model at the network device based on the SSL.

[0112] In some example embodiments, the apparatus may further comprise means for transmitting the updated AI / ML model to the terminal device.

[0113] In some example embodiments, the means for obtaining the second dataset may comprise means for determining, for the plurality of unlabeled data samples, a plurality of pseudo labels and a plurality of confidence levels by inputting the plurality of unlabeled data samples into the AI / ML model; and means for selecting the second set of data samples from the plurality of unlabeled data samples based on the plurality of pseudo labels, the plurality of confidence levels, and the ratio.

[0114] In some example embodiments, the means for selecting the second set of data samples may comprise means for determining, from the plurality of pseudo labels, a plurality of LOS pseudo labels indicative of a LOS path; means for sorting a first set of unlabeled data samples associated with the plurality of LOS pseudo labels based on LOS confidence levels of the first set of unlabeled data samples; and means for selecting, from the sorted first set of unlabeled data samples, a first number of unlabeled data samples as a first part of the second set of data samples, wherein the first number of unlabeled data samples have confidence levels higher than other unlabeled data samples among the sorted first set of unlabeled data samples.

[0115] In some example embodiments, the means for selecting the second set of data samples may comprise means for determining, from the plurality of pseudo labels, a plurality of NLOS pseudo labels indicative of a NLOS path; means for sorting a second set of unlabeled data samples associated with the plurality of NLOS pseudo labels based on NLOS confidence levels of the second set of unlabeled data samples; and means for selecting, from the sorted second set of unlabeled data samples, a second number of unlabeled data samples as a second part of the second set of data samples, wherein the second number of unlabeled data samples have confidence levels higher than other unlabeled data samples among the sorted second set of unlabeled data samples.

[0116] In some example embodiments, a ratio of the first number to the second number may be substantially equal to the ratio of the number of labels indicative of a LOS path to the number of the labels indicative of a NLOS path among the first set of labels.

[0117] In some example embodiments, the apparatus may further comprise means for determining the first number and the second number based on a predetermined number and the ratio.

[0118] In some example embodiments, an input of the AI / ML model may comprise a data sample. An output of the AI / ML model may comprise at least one of a first value indicative  of confidence that the data sample is associated with a LOS path or a second value indicative of confidence that the data sample is associated with a NLOS path. A confidence level that the data sample is associated with the LOS path may be determined based on the first value minus the second value. A confidence level that the data sample is associated with the NLOS path may be determined based on the second value minus the first value.

[0119] In some example embodiments, at least one of the first set of data samples or the second set of data samples may comprise CIR data samples; or PDP data samples.

[0120] In some example embodiments, the network device may perform an LMF.

[0121] In some example embodiments, the apparatus may further comprise means for performing other steps in some example embodiments of the method 600. In some example embodiments, the means comprises at least one processor and at least one memory including computer program code, the at least one memory and computer program code configured to, with the at least one processor, cause the performance of the apparatus.

[0122] In some example embodiments, an apparatus capable of performing the method 700 (for example, the terminal device 102) may comprise means for performing the respective steps of the method 700. The means may be implemented in any suitable form. For example, the means may be implemented in a circuitry or software module.

[0123] In some example embodiments, the apparatus may comprise means for receiving, at a terminal device and from a network device, a query message for querying whether an AI / ML model at the terminal device has capability to provide an inference result of LOS / NLOS classification with a confidence level; means for based on determining that the AI / ML model has the capability, transmitting the AI / ML model and a dataset to the network device, wherein the dataset comprises a set of data samples associated with a set of labels which are ground truth labels indicative of a LOS path or a NLOS path; and means for receiving, from the network device, at least one model parameter of an updated AI / ML model obtained by updating the AI / ML model.

[0124] In some example embodiments, the AI / ML model and the dataset may be transmitted together with an ACK.

[0125] In some example embodiments, the apparatus may further comprise means for based on determining that the AI / ML model does not have the capability, transmit a NACK to the network device.

[0126] In some example embodiments, the apparatus may further comprise means for prior to receiving the query message, transmit, to the network device, a request message for requesting updating of the AI / ML model at the network device based on SSL.

[0127] In some example embodiments, the dataset may be a first dataset. The at least one model parameter of the updated AI / ML model may be updated based on a second dataset. The second dataset may be obtained based on a plurality of unlabeled data samples, the AI / ML model, and a ratio of a number of labels indicative of a LOS path to a number of labels indicative of a NLOS path among the set of labels.

[0128] In some example embodiments, an input of the AI / ML model may comprise a data sample. An output of the AI / ML model may comprise at least one of a first value indicative of confidence that the data sample is associated with a LOS path or a second value indicative of confidence that the data sample is associated with a NLOS path. A confidence level that the data sample is associated with the LOS path may be determined based on the first value minus the second value. A confidence level that the data sample is associated with the NLOS path may be determined based on the second value minus the first value.

[0129] In some example embodiments, at least one of the first set of data samples or the second set of data samples may comprise CIR data samples; or PDP data samples.

[0130] In some example embodiments, the network device may perform an LMF.

[0131] In some example embodiments, the apparatus may further comprise means for performing other steps in some example embodiments of the method 700. In some example embodiments, the means comprises at least one processor and at least one memory including computer program code, the at least one memory and computer program code configured to, with the at least one processor, cause the performance of the apparatus.

[0132] Reference is made to FIG. 8, which illustrates an example simplified block diagram of a device 800 that is suitable for implementing embodiments of the present disclosure. The device 800 may be provided to implement the communication device, for example the terminal device 102 as shown in FIG. 1. As shown, the device 800 includes one or more processors 810, one or more memories 820 may couple to the processor 810, and one or more communication modules 840 may couple to the processor 810.

[0133] The communication module 840 is for bidirectional communications. The communication module 840 has at least one antenna to facilitate communication. The communication interface may represent any interface that is necessary for communication  with other network elements, for example the communication interface may be wireless or wireline to other network elements, or software based interface for communication.

[0134] The processor 810 may be of any type suitable to the local technical network and may include one or more of the following: general purpose computers, special purpose computers, microprocessors, digital signal processors (DSPs) and processors based on multicore processor architecture, as non-limiting examples. The device 800 may have multiple processors, such as an application specific integrated circuit chip that is slaved in time to a clock which synchronizes the main processor.

[0135] The memory 820 may include one or more non-volatile memories and one or more volatile memories. Examples of the non-volatile memories include, but are not limited to, a read only memory (ROM) 824, an electrically programmable read only memory (EPROM) , a flash memory, a hard disk, a compact disc (CD) , a digital video disk (DVD) , and other magnetic storage and / or optical storage. Examples of the volatile memories include, but are not limited to, a random access memory (RAM) 822 and other volatile memories that will not last in the power-down duration.

[0136] A computer program 830 includes computer executable instructions that are executed by the associated processor 810. The program 830 may be stored in the ROM 824. The processor 810 may perform any suitable actions and processing by loading the program 830 into the RAM 822.

[0137] The embodiments of the present disclosure may be implemented by means of the program so that the device 800 may perform any process of the disclosure as discussed with reference to FIG. 2 to FIG. 7. The embodiments of the present disclosure may also be implemented by hardware or by a combination of software and hardware.

[0138] In some example embodiments, the program 830 may be tangibly contained in a computer readable medium which may be included in the device 800 (such as in the memory 820) or other storage devices that are accessible by the device 800. The device 800 may load the program 830 from the computer readable medium to the RAM 822 for execution. The computer readable medium may include any types of tangible non-volatile storage, such as ROM, EPROM, a flash memory, a hard disk, CD, DVD, and the like. FIG. 9 shows an example of the computer readable medium 900 in form of CD or DVD. The computer readable medium has the program 830 stored thereon.

[0139] Generally, various embodiments of the present disclosure may be implemented in hardware or special purpose circuits, software, logic or any combination thereof. Some aspects may be implemented in hardware, while other aspects may be implemented in firmware or software which may be executed by a controller, microprocessor or other computing device. While various aspects of embodiments of the present disclosure are illustrated and described as block diagrams, flowcharts, or using some other pictorial representations, it is to be understood that the block, apparatus, system, technique or method described herein may be implemented in, as non-limiting examples, hardware, software, firmware, special purpose circuits or logic, general purpose hardware or controller or other computing devices, or some combination thereof.

[0140] The present disclosure also provides at least one computer program product tangibly stored on a non-transitory computer readable storage medium. The computer program product includes computer-executable instructions, such as those included in program modules, being executed in a device on a target real or virtual processor, to carry out the methods 600 or 700 as described above with reference to FIG. 6 or FIG. 7. Generally, program modules include routines, programs, libraries, objects, classes, components, data structures, or the like that perform particular tasks or implement particular abstract data types. The functionality of the program modules may be combined or split between program modules as desired in various embodiments. Machine-executable instructions for program modules may be executed within a local or distributed device. In a distributed device, program modules may be located in both local and remote storage media.

[0141] Program code for carrying out methods of the present disclosure may be written in any combination of one or more programming languages. These program codes may be provided to a processor or controller of a general purpose computer, special purpose computer, or other programmable data processing apparatus, such that the program codes, when executed by the processor or controller, cause the functions / operations specified in the flowcharts and / or block diagrams to be implemented. The program code may execute entirely on a machine, partly on the machine, as a stand-alone software package, partly on the machine and partly on a remote machine or entirely on the remote machine or server.

[0142] In the context of the present disclosure, the computer program codes or related data may be carried by any suitable carrier to enable the device, apparatus or processor to perform various processes and operations as described above. Examples of the carrier include a signal, computer readable medium, and the like.

[0143] The computer readable medium may be a computer readable signal medium or a computer readable storage medium. A computer readable medium may include but not limited to an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any suitable combination of the foregoing. More specific examples of the computer readable storage medium would include an electrical connection having one or more wires, a portable computer diskette, a hard disk, a random access memory (RAM) , a read-only memory (ROM) , an erasable programmable read-only memory (EPROM or Flash memory) , an optical fiber, a portable compact disc read-only memory (CD-ROM) , an optical storage device, a magnetic storage device, or any suitable combination of the foregoing. The term “non-transitory, ” as used herein, is a limitation of the medium itself (i.e., tangible, not a signal) as opposed to a limitation on data storage persistency (e.g., RAM vs. ROM) .

[0144] Further, while operations are depicted in a particular order, this should not be understood as requiring that such operations be performed in the particular order shown or in sequential order, or that all illustrated operations be performed, to achieve desirable results. In certain circumstances, multitasking and parallel processing may be advantageous. Likewise, while several specific implementation details are contained in the above discussions, these should not be construed as limitations on the scope of the present disclosure, but rather as descriptions of features that may be specific to particular embodiments. Certain features that are described in the context of separate embodiments may also be implemented in combination in a single embodiment. Conversely, various features that are described in the context of a single embodiment may also be implemented in multiple embodiments separately or in any suitable sub-combination.

[0145] Although the present disclosure has been described in languages specific to structural features and / or methodological acts, it is to be understood that the present disclosure defined in the appended claims is not necessarily limited to the specific features or acts described above. Rather, the specific features and acts described above are disclosed as example forms of implementing the claims.

Claims

1.A network device comprising:at least one processor; andat least one memory storing instructions that, when executed by the at least one processor, cause the network device at least to:receive, from a terminal device, an artificial intelligence (AI)  / machine learning (ML) model and a first dataset, wherein the AI / ML model has capability to provide an inference result of line-of-sight (LOS)  / non-line-of-sight (NLOS) classification with a confidence level, and the first dataset comprises a first set of data samples associated with a first set of labels which are ground truth labels indicative of a LOS path or a NLOS path;obtain a second dataset based on a plurality of unlabeled data samples, the AI / ML model, and a ratio of a number of labels indicative of a LOS path to a number of labels indicative of a NLOS path among the first set of labels, wherein the second dataset comprises a second set of data samples associated with a second set of labels which are pseudo labels indicative of a LOS path or a NLOS path; andupdate at least one model parameter of the AI / ML model based on the second dataset.2.The network device of claim 1, wherein the network device is further caused to:transmit, to the terminal device, a query message for querying the capability of the AI / ML model at the terminal device, wherein the AI / ML model and the first dataset are transmitted together with an acknowledgement (ACK) responsive to the query message.3.The network device of claim 2, wherein the transmitting of the query message is based on one of the following:receiving, from the terminal device, a request message for requesting updating of the AI / ML model at the network device based on semi-supervised learning (SSL) ; ordetermining, at the network device, to trigger the updating of the AI / ML model at the network device based on the SSL.4.The network device of any of claims 1-3, wherein the network device is further caused to:transmit the updated AI / ML model to the terminal device.5.The network device of any of claims 1-4, wherein the network device is caused to obtain the second dataset by:determining, for the plurality of unlabeled data samples, a plurality of pseudo labels and a plurality of confidence levels by inputting the plurality of unlabeled data samples into the AI / ML model; andselecting the second set of data samples from the plurality of unlabeled data samples based on the plurality of pseudo labels, the plurality of confidence levels, and the ratio.6.The network device of claim 5, wherein the network device is caused to select the second set of data samples by:determining, from the plurality of pseudo labels, a plurality of LOS pseudo labels indicative of a LOS path;sorting a first set of unlabeled data samples associated with the plurality of LOS pseudo labels based on LOS confidence levels of the first set of unlabeled data samples; andselecting, from the sorted first set of unlabeled data samples, a first number of unlabeled data samples as a first part of the second set of data samples, wherein the first number of unlabeled data samples have confidence levels higher than other unlabeled data samples among the sorted first set of unlabeled data samples.7.The network device of claim 5 or 6, wherein the network device is caused to select the second set of data samples by:determining, from the plurality of pseudo labels, a plurality of NLOS pseudo labels indicative of a NLOS path;sorting a second set of unlabeled data samples associated with the plurality of NLOS pseudo labels based on NLOS confidence levels of the second set of unlabeled data samples; andselecting, from the sorted second set of unlabeled data samples, a second number of unlabeled data samples as a second part of the second set of data samples, wherein the second number of unlabeled data samples have confidence levels higher than other unlabeled data samples among the sorted second set of unlabeled data samples.8.The network device of claim 7, wherein a ratio of the first number to the second number is substantially equal to the ratio of the number of labels indicative of a LOS path to the number of the labels indicative of a NLOS path among the first set of labels.9.The network device of any of claims 7 or 8, wherein the network device is further caused to:determine the first number and the second number based on a predetermined number and the ratio.10.The network device of any of claims 1-9, wherein:an input of the AI / ML model comprises a data sample;an output of the AI / ML model comprises at least one of a first value indicative of confidence that the data sample is associated with a LOS path or a second value indicative of confidence that the data sample is associated with a NLOS path;a confidence level that the data sample is associated with the LOS path is determined based on the first value minus the second value; anda confidence level that the data sample is associated with the NLOS path is determined based on the second value minus the first value.11.The network device of any of claims 1-10, wherein the network device is a first network device, and the plurality of unlabeled data samples are stored in a second network device or the first network device.12.The network device of any of claims 1-11, wherein at least one of the first set of data samples or the second set of data samples comprises:channel impulse response (CIR) data samples; orpower delay profile (PDP) data samples.13.The network device of any of claims 1-12, wherein the network device performs a location management function (LMF) .14.A terminal device comprising:at least one processor; andat least one memory storing instructions that, when executed by the at least one processor, cause the terminal device at least to:receive, from a network device, a query message for querying whether an artificial intelligence (AI)  / machine learning (ML) model at the terminal device has capability to provide an inference result of line-of-sight (LOS)  / non-line-of-sight (NLOS) classification with a confidence level;based on determining that the AI / ML model has the capability, transmit the AI / ML model and a dataset to the network device, wherein the dataset comprises a set of data samples associated with a set of labels which are ground truth labels indicative of a LOS path or a NLOS path; andreceive, from the network device, at least one model parameter of an updated AI / ML model obtained by updating the AI / ML model.15.The terminal device of claim 14, wherein the AI / ML model and the dataset are transmitted together with an acknowledgement (ACK) .16.The terminal device of claim 14 or 15, wherein the terminal device is further caused to:based on determining that the AI / ML model does not have the capability, transmit a negative acknowledgement (NACK) to the network device.17.The terminal device of any of claims 14-16, wherein the terminal device is further caused to:prior to receiving the query message, transmit, to the network device, a request message for requesting updating of the AI / ML model at the network device based on semi-supervised learning (SSL) .18.The terminal device of any of claims 14-17, wherein the dataset is a first dataset, and wherein:the at least one model parameter of the updated AI / ML model is updated based on a second dataset; andthe second dataset is obtained based on a plurality of unlabeled data samples, the AI / ML model, and a ratio of a number of labels indicative of a LOS path to a number of labels indicative of a NLOS path among the set of labels.19.The terminal device of any of claims 14-18, wherein:an input of the AI / ML model comprises a data sample;an output of the AI / ML model comprises at least one of a first value indicative of confidence that the data sample is associated with a LOS path or a second value indicative of confidence that the data sample is associated with a NLOS path;a confidence level that the data sample is associated with the LOS path is determined based on the first value minus the second value; anda confidence level that the data sample is associated with the NLOS path is determined based on the second value minus the first value.20.The terminal device of any of claims 14-19, wherein the set of data samples comprises:channel impulse response (CIR) data samples; orpower delay profile (PDP) data samples.21.The terminal device of any of claims 14-20, wherein the network device performs a location management function (LMF) .22.A method comprising:receiving, at a network device and from a terminal device, an artificial intelligence (AI)  / machine learning (ML) model and a first dataset, wherein the AI / ML model has capability to provide an inference result of line-of-sight (LOS)  / non-line-of-sight (NLOS) classification with a confidence level, and the first dataset comprises a first set of data samples associated with a first set of labels which are ground truth labels indicative of a LOS path or a NLOS path;obtaining a second dataset based on a plurality of unlabeled data samples, the AI / ML model, and a ratio of a number of labels indicative of a LOS path to a number of labels indicative of a NLOS path among the first set of labels, wherein the second dataset comprises a second set of data samples associated with a second set of labels which are pseudo labels indicative of a LOS path or a NLOS path; andupdating at least one model parameter of the AI / ML model based on the second dataset.23.A method comprising:receiving, at a terminal device and from a network device, a query message for querying whether an artificial intelligence (AI)  / machine learning (ML) model at the terminal device has capability to provide an inference result of line-of-sight (LOS)  / non-line-of-sight (NLOS) classification with a confidence level;based on determining that the AI / ML model has the capability, transmitting the AI / ML model and a dataset to the network device, wherein the dataset comprises a set of data samples associated with a set of labels which are ground truth labels indicative of a LOS path or a NLOS path; andreceiving, from the network device, at least one model parameter of an updated AI / ML model obtained by updating the AI / ML model.24.An apparatus comprising:means for receiving, at a network device and from a terminal device, an artificial intelligence (AI)  / machine learning (ML) model and a first dataset, wherein the AI / ML model has capability to provide an inference result of line-of-sight (LOS)  / non-line-of-sight (NLOS) classification with a confidence level, and the first dataset comprises a first set of data samples associated with a first set of labels which are ground truth labels indicative of a LOS path or a NLOS path;means for obtaining a second dataset based on a plurality of unlabeled data samples, the AI / ML model, and a ratio of a number of labels indicative of a LOS path to a number of labels indicative of a NLOS path among the first set of labels, wherein the second dataset comprises a second set of data samples associated with a second set of labels which are pseudo labels indicative of a LOS path or a NLOS path; andmeans for updating at least one model parameter of the AI / ML model based on the second dataset.25.An apparatus comprising:means for receiving, at a terminal device and from a network device, a query message for querying whether an artificial intelligence (AI)  / machine learning (ML) model at the terminal device has capability to provide an inference result of line-of-sight (LOS)  / non-line-of-sight (NLOS) classification with a confidence level;means for based on determining that the AI / ML model has the capability, transmitting the AI / ML model and a dataset to the network device, wherein the dataset comprises a set of data samples associated with a set of labels which are ground truth labels indicative of a LOS path or a NLOS path; andmeans for receiving, from the network device, at least one model parameter of an updated AI / ML model obtained by updating the AI / ML model.26.A non-transitory computer readable medium comprising program instructions for causing an apparatus to perform at least a method of claim 22 or 23.

Images