Methods, devices and medium for performance monitoring in ai / ML positioning

Abstract

Embodiments of the present disclosure relate to methods, devices, and computer readable storage medium for performance monitoring in artificial intelligence / machine learning (AI / ML) positioning. In a method, the communication device transmits, to a location management function (LMF), inferred measurement information output by an artificial intelligence / machine learning (AI / ML) model or functionality for assisted positioning of a terminal device. Further, the communication device receives, from the LMF, model performance information indicating at least one positioning performance metric of the AI / ML model or functionality.

Description

METHODS, DEVICES AND MEDIUM FOR PERFORMANCE MONITORING IN AI / ML POSITIONINGFIELDS

[0001] Various embodiments of the present disclosure generally relate to the field of telecommunication and in particular, to methods, devices and computer readable storage medium for performance monitoring in artificial intelligence / machine learning (AI / ML) positioning.BACKGROUND

[0002] This section introduces aspects that may facilitate a better understanding of the disclosure. Accordingly, the statements of this section are to be read in this light and are not to be understood as admissions about what is in the prior art or what is not in the prior art.

[0003] In the telecommunication industry, artificial intelligence / machine learning (AI / ML) models have been employed in telecommunication systems to improve the performance of telecommunications systems. For example, supporting various positioning mechanisms to provide reliable and accurate user equipment (UE) location has always been one of the key features of in the telecommunications systems. It has been agreed to investigate the potential for AI / ML in air interface to improve comprehensive performance in fifth generation (5G) -advanced. AI / ML based positioning mechanism to improve the positioning accuracy is one of the use cases to apply AI / ML in air interface. It also aims to monitor and verify various aspects of performance of the AI / ML models or functionalities in the communication systems.SUMMARY

[0004] This summary is provided to introduce a selection of concepts in a simplified form that are further described below in the detailed description. This summary is not intended to identify key features or essential features of the claimed subject matter, nor is it intended to be used to limit the scope of the claimed subject matter.

[0005] For AI / ML assisted positioning, an AI / ML model may be deployed at the radio access network (RAN) side (e.g., at a RAN network device) or the UE side. The model output is sent to the core network, e.g., to a location management function (LMF) , for further calculate UE’s location estimate. However, the RAN and the UE have no information by which the accuracy of the inferred measurements can be determined. Namely, these entities lack information that can represent as much as possible the ground truth of the predicted measurements, and thus they cannot evaluate whether the model deriving the predictions is performing well or not.

[0006] To overcome or mitigate at least one of the above-mentioned problems or other problems or provide a useful solution, embodiments of the present disclosure propose methods, devices, and storage medium for performance monitoring in artificial intelligence / machine learning (AI / ML) positioning.

[0007] In a first aspect of the present disclosure, there is provided a method at a communication device. In the method, the communication device transmits, to a location management function (LMF) , inferred measurement information output by an artificial intelligence / machine learning (AI / ML) model or functionality for assisted positioning of a terminal device. The communication device further receives, from the LMF, model performance information indicating at least one positioning performance metric of the AI / ML model or functionality.

[0008] In a second aspect of the present disclosure, there is provided a method at a location management function (LMF) . In the method, the location management function (LMF) receives, from a communication device, inferred measurement information output by an artificial intelligence / machine learning (AI / ML) model or functionality for assisted positioning of a terminal device. the location management function (LMF) determining at least one positioning performance metric of the AI / ML model or functionality based at least in part on the inferred measurement information. the location management function (LMF) transmits, to the communication device, model performance information indicating the at least one positioning performance metric of the AI / ML model or functionality.

[0009] In a third aspect of the present disclosure, there is provided a communication device. The communication device comprises a processor and a memory coupled to the processor, the memory containing instructions executable by the processor, whereby the terminal device is operative to perform the method according to the first aspect.

[0010] In a fourth aspect of the present disclosure, there is provided a location management function (LMF) . The location management function (LMF) comprises a processor and a memory coupled to the processor, the memory containing instructions executable by the processor, whereby the terminal device is operative to perform the method according to the second aspect.

[0011] In a fifth aspect of the present disclosure, there is provided a computer-readable storage medium having instructions stored thereon, the instructions, which, when executed by at least one processor of a device, cause the device to perform the method according to the first or second aspect.

[0012] With the present disclosure, the device running an AI / ML model or functionality for assisted positioning is able to manage their models or functionalities effectively based on the received assistance information related to positioning performance, which enable to evaluate how good or bad the predicted measurements are and therefore allowing for model updates if needed.BRIEF DESCRIPTION OF THE DRAWINGS

[0013] Through the more detailed description of some embodiments of the present disclosure in the accompanying drawings, the above and other objects, features, and advantages of the present disclosure will become more apparent, where the same reference generally refers to the same components in the embodiments of the present disclosure.

[0014] FIG. 1 illustrates an example communication environment in which example embodiments of the present disclosure can be implemented.

[0015] FIG. 2 illustrates an example pipeline of the AI / ML model training.

[0016] FIG. 3 illustrates an example positioning architecture in new radio (NR) .

[0017] FIG. 4 illustrates a signaling flow for performance monitoring in AI / ML positioning in accordance with some embodiments of the present disclosure.

[0018] FIG. 5 illustrates expected location information estimate in an AI / ML positioning use case in accordance with some embodiments of the present disclosure.

[0019] FIG. 6 illustrates expected location information estimate in another AI / ML positioning use case in accordance with some embodiments of the present disclosure.

[0020] FIG. 7 is a diagram showing a flowchart of an example method at a communication device in accordance with some embodiments.

[0021] FIG. 8 is a diagram showing a flowchart of an example method at a LMF in accordance with some embodiments.

[0022] FIG. 9 is a diagram showing a communication device in accordance with some embodiments.

[0023] FIG. 10 is a diagram showing a computer readable storage medium in accordance with some embodiments.

[0024] FIG. 11 is a block diagram showing a UE in accordance with some embodiments.

[0025] FIG. 12 is a block diagram showing a network node in accordance with some embodiments.DETAILED DESCRIPTION

[0026] Some of the embodiments contemplated herein will now be described more fully with reference to the accompanying drawings. Other embodiments, however, are contained within the scope of the subject matter disclosed herein, the disclosed subject matter should not be construed as limited to only the embodiments set forth herein; rather, these embodiments are provided by way of example to convey the scope of the subject matter to those skilled in the art.

[0027] As used herein, the term “terminal device” refers to a device which is intended for accessing services via an access network and configured to communicate over the access network. The terminal device may be able to communicate with a network node, such as a base station, or with another terminal device by transmitting and / or receiving wireless signals. For instance, the terminal device may include, but is not limited to: a mobile phone, a smart phone, a sensor device, a meter, a vehicle, a household appliance, a medical appliance, a media player, a camera, or any type of consumer electronic, for instance, but not limited to, a television, radio, lighting arrangement, a tablet computer, a laptop, a personal computer (PC) , or an Internet of Thing (IoT) device. The terminal device may also include a portable, pocketstorable, hand-held, computer-comprised, or vehicle-mounted mobile device, enabled to communicate voice and / or data, via a wireless connection. In the following description, the terms “terminal device” , “user equipment” and “UE” may be used interchangeably.

[0028] As used herein, the term “network device” or “network node” refers to a device in a communication network via which a terminal device receives services from the network. The terms “network node” , “network function” may be used interchangeably. A network function can be implemented either as a network element on a dedicated hardware, as a software instance running on a dedicated hardware, or as a virtualised function instantiated on an appropriate platform, e.g., on a cloud infrastructure. The network node comprises an access network node via which a terminal device accesses an access network. Examples of access network nodes include, but are not limited to, access points (APs) (e.g., radio access points) , base stations (BSs) (e.g., radio base stations, Node Bs, evolved Node Bs (eNBs) and newNR NodeBs (gNBs) ) . In the following description, the terms “network device” , “network node” , “base station” and “BS” may be used interchangeably.

[0029] As used herein, the term “communication device” refers to a device capable of communications. Examples of a communication device may comprise a terminal device and a network device.

[0030] To facilitate understanding of the terminologies, some definitions of the list of terminologies used for AI / ML are provided below.

[0031] AI / ML model: A data driven algorithm that applies AI / ML techniques to generate a set of outputs based on a set of inputs.

[0032] AI / ML model delivery: A generic term referring to delivery of an AI / ML model from one entity to another entity in any manner. Note: An entity could mean a network node / function (e.g., gNB, location management function (LMF) , etc. ) , UE, proprietary server, etc.

[0033] AI / ML model inference: A process of using a trained AI / ML model to produce a set of outputs based on a set of inputs.

[0034] AI / ML model testing: A subprocess of training, to evaluate the performance of a final AI / ML model using a dataset different from one used for model training and validation. Different from AI / ML model validation, testing does not assume subsequent tuning of the model.

[0035] AI / ML model training: A process to train an AI / ML Model [by learning the input / output relationship] in a data driven manner and obtain the trained AI / ML Model for inference.

[0036] AI / ML model transfer: Delivery of an AI / ML model over the air interface in a manner that is not transparent to 3GPP signalling, either parameters of a model structure known at the receiving end or a new model with parameters. Delivery may contain a full model or a partial model.

[0037] AI / ML model validation: A subprocess of training, to evaluate the quality of an AI / ML model using a dataset different from one used for model training, that helps selecting model parameters that generalize beyond the dataset used for model training.

[0038] Data collection: A process of collecting data by the network nodes, management entity, or UE for the purpose of AI / ML model training, data analytics and inference.

[0039] Functionality identification: A process / method of identifying an AI / ML functionality for the common understanding between the network and the UE. Note: Information regarding the AI / ML functionality may be shared during functionality identification. Where AI / ML functionality resides depends on the specific use cases and sub use cases.

[0040] Model activation: enable an AI / ML model for a specific function.

[0041] Model deactivation: disable an AI / ML model for a specific function.

[0042] Model download: Model transfer from the network to UE.

[0043] Model identification: A process / method of identifying an AI / ML model for the common understanding between the network (NW) and the UE. Note: The process / method of model identification may or may not be applicable. Note: Information regarding the AI / ML model may be shared during model identification.

[0044] Model monitoring: A procedure that monitors the inference performance of the AI / ML model.

[0045] Model parameter update: Process of updating the model parameters of a model.

[0046] Model selection: The process of selecting an AI / ML model for activation among multiple models for the same AI / ML enabled feature. Note: Model selection may or may not be carried out simultaneously with model activation.

[0047] Model switching: Deactivating a currently active AI / ML model and activating a different AI / ML model for a specific function.

[0048] Model update: Process of updating the model parameters and / or model structure of a model.

[0049] Model upload: Model transfer from UE to the network.

[0050] UE-side (AI / ML) model: An AI / ML Model whose inference is performed entirely at the UE.

[0051] Network-side (AI / ML) model: An AI / ML Model whose inference is performed entirely at the network.

[0052] One-sided (AI / ML) model: A UE-side (AI / ML) model or a Network-side (AI / ML) model.

[0053] Two-sided (AI / ML) model: A paired AI / ML Model (s) over which joint inference is performed, where joint inference comprises AI / ML Inference whose inference is performed jointly across the UE and the network, i.e., the first part of inference is firstly performed by UE and then the remaining part is performed by the gNB, or vice versa.

[0054] Proprietary-format models: ML models of vendor- / device-specific proprietary format, from 3GPP perspective. They are not mutually recognizable across vendors and hide model design information from other vendors when shared. Note: An example is a device-specific binary executable format.

[0055] Open-format models: ML models of specified format that are mutually recognizable across vendors and allow interoperability, from the 3GPP perspective. They are mutually recognizable between vendors and do not hide model design information from other vendors when shared.

[0056] Principles and implementations of the present disclosure will be described in detail below with reference to the figures.

[0057] FIG. 1 illustrates a schematic diagram of an example communication environment 100 in which example embodiments of the present disclosure can be implemented. In the communication environment 100, a plurality of communication devices, including a terminal device 110-1, a terminal device 110-2, . . ., a terminal device 110-N and a network device 120, can communicate with each other. The terminal device 110-1, terminal device 110-2, . . ., and terminal device 110-N can be collectively referred to as “terminal device (s) 110. ” The number N can be any suitable integer number.

[0058] In the example of FIG. 1, the terminal device 110 may be a UE and the network device 120 may be a base station serving the UE. The serving area of the network device 120 may be called a cell (not shown) . In the communication environment 100, the network device 120 and the terminal devices 110 may communicate data and control information to each other. The terminal devices 110 may also communicate with each other.

[0059] The communication environment 100 further comprises a location management function (LMF) 130 which may be included in a core network (CN) . The LMF 130 and the terminal devices 110 may communicate with each other. In some example embodiments, one or more AI / ML models may be trained and provided for use by one or more terminal devices 110 and / or by the network device 120. An AI / ML model may be trained to implement a certain communication related function at the terminal device 110 or at the network device 120.

[0060] As used herein, the term “AI / ML” model may be interchangeably with the term “model” . The term “AI / ML model training” may refer to a process to train an AI / ML model for example by learning the input / output relationship and obtained a trained AI / ML model for inference. The term “model monitoring” used herein may refer to a procedure that monitors the inference performance of the AI / ML model.

[0061] In some embodiments, the AI / ML models may comprise AI / ML models for positioning of a terminal device 110. In some embodiments, an AI / ML model may be a direct AI / ML positioning model. An input to the direct AI / ML positioning model may comprise information related to a channel between a terminal device 110 and a network device, such as Channel Impulse Response (CIR) . The input may be collected by transmitting a reference signal, such as a positioning reference signal (PRS) , a sounding reference signal (SRS) , or a channel state information reference signal (CSI-RS) over the channel between the terminal device 110 and the network device. An output of the direct AI / ML positioning model may comprise a location of the terminal device 110.

[0062] In some embodiments, an AI / ML model may be an AI / ML assisted positioning model. An input to the AI / ML assisted positioning model may comprise may be the same or similar to that of the direct AI / ML positioning model. An output of the AI / ML assisted positioning model may comprise intermediate or inferred measurement results related to location information for a terminal device 110. The intermediate results of the location information may include, but are not limited to, time of arrival (TOA) , time difference of arrival (TDOA) , non-line of slight (NLOS)  / line of sight (LOS) identification of a channel, or the like. Such intermediate results may be used to assist in determining location estimate of the terminal device 110.

[0063] The AI / ML model deployed at different devices may be the same or different, and may be of the same type or different types of direct AI / ML positioning model and AI / ML assisted positioning model.

[0064] In some embodiments, an AI / ML model may be trained at the network device 120 and then transferred to one or more suitable terminal devices 110 for use. In some embodiments, an AI / ML model 140 may be trained at a terminal device 110 and then applied locally or transferred to one or more other terminal devices 110 by a network device for use. It would be appreciated that the AI / ML model may be trained and / or transferred by any other entity in the communication environment 100.

[0065] It is to be understood that the number of devices and their connections shown in FIG. 1 are only for the purpose of illustration without suggesting any limitation. The communication environment 100 may include any suitable number of devices configured to implementing example embodiments of the present disclosure. Although not shown, it would be appreciated that one or more additional devices may be located in the cell, and one or more additional cells may be deployed in the communication environment 100. It is noted that although illustrated as a network device, the network device 120 may be another device than a network device. Although illustrated as a terminal device, the terminal device 110 may be another device than a terminal device.

[0066] Artificial intelligence (AI) or machine learning (ML) technique comprises one or more algorithms, which use a set of data as input for training one or more AI / ML models. The output of the AI / ML model is used by the device (e.g. user equipment (UE) , base station (BS) or another node) for performing certain operations or taking certain decisions (e.g. handover etc. ) fully or partially based on the prediction, which in turn depends on the trained model. The AI / ML model may be trained in the device online (or on-the-fly while processing the data) or offline in the background.

[0067] More specifically, online training is an AI / ML training process where the model being used for inference is (typically continuously) trained in (near) real-time with the arrival of new training samples or data. Offline training is an AI / ML training process where the model is trained based on collected samples or data, and where the trained model is later used or delivered for inference. AI / ML model inference refers to a process of using a trained AI / ML model to produce a set of outputs based on a set of inputs.

[0068] The AL / ML models may be trained in a device, which may be a UE, a network node, or another node. In this respect, the AI / ML modes may be broadly classified as the following cases. Case I defines a UE-side (AI / ML) model. It is an AI / ML model whose inference is performed entirely at the UE. Case II defines a network-side (AI / ML) model. It is an AI / ML model whose inference is performed entirely at the network. Case III defines a one-sided (AI / ML) model. It is a UE-side (AI / ML) model or a network-side (AI / ML) model. Case IV defines a two-sided (AI / ML) model. It is a paired AI / ML model (s) over which joint inference is performed, where joint inference comprises AI / ML Inference whose inference is performed jointly across the UE and the network, i.e., the first part of inference is firstly performed by UE and then the remaining part is performed by gNB, or vice versa.

[0069] An AI / ML model may be transferred or delivered over the air interface either in terms of one or more parameters of a model structure known at the receiving end or a new model with parameters. The model delivery may contain a full model or a partial model.

[0070] The term lifecycle management (LCM) of an AI / ML model refers to the process of developing, deploying and maintaining the AI / ML model. An AI / ML model training pipeline may be referred to FIG. 2 which illustrates an example pipeline 200 of the AI / ML model training. The pipeline 200 includes several processing stages as gathering unprocessed input data from data repositories at a data ingestion stage 210, finding high-quality input features at a data pre-processing stage 220, finding the optimal mapping of the model input features to a desired model output target in a sense determined by a loss function at a model training stage 230, evaluating model performance on unseen data from a functional level as well as from a system level when relevant at a model evaluation stage 240. The training pipeline typically ends with a model registration stage 250, which may comprise operations to make the ML model runnable via compilation to a specific hardware (HW) and of steps like versioning and packaging of the model so that it can be executed.

[0071] AI / ML model may be used for UE positioning. A UE or a gNB, depending on capability, may have a trained model stored inside the device, or have an untrained AI / ML that may be trained on-the-fly to either produce measurements that are required to localize a UE within a radio access network (RAN) coverage area or directly predict / determine the UE location by exploiting the measurements performed by the UE or gNB on reference signals such as positioning reference signal (PRS) , sounding reference signal (SRS) etc. within a RAN coverage area.

[0072] Measurements predicted / determined by the UE by exploiting an AI / ML model may be defined as, but not limited to reference signal time difference (RSTD) and UE Rx-Tx time difference. Specifically, RSTD is reference signal time difference between the positioning node j and the reference positioning node i. It is measured on the DL PRS signals and always involve two cells (cell is interchangeably called TRP) . UE Rx-Tx time difference is defined as TUE-RX -TUE-TX, where TUE-RX is the UE received timing of downlink subframe #i from a positioning node, defined by the first detected path in time. It is measured on PRS signals received from the gNB. TUE-TX is the UE transmit timing of uplink subframe #j that is closest in time to the subframe #i received from the positioning node.

[0073] Measurements predicted / determined by the gNB by exploiting an AI / ML model can be defined as, but not limited to gNB Rx-Tx time difference, Timing advance (TADV) and UL Relative Time of Arrival (UL RTOA) . Specifically, gNB Rx-Tx time difference is defined as TgNB-RX -TgNB-TX, where TgNB-RX is the positioning node received timing of uplink subframe #i containing SRS associated with UE, defined by the first detected path in time. It is measured on SRS signals received from the UE. TgNB-TX is the positioning node transmit timing of downlink subframe #j that is closest in time to the subframe #i received from the UE. TADV is defined as the time difference TADV = (TgNB-RX –TgNB-TX) , where TgNB-RX is the transmission and reception point (TRP) received timing of uplink subframe #i containing physical random access channel (PRACH) transmitted from UE, defined by the first detected path in time. TgNB-TX is the TRP transmit timing of downlink subframe #j that is closest in time to the subframe #i received from the UE. The detected PRACH is used to determine the start of one subframe containing that PRACH. UL RTOA is defined as the beginning of subframe #i containing SRS received in positioning node j, relative to the configurable reference time. For example, node 1 (e.g., base station, etc. ) measures the reception time of signals transmitted by the UE with respect to a reference time.

[0074] In addition, a UE or gNB may also perform power measurements such as reference signal received power (RSRP) and / or reference signal received path power (RSRPP) . These measurements may be performed on reference signals such as PRS and SRS.

[0075] Depending on the capability, a UE may also perform positioning measurements on the sidelink (SL) resources by exploiting AI / ML model, e.g. on the SL-PRS transmitted between the target UE and one or more assisting or anchor UEs. The UE performing the positioning measurement is called as a target UE and the UE (s) assisting the target UE to perform the SL positioning measurements is called as the anchor or assisting UE.

[0076] To perform these measurements, UE may make use of a trained model acquired before being deployed or needs to train its model on-the-fly before performing AI / ML based positioning measurements to be reported to the network node such as location server. In either of the cases, UE requires assistance information / data from the network to determine or identify how and when to train its AI / ML model and what information (positioning measurements or estimated position) to report to the network node such as location server.

[0077] In some embodiments, AI / ML positioning comprises two representative sub-use cases, direct AI / ML positioning and AI / ML assisted positioning. For direct AI / ML positioning, the AI / ML model outputs UE location, for example, fingerprinting based on channel observation as the input of the AI / ML model. For the AI / ML assisted positioning, the AI / ML model outputs new measurement and / or enhancement of existing measurement, for example, LOS / NLOS identification, timing and / or angle of measurement, and likelihood of measurement.

[0078] In the mode of assisted positioning, the positioning measurements are performed by UE / gNB and use as input for AI / ML model reside at UE / gNB. After completion, the output (including measurement results) is then reported to the location server. The location server upon receiving AI / ML model output (including measurement results) determines the location of the UE within the RAN coverage area. The location server depending on the need may forward the UE location to another node within the network to facilitate provisioning of UE location information to the application layer or the third party that is interested or has requested the positioning of UE within the RAN coverage area for further action to be taken. The AI / ML model outputs new measurement and / or enhancement of existing measurement, such as LOS / NLOS identification, timing and / or angle of measurement and likelihood of measurement.

[0079] In the mode of direct positioning, the measurements performed by UE / gNB are input for positioning engine or the AI / ML model to predict or determine the UE location. AI / ML model resides within the UE node or the gNB node or the location server. The location server depending on the need may forward the UE location to another node within the network to facilitate provisioning of UE location information to the application layer or the third party that is interested or has requested the positioning of UE within the RAN coverage area for further action to be taken. The AI / ML model outputs UE location, such as fingerprinting based on channel observation may be taken as the input of AI / ML model.

[0080] The positioning measurement procedure (PMP) comprises performing one or more positioning measurements on DL RS (e.g. PRS) and / or uplink (UL) RS (e.g. SRS) transmitted between the UE and one or more cells. The cell may also be called as a TRP or node. Examples of the positioning measurements performed on DL and / or UL signals are RSTD, PRS-RSRP, PRS-RSRPP, UE Rx-Tx time difference, round trip time (RTT) , time of arrival (TOA) , channel impulse response (CIR) , timing advance (TA) , angle of departure (AoD) , angle of arrival (AoA) , power delay profile (PDP) , delay profile (DP) etc.

[0081] In order to enhance positioning accuracy, AI / ML for NR Air Interface comprises direct AI / ML positioning and AI / ML assisted positioning. Furthermore, the direct AI / ML positioning may include multiple cases. For example, Case 1 defines UE-based positioning with a UE-side model for direct AI / ML positioning; Case 2b defines UE-assisted / LMF-based positioning with an LMF-side model for direct AI / ML positioning; and Case 3b defines NG-RAN node assisted positioning with an LMF-side model for direct AI / ML positioning. The AI / ML assisted positioning may also include multiple cases. For example, Case 2a defines UE-assisted / LMF-based positioning with a UE-side model for AI / ML assisted positioning; and Case 3a defines NG-RAN node assisted positioning with a gNB-side model for AI / ML assisted positioning.

[0082] Before Release 16, LTE based positioning was one the prevalent radio access technology (RAT) based positioning solutions available. Starting from Rel. 16 specification, positioning is also supported in New Radio (NR) . Positioning in NR is supported by the architecture shown in FIG. 3 which illustrates an example positioning architecture 300 in NR. As shown in FIG. 3, the NG-RAN 310 includes an ng-eNB 312 and a gNB 314. The ng-eNB 312 may include one or more transmission points (TPs) , and the gNB 314 may include one or more transmission reception points (TRPs) . A UE 320 may access to the NG-RAN 310, e.g., to the ng-eNB 312 or to the gNB 314. The positioning architecture 300 also includes some network entities in the core network (CN) , such as a location management function (LMF) 330, an access and mobility management function (AWF) 340. The LMF 330 and AWF 340 may also interface with the ng-eNB 312 and the gNB 314 in the NG-RAN 310. The protocols between entities are shown in FIG. 3. The interactions between the gNodeB and the device is supported via the Radio Resource Control (RRC) protocol, while the location node interfaces with the UE via the LTE positioning protocol (LPP) . LPP is a common protocol to both NR and LTE. LMF 330 is the location node in NR. There are also interactions between the location node and the gNodeB via the NRPPa protocol.

[0083] The positioning architecture 300 in FIG. 3 may also be used to support AI / ML based positioning. Release 19 work on introducing AI / ML based positioning will not only exploit the legacy protocol but will also rely on already defined / existing reference signals that are used for positioning.

[0084] In some cases of AI / ML assisted positioning (e.g., in Case 3a AI / ML positioning) , the AI / ML model or functionality is at the RAN side (e.g. the gNB) and the model outputs are inferred measurements, which are sent to LMF to further calculate the UE’s location estimate. In some other cases of AI / ML assisted positioning (e.g., in Case 2a AI / ML positioning) , the AI / ML model or functionality is at UE side and the model outputs are inferred measurements, which are sent to LMF to further calculate the UE’s location estimate.

[0085] The main problem in both cases is that the RAN and the terminal device have no information by which the accuracy of the inferred measurements can be judged. Namely, these entities lack information that can represent as much as possible the ground truth of the predicted measurements, so that it can be evaluated whether the model deriving the predictions is performing well or not. Depending on the latter, processes like model re-training or weight factor adjustments may be applied, to improve the model prediction accuracy on the basis of the feedback information received.

[0086] Certain aspects of the disclosure and their embodiments may provide solutions to these or other challenges. Some embodiments of the present disclosure propose a solution for performance monitoring of AI / ML positioning. In this solution, the LMF sends to the RAN network device and / or to the terminal device assistance information that help estimating the positioning performance result of the AI / ML model or functionality. The RAN network device and / or to the terminal device receive the positioning performance result from LMF, and are able to use it to take decisions on how to eventually modify or manage their AI / ML models or functionalities depending on the received results.

[0087] Through this solution, the device running an AI / ML model or functionality for assisted positioning is able to manage their models or functionalities effectively based on the received assistance information related to positioning performance, which enable to evaluate how good or bad the predicted measurements are and therefore allowing for model updates if needed.

[0088] References will be made to the accompanying drawings to illustrate some embodiments of the present disclosure.

[0089] FIG. 4 illustrates a signaling flow 400 for requesting AI / ML positioning in accordance with some embodiments of the present disclosure. The signaling flow 400 involves a communication device 402 and the LMF 130 in FIG. 1. It is assumed that the communication device 402 has an AI / ML model or functionality for assisted positioning of a terminal device.

[0090] In the signaling flow 400, the communication device 402 transmits (405) , to the LMF 130, inferred measurement information output by an AI / ML model or functionality for assisted positioning of a terminal device. The terminal device to be positioned may be the same terminal device with the AI / ML model or functionality running (Case 2a) , other terminal device without the AI / ML model, or may be any terminal device within the service coverage of a network device with the AI / ML model or functionality running (Case 3a) .

[0091] The LMF 130 receives (410) the inferred measurement information and may calculate location estimate of the terminal device based on the inferred measurement information. The LMF 130 may determine the position of the terminal device using different techniques based upon inferred measurement information obtained by the AI / ML model or functionality from the communication device 402.

[0092] Depending on the configuration of the AI / ML model or functionality for assisted positioning and the device running the AI / ML model or functionality, the inferred measurement information output by the AI / ML model or functionality may be different. In some cases where the AI / ML model or functionality running (Case 3a) at a network device (e.g., a RAN network device such as gNB) , the inferred measurement information may include RTOA, UL-RTOA, gNB Rx-Tx time difference value, an indication of LOS / NLOS, and / or the like. In some cases where the AI / ML model or functionality running (Case 2a) at a terminal device, the inferred measurement information may include RTOA, UE Rx-Tx time difference, ToA, an indication of LOS / NLOS, and / or the like. It would be appreciated that the AI / ML model or functionality for assisted positioning may be configured to output any other intermediate measurement information which can be used to facilitate or assisted in positioning of a terminal device. Such intermediate results are then sent from the network device or the terminal device to the LMF 130 to calculate the location of the target terminal device. The scope of the present disclosure is not limited in the aspect of the specific measurement metrics included in the output of the AI / ML model or functionality for assisted positioning.

[0093] The example embodiments of FIG. 4 may be applied for AI / ML positioning, Case 3a (i.e., with a RAN-side model for AI / ML assisted positioning) and Case 2a (i.e., with a UE-side model for AI / ML assisted positioning) . Thus, in some embodiments, the communication device 402 may be or may be included in a network device 120 in FIG. 1. In some embodiments, the communication device 402 may be or may be included in a terminal device 110 in FIG. 1. It would be appreciated that the communication device 402 may be other entities that have an AI / ML model or functionality for assisted positioning of a terminal device.

[0094] FIG. 5 and FIG. 6 illustrate expected location information estimate in different AI / ML positioning use cases in accordance with some embodiments of the present disclosure. In the example 500 of FIG. 5, an AI / ML model or functionality for assisted positioning of the terminal device 110 is run at the network device 120. The network device 120 may measures on UL (positioning) reference signals sent by the terminal device 120 with respect to a plurality of TRPs 510-1, 510-2, and 510-3 (collectively or individually referred to as TRPs 510) . The measurements (e.g. in format of CIR, PDP, DP) is then used as input to the AI / ML model or functionality to generate the inferred measurement information, e.g., ToAs between the terminal device 110 and TRPs. In the example 600 of FIG. 6, an AI / ML model or functionality for assisted positioning of the terminal device 110 is run at the terminal device 110. The terminal device 110 perform measurement information of reference signals transmitted from the TRPs 510 and input the measurement information the AI / ML model or functionality to generate the inferred measurement information, e.g., ToAs between the terminal device 110 and TRPs.

[0095] The inferred measurement information output by the AI / ML model or functionality is then sent from network device 120 or the terminal device 110 to the LMF 130 to calculate location estimate of the terminal device. The two scenarios of FIG. 5 and FIG. 6 map to AI / ML positioning Case 3a and Case 2a, respectively.

[0096] The LMF 130 determines (415) at least one positioning performance metric of the AI / ML model or functionality based at least in part on the inferred measurement information.

[0097] A positioning performance metric is applicable for the scenario when the network device or terminal device has the AI / ML model or functionality for positioning and the LMF performs the evaluation.

[0098] In some embodiments, the LMF 130 may determine the at least one positioning performance metric of the AI / ML model or functionality based at least in part on a difference between the inferred measurement information and expected measurement information for assisted positioning of the terminal device.

[0099] The positioning performance metric is derived from the LMF knowledge of the predicted / estimated measurement value of the measurement information (e.g., expected RTOA, UL-RTOA, gNB Rx-Tx) and comparing it with the inferred measurement information (e.g., RTOA, UL-RTOA, gNB Rx-Tx value) provided by the communication device 402. Another way to compare is to derive the position using AI / ML model or functionality and classical model and compare the difference. In some embodiments, a positioning performance metric is determined based on a position of the terminal device and location estimate by the LMF 130 for the terminal device. If the difference in either the measurement or positioning estimation larger than certain threshold, the LMF 130 may indicate to the communication device 402 that the model output is not trusted.

[0100] In some embodiments, the positioning performance metric (s) may include an indication of the distance, delta, variation, error between the one or more measurements inferred by the communication device 402 and the same measurement derived from the estimated LMF position for the terminal device, or a parameter that can be used by the communication device 402 (e.g., the network device or the terminal device) to deduce the delta between the inferred measurement from the communication device 402 and from the same measurement corresponding to the UE position estimated by the LMF 130. In some embodiments, the positioning performance metric (s) may include an indication stating whether the position derived by the LMF 130 thanks to the inferred measurements received from the communication device 402 achieves the required quality or not. In some embodiments, the positioning performance metric can be e.g., estimated TOA, positioning error range, and / or confidence of the target UE’s location calculated by the LMF.

[0101] As an example, if the inferred measurement information output by the AI / ML model or functionality includes a TOA, the LMF 130 determines the performance of the model output produced by the AI / ML model or functionality using knowledge of the expected TOA which depends upon the cell size and other measurement reports from the terminal device such as RSRP. In other words, the LMF 130 would correlate the RSRP and expected TOA to determine the actual TOA and compare the actual TOA with the given output from the communication device 402.

[0102] In some embodiments, the expected TOA is obtained by the LMF 130 based upon expected propagation delay as defined search window information. An example information element (IE) containing search window information for the TRP is provided in Table 1 below. Table 1

[0103] The LMF 130 may derive or estimate RTOA of a terminal device using below equation: Expected RTOA &&RSRP Measurements from UE ～= Estimate UE RTOA

[0104] If the LMF 130 determines that the inferred measurement information (e.g., RTOA) provided by the communication device 402 is substantially equal to the derived model output (e.g., expected RTOA) , then the LMF 130 may determine that the AI / ML model or functionality is performing well; otherwise, the LMF 130 may determine that the AI / ML model or functionality is not performing well. It would be appreciated that the LMF may follow other logic to evaluate the model performance. For example, it may store the RTOA value from other UEs and compare the values to identify outliers from each specific cell / beam or cell portion.

[0105] In some embodiments, the communication device 402 may determine one or more TRPs neighboring the terminal device in distance and then receive measurement information of reference signals from the one or more TRPs. The communication device 402 may transmit the measurement information to the LMF 130. The LMF 130 may use the received measurement information to determine expected measurement information for assisted positioning of the terminal device to be positioned.

[0106] In some embodiments, the communication device 402 may derive autonomously the assistance information related to the positioning performance metric (s) or may receive such assistance information derived from measurements taken at network nodes for which the UE position is known.

[0107] As an example, for Use Case 3a (with the AI / ML model or functionality at the network device) , it is assumed that there are three TRPs performing measurements on RS signalled by the terminal device 110 (e.g., UE) that needs to be positioned, e.g. measuring UL RTOA. Such TRPs can be named TRP1, TRP2, TRP3.

[0108] The network device 120 in charge of inferring positioning measurements can determine which is the closest TRP to terminal device 110. One assumption is that such TRP (closest to terminal device 110) has similar channel conditions as the terminal device 110 towards other TRPs. Such TRP is assumed to be TRP1. The RS signalled by TRP1 should be measured by other TRPs, i.e. TRP2 and TRP3. The network device 120 receives such measurements taken at TRP2 and TRP3 and is able to infer positioning measurements based on that for TRP1 positioning, in the same way it would infer positioning measurements from measurements taken at the TRPs for RSs signalled by terminal device 110.

[0109] It is assumed that the network device 120 is aware of the true position of the TRPs. Therefore, the inferred measurements derived from the measurements taken by TRP2 and TRP3 of the RS signal transmitted by TRP1 can be compared with the measurements corresponding to the true position of the TRPs. As an example, the network device 120 can infer the UL RTOA for TRP1 at TRP2 and TRP3, and it can also know the exact distance between TRP1-TRP2 and TRP1-TRP3. Following the example of the UL RTOA, the network device 120 will be able to measure the error in its UL RTOA predictions for TRP1 because the network device 120 would be able to derive the correct UL RTOA corresponding to the distance between each TRP. This could be used as a metric to estimate the error on the UL RTOA for terminal device 110.

[0110] As another example for Use Case, it is assumed that the terminal device is performing measurements on RSs from three TRPs. Such TRPs can be named TRP1, TRP2, TRP3. The network device 120 in charge of inferring positioning measurements is able to determine which is the closest TRP to terminal device 110 by monitoring UE measurements. One assumption is that such TRP (closest to terminal device 110) has similar channel conditions as terminal device 110 towards other TRPs. Such TRP is assumed to be TRP1. TRP1 should measure the RS signalled by other TRPs, i.e. TRP2 and TRP3. The network device 120 receives such measurements taken at TRP1 and is able to infer positioning measurements based on that for TRP1 positioning, in the same way it would infer positioning measurements from measurements taken at the TRPs for RSs signalled by terminal device 110.

[0111] It is assumed that the network device 120 is aware of the true position of the TRPs. Therefore, the inferred measurements derived from the measurements taken by TRP1 of the RS signal transmitted by TRP2 and TRP3 can be compared with the measurements corresponding to the true position of the TRPs. Hence the network device 120 can infer the positioning measurements to position TRP1, and it can also know the exact distance between TRP1-TRP2 and TRP1-TRP3. Therefore, the network device 120 will be able to measure the error in its inferred measurements for TRP1 because the network device 120 would be able to derive the correct measurement corresponding to the distance between each TRP. This could be used as a metric to estimate the inferred measurement error.

[0112] The LMF 130 transmits (420) to the communication device 402, model performance information indicating the at least one positioning performance metric of the AI / ML model or functionality. In some embodiments, the positioning performance metric (s) of the AI / ML model or functionality may be provided from the LMF as assistance information.

[0113] The communication device 402 receives (425) , from the LMF 130, model performance information indicating at least one positioning performance metric of the AI / ML model or functionality. By receiving the positioning performance result from the LMF 130, the communication device 402 able to use it to take decisions on how to eventually modify or manage their AI / ML models depending on the received results.

[0114] In some embodiments, with the model performance information received, the communication device 402 may perform an LCM decision or functionality / model management on the AI / ML model or functionality based on the at least one positioning performance metric of the AI / ML model or functionality. For example, based on the received positioning / measurement performance metric, the communication device 402 may decide functionality / model selection / switching / activation / deactivation.

[0115] In some examples, the LCM decision or functionality / model management may be performed based on the positioning performance metrics received in a certain period of time, or the LCM decision may be performed based on a detection of certain performance degradation from the received positioning performance metrics.

[0116] In some embodiments, the communication device 402 may transmit (416) , to the LMF 130, a request for the model performance information. As a response to the request received (418) from the communication device 402, the LMF 130 transmits the model performance information to the communication device 402.

[0117] In some embodiments, if the communication device 402 is or is included in the network device 120 in FIG. 1 (AI / ML positioning Use Case 3a) , the communication device 402 may be a centralized unit (CU) or a distributed unit (DU) of a RAN network device (e.g., a gNB-CU or gNB-DU) , depending on which entity is hosting the AI / ML model or functionality. If the AI / ML model or functionality is at the DU, the model performance information is received by the CU from the LMF 130 over NRPPa interface and then sent from the CU to the DU over F1AP interface. In some embodiments, the request for model performance information may be transmitted from the network device 120 to the LMF 130 via a legacy or new NRPPa / F1AP message. In some embodiments, the request for model performance information may be transmitted together with the inferred measurement information as transmitted at step 405.

[0118] In some embodiments, if the communication device 402 is or is included in the terminal device 110 in FIG. 1 (AI / ML positioning Use Case 2a) , the model performance information is received by the terminal device 110 from the LMF 130 over LPP interface. In some embodiments, the request for model performance information may be transmitted from the terminal device 110 to the LMF 130 via a legacy or new LPP message. In some embodiments, the request for model performance information may be transmitted together with the inferred measurement information as transmitted at step 405.

[0119] In some embodiments, the positioning performance metric (s) is sent in one or multiple of the below formats.

[0120] In an embodiment, a positioning performance metric may be in a format of a flag indication indicating whether model performance of the AI / ML model or functionality satisfies a quality of service (QoS) for an application or not. For example, a value of 1 means positioning performance does not satisfy the application QoS, while a value of 0 means positioning performance satisfies the application QoS.

[0121] In an embodiment, a positioning performance metric may be in a format of a flag indication indicating whether the inferred measurement information output from the AI / ML model or functionality is within an expected measurement range. A flag indication and the associated expected measurement range may be defined for each type of inferred measurement result. For example, a flag indication indicating if the RTOA received from the communication device 402 using the AI / ML model or functionality is within an expected range or not. Value 1 means the model performance is not satisfactory whereas 0 means it is satisfactory.

[0122] In an embodiment, a positioning performance metric may be in a format of a value out of a predefined range indicating a model performance level of the AI / ML model or functionality. For example, an integer out of predefined range, and each integer e.g., represents the estimated positioning or measurement error within a certain range (e.g., smaller number represents smaller error range and better performance) , or represents a certain percentage range for positioning estimate confidence (e.g., smaller number represents lower confidence range and worse performance) .

[0123] It would be appreciated that a positioning performance metric may be represented as any other formats and the scope of the present disclosure is not limited in this regard.

[0124] In some embodiments, the LMF 130 may send the positioning performance metric (s) to the communication device 402. The transmission of the positioning performance metric (s) can be triggered by a request from the communication device 402. In some embodiments, the LMF 130 may send the positioning performance metric (s) periodically or by one or more pre-defined trigger conditions.

[0125] In some embodiments, the trigger conditions may include the LMF 130 detecting of an outlier from inferred measurement information of the AI / ML model or functionality. For example, if the LMF 130 detects an outlier from the inferred measurement information provided by the communication device 402, it may send an expected RTOA to the communication device 402.

[0126] In some embodiments, the trigger conditions may include a model performance level of the AI / ML model or functionality failing to satisfy a QoS for an application. For example, if the LMF 130 determines that positioning performance does not satisfy the application QoS, it may send a flag indication indicating that the positioning performance does not satisfy the application QoS.

[0127] In some embodiments, the trigger conditions may include inferred measurement information output from the AI / ML model or functionality being out of an expected measurement range. For example, if the LMF 130 determines that RTOA received from the communication device 402 using the AI / ML model or functionality is not within expected range, it may send a flag indication indicating that the RTOA is not within expected range.

[0128] In some embodiments, the trigger conditions may include a model performance level of the AI / ML model or functionality being out of a predefined range (e.g., exceeding a predefined upper threshold and / or being lower than a predefined lower threshold) . In an example, the LMF 130 may send an integer out of a range characterizing the estimated positioning or measurement error range if the error is larger than a predefined threshold. In another example, the LMF 130 may send an integer characterizing the positioning estimate confidence if the confidence is smaller than a predefined threshold.

[0129] There may be one or more positioning performance metrics for measuring positioning performance of the AI / ML model or functionality.

[0130] In some embodiments, the at least one positioning performance metric may include a trustworthy indication of the AI / ML model or functionality. The trustworthy indication may indicate whether the measurement or position estimate derived from measurements using the AI / ML model or functionality is within an expected range or is an outlier.

[0131] In some embodiments, the at least one positioning performance metric may include a model performance level of the AI / ML model or functionality. This model performance level indicates how well the AI / ML model or functionality is performing. As a specific example, Value 1 implies the AI / ML model or functionality has worst performance whereas value 10 implies the best performance of the AI / ML model or functionality.

[0132] In some embodiments, the at least one positioning performance metric may include a confidence level of model performance of the AI / ML model or functionality. The confidence level indicates the confidence of the performance evaluation by the LMF on the gNB / UE-side AI / ML model performance. The value is expressed in percentage where 1 implies 1%confidence and 100 implies 100%confidence.

[0133] In some embodiments, the at least one positioning performance metric may include a model performance level of the AI / ML model or functionality. The model performance level indicates how well the AI / ML model or functionality is performing. Value satisfactory implies that the AI / ML model or functionality is performing well whereas value unsatisfactory implies that the AI / ML model or functionality is not performing well.

[0134] In some embodiments, the at least one positioning performance metric may include an expected measurement range output by the AI / ML model or functionality. The expected measurement range may indicate when the SRS is expected to arrive in time at the TRP relative to the UL RTOA Reference Time. The UL RTOA Reference Time for a target SRS is defined as T0+tSRS, where T0 is the SFN Initialisation Time, tSRS=(10nf+nsf) ×10-3, where nf and nsf are the system frame number and the subframe number of the SRS, respectively. The granularity nay be 4Ts, where Ts=1 /  (15·103 ·2048) seconds.

[0135] The above example performance metrics may be included in an IE “Model Performance Metrics” which may be defined as Table 2. Table 2

[0136] In one specific example, for Use Case 3a, the performance metrics can be calculated based on the true position of the terminal device to be positioned. If the terminal device is a Positioning Reference Unit (PRU) UE for example, its true position is known at the LMF 130 and hence the performance metrics can be derived. As an alternative, the PRU position may be signalled from the PRU to the RAN or from the PRU to the LMF 130 to the RAN. This may apply to cases where, e.g. the PRU location is not fixed but varies in time following a specific pattern. This information can be used as feedback to check on the quality of inferred outputs or to form training data sets both in the RAN (in case of models hosted in the gNB-DU and / or gNB-CU) or / and in the LMF 130.

[0137] In another example, for Use Case 3a, the LMF 130 calculates how many meters off is each TRP’s intermediate timing measurement (e.g., UL RTOA as generated by gNB's AI / ML model) from LMF 130’s best estimate of target UE location. This is a type of monitoring metric for label-based monitoring, i.e., value d is found for the difference between a TRP’s intermediate timing measurement report and LMF 130’s best estimate of the intermediate timing measurement (i.e., estimate of ground truth label) . Value d may be reported in time (e.g., in units of seconds) , or be converted to distance (e.g., in units of meters) by multiplying the time with speed of light.

[0138] In the example IE for NRPPa below, Intermediate Timing Measurement Quality is illustrated in Table 3 as indicating d in units of meters. For model performance monitoring of Use Case 3a, The LMF 130 can send gNB individual d values, or a statistic measure of d (e.g., a moving average of d values in a sliding window, mean and variance of d values over a time window) . The model inference node can make LCM decisions of its model based on the model performance monitoring metric provided by LMF 130, e.g., deactivate the model, fine-tune the model, etc.

[0139] Table 3 shows an example IE containing the Intermediate Timing Measurement Quality, the Measurement Quality, and the Resolution may be defined as follows in Table 4.In some other examples, the presence of the Measurement Quality, and the Resolution may be optional (O) , not mandatory (M) in the IE. Table 3

[0140] In some embodiments of Use Case 2a, the IE containing Intermediate Timing Measurement Quality, the Measurement Quality is signaled from the LMF to the terminal device via LPP signaling, which may be defined as Table 4: Table 4

[0141] The discussion above assumes that the model performance metric (e.g., intermediate timing quality) is calculated by LMF and sent to the model inference node (the network device for Case 3a, or the terminal device for Case 2a) . On the other hand, similar model performance monitoring metric can be achieved by the LMF 130 sending the estimated ground truth label to the model inference node. After that, the model inference node can calculate the model performance metric itself, e.g., value d is found for the difference between the intermediate timing measurement generated by the AI / ML model and LMF’s best estimate of the intermediate timing measurement (i.e., estimate of ground truth label) . The model inference node can make LCM decisions of its model based on the model performance monitoring metric, e.g., deactivate the model, fine-tune the model, etc.

[0142] In some embodiments, for UE-side model (with the AI / ML model or functionality at the terminal device 110) , the LMF 130 may provide the feedback using expected RSTD value, as shown in Table 5. Table 5

[0143] In some embodiments, the IE NR-ModelPerformanceMetricsAssistanceData is used by the location server (the LMF130) to provide model performance metric assistance data to the terminal device 110 for AI / ML positioning Case 2a. The IE NR-ModelPerformanceMetricsAssistanceData may be formated as follows: Table 6

[0144] The NR-ModelPerformanceMetricsAssistanceData field descriptions may be as follows: Table 7

[0145] FIG. 7 is a diagram showing a flowchart of an example method 700 at a communication device in accordance with some embodiments. The method 700 may be implemented by the terminal device 110 or the network device 120 as shown in FIG. 1. For the purpose of discussion, the method 500 will be described from the perspective of the communication device which may be the terminal device 110 or the network device 120 with reference to FIG. 1.

[0146] As shown in FIG. 7, at block 710, the communication device transmits, to a location management function (LMF) , inferred measurement information output by an artificial intelligence / machine learning (AI / ML) model or functionality for assisted positioning of a terminal device.

[0147] At block 720, the communication device receives, from the LMF, model performance information indicating at least one positioning performance metric of the AI / ML model or functionality.

[0148] In an example, the communication device may transmit, to the LMF, a request for the model performance information. the model performance information may be received from the LMF as a response to the request.

[0149] In an example, the communication device may perform a lifecycle management (LCM) decision on the AI / ML model or functionality based on the at least one positioning performance metric of the AI / ML model or functionality.

[0150] In an example, the at least one positioning performance metric may comprise at least one of the following: a trustworthy indication of the AI / ML model or functionality, a model performance level of the AI / ML model or functionality, a confidence level of model performance of the AI / ML model or functionality, a model performance level of the AI / ML model or functionality, or an expected measurement range output by the AI / ML model or functionality.

[0151] In an example, the at least one positioning performance metric may comprise at least one of the following: a flag indication indicating whether model performance of the AI / ML model or functionality satisfies a quality of service (QoS) for an application, a flag indication indicating whether the inferred measurement information output from the AI / ML model or functionality may be within an expected measurement range, or a value out of a predefined range indicating a model performance level of the AI / ML model or functionality.

[0152] In an example, the model performance information may be received from the LMF in response to a trigger condition may be satisfied, the trigger condition comprising at least one of the following: the LMF detecting of an outlier from inferred measurement information of the AI / ML model or functionality, a model performance level of the AI / ML model or functionality failing to satisfy a QoS for an application, inferred measurement information output from the AI / ML model or functionality may be out of an expected measurement range, a model performance level of the AI / ML model or functionality may be out of a predefined range.

[0153] In an example, the communication device may determine one or more transmission and reception points (TRPs) neighboring the terminal device in distance; receiving measurement information of reference signals from the one or more TRPs; transmitting the measurement information to the LMF.

[0154] In an example, the communication device may comprise the terminal device or a network device.

[0155] FIG. 8 is a diagram showing a flowchart of an example method 800 at a location management function (LMF) in accordance with some embodiments. The method 800 may be implemented by the LNM as shown in FIG. 1. For the purpose of discussion, the method 500 will be described from the perspective of the LMF with reference to FIG. 1.

[0156] As shown in FIG. 8, at block 810, the LMF receives, from a communication device, inferred measurement information output by an artificial intelligence / machine learning (AI / ML) model or functionality for assisted positioning of a terminal device.

[0157] At block 820, the location management function (LMF) determines at least one positioning performance metric of the AI / ML model or functionality based at least in part on the inferred measurement information.

[0158] At block 830, the location management function (LMF) transmits, to the communication device, model performance information indicating the at least one positioning performance metric of the AI / ML model or functionality.

[0159] In an example, the location management function (LMF) may receive, from the communication device, a request for the model performance information. the model performance information may be transmitted to the communication device as a response to the request.

[0160] In an example, the location management function (LMF) may determine the at least one positioning performance metric of the AI / ML model or functionality based at least in part on a difference between the inferred measurement information and expected measurement information for assisted positioning of the terminal device.

[0161] In an example, the at least one positioning performance metric may comprise at least one of the following: a trustworthy indication of the AI / ML model or functionality, a model performance level of the AI / ML model or functionality, a confidence level of model performance of the AI / ML model or functionality, a model performance level of the AI / ML model or functionality, or an expected measurement range output by the AI / ML model or functionality.

[0162] In an example, the at least one positioning performance metric may comprise at least one of the following: a flag indication indicating whether model performance of the AI / ML model or functionality satisfies a quality of service (QoS) for an application, a flag indication indicating whether the inferred measurement information output from the AI / ML model or functionality may be within an expected measurement range, or a value out of a predefined range indicating a model performance level of the AI / ML model or functionality.

[0163] In an example, the location management function (LMF) may transmit the model performance information in response to a trigger condition may be satisfied, the trigger condition comprising at least one of the following: the LMF detecting of an outlier from inferred measurement information of the AI / ML model or functionality, a model performance level of the AI / ML model or functionality failing to satisfy a QoS for an application, inferred measurement information output from the AI / ML model or functionality may be out of an expected measurement range, or a model performance level of the AI / ML model or functionality may be out of a predefined range.

[0164] In an example, the location management function (LMF) may receive, from the communication device, measurement information of reference signals from one or more transmission and reception points (TRPs) neighboring the terminal device; determining expected measurement information for assisted positioning of the terminal device based on the received measurement information.

[0165] In an example, the communication device may comprise the terminal device or a network device.

[0166] All operations and features related to the terminal device 110 and the LMF 130 as described above with reference to FIGS. 1 to 8 are likewise applicable to the methods 600, 700 and 800 and have similar effects.

[0167] FIG. 9 is a diagram showing a communication device in accordance with some embodiments.

[0168] As shown in FIG. 9, the communication device 900 may comprise a processor 905 and a memory 910. The memory 910 may contain instructions 915 executable by the processor 905, whereby the communication device 900 may be operative to implement actions or operations according to any of the above-mentioned embodiments described with reference to FIGS. 1 to 8.

[0169] In some embodiments, the communication device 900 may operate as a communication device. In these embodiments, the communication device 900 may be operative to: transmit, to a location management function (LMF) , inferred measurement information output by an artificial intelligence / machine learning (AI / ML) model or functionality for assisted positioning of a terminal device; receive, from the LMF, model performance information indicating at least one positioning performance metric of the AI / ML model or functionality.

[0170] In some embodiments, the communication device 900 may operate as a location management function (LMF) . In these embodiments, the communication device 900 may be operative to: receive, from a communication device, inferred measurement information output by an artificial intelligence / machine learning (AI / ML) model or functionality for assisted positioning of a terminal device; determine at least one positioning performance metric of the AI / ML model or functionality based at least in part on the inferred measurement information; transmit, to the communication device, model performance information indicating the at least one positioning performance metric of the AI / ML model or functionality.

[0171] The processor 905 may be any kind of processing component, such as one or more microprocessor or microcontrollers, as well as other digital hardware, which may include digital signal processors (DSPs) , special-purpose digital logic, and the like. The memory 910 may be any kind of storage component, such as read-only memory (ROM) , random-access memory, cache memory, flash memory devices, optical storage devices, etc.

[0172] FIG. 10 is a diagram showing a computer readable storage medium 1000 in accordance with some embodiments.

[0173] As shown in FIG. 10, the computer readable storage medium 1000 comprising instructions 915 which when executed by a processor of a device, cause the device to perform any above-mentioned embodiments described with reference to FIGS. 1 to 9.

[0174] The computer readable storage medium 1000 may be configured to include memory such as RAM, ROM, programmable read-only memory (PROM) , erasable programmable read-only memory (EPROM) , electrically erasable programmable read-only memory (EEPROM) , magnetic disks, optical disks, floppy disks, hard disks, removable cartridges, or flash drives.

[0175] In some embodiments, an apparatus capable of performing the method 600 or 700 may comprise means for performing the respective operations of the method 600 or 700. The means may be implemented in any suitable form. For example, the means may be implemented in a circuitry or software module.

[0176] FIG. 11 shows a UE 1200 in accordance with some embodiments. As used herein, a UE refers to a device capable, configured, arranged and / or operable to communicate wirelessly with network nodes and / or other UEs. Examples of a UE include, but are not limited to, a smart phone, mobile phone, cell phone, voice over IP (VoIP) phone, wireless local loop phone, desktop computer, personal digital assistant (PDA) , wireless cameras, gaming console or device, music storage / playback device, wearable terminal device, wireless endpoint, mobile station, tablet, laptop, laptop-embedded equipment (LEE) , laptop-mounted equipment (LME) , an Augmented Reality (AR) or Virtual Reality (VR) device, wireless customer-premise equipment (CPE) , vehicle, vehicle-mounted or vehicle embedded / integrated wireless device, etc. Other examples include any UE identified by the 3rd Generation Partnership Project (3GPP) , including a narrow band internet of things (NB-IoT) UE, a machine type communication (MTC) UE, and / or an enhanced MTC (eMTC) UE.

[0177] A UE may support device-to-device (D2D) communication, for example by implementing a 3GPP standard for sidelink communication, Dedicated Short-Range Communication (DSRC) , vehicle-to-vehicle (V2V) , vehicle-to-infrastructure (V2I) , or vehicle-to-everything (V2X) . In other examples, a UE may not necessarily have a user in the sense of a human user who owns and / or operates the relevant device. Instead, a UE may represent a device that is intended for sale to, or operation by, a human user but which may not, or which may not initially, be associated with a specific human user (e.g., a smart sprinkler controller) . Alternatively, a UE may represent a device that is not intended for sale to, or operation by, an end user but which may be associated with or operated for the benefit of a user (e.g., a smart power meter) .

[0178] The UE 1200 includes processing circuitry 1202 that is operatively coupled via a bus 1204 to an input / output interface 1206, a power source 1208, a memory 1210, a communication interface 1212, and / or any other component, or any combination thereof. Certain UEs may utilize all or a subset of the components shown in FIG. 11. The level of integration between the components may vary from one UE to another UE. Further, certain UEs may contain multiple instances of a component, such as multiple processors, memories, transceivers, transmitters, receivers, etc.

[0179] The processing circuitry 1202 is configured to process instructions and data and may be configured to implement any sequential state machine operative to execute instructions stored as machine-readable computer programs in the memory 1210. The processing circuitry 1202 may be implemented as one or more hardware-implemented state machines (e.g., in discrete logic, field-programmable gate arrays (FPGAs) , application specific integrated circuits (ASICs) , etc. ) ; programmable logic together with appropriate firmware; one or more stored computer programs, general-purpose processors, such as a microprocessor or digital signal processor (DSP) , together with appropriate software; or any combination of the above. For example, the processing circuitry 1202 may include multiple central processing units (CPUs) .

[0180] In the example, the input / output interface 1206 may be configured to provide an interface or interfaces to an input device, output device, or one or more input and / or output devices. Examples of an output device include a speaker, a sound card, a video card, a display, a monitor, a printer, an actuator, an emitter, a smartcard, another output device, or any combination thereof. An input device may allow a user to capture information into the UE 1200. Examples of an input device include a touch-sensitive or presence-sensitive display, a camera (e.g., a digital camera, a digital video camera, a web camera, etc. ) , a microphone, a sensor, a mouse, a trackball, a directional pad, a trackpad, a scroll wheel, a smartcard, and the like. The presence-sensitive display may include a capacitive or resistive touch sensor to sense input from a user. A sensor may be, for instance, an accelerometer, a gyroscope, a tilt sensor, a force sensor, a magnetometer, an optical sensor, a proximity sensor, a biometric sensor, etc., or any combination thereof. An output device may use the same type of interface port as an input device. For example, a Universal Serial Bus (USB) port may be used to provide an input device and an output device.

[0181] In some embodiments, the power source 1208 is structured as a battery or battery pack. Other types of power sources, such as an external power source (e.g., an electricity outlet) , photovoltaic device, or power cell, may be used. The power source 1208 may further include power circuitry for delivering power from the power source 1208 itself, and / or an external power source, to the various parts of the UE 1200 via input circuitry or an interface such as an electrical power cable. Delivering power may be, for example, for charging of the power source 1208. Power circuitry may perform any formatting, converting, or other modification to the power from the power source 1208 to make the power suitable for the respective components of the UE 1200 to which power is supplied.

[0182] The memory 1210 may be or be configured to include memory such as random access memory (RAM) , read-only memory (ROM) , programmable read-only memory (PROM) , erasable programmable read-only memory (EPROM) , electrically erasable programmable read-only memory (EEPROM) , magnetic disks, optical disks, hard disks, removable cartridges, flash drives, and so forth. In one example, the memory 1210 includes one or more application programs 1214, such as an operating system, web browser application, a widget, gadget engine, or other application, and corresponding data 1216. The memory 1210 may store, for use by the UE 1200, any of a variety of various operating systems or combinations of operating systems.

[0183] The memory 1210 may be configured to include a number of physical drive units, such as redundant array of independent disks (RAID) , flash memory, USB flash drive, external hard disk drive, thumb drive, pen drive, key drive, high-density digital versatile disc (HD-DVD) optical disc drive, internal hard disk drive, Blu-Ray optical disc drive, holographic digital data storage (HDDS) optical disc drive, external mini-dual in-line memory module (DIMM) , synchronous dynamic random access memory (SDRAM) , external micro-DIMM SDRAM, smartcard memory such as tamper resistant module in the form of a universal integrated circuit card (UICC) including one or more subscriber identity modules (SIMs) , such as a USIM and / or ISIM, other memory, or any combination thereof. The UICC may for example be an embedded UICC (eUICC) , integrated UICC (iUICC) or a removable UICC commonly known as ‘SIM card. ’ The memory 1210 may allow the UE 1200 to access instructions, application programs and the like, stored on transitory or non-transitory memory media, to off-load data, or to upload data. An article of manufacture, such as one utilizing a communication system may be tangibly embodied as or in the memory 1210, which may be or comprise a device-readable storage medium.

[0184] The processing circuitry 1202 may be configured to communicate with an access network or other network using the communication interface 1212. The communication interface 1212 may comprise one or more communication subsystems and may include or be communicatively coupled to an antenna 1222. The communication interface 1212 may include one or more transceivers used to communicate, such as by communicating with one or more remote transceivers of another device capable of wireless communication (e.g., another UE or a network node in an access network) . Each transceiver may include a transmitter 1218 and / or a receiver 1220 appropriate to provide network communications (e.g., optical, electrical, frequency allocations, and so forth) . Moreover, the transmitter 1218 and receiver 1220 may be coupled to one or more antennas (e.g., antenna 1222) and may share circuit components, software, or firmware, or alternatively be implemented separately.

[0185] In the illustrated embodiment, communication functions of the communication interface 1212 may include cellular communication, Wi-Fi communication, LPWAN communication, data communication, voice communication, multimedia communication, short-range communications such as Bluetooth, near-field communication, location-based communication such as the use of the global positioning system (GPS) to determine a location, another like communication function, or any combination thereof. Communications may be implemented in according to one or more communication protocols and / or standards, such as IEEE 802.11, Code Division Multiplexing Access (CDMA) , Wideband Code Division Multiple Access (WCDMA) , GSM, LTE, New Radio (NR) , UMTS, WiMax, Ethernet, transmission control protocol / internet protocol (TCP / IP) , synchronous optical networking (SONET) , Asynchronous Transfer Mode (ATM) , QUIC, Hypertext Transfer Protocol (HTTP) , and so forth.

[0186] Regardless of the type of sensor, a UE may provide an output of data captured by its sensors, through its communication interface 1212, via a wireless connection to a network node. Data captured by sensors of a UE can be communicated through a wireless connection to a network node via another UE. The output may be periodic (e.g., once every 15 minutes if it reports the sensed temperature) , random (e.g., to even out the load from reporting from several sensors) , in response to a triggering event (e.g., when moisture is detected an alert is sent) , in response to a request (e.g., a user initiated request) , or a continuous stream (e.g., a live video feed of a patient) .

[0187] As another example, a UE comprises an actuator, a motor, or a switch, related to a communication interface configured to receive wireless input from a network node via a wireless connection. In response to the received wireless input the states of the actuator, the motor, or the switch may change. For example, the UE may comprise a motor that adjusts the control surfaces or rotors of a drone in flight according to the received input or to a robotic arm performing a medical procedure according to the received input.

[0188] A UE, when in the form of an Internet of Things (IoT) device, may be a device for use in one or more application domains, these domains comprising, but not limited to, city wearable technology, extended industrial application and healthcare. Non-limiting examples of such an IoT device are a device which is or which is embedded in: a connected refrigerator or freezer, a TV, a connected lighting device, an electricity meter, a robot vacuum cleaner, a voice controlled smart speaker, a home security camera, a motion detector, a thermostat, a smoke detector, a door / window sensor, a flood / moisture sensor, an electrical door lock, a connected doorbell, an air conditioning system like a heat pump, an autonomous vehicle, a surveillance system, a weather monitoring device, a vehicle parking monitoring device, an electric vehicle charging station, a smart watch, a fitness tracker, a wearable for tactile augmentation or sensory enhancement, a water sprinkler, an animal-or item-tracking device, a sensor for monitoring a plant or animal, an industrial robot, an Unmanned Aerial Vehicle (UAV) , and any kind of medical device, like a heart rate monitor or a remote controlled surgical robot. A UE in the form of an IoT device comprises circuitry and / or software in dependence of the intended application of the IoT device in addition to other components as described in relation to the UE 1200 shown in FIG. 11.

[0189] As yet another specific example, in an IoT scenario, a UE may represent a machine or other device that performs monitoring and / or measurements, and transmits the results of such monitoring and / or measurements to another UE and / or a network node. The UE may in this case be an M2M device, which may in a 3GPP context be referred to as an MTC device. As one particular example, the UE may implement the 3GPP NB-IoT standard. In other scenarios, a UE may represent a vehicle, such as a car, a bus, a truck, a ship and an airplane, or other equipment that is capable of monitoring and / or reporting on its operational status or other functions associated with its operation.

[0190] In practice, any number of UEs may be used together with respect to a single use case. For example, a first UE might be or be integrated in a drone and provide the drone’s speed information (obtained through a speed sensor) to a second UE that is a remote controller operating the drone. When the user makes changes from the remote controller, the first UE may adjust the throttle on the drone (e.g. by controlling an actuator) to increase or decrease the drone’s speed. The first and / or the second UE can also include more than one of the functionalities described above. For example, a UE might comprise the sensor and the actuator, and handle communication of data for both the speed sensor and the actuators.

[0191] FIG. 12 shows a network node 1300 in accordance with some embodiments. As used herein, network node refers to equipment capable, configured, arranged and / or operable to communicate directly or indirectly with a UE and / or with other network nodes or equipment, in a telecommunication network. Examples of network nodes include, but are not limited to, access points (APs) (e.g., radio access points) , base stations (BSs) (e.g., radio base stations, Node Bs, evolved Node Bs (eNBs) and NR NodeBs (gNBs) ) , O-RAN nodes or components of an O-RAN node (e.g., O-RU, O-DU, O-CU) .

[0192] Base stations may be categorized based on the amount of coverage they provide (or, stated differently, their transmit power level) and so, depending on the provided amount of coverage, may be referred to as femto base stations, pico base stations, micro base stations, or macro base stations. A base station may be a relay node or a relay donor node controlling a relay. A network node may also include one or more (or all) parts of a distributed radio base station such as centralized digital units, distributed units (e.g., in an O-RAN access node) and / or remote radio units (RRUs) , sometimes referred to as Remote Radio Heads (RRHs) . Such remote radio units may or may not be integrated with an antenna as an antenna integrated radio. Parts of a distributed radio base station may also be referred to as nodes in a distributed antenna system (DAS) .

[0193] Other examples of network nodes include multiple transmission point (multi-TRP) 5G access nodes, multi-standard radio (MSR) equipment such as MSR BSs, network controllers such as radio network controllers (RNCs) or base station controllers (BSCs) , base transceiver stations (BTSs) , transmission points, transmission nodes, multi-cell / multicast coordination entities (MCEs) , Operation and Maintenance (O&M) nodes, Operations Support System (OSS) nodes, Self-Organizing Network (SON) nodes, positioning nodes (e.g., Evolved Serving Mobile Location Centers (E-SMLCs) ) , and / or Minimization of Drive Tests (MDTs) .

[0194] The network node 1300 includes a processing circuitry 1302, a memory 1304, a communication interface 1306, and a power source 1308. The network node 1300 may be composed of multiple physically separate components (e.g., a NodeB component and a RNC component, or a BTS component and a BSC component, etc. ) , which may each have their own respective components. In certain scenarios in which the network node 1300 comprises multiple separate components (e.g., BTS and BSC components) , one or more of the separate components may be shared among several network nodes. For example, a single RNC may control multiple NodeBs. In such a scenario, each unique NodeB and RNC pair, may in some instances be considered a single separate network node. In some embodiments, the network node 1300 may be configured to support multiple radio access technologies (RATs) . In such embodiments, some components may be duplicated (e.g., separate memory 1304 for different RATs) and some components may be reused (e.g., a same antenna 1310 may be shared by different RATs) . The network node 1300 may also include multiple sets of the various illustrated components for different wireless technologies integrated into network node 1300, for example GSM, WCDMA, LTE, NR, WiFi, Zigbee, Z-wave, LoRaWAN, Radio Frequency Identification (RFID) or Bluetooth wireless technologies. These wireless technologies may be integrated into the same or different chip or set of chips and other components within network node 1300.

[0195] The processing circuitry 1302 may comprise a combination of one or more of a microprocessor, controller, microcontroller, central processing unit, digital signal processor, application-specific integrated circuit, field programmable gate array, or any other suitable computing device, resource, or combination of hardware, software and / or encoded logic operable to provide, either alone or in conjunction with other network node 1300 components, such as the memory 1304, to provide network node 1300 functionality.

[0196] In some embodiments, the processing circuitry 1302 includes a system on a chip (SOC) . In some embodiments, the processing circuitry 1302 includes one or more of radio frequency (RF) transceiver circuitry 1312 and baseband processing circuitry 1314. In some embodiments, the radio frequency (RF) transceiver circuitry 1312 and the baseband processing circuitry 1314 may be on separate chips (or sets of chips) , boards, or units, such as radio units and digital units. In alternative embodiments, part or all of RF transceiver circuitry 1312 and baseband processing circuitry 1314 may be on the same chip or set of chips, boards, or units.

[0197] The memory 1304 may comprise any form of volatile or non-volatile computer-readable memory including, without limitation, persistent storage, solid-state memory, remotely mounted memory, magnetic media, optical media, random access memory (RAM) , read-only memory (ROM) , mass storage media (for example, a hard disk) , removable storage media (for example, a flash drive, a Compact Disk (CD) or a Digital Video Disk (DVD) ) , and / or any other volatile or non-volatile, non-transitory device-readable and / or computer-executable memory devices that store information, data, and / or instructions that may be used by the processing circuitry 1302. The memory 1304 may store any suitable instructions, data, or information, including a computer program, software, an application including one or more of logic, rules, code, tables, and / or other instructions capable of being executed by the processing circuitry 1302 and utilized by the network node 1300. The memory 1304 may be used to store any calculations made by the processing circuitry 1302 and / or any data received via the communication interface 1306. In some embodiments, the processing circuitry 1302 and memory 1304 is integrated.

[0198] The communication interface 1306 is used in wired or wireless communication of signaling and / or data between a network node, access network, and / or UE. As illustrated, the communication interface 1306 comprises port (s)  / terminal (s) 1316 to send and receive data, for example to and from a network over a wired connection. The communication interface 1306 also includes radio front-end circuitry 1318 that may be coupled to, or in certain embodiments a part of, the antenna 1310. Radio front-end circuitry 1318 comprises filters 1320 and amplifiers 1322. The radio front-end circuitry 1318 may be connected to an antenna 1310 and processing circuitry 1302. The radio front-end circuitry may be configured to condition signals communicated between antenna 1310 and processing circuitry 1302. The radio front-end circuitry 1318 may receive digital data that is to be sent out to other network nodes or UEs via a wireless connection. The radio front-end circuitry 1318 may convert the digital data into a radio signal having the appropriate channel and bandwidth parameters using a combination of filters 1320 and / or amplifiers 1322. The radio signal may then be transmitted via the antenna 1310. Similarly, when receiving data, the antenna 1310 may collect radio signals which are then converted into digital data by the radio front-end circuitry 1318. The digital data may be passed to the processing circuitry 1302. In other embodiments, the communication interface may comprise different components and / or different combinations of components.

[0199] In certain alternative embodiments, the network node 1300 does not include separate radio front-end circuitry 1318, instead, the processing circuitry 1302 includes radio front-end circuitry and is connected to the antenna 1310. Similarly, in some embodiments, all or some of the RF transceiver circuitry 1312 is part of the communication interface 1306. In still other embodiments, the communication interface 1306 includes one or more ports or terminals 1316, the radio front-end circuitry 1318, and the RF transceiver circuitry 1312, as part of a radio unit (not shown) , and the communication interface 1306 communicates with the baseband processing circuitry 1314, which is part of a digital unit (not shown) .

[0200] The antenna 1310 may include one or more antennas, or antenna arrays, configured to send and / or receive wireless signals. The antenna 1310 may be coupled to the radio front-end circuitry 1318 and may be any type of antenna capable of transmitting and receiving data and / or signals wirelessly. In certain embodiments, the antenna 1310 is separate from the network node 1300 and connectable to the network node 1300 through an interface or port.

[0201] The antenna 1310, communication interface 1306, and / or the processing circuitry 1302 may be configured to perform any receiving operations and / or certain obtaining operations described herein as being performed by the network node. Any information, data and / or signals may be received from a UE, another network node and / or any other network equipment. Similarly, the antenna 1310, the communication interface 1306, and / or the processing circuitry 1302 may be configured to perform any transmitting operations described herein as being performed by the network node. Any information, data and / or signals may be transmitted to a UE, another network node and / or any other network equipment.

[0202] The power source 1308 provides power to the various components of network node 1300 in a form suitable for the respective components (e.g., at a voltage and current level needed for each respective component) . The power source 1308 may further comprise, or be coupled to, power management circuitry to supply the components of the network node 1300 with power for performing the functionality described herein. For example, the network node 1300 may be connectable to an external power source (e.g., the power grid, an electricity outlet) via an input circuitry or interface such as an electrical cable, whereby the external power source supplies power to power circuitry of the power source 1308. As a further example, the power source 1308 may comprise a source of power in the form of a battery or battery pack which is connected to, or integrated in, power circuitry. The battery may provide backup power should the external power source fail.

[0203] Embodiments of the network node 1300 may include additional components beyond those shown in FIG. 12 for providing certain aspects of the network node’s functionality, including any of the functionality described herein and / or any functionality necessary to support the subject matter described herein. For example, the network node 1300 may include user interface equipment to allow input of information into the network node 1300 and to allow output of information from the network node 1300. This may allow a user to perform diagnostic, maintenance, repair, and other administrative functions for the network node 1300. In some embodiments providing a core network node, such as core network node 108 of FIG. 11, some components, such as the radio front-end circuitry 1318 and the RF transceiver circuitry 1312 may be omitted.

[0204] computing device as a whole, and / or by end users and a wireless network generally.

[0205] According to the embodiments of the present disclosure, possible specification impacts are provided below.

[0206] In the below procedures, when the network node (gNB-CU or gNB-DU) provides the TRP Positioning measurements in the MEASUREMENT RESPONSE or MEASUREMENT REPORT messages defined in TS 38.455 and TS 38.473, it also adds a request for model performance metrics in the TRP measurement report. 9.1.4.2 MEASUREMENT RESPONSE This message is sent by the NG-RAN node to report positioning measurements. Direction: NG-RAN node → LMF. 9.1.4.4 MEASUREMENT REPORT This message is sent by the NG-RAN node to report positioning measurements for the target UE. Direction: NG-RAN node → LMF. 9.2.37 TRP Measurement Result This information element contains the measurement result. The LMF sends a new message indicating the performance monitoring metrics of the inferred  measurements to the gNB-CU via a NRPPa message: 9.1. X. Y MODEL PERFORMANCE FEEDBACK (new) This message is sent by the LMF to indicate model performance feedback. Direction: LMF → NG-RAN node. 9.2. x Model Performance Metrics This information element contains AI / ML Model Performance Metrics. In split gNB scenario, the gNB-CU sends a new message indicating the performance  monitoring metrics of the inferred measurements to the gNB-DU via a F1AP message, which can be similar to the one above. Case 2a In LPP TS37.355, when the UE provides the DL Positioning measurements in the XXX- ProvideLocationInformation messages, it also adds a request for model performance metrics IE. The LMF sends a new LPP message indicating the performance monitoring metrics of the  inferred measurements to the UE: - NR-ModelPerformanceMetricsAssistanceData The IE NR-ModelPerformanceMetricsAssistanceData is used by the location server to  provide model performance metric assistance data to UE for AI / ML positioning Case 2a. – NR-IntermediateTimingQuality The IE NR-IntermediateTimingQuality defines the quality of an intermediate timing value  (e.g., of a TOA measurement) which is generated by an AI / ML model.

Claims

1.A method (700) implemented at a communication device, comprising:transmitting (710) , to a location management function (LMF) , inferred measurement information output by an artificial intelligence / machine learning (AI / ML) model or functionality for assisted positioning of a terminal device; andreceiving (720) , from the LMF, model performance information indicating at least one positioning performance metric of the AI / ML model or functionality.2.The method (700) of claim 1, further comprising:transmitting, to the LMF, a request for the model performance information, andwherein the model performance information is received from the LMF as a response to the request.3.The method (700) of claim 1 or 2, further comprising:performing a lifecycle management (LCM) decision on the AI / ML model or functionality based on the at least one positioning performance metric of the AI / ML model or functionality.4.The method (700) of any of claims 1 to 3, wherein the at least one positioning performance metric comprises at least one of the following:a trustworthy indication of the AI / ML model or functionality,a model performance level of the AI / ML model or functionality,a confidence level of model performance of the AI / ML model or functionality,a model performance level of the AI / ML model or functionality, oran expected measurement range output by the AI / ML model or functionality.5.The method (700) of any of claims 1 to 3, wherein the at least one positioning performance metric comprises at least one of the following:a flag indication indicating whether model performance of the AI / ML model or functionality satisfies a quality of service (QoS) for an application,a flag indication indicating whether the inferred measurement information output from the AI / ML model or functionality is within an expected measurement range, ora value out of a predefined range indicating a model performance level of the AI / ML model or functionality.6.The method (700) of any of claims 1 to 5, wherein the model performance information is received from the LMF in response to a trigger condition being satisfied, the trigger condition comprising at least one of the following:the LMF detecting of an outlier from inferred measurement information of the AI / ML model or functionality,a model performance level of the AI / ML model or functionality failing to satisfy a QoS for an application,inferred measurement information output from the AI / ML model or functionality being out of an expected measurement range,a model performance level of the AI / ML model or functionality being out of a predefined range.7.The method (700) of any of claims 1 to 6, further comprising:determining one or more transmission and reception points (TRPs) neighboring the terminal device in distance;receiving measurement information of reference signals from the one or more TRPs; andtransmitting the measurement information to the LMF.8.The method (700) of any of claims 1 to 7, wherein the communication device comprises the terminal device or a network device.9.A method (800) implemented at a location management function (LMF) , comprising:receiving (810) , from a communication device, inferred measurement information output by an artificial intelligence / machine learning (AI / ML) model or functionality for assisted positioning of a terminal device;determining (820) at least one positioning performance metric of the AI / ML model or functionality based at least in part on the inferred measurement information; andtransmitting (830) , to the communication device, model performance information indicating the at least one positioning performance metric of the AI / ML model or functionality.10.The method (800) of claim 9, further comprising:receiving, from the communication device, a request for the model performance information, andwherein the model performance information is transmitted to the communication device as a response to the request.11.The method (800) of claim 9 or 10, wherein determining the at least one positioning performance metric of the AI / ML model or functionality comprises:determining the at least one positioning performance metric of the AI / ML model or functionality based at least in part on a difference between the inferred measurement information and expected measurement information for assisted positioning of the terminal device.12.The method (800) of any of claims 9 to 11, wherein the at least one positioning performance metric comprises at least one of the following:a trustworthy indication of the AI / ML model or functionality,a model performance level of the AI / ML model or functionality,a confidence level of model performance of the AI / ML model or functionality,a model performance level of the AI / ML model or functionality, oran expected measurement range output by the AI / ML model or functionality.13.The method (800) of any of claims 9 to 12, wherein the at least one positioning performance metric comprises at least one of the following:a flag indication indicating whether model performance of the AI / ML model or functionality satisfies a quality of service (QoS) for an application,a flag indication indicating whether the inferred measurement information output from the AI / ML model or functionality is within an expected measurement range, ora value out of a predefined range indicating a model performance level of the AI / ML model or functionality.14.The method (800) of any of claims 9 to 13, wherein transmitting the model performance information comprises:transmitting the model performance information in response to a trigger condition being satisfied, the trigger condition comprising at least one of the following:the LMF detecting of an outlier from inferred measurement information of the AI / ML model or functionality,a model performance level of the AI / ML model or functionality failing to satisfy a QoS for an application,inferred measurement information output from the AI / ML model or functionality being out of an expected measurement range, ora model performance level of the AI / ML model or functionality being out of a predefined range.15.The method (800) of any of claims 9 to 14, further comprising:receiving, from the communication device, measurement information of reference signals from one or more transmission and reception points (TRPs) neighboring the terminal device; anddetermining expected measurement information for assisted positioning of the terminal device based on the received measurement information.16.The method (800) of any of claims 9 to 15, wherein the communication device comprises the terminal device or a network device.17.A terminal device (110-1, 110-2, …, 110-N, 900) , comprising:a processor (905) ; anda memory (910) , the memory (910) containing instructions executable by the processor (905) , whereby the terminal device (110-1, 110-2, …, 110-N, 900) is operative to:transmit, to a location management function (LMF) , inferred measurement information output by an artificial intelligence / machine learning (AI / ML) model or functionality for assisted positioning of a terminal device; andreceive, from the LMF, model performance information indicating at least one positioning performance metric of the AI / ML model or functionality.18.A location management function (LMF) (130, 900) , comprising:a processor (905) ; anda memory (910) , the memory (910) containing instructions executable by the processor (905) , whereby the LMF (130, 900) is operative to:receive, from a communication device, inferred measurement information output by an artificial intelligence / machine learning (AI / ML) model or functionality for assisted positioning of a terminal device;determine at least one positioning performance metric of the AI / ML model or functionality based at least in part on the inferred measurement information; andtransmit, to the communication device, model performance information indicating the at least one positioning performance metric of the AI / ML model or functionality.19.A computer-readable storage medium (1000) having instructions (915) stored thereon, the instructions (915) , which, when executed by at least one processor of a device, causes the device to perform the method (700) according to any of claims 1 to 8, the method (800) according to any of claims 9 to 16.

Images