Devices, methods, and medium for communication

Abstract

Example embodiments of the present disclosure relate to devices, methods, and computer storage medium for communication. n the solution, a terminal device determines a monitoring decision based on a first performance monitoring for a positioning model, where the monitoring decision indicates that the positioning model is not applicable for model inference. The location server can request and obtain detailed information about a first performance monitoring that is made at the terminal device. As such, the location server is aware of the reliability of the positioning model and thus can perform a functionality management for the model performance monitoring.

Description

DEVICES, METHODS, AND MEDIUM FOR COMMUNICATIONFIELD

[0001] Example embodiments of the present disclosure generally relate to the field of communication techniques and in particular, to devices, methods, and a computer readable medium for communication.BACKGROUND

[0002] Supporting various positioning methods to provide reliable, timely, and accurate user equipment (UE) location is one of key features of the third generation partnership project (3GPP) standard. It has been agreed to investigate the potential for artificial intelligence (AI)  / machine learning (ML) in air interface to improve comprehensive performance in 5G-adcanced (5G-A) . AI / ML based mechanism to improve the positioning accuracy is one of the use cases to apply AI / ML in air interface.

[0003] Model performance monitoring may be performed for determining whether the trained model is appropriate for model inference. However, due to the ground truth is difficult to be obtained, details of label free monitoring should be studied.SUMMARY

[0004] In general, example embodiments of the present disclosure provide devices, methods, and a computer storage medium for communication.

[0005] In a first aspect, there is provided a terminal device. The terminal device comprises at least one processor configured to cause the terminal device at least to: perform a first performance monitoring for a positioning model to determine a monitoring decision, wherein the monitoring decision indicates that the positioning model is not applicable for model inference, and the positioning model is deployed at the terminal device, wherein the first performance monitoring is a first kind of monitoring without a ground truth label; transmit, to a location server, a first message comprising an indication of the positioning model being not applicable for model inference; receive, from the location server, a second message comprising a request for information of the first performance monitoring; and transmit, to the location server, a third message comprising the information of the first performance monitoring based on the second message.

[0006] In a second aspect, there is provided a location server. The location server comprises at least one processor configured to cause the location server at least to: receive, from a terminal device, a first message comprising an indication of a positioning model being not applicable for model inference, wherein the indication is based on a monitoring decision of a first performance monitoring for the positioning model, and the positioning model is deployed at the terminal device, wherein the first performance monitoring is a first kind of monitoring without a ground truth label; transmit, to the terminal device, a second message comprising a request for information of the first performance monitoring; and receive, from a terminal device, a third message comprising the information of the first performance monitoring.

[0007] In a third aspect, there is provided a terminal device. The terminal device comprises at least one processor configured to cause the terminal device at least to: perform a first performance monitoring for a positioning model to determine a monitoring decision, wherein the monitoring decision indicates that the positioning model is not applicable for model inference, and the positioning model is deployed at the terminal device, wherein the first performance monitoring is a first kind of monitoring without a ground truth label; transmit, to a location server, a first message comprising an indication of the positioning model being not applicable for model inference; receive, from the location server, a second message comprising an indication for triggering a second performance monitoring procedure and a request for a metric of the second performance monitoring procedure; perform the second performance monitoring procedure based on the second message; and transmit, to the location server, a third message comprising the metric of the second performance monitoring procedure.

[0008] In a fourth aspect, there is provided a location server. The location server comprises at least one processor configured to cause the location server at least to: receive, from a terminal device, a first message comprising an indication of a positioning model being not applicable for model inference, wherein the indication is based on a monitoring decision of a first performance monitoring for the positioning model, the positioning model is deployed at the terminal device, wherein the first performance monitoring is a first kind of monitoring without a ground truth label; transmit, to the terminal device, a second message comprising an indication for triggering a second performance monitoring procedure and a request for a metric of the second performance monitoring procedure; and receive, from the terminal device, a third message comprising the metric of the second performance monitoring procedure.

[0009] In a fifth aspect, there is provided a method of communication performed by a terminal device. The method comprises: performing a first performance monitoring for a positioning model to determine a monitoring decision, wherein the monitoring decision indicates that the positioning model is not applicable for model inference, and the positioning model is deployed at the terminal device, wherein the first performance monitoring is a first kind of monitoring without a ground truth label; transmitting, to a location server, a first message comprising an indication of the positioning model being not applicable for model inference; receiving, from the location server, a second message comprising a request for information of the first performance monitoring; and transmitting, to the location server, a third message comprising the information of the first performance monitoring based on the second message.

[0010] In a sixth aspect, there is provided a method of communication performed by a location server. The method comprises: receiving, from a terminal device, a first message comprising an indication of a positioning model being not applicable for model inference, wherein the indication is based on a monitoring decision of a first performance monitoring for the positioning model, and the positioning model is deployed at the terminal device, wherein the first performance monitoring is a first kind of monitoring without a ground truth label; transmitting, to the terminal device, a second message comprising a request for information of the first performance monitoring; and receiving, from a terminal device, a third message comprising the information of the first performance monitoring.

[0011] In a seventh aspect, there is provided a method of communication performed by a terminal device. The method comprises: performing a first performance monitoring for a positioning model to determine a monitoring decision, wherein the monitoring decision indicates that the positioning model is not applicable for model inference, and the positioning model is deployed at the terminal device, wherein the first performance monitoring is a first kind of monitoring without a ground truth label; transmitting, to a location server, a first message comprising an indication of the positioning model being not applicable for model inference; receiving, from the location server, a second message comprising an indication for triggering a second performance monitoring procedure and a request for a metric of the second performance monitoring procedure; performing the second performance monitoring procedure based on the second message; and transmitting, to the location server, a third message comprising the metric of the second performance monitoring procedure.

[0012] In an eighth aspect, there is provided a method of communication performed by a location server. The method comprises: receiving, from a terminal device, a first message comprising an indication of a positioning model being not applicable for model inference, wherein the indication is based on a monitoring decision of a first performance monitoring for the positioning model, the positioning model is deployed at the terminal device, wherein the first performance monitoring is a first kind of monitoring without a ground truth label; transmitting, to the terminal device, a second message comprising an indication for triggering a second performance monitoring procedure and a request for a metric of the second performance monitoring procedure; and receiving, from the terminal device, a third message comprising the metric of the second performance monitoring procedure.

[0013] In a ninth aspect, there is provided a computer readable medium having instructions stored thereon, the instructions, when executed on at least one processor, cause the at least one processor to carry out the method according to any one of the fifth to eighth aspects above.

[0014] It is to be understood that the summary section is not intended to identify key or essential features of embodiments of the present disclosure, nor is it intended to be used to limit the scope of the present disclosure. Other features of the present disclosure will become easily comprehensible through the following description.BRIEF DESCRIPTION OF THE DRAWINGS

[0015] Through the more detailed description of some example embodiments of the present disclosure in the accompanying drawings, the above and other objects, features and advantages of the present disclosure will become more apparent, wherein:

[0016] FIG. 1A an example communication network in which some embodiments of the present disclosure can be implemented;

[0017] FIGS. 1B-1E illustrate some example schematics for AI / ML based positioning;

[0018] FIG. 2 illustrates a signalling chart illustrating a communication process in accordance with some example embodiments of the present disclosure;

[0019] FIGS. 3A-3E illustrate some examples of a time duration in accordance with some example embodiments of the present disclosure;

[0020] FIG. 4 illustrates a signalling chart illustrating a communication process in accordance with some example embodiments of the present disclosure;

[0021] FIGS. 5A-5C illustrate some examples for determining a metric in accordance with some example embodiments of the present disclosure;

[0022] FIG. 6 illustrates a flowchart of an example method implemented at a terminal device in accordance with some embodiments of the present disclosure;

[0023] FIG. 7 illustrates a flowchart of an example method implemented at a location server in accordance with some embodiments of the present disclosure;

[0024] FIG. 8 illustrates a flowchart of an example method implemented at a terminal device in accordance with some embodiments of the present disclosure;

[0025] FIG. 9 illustrates a flowchart of an example method implemented at a location server in accordance with some embodiments of the present disclosure; and

[0026] FIG. 10 illustrates a simplified block diagram of a device that is suitable for implementing embodiments of the present disclosure.

[0027] Throughout the drawings, the same or similar reference numerals represent the same or similar element.DETAILED DESCRIPTION

[0028] Principle of the present disclosure will now be described with reference to some example embodiments. It is to be understood that these embodiments are described only for the purpose of illustration and help those skilled in the art to understand and implement the present disclosure, without suggesting any limitation as to the scope of the disclosure. Embodiments described herein can be implemented in various manners other than the ones described below.

[0029] In the following description and claims, unless defined otherwise, all technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skills in the art to which this disclosure belongs.

[0030] References in the present disclosure to “one embodiment, ” “an embodiment, ” “an example embodiment, ” and the like indicate that the embodiment described may include a particular feature, structure, or characteristic, but it is not necessary that every embodiment includes the particular feature, structure, or characteristic. Moreover, such phrases are not necessarily referring to the same embodiment. Further, when a particular feature, structure, or characteristic is described in connection with an embodiment, it is submitted that it is within the knowledge of one skilled in the art to affect such feature, structure, or characteristic in connection with other embodiments whether or not explicitly described.

[0031] It shall be understood that although the terms “first” and “second” etc. may be used herein to describe various elements, these elements should not be limited by these terms. These terms are only used to distinguish one element from another. For example, a first element could be termed a second element, and similarly, a second element could be termed a first element, without departing from the scope of example embodiments. As used herein, the term “and / or” includes any and all combinations of one or more of the listed terms.

[0032] The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of example embodiments. As used herein, the singular forms “a” , “an” and “the” are intended to include the plural forms as well, unless the context clearly indicates otherwise. It will be further understood that the terms “comprises” , “comprising” , “has” , “having” , “includes” and / or “including” , when used herein, specify the presence of stated features, elements, and / or components etc., but do not preclude the presence or addition of one or more other features, elements, components and / or combinations thereof.

[0033] In some examples, values, procedures, or apparatus are referred to as “best, ” “lowest, ” “highest, ” “minimum, ” “maximum, ” or the like. It will be appreciated that such descriptions are intended to indicate that a selection among many used functional alternatives can be made, and such selections need not be better, smaller, higher, or otherwise preferable to other selections.

[0034] As used herein, the term “communication network” refers to a network following any suitable communication standards or technologies, such as New Radio (NR) , Long Term Evolution (LTE) , LTE-Advanced (LTE-A) , Code Divided Multiple Address (CDMA) , Frequency Divided Multiple Address (FDMA) , Time Divided Multiple Address (TDMA) , Frequency Divided Duplexer (FDD) , Time Divided Duplexer (TDD) , Multiple-Input Multiple-Output (MIMO) , Orthogonal Frequency Divided Multiple Access (OFDMA) , cdma2000, Wideband Code Division Multiple Access (WCDMA) , High-Speed Packet Access (HSPA) , Global System for Mobile Communications (GSM) , Narrow Band Internet of Things (NB-IoT) and so on. Furthermore, the communications between a terminal device and a network device in the communication network may be performed according to any suitable generation communication protocols, including, but not limited to, the first generation (1G) , the second generation (2G) , 2.5G, 2.75G, the third generation (3G) , the fourth generation (4G) , 4.5G, the fifth generation (5G) , 5.5G, 5G-Advanced networks, beyond 5G (B5G) , the sixth generation (6G) communication protocols, wireless local network communication protocols such as Institute for Electrical and Electronics Engineers (IEEE) 802.11 and the like, and / or any other protocols either currently known or to be developed in the future. The techniques described herein may be used for the wireless networks and radio technologies mentioned above as well as other wireless networks and radio technologies. Embodiments of the present disclosure may be applied in various communication systems. Given the rapid development in communications, there will of course also be future type communication technologies and systems with which the present disclosure may be embodied. It should not be seen as limiting the scope of the present disclosure to only the aforementioned system.

[0035] As used herein, the term “terminal device” refers to any device having wireless or wired communication capabilities. Examples of terminal device include, but not limited to, user equipment (UE) , personal computers, desktops, mobile phones, cellular phones, smart phones, personal digital assistants (PDAs) , portable computers, tablets, wearable devices, internet of things (IoT) devices, Ultra-reliable and Low Latency Communications (URLLC) devices, Internet of Everything (IoE) devices, machine type communication (MTC) devices, device on vehicle for V2X communication where X means pedestrian, vehicle, or infrastructure / network, devices for Integrated Access and Backhaul (IAB) , Space borne vehicles or Air borne vehicles in Non-terrestrial networks (NTN) including Satellites and High Altitude Platforms (HAPs) encompassing Unmanned Aircraft Systems (UAS) , eXtended Reality (XR) devices including different types of realities such as Augmented Reality (AR) , Mixed Reality (MR) and Virtual Reality (VR) , the unmanned aerial vehicle (UAV) commonly known as a drone which is an aircraft without any human pilot, devices on high speed train (HST) , or image capture devices such as digital cameras, sensors, gaming devices, music storage and playback appliances, or Internet appliances enabling wireless or wired Internet access and browsing and the like. The ‘terminal device’ can further has ‘multicast / broadcast’ feature, to support public safety and mission critical, V2X applications, transparent IPv4 / IPv6 multicast delivery, IPTV, smart TV, radio services, software delivery over wireless, group communications and IoT applications. It may also be incorporated one or multiple Subscriber Identity Module (SIM) as known as Multi-SIM. The term “terminal device” can be used interchangeably with a UE, a mobile station, a subscriber station, a mobile terminal, a user terminal or a wireless device. The term “target UE” refer to a UE whose distance, direction and / or position is measured.

[0036] As used herein, the term “network device” refers to a device which is capable of providing or hosting a cell or coverage where terminal devices can communicate. Examples of a network device include, but not limited to, a satellite, an unmanned aerial systems (UAS) platform, a Node B (NodeB or NB) , an evolved NodeB (eNodeB or eNB) , a next generation NodeB (gNB) , a transmission reception point (TRP) , a remote radio unit (RRU) , a radio head (RH) , a remote radio head (RRH) , an IAB node, a low power node such as a femto node, a pico node, a reconfigurable intelligent surface (RIS) , and the like.

[0037] As used herein, the term “TRP” may refer to an antenna port or an antenna array (with one or more antenna elements) available to the network device located at a specific geographical location, or a set of geographically co-located antennas (e.g. antenna array (with one or more antenna elements) ) supporting transmission point (TP) and / or reception point (RP) functionality. For example, a network device may be coupled with multiple TRPs in different geographical locations to achieve better coverage. Alternatively, or in addition, multiple TRPs may be incorporated into a network device, or in other words, the network device may comprise the multiple TRPs. The term “TRP” may be also referred to as a cell, such as a macro-cell, a micro-cell, a small cell, a pico-cell, a femto-cell, a remote radio head, a relay node, a gNB, etc. It is to be understood that the term “TRP” may refer to a logical concept which may be physically implemented by various manners. There may be an explicit TRP identification for a TRP.

[0038] As used herein, the term “location device” or “location server” refers to a device which is capable to manage the support of different location services for target UEs, including positioning of UEs and delivery of assistance data to UEs. The location device may interact with the serving gNB or serving ng-eNB for a target UE in order to obtain position measurements for the UE, including uplink measurements made by an NG-RAN and downlink measurements made by the UE that were provided to an NG-RAN as part of other functions such as for support of handover. Examples of a location device include, but not limited to, Location Management Function (LMF) , which is located in the access network or in a core network.

[0039] In one embodiment, the terminal device may be connected with a first network device and a second network device. One of the first network device and the second network device may be a master node (MN) and the other one may be a secondary node (SN) . The first network device and the second network device may use different radio access technologies (RATs) . In one embodiment, the first network device may be a first RAT device and the second network device may be a second RAT device. In one embodiment, the first RAT device is eNB and the second RAT device is gNB. Information related with different RATs may be transmitted to the terminal device from at least one of the first network device and the second network device. In one embodiment, first information may be transmitted to the terminal device from the first network device and second information may be transmitted to the terminal device from the second network device directly or via the first network device. In one embodiment, information related with configuration for the terminal device configured by the second network device may be transmitted from the second network device via the first network device. Information related with reconfiguration for the terminal device configured by the second network device may be transmitted to the terminal device from the second network device directly or via the first network device.

[0040] The terminal device or the network device may have Artificial intelligence (AI) or machine learning capability. It generally includes a model which has been trained from numerous collected data for a specific function, and can be used to predict some information.

[0041] The terminal device or the network device may work on several frequency ranges, e.g. frequency range 1 (FR1) (410 MHz –7125 MHz) , frequency range 2 (FR2) (24.25GHz to 71GHz) , frequency band larger than 100GHz as well as Tera Hertz (THz) . It can further work on licensed / unlicensed / shared spectrum. The terminal device may have more than one connection with the network device under Multi-Radio Dual Connectivity (MR-DC) application scenario. The terminal device or the network device can work on full duplex, flexible duplex and cross division duplex modes.

[0042] The embodiments of the present disclosure may be performed in test equipment, e.g., signal generator, signal analyzer, spectrum analyzer, network analyzer, test terminal device, test network device, or channel emulator.

[0043] The embodiments of the present disclosure may be performed according to any generation communication protocols either currently known or to be developed in the future. Examples of the communication protocols include, but not limited to, the 1G, 2G, 2.5G, 2.75G, 3G, 4G, 4.5G, 5G, 5.5G, 5G-Advanced networks, or 6G networks.

[0044] The term “circuitry” used herein may refer to hardware circuits and / or combinations of hardware circuits and software. For example, the circuitry may be a combination of analog and / or digital hardware circuits with software / firmware. As a further example, the circuitry may be any portions of hardware processors with software including digital signal processor (s) , software, and memory (ies) that work together to cause an apparatus, such as a terminal device or a network device, to perform various functions. In a still further example, the circuitry may be hardware circuits and or processors, such as a microprocessor or a portion of a microprocessor, that requires software / firmware for operation, but the software may not be present when it is not needed for operation. As used herein, the term circuitry also covers an implementation of merely a hardware circuit or processor (s) or a portion of a hardware circuit or processor (s) and its (or their) accompanying software and / or firmware.

[0045] As used herein, the singular forms “a” , “an” and “the” are intended to include the plural forms as well, unless the context clearly indicates otherwise. The term “includes” and its variants are to be read as open terms that mean “includes, but is not limited to. ” The term “based on” is to be read as “based at least in part on. ” The term “one embodiment” and “an embodiment” are to be read as “at least one embodiment. ” The term “another embodiment” is to be read as “at least one other embodiment. ” The terms “first, ” “second, ” and the like may refer to different or same objects. Other definitions, explicit and implicit, may be included below.

[0046] In some examples, values, procedures, or apparatus are referred to as “best, ” “lowest, ” “highest, ” “minimum, ” “maximum, ” or the like. It will be appreciated that such descriptions are intended to indicate that a selection among many used functional alternatives can be made, and such selections need not be better, smaller, higher, or otherwise preferable to other selections.

[0047] The terminal device or the network device may have AI or ML capability. It generally includes a model which has been trained from numerous collected data for a specific function, and can be used to predict some information.

[0048] As used herein, a model may be equivalent to at least one of the following: an AI / ML model, an ML model, an AI model, a data-driven, a data processing model, an algorithm, a functionality, a procedure, a method, a process, an entity, a function, a feature, a feature group, a model identifier (ID) , an ID, a functionality ID, a configuration ID, a scenario ID, a site ID, an area ID, an associated ID, or a dataset ID. As a result, the above terms may be used interchangeably. An “ID” may refer to an identifier, an identity, an identification, etc.

[0049] In some embodiments, the model may be represented by or associated with a channel, a resource, a resource set, a reference signal (RS) resource, an RS resource set, an RS port, a set of RS ports, an RS port ID, or a set of RS port IDs.

[0050] In some embodiments, the model may comprise a set of weights values that may be learned during training, e.g., for a specific architecture or configuration, where a set of weights values may also be called a parameter set.

[0051] In some embodiments, the model may be used to predict a target cell, or measurements of a set of beams of a set of candidate cells in future based on at least historical measurements (e.g., layer 1 (L1) -reference signal received power (RSRP) , L1-signal to interference plus noise ratio (SINR) ) of a set of beams of a set of candidate cells.

[0052] In some embodiments, an input of the AI / ML model (i.e., AI input) may refer to the input of a model and indicate data inputted into the model, which may be equivalent to data.

[0053] In some embodiments, an output of AI / ML model (i.e., AI output) may refers to the output of a model and indicate result (s) outputted by the model, which is equivalent to label / data.

[0054] In some embodiments, “ground truth” , “ground truth label” , “ground truth label of data” , “input label” , “input data” , “label” and “data” can be used interchangeably.

[0055] In some embodiments, “UE” , “terminal device” , “target UE” , “UE deployed with AI / ML model” , and “UE with UE-side model” can be used interchangeably.

[0056] In some embodiments, a ground truth label of data (or ground-truth label) for monitoring or training the ML model (i.e., AI output) may refers to the authoritative, accepted data, or true answer or outcome for AI / ML model.

[0057] In some embodiments, the ground truth can be interpreted as actual / factual (i.e. actual / factual measured) data / values / results / collections / parameters, which can be used as reference, compared to prediction or inference.

[0058] In some embodiments, the positioning reference unit (PRU) is a normal terminal device with known location at some network device (e.g., a location server or gNB) and can report their measurements to a location server.

[0059] AI / ML techniques play a significant role in enhancing the accuracy and reliability of positioning, which is particularly useful in indoor environments where global position system (GPS) signals might be weak or unavailable.

[0060] An AI / ML model may be deployed at a terminal device (such as a UE) , a network device (such as one or more gNBs or TRPs) , or a core network entity (such as a location management function (LMF) ) . The AI / ML model may be used for positioning, e.g. determining a positon (or location) of a UE. Some cases (case 1, case 2b, and case 3b below) are discussed as direct AI / ML positioning, and some other cases (case 2a, and case 3a below) are discussed as AI / ML assisted positioning: · Case 1: UE-based positioning with UE-side model, direct AI / ML positioning. · Case 2b: UE-assisted / LMF-based positioning with LMF-side model, direct AI / ML  positioning. · Case 3b: NG-RAN node assisted positioning with LMF-side model, direct AI / ML  positioning. · Case 2a: UE-assisted / LMF-based positioning with UE-side model, AI / ML  assisted positioning. · Case 3a: NG-RAN node assisted positioning with gNB-side model, AI / ML  assisted positioning.

[0061] An enhancement for AI / ML based positioning accuracy has been agreed as a work item (WI) in release 19. An AI / ML model can be deployed at UE side, gNB side, or LMF side. A model input may be integrated information of timing, power and phase, such as delay of path (DP) , power delay profile (PDP) , or channel impulse response (CIR) . A model output may be a UE location (i.e., direct AI / ML positioning) or an intermediate measurement (i.e., AI / ML assisted positioning) .

[0062] For an AI / ML assisted positioning, the candidate output may include a line of sight (LOS)  / non-line of sight (NLOS) indicator, angle information, or timing information like reference signal time difference (RSTD) , downlink reference signal time of arrival (DL-RTOA) , or UE Rx-Tx time difference for DL positioning, or uplink reference signal time of arrival (UL-RTOA) or gNB Rx-Tx time difference for UL positioning.

[0063] Model performance monitoring is important for checking whether the model is appropriate for inference. A general way for performing model performance monitoring is comparing the model output and the ground truth, where the positive performance of the model is based on assumption that the model output is not deviated against the ground truth significantly. However, the ground truth label is difficult to be obtained especially after the model for positioning is activated. In this event, model monitoring without ground truth label (label-free monitoring) , e.g., statistics of measurement (s) compared to the statistics associated with the training data, or statistics of model output compared to the statistics associated with the training data and / or its own previous inference output, should be also studied, which can be regarded as a supplementary way in addition to monitoring without label (label-based monitoring) , e.g., estimated UE location corresponding to model output for direct AI / ML positioning, estimated intermediate parameter (s) corresponding to model output for AI / ML assisted positioning, ground-truth label corresponding to model inference output for both direct and AI / ML assisted positioning. It is agreed that for UE-sided mode, for the functionality management, the “network decision, network-initiated” AI / ML management is supported as a baseline. In addition, “UE autonomous, decision reported to the network” , “network decision, UE-initiated” may also be considered.

[0064] It is proposed for AI / ML positioning cases, label-free monitoring methods are supported, where the model inference entity performs self-monitoring without external information on the ground truth label. For case 1, the UE can send the monitoring decision to LMF, at least when the monitoring decision indicates that the model becomes inappropriate for inference.

[0065] Embodiments of the present disclosure provide a solution of communication. In the solution, a terminal device determines a monitoring decision based on a first performance monitoring for a positioning model, where the monitoring decision indicates that the positioning model is not applicable for model inference. The location server can request and obtain detailed information about a first performance monitoring that is made at the terminal device. As such, the location server is aware of the reliability of the positioning model and thus can perform a functionality management for the model performance monitoring. Principles and implementations of the present disclosure will be described in detail below with reference to the figures.

[0066] FIG. 1A illustrates an example communication network 100 in which some embodiments of the present disclosure can be implemented. The communication network 100 may also be called as a network environment, a network system, a communication environment, a communication system, or the like, the present disclosure does not limit for this aspect. The communication network 100 includes a terminal device 110, multiple network devices 120-1 to 120-N, and a location server 130. For example, the location server 130 may be an LMF 130.

[0067] In the present disclosure, there may be at least one positioning model deployed at the terminal device 110, for example, the terminal device 110 may also be referred to as a target terminal device or a target UE or a target device.

[0068] The multiple network devices 120-1 to 120-N (N is a positive integer, e.g. N≥3) may be separately or collectively be referred to as a network device 120, which may be a gNB or a TRP. For example, N may equal to 18 or another integer.

[0069] In some examples, one of the network devices 120-1 to 120-N may be a serving network device (e.g., a serving gNB) of the terminal device 110, which can control and manage other network devices 120 (e.g., one or more TRPs) . In some other examples, there may be an independent serving gNB of the terminal device 110 which is different from any of the multiple TRPs.

[0070] In the communication network 100, the network device 120 can communicate / transmit data and control information to the terminal device 110, and the terminal device 110 can also communicate / transmit data and control information to the network device 120. A link from the network device 120 to the terminal device 110 is referred to as a DL, while a link from the terminal device 110 to the network device 120 is referred to as a UL. DL may comprise one or more logical channels, including but not limited to a Physical Downlink Control Channel (PDCCH) and a Physical Downlink Shared Channel (PDSCH) . UL may comprise one or more logical channels, including but not limited to a Physical Uplink Control Channel (PUCCH) and a Physical Uplink Shared Channel (PUSCH) . As used herein, the term “channel” may refer to a carrier or a part of a carrier consisting of a contiguous set of resource blocks (RBs) on which a channel access procedure is performed in shared spectrum.

[0071] In the communication network 100, the terminal device 110 can communicate with the LMF 130 according to any proper communication protocol, such as an LTE positioning protocol (LPP) . In the communication network 100, the network device 120 can communicate with the LMF 130 according to any proper communication protocol, such as an NR positioning protocol A (NRPPa) . It is to be understood that other protocol may also be applied and will not be listed herein.

[0072] Embodiments of the present disclosure can be applied to any suitable scenarios. For example, embodiments of the present disclosure can be implemented at reduced capability NR devices. Alternatively, embodiments of the present disclosure can be implemented in one of the followings: NR multiple-input and multiple-output (MIMO) , NR sidelink enhancements, NR systems with frequency above 52.6GHz, an extending NR operation up to 71GHz, narrow band-Internet of Thing (NB-IOT)  / enhanced Machine Type Communication (eMTC) over non-terrestrial networks (NTN) , NTN, UE power saving enhancements, NR coverage enhancement, NB-IoT and LTE-MTC, Integrated Access and Backhaul (IAB) , NR Multicast and Broadcast Services, or enhancements on Multi-Radio Dual-Connectivity.

[0073] It is to be understood that the numbers of devices (i.e., the terminal devices 110 and the network device 120) and their connection relationships and types shown in FIG. 1A are only for the purpose of illustration without suggesting any limitation. The communication network 100 may include any suitable numbers of devices adapted for implementing embodiments of the present disclosure. The communication network 100 may include one or more entities which are not shown in FIG. 1A. For example, the communication network 100 may further include a PRU 140 at a known location, which can perform positioning measurements and report these measurements to a location server such as the LMF 130. In some implementations, the PRU 140 can communicate with the LMF 130 in a manner similar as that of the terminal device 110 and the LMF 130, e.g., according to any proper communication protocol, such as LPP. It is to be noted that the PRU may be with a different name, such as a positioning-assisted-UE, and the present disclosure does not limit for this aspect.

[0074] It is to be understood that although the terminal device 110 and the PRU 140 is illustrated as a mobile phone in FIG. 1A, the type of the terminal device 110 or the PRU 140 can be another type and the present disclosure does not limit for this aspect.

[0075] For AI / ML-assisted positioning, a “single-TRP construction” and a “multi-TRP construction” are being discussed. Single-TRP construction: the input of the ML model is the channel measurement between the target UE and a single TRP, and the output of the ML model is for the same pair of UE and TRP, which is shown in FIG. 1D and FIG. 1E. Multi-TRP construction: the input of the ML model contains N sets of channel measurements between the target UE and N (N>1) TRPs, and the output of the ML model contains is the UE location or N sets of values, one for each of the N TRPs, which is shown in FIG. 1B and FIG. 1C.

[0076] In some cases, three constructions may be evaluated for the AI / ML assisted positioning: Single-TRP, same model for N TRPs; Single-TRP, N models for N TRPs; and Multi-TRP (i.e., one model for N TRPs) .

[0077] In some cases, there may be N TRPs (TRP 0, TRP 1, …, TRP (N-1) ) used for AI / ML based positioning, and direct AI / ML positioning (FIG. 1B) and AI / ML assisted positioning (FIGS. 1C-1E) may be evaluated. FIG. 1B illustrates an example schematic of direct AI / ML positioning with an output is the UE location. FIG. 1C illustrates an example schematic of AI / ML assisted positioning with multi-TRP construction for model input, FIG. 1D illustrates an example schematic of AI / ML assisted positioning with single-TRP construction for model input and one same model for N TRPs, and FIG. 1E illustrates an example schematic of AI / ML assisted positioning with single-TRP construction and N different models for N TRPs.

[0078] As shown in FIGS. 1C-1E, the AI / ML assisted positioning can be applied using input data (such as CIR, PDP, or DP) associated with one single TRP or multiple TRPs. For the former scenario, N models with different parameters or a single model may be deployed to estimate time information (e.g., time of arrival (TOA) ) for N TRPs, which may be regarded as a distributed model on each TRP. In the latter scenario, a single comprehensive model (i.e. a centralized model) utilizes the data from multiple TRPs as the input and produces the multiple TOAs corresponding to the multiple TRPs.

[0079] In the present disclosure, “AI / ML model” is a data driven algorithm that applies AI / ML techniques to generate a set of outputs based on a set of inputs; “data collection” is a process of collecting data by the network nodes, management entity, or UE for the purpose of AI / ML model training, data analytics and inference; “model training” is a process to train an AI / ML Model by learning the input / output relationship in a data driven manner and obtain the trained AI / ML Model for inference; “model inference” is a process of using a trained AI / ML model to produce a set of outputs based on a set of inputs; and “UE side model” means an AI / ML model whose inference is performed entirely at the UE.

[0080] In the present disclosure, “model performance monitoring” may refer a procedure that monitors an inference performance of an AI / ML model. For example, the model performance monitoring may be used for determining an effectiveness or a performance of a trained positioning model, so as to determine whether the trained positioning model is ready for model inference. The model performance monitoring may be used interchangeably with model monitoring, performance monitoring, monitoring, model performance detection, or the like, and the present disclosure does not limit for this aspect. In the present disclosure, a first type of monitoring may refer to a performance monitoring without a ground truth label, which may also be called as a label-free performance monitoring or the like. A second type of monitoring may refer to a performance monitoring with a ground truth label, which may also be called as a label-based performance monitoring.

[0081] Reference is now made to FIG. 2, which illustrates a signalling chart illustrating communication process 200 in accordance with some example embodiments of the present disclosure. The process 200 may involve a terminal device 110 and a location server 130 as shown in FIG. 1A. It is to be understood that the process 200 may also be applied to another scenario different from that shown in FIG. 1A, the present disclosure does not limit this aspect.

[0082] The terminal device 110 is deployed with an AI / ML positioning model, for example, the positioning model has been trained based on a training dataset.

[0083] In the process 200, the terminal device 110 perform a first performance monitoring for a positioning model to determine a monitoring decision at 210. In some embodiments, the monitoring decision indicates that the positioning model is not applicable for model inference. For example, the terminal device 110 may determine the monitoring decision based on a result of the first performance monitoring. In some embodiments, the first performance monitoring is a first kind of monitoring without a ground truth label, for example, the first performance monitoring may be a label-free monitoring.

[0084] In some embodiments, the model output of the positioning model may be one of: a UE location, a LOS / NLOS indicator, a timing measurement, or an angle measurement. In some embodiments, the monitoring decision may indicate that the model output is not reliable. For example, the positioning model should be deactivated (or switched, updated, retained from, etc. ) . For example, a quality of the positioning model is lower than a threshold.

[0085] In the process 200, the terminal device 110 transmits, and the location server 130 receives, a first message which includes an indication of the positioning model being not applicable for model inference at 220. In some embodiments, the first message may be reported by the terminal device 110 via an LPP message to the LMF.

[0086] In the process 200, the location server 130 transmits, and the terminal device 110 receives, a second message which includes a request for information of the first performance monitoring at 230. In some embodiments, upon receiving the first message from the terminal device 110, the location server 130 may know that the positioning model deployed at the terminal device 110 is inapplicable or inappropriate for inference, and then the location server 130 may require more information about the first performance monitoring by sending the second message. For example, the second message may be used to request detail information about the result of the first performance monitoring. In some examples, the second message may be transmitted via an LPP message, such as an LPP Provide Assistance Data message or other message.

[0087] In some embodiments, the second message may request information that includes a type of the first performance monitoring, e.g., a type of the label-free monitoring. In some examples, the type of the first performance monitoring may indicate one of the following: - monitoring based on input data, wherein the input data is generated based on at  least one measurement, - monitoring based on statistics of the at least one measurement compared to  statistics associated with training data, - monitoring based on the statistics of the at least one measurement compared to  statistics associated with one or more previous measurements for generating the input data, - monitoring based on a detected drift of the at least one measurement comparing  with several previous measurements, - monitoring based on output data, - monitoring based on statistics of the output data compared to statistics associated  with training data, - monitoring based on the statistics of the output data compared to statistics  associated with a previous inference output, - monitoring based on statistics of the output data compared to statistics associated  with the training data and the previous inference output, or - monitoring based on a detected drift of model inference result comparing with  several previous output data.

[0088] For example, the first performance monitoring may be based on input data. For example, the first performance monitoring may be based on the statistics of measurement (s) compared to the statistics associated with the training data. For example, the first performance monitoring may be based on the statistics of measurement (s) compared to the statistics associated with its own previous measurements for generating the input data. For example, the first performance monitoring may be based on the detected drift of measurement comparing with several previous measurements.

[0089] For example, the first performance monitoring may be based on output data. For example, the first performance monitoring may be based on the statistics of model output compared to the statistics associated with the training data and / or its own previous inference output. For example, the first performance monitoring may be based on the detected drift of model inference result comparing with several times previous model output.

[0090] For example, the first performance monitoring may be based on other predefined methods.

[0091] In some embodiments, the second message may request information that includes a time duration for determining the monitoring decision. In some examples, the time duration is indicated by one of the following: - a plurality of timings for generating consecutive measurements for determining  input data, - a plurality of timings for generating continuous model inference results, - a plurality of specific timings for generating measurements associated with a  plurality of specific positioning reference signals (PRS) which are selected by the terminal device or indicated by the location server, - a plurality of specific timings for generating model inference results which are  selected by the terminal device or indicated by the location server, or - a time window indicated by a start time and a length.

[0092] For example, the time duration may be called as a monitoring window or an observation duration for obtaining the monitoring decision. For example, the monitoring decision is obtained within the monitoring window.

[0093] FIG. 3A illustrates an example of a time duration 310. As illustrated, several consecutive measurements may be made within the observation time window. For example, the observation time window is a time duration for generating 3 consecutive measurements based on 3 consecutive PRS transmissions 311-313. For example, the monitoring decision of the first performance monitoring may be determined from the 3 consecutive measurements which are generated within the observation time window.

[0094] FIG. 3B illustrates an example of a time duration 320. As illustrated, several continuous model inference results may be obtained within the observation time window. For example, the observation time window is a time duration for performing two continuous model inferences 321 and 322. For example, the monitoring decision of the first performance monitoring may be determined from two continuous model inference results of the two continuous model inferences 321 and 322.

[0095] FIG. 3C illustrates an example of a time duration 330. As illustrated, the time duration 330 may be indicated by a starting time 331 and a length (or duration) 332. For example, the monitoring decision of the first performance monitoring may be determined from measurements and / or inference results that are generated within the time duration 330.

[0096] FIG. 3D illustrates an example of a time duration 340. As illustrated, the time duration 340 may be associated with several specific measurements (or PRS transmissions) which may not consecutive. In some instances, the several specific measurements (or PRS transmissions) may be determined by the terminal device 110 based on UE implementations, or may be indicated by the location server 130 (e.g., in assistance data) . For example, three specific continuous or discontinuous PRS transmissions 341-343 are specified. For example, the monitoring decision of the first performance monitoring may be determined from measurements on the three specific PRS transmissions 341-343.

[0097] FIG. 3E illustrates an example of a time duration 350. As illustrated, the time duration 350 may be associated with several specific inference results (or model inferences) which may not consecutive. In some instances, the several specific inference results (or model inferences) may be selected by the terminal device 110 based on UE implementations, or may be indicated by the location server 130 (e.g., in assistance data) . For example, two specific continuous or discontinuous inferences 351 and 352 are specified. For example, the monitoring decision of the first performance monitoring may be determined from the two specific inferences 351 and 352.

[0098] Alternatively, the second message may include a statistic of a model input of training data, and / or a statistic of a model output of training data, which may be used by the terminal device 110 to obtain detailed information that requested by the location server 130.

[0099] For example, the statistic of model input of training data for training this being monitored model may be provided, which may include some or all of the following: norm of input data, mean, min / max of some statistics related to measurement and / or model input, median or data temporal / spatial distribution, e.g., if the terminal device 110 is unaware of the model input for training data, for example, the positioning model is trained at the network side and then transferred to the terminal device 110.

[0100] For example, the statistic of model output of training data may be provided, which may include some or all of the following: mean, standard deviation, variance, etc., e.g., if the terminal device 110 is unaware of the model output for training data.

[0101] In the process 200, the terminal device 110 transmits, and the location server receives, a third message which includes the information of the first performance monitoring based on the second message at 240. In some embodiments, the third message may be transmitted via an LPP message such as an LPP Provide Location Information message, an LPP Provide Monitoring Information, or other LPP message.

[0102] In some examples, the third message may include detailed information about the first performance monitoring that is requested by the location server 130. In some examples, the third message may include a type of the first performance monitoring and / or a time duration for determining the monitoring decision that discussed above.

[0103] In some examples, the third message may further include a metric of the first performance monitoring. For example, the metric is used for determining the monitoring decision of the first performance monitoring. For example, the metric may include statistics of model output compared to the statistics associated with the training data and / or its own previous inference output, or statistics of measurement (s) compared to the statistics associated with the training data. It should be noted that the measurement (s) associated with the metric may or may not be the same as that associated with model input.

[0104] In addition or alternatively, the location server 130 may perform a final monitoring determination at 250.

[0105] According to embodiments with reference to FIGS. 2-3E, the location server 130 can request and obtain detailed information about a first performance monitoring that is made at the terminal device 110. As such, the location server 130 is aware of the reliability of the positioning model and thus can perform a functionality management for the model performance monitoring.

[0106] It should be noted that the process 200 in FIG. 2 is shown only for illustration without any limitation, in some embodiments, the terminal device 110 may provide detailed information about the first performance monitoring in a default manner, e.g., without a request from the location server 130. For example, the default manner may be defined in a previous LPP Provide Assistance Data message, and the default manner may indicate what content to the provided by the terminal device 110.

[0107] Reference to further made to FIG. 4, which illustrates a signalling chart illustrating communication process 400 in accordance with some example embodiments of the present disclosure. The process 400 may involve a terminal device 110 and a location server 130 as shown in FIG. 1A. It is to be understood that the process 400 may also be applied to another scenario different from that shown in FIG. 1A, the present disclosure does not limit this aspect.

[0108] The terminal device 110 is deployed with an AI / ML positioning model, for example, the positioning model has been trained based on a training dataset.

[0109] In the process 400, the terminal device 110 perform a first performance monitoring for a positioning model to determine a monitoring decision at 410. In some embodiments, the monitoring decision indicates that the positioning model is not applicable for model inference. For example, the terminal device 110 may determine the monitoring decision based on a result of the first performance monitoring. In some embodiments, the first performance monitoring is a first kind of monitoring without a ground truth label, for example, the first performance monitoring may be a label-free monitoring.

[0110] In some embodiments, the monitoring decision may indicate that the model output is not reliable. For example, the positioning model should be deactivated (or switched, updated, retained from, etc. ) . For example, a quality of the positioning model is lower than a threshold.

[0111] In the process 400, the terminal device 110 transmits, and the location server 130 receives, a first message which includes an indication of the positioning model being not applicable for model inference at 420. In some embodiments, the first message may be reported by the terminal device 110 via an LPP message to the LMF.

[0112] In the process 400, the location server 130 transmits, and the terminal device 110 receives, a second message which includes an indication for triggering a second performance monitoring procedure and a request for a metric of the second performance monitoring procedure at 430. In some examples, the second message may be transmitted via an LPP message such as an LPP Provide Assistance Data message or other message. In some embodiments, the second performance monitoring procedure may be a first kind of monitoring without a ground truth label (e.g., a label-free monitoring) or a second kind of monitoring with a ground truth label (e.g., a label-based monitoring) .

[0113] In some embodiments, the second performance monitoring procedure is a second kind of monitoring procedure. In some examples, the second message may further include a ground truth label to be used for the second kind of monitoring procedure.

[0114] In some examples, if an output of the positioning model comprises one of: a location of the terminal device, a LOS / NLOS indicator, timing information, or angle information, then the ground truth label in the second message may include a ground truth of the output.

[0115] In some examples, the location server 130 may request the terminal device 110 to provide a metric of the second performance monitoring procedure, which may be a difference between the ground truth label and a model output, where the model output is determined by inputting first data into the positioning model, where the first data is determined based on at least one measurement that is associated with the ground truth label.

[0116] For example, the ground truth label may be determined based on one of the following: a RAT-dependent positioning for the terminal device 110, a RAT-independent positioning for the terminal device 110, or a positioning result from a PRU. In some instances, the ground truth label may be based on the RAT-dependent positioning for the terminal device 110. For instance, the location server 130 may trigger a transmission of positioning assistance data, e.g., on-demand transmission procedures, to the terminal device 110. For instance, the positioning assistance data may include a configuration of PRSs which is used to position the terminal device 110 with a high accuracy. For instance, the PRS resource is configured with a large bandwidth to obtain a reliable UE position, configured with a low frequency band to overcome the heavy NLoS condition. In some instances, the ground truth label may be based on the RAT-independent positioning for the terminal device 110. In some instances, the ground truth label may be generated by a PRU 140.

[0117] In some examples, a same set of PRSs is used for determining both the ground truth label and the first data. In some examples, the difference may represent a positioning error, or the difference is represented by a quantized value which maps to the positioning error.

[0118] For instance, the measurement for generating model input which is used for performing the second kind of monitoring is obtained from a provided PRS, or obtained from other entity. For instance, the difference can be the positioning error characterized by a unit of meter, or characterized by a quantized value from 0 to 1 with a step 0.1, where the mapping between the positioning error and the quantized value can be defined. For instance, both the location server 130 and the terminal device 110 know the mapping.

[0119] In some embodiments, the second performance monitoring procedure is the first kind of monitoring procedure. For example, an output of the positioning model comprises one of: a location of the terminal device, a LOS / NLOS indicator, timing information, or angle information.

[0120] In some examples, the location server 130 may indicate to the terminal device 110 to perform a new label-free monitoring after the first performance monitoring. In some examples, the second message may include a configuration of the first kind of monitoring procedure. For example, the configuration may include one or multiple of the following: a type of the first kind of monitoring procedure, or a time duration for the first kind of monitoring procedure.

[0121] For example, the location server 130 may trigger a new label-free monitoring and provide a configuration of the new label-free monitoring. For instance, the type of the first kind of monitoring procedure may be: monitoring based on input data, or monitoring based on output data. Details about the type of the first kind of monitoring procedure and the time duration may refer to those discussed with reference to FIGS. 2-3E, and thus will not be repeat here for brevity.

[0122] In some examples, the location server 130 may request the terminal device 110 to provide a metric of the second performance monitoring procedure, which may be one of: a statistic of at least one measurement which is used for determining model input, a statistic of at least one model output, a joint statistic of model input and model output, a quantized value which maps to one of: the statistic of at least one measurement, the statistic of at least one model output, or the joint statistic.

[0123] In some embodiments, the second performance monitoring procedure is a second kind of monitoring procedure. In some examples, the second message may further include a ground truth label to be used for the second kind of monitoring procedure. In some examples, if an output of the positioning model at least comprises a LOS / NLOS indicator, then the ground truth label in the second message may include a hard value of LOS or NLOS. For example, the hard value may be “TRUE” or “FALSE” . Alternatively, the second message may further include a time stamp of the ground truth label, that is, a time for determining the hard value may be included in the second message.

[0124] In some examples, the location server 130 may request the terminal device 110 to provide a metric of the second performance monitoring procedure, which may be a value determined based on an output and the ground truth label. For example, the output is a model inference result which has an inference timestamp close to a timestamp of the ground truth label or close to a time when receiving the ground truth label. For example, the output is a hard indicator of LOS or NLOS, and wherein the metric comprises a value being 0 or 1 which is determined based on an XNOR logic operation. For example, the output is a soft indicator of LOS or NLOS, and wherein the metric comprises a value in a range from 0 to 1, and the value is determined based on the output and the ground truth label by using a predefined relationship.

[0125] In the process 400, the terminal device 110 performs the second performance monitoring procedure based on the second message at 440.

[0126] In the process 400, the terminal device 110 transmits, and the location server 130 receives, a third message which includes the metric of the second performance monitoring procedure at 450. In some embodiments, the third message may be transmitted via an LPP message, such as an LPP Provide Location Information message, an LPP Provide Monitoring Information message, or other LPP message for further model monitoring decision. For example, the third message may include the metric that the location server 130 is requested.

[0127] In some embodiments, if the second performance monitoring procedure is a second kind of monitoring procedure, and the output of the positioning model comprises one of: a location of the terminal device, a LOS / NLOS indicator, timing information, or angle information, then the metric of the second performance monitoring procedure may include: a difference between the ground truth label and a model output, where the model output is determined by inputting first data into the positioning model, where the first data is determined based on at least one measurement that is associated with the ground truth label. For instance, the terminal device 110 may link the ground truth label and the measurement as valid monitoring data, if one of the ground truth label and the measurement is provided by the location server 130 while the other one is provided by another entity (such as a gNB or PRU) .

[0128] In some examples, if the second performance monitoring procedure is the first kind of monitoring procedure, and an output of the positioning model comprises one of: a location of the terminal device, a LOS / NLOS indicator, timing information, or angle information, the terminal device 110 may determine one of the following to determine the metric: the statistic of measurement for model input generating in indicated duration, the statistic of model output generating in indicated duration, joint statistic of model output and model output, a quantized value from 0 to 1 with step 0.1, where the mapping between the statistic and the quantized value is predefined. For instance, the metric may be generated within the time duration indicated by the location server 130. In some examples, the third message may further include a timestamp when the metric is determined.

[0129] In some embodiments, if the second performance monitoring procedure is a second kind of monitoring procedure and an output of the positioning model at least comprises a LOS / NLOS indicator, the terminal device 110 may determine the metric (which is a value) based on a predefined relationship between the group truth label and the output.

[0130] FIGS. 5A-5C illustrate some examples for determining a metric. As illustrated in FIG. 5A, the model output is a hard value with “FALSE” or “TRUE” , then the metric may be determined as 1 or 0 based on the predefined table 510. As illustrated in FIG. 5B or 5C, the model output is a soft value from 0 to 1 (e.g., with a step 0.1) , then the metric may be determined as 1 or 0 based on the predefined table 520 (e.g., table 524) or as a value from 0 to 1 with a step 0.1 based on the predefined table 530. As a specific example, if the model output is 0.5, and the ground truth label is “TRUE” , then the metric may be determined as 0.5 as shown at 535.

[0131] It should be noted that table 524 is only one example of table 522 with X1-0, X2=0.4, X3=0.5, X4=0.6, and X5=1, any example is also applied and the present disclosure does not limit for this aspect.

[0132] In addition or alternatively, the location server 130 may perform a final monitoring determination at 460.

[0133] According to embodiments with reference to FIG. 4-5C, a second performance monitoring may be triggered by the location server 130, accordingly the location server 130 may be aware of an accurate reliability of the positioning model.

[0134] It is to be appreciated that the processes described above are only for illustration without any limitation. In some examples, one or more steps may be omitted or combined or modified. In some examples, one or more additional steps may be added. One or more steps in a process may be combined into another process. It is to be understood that some further embodiments may be obtained and are still in the protection scope of the present disclosure.

[0135] FIG. 6 illustrates a flowchart of an example method 600 implemented at a terminal device in accordance with some embodiments of the present disclosure. For example, the terminal device may be the terminal device 110 in FIG. 2.

[0136] At block 610, the terminal device performs a first performance monitoring for a positioning model to determine a monitoring decision, wherein the monitoring decision indicates that the positioning model is not applicable for model inference, and the positioning model is deployed at the terminal device, wherein the first performance monitoring is a first kind of monitoring without a ground truth label. At block 620, the terminal device transmits, to a location server, a first message comprising an indication of the positioning model being not applicable for model inference. At block 630, the terminal device receives, from the location server, a second message comprising a request for information of the first performance monitoring. At block 640, the terminal device transmits, to the location server, a third message comprising the information of the first performance monitoring based on the second message.

[0137] It should be noted that the method 600 may include various other operations which may be performed by the terminal device 110 as described above with reference to FIG. 2.

[0138] FIG. 7 illustrates a flowchart of an example method 700 implemented at a location server in accordance with some embodiments of the present disclosure. For example, the location server may be the location server 130 in FIG. 2.

[0139] At block 710, the location server receives, from a terminal device, a first message comprising an indication of a positioning model being not applicable for model inference, wherein the indication is based on a monitoring decision of a first performance monitoring for the positioning model, and the positioning model is deployed at the terminal device, wherein the first performance monitoring is a first kind of monitoring without a ground truth label. At block 720, the location server transmits, to the terminal device, a second message comprising a request for information of the first performance monitoring. At block 730, the location server receives, from a terminal device, a third message comprising the information of the first performance monitoring.

[0140] It should be noted that the method 700 may include various other operations which may be performed by the location server 130 as described above with reference to FIG. 2.

[0141] FIG. 8 illustrates a flowchart of an example method 800 implemented at a terminal device in accordance with some embodiments of the present disclosure. For example, the terminal device may be the terminal device 110 in FIG. 4.

[0142] At block 810, the terminal device performs a first performance monitoring for a positioning model to determine a monitoring decision, wherein the monitoring decision indicates that the positioning model is not applicable for model inference, and the positioning model is deployed at the terminal device, wherein the first performance monitoring is a first kind of monitoring without a ground truth label. At block 820, the terminal device transmits, to a location server, a first message comprising an indication of the positioning model being not applicable for model inference. At block 830, the terminal device receives from the location server, a second message comprising an indication for triggering a second performance monitoring procedure and a request for a metric of the second performance monitoring procedure. At block 840, the terminal device performs the second performance monitoring procedure based on the second message. At block 850, the terminal device transmits, to the location server, a third message comprising the metric of the second performance monitoring procedure.

[0143] It should be noted that the method 800 may include various other operations which may be performed by the terminal device 110 as described above with reference to FIG. 4.

[0144] FIG. 9 illustrates a flowchart of an example method 900 implemented at a location server in accordance with some embodiments of the present disclosure. For example, the location server may be the location server 130 in FIG. 4.

[0145] At block 910, the location server receives, from a terminal device, a first message comprising an indication of a positioning model being not applicable for model inference, wherein the indication is based on a monitoring decision of a first performance monitoring for the positioning model, the positioning model is deployed at the terminal device, wherein the first performance monitoring is a first kind of monitoring without a ground truth label. At block 920, the location server transmits, to the terminal device, a second message comprising an indication for triggering a second performance monitoring procedure and a request for a metric of the second performance monitoring procedure. At block 930, the location server receives, from the terminal device, a third message comprising the metric of the second performance monitoring procedure.

[0146] It should be noted that the method 900 may include various other operations which may be performed by the location server 130 as described above with reference to FIG. 4.

[0147] Details of some embodiments according to the present disclosure have been described with reference to FIGS. 1A-9. Now an example implementation of the device deployed with at least one positioning model will be discussed below.

[0148] In some example embodiments, a terminal device comprises circuitry configured to: perform a first performance monitoring for a positioning model to determine a monitoring decision, wherein the monitoring decision indicates that the positioning model is not applicable for model inference, and the positioning model is deployed at the terminal device, wherein the first performance monitoring is a first kind of monitoring without a ground truth label; transmit, to a location server, a first message comprising an indication of the positioning model being not applicable for model inference; receive, from the location server, a second message comprising a request for information of the first performance monitoring; and transmit, to the location server, a third message comprising the information of the first performance monitoring based on the second message. It should be noted that the terminal device comprises circuitry configured to perform various other operations as described above with reference to FIG. 2.

[0149] In some example embodiments, a location server comprises circuitry configured to: receive, from a terminal device, a first message comprising an indication of a positioning model being not applicable for model inference, wherein the indication is based on a monitoring decision of a first performance monitoring for the positioning model, and the positioning model is deployed at the terminal device, wherein the first performance monitoring is a first kind of monitoring without a ground truth label; transmit, to the terminal device, a second message comprising a request for information of the first performance monitoring; and receive, from a terminal device, a third message comprising the information of the first performance monitoring. It should be noted that the location server comprises circuitry configured to perform various other operations as described above with reference to FIG. 2.

[0150] In some example embodiments, a terminal device comprises circuitry configured to: perform a first performance monitoring for a positioning model to determine a monitoring decision, wherein the monitoring decision indicates that the positioning model is not applicable for model inference, and the positioning model is deployed at the terminal device, wherein the first performance monitoring is a first kind of monitoring without a ground truth label; transmit, to a location server, a first message comprising an indication of the positioning model being not applicable for model inference; receive, from the location server, a second message comprising an indication for triggering a second performance monitoring procedure and a request for a metric of the second performance monitoring procedure; perform the second performance monitoring procedure based on the second message; and transmit, to the location server, a third message comprising the metric of the second performance monitoring procedure. It should be noted that the terminal device comprises circuitry configured to perform various other operations as described above with reference to FIG. 4.

[0151] In some example embodiments, a location server comprises circuitry configured to: receive, from a terminal device, a first message comprising an indication of a positioning model being not applicable for model inference, wherein the indication is based on a monitoring decision of a first performance monitoring for the positioning model, the positioning model is deployed at the terminal device, wherein the first performance monitoring is a first kind of monitoring without a ground truth label; transmit, to the terminal device, a second message comprising an indication for triggering a second performance monitoring procedure and a request for a metric of the second performance monitoring procedure; and receive, from the terminal device, a third message comprising the metric of the second performance monitoring procedure. It should be noted that the location server comprises circuitry configured to perform various other operations as described above with reference to FIG. 4.

[0152] FIG. 10 illustrates a simplified block diagram of a device 1000 that is suitable for implementing embodiments of the present disclosure. The device 1000 can be considered as a further example implementation of the terminal device or the location server as described above. Accordingly, the device 1000 can be implemented at or as at least a part of the terminal device 110 or the location server 130 as shown in FIG. 1A.

[0153] As shown, the device 1000 includes a processor 1010, a memory 1020 coupled to the processor 1010, a suitable transceiver 1040 coupled to the processor 1010, and a communication interface coupled to the transceiver 1040. The memory 1020 stores at least a part of a program 1030. The transceiver 1040 may be for bidirectional communications or a unidirectional communication based on requirements. The transceiver 1040 may include at least one of a transmitter and a receiver. The transmitter and the receiver may be functional modules or physical entities. The transceiver 1040 has at least one antenna to facilitate communication, though in practice an Access Node mentioned in this application may have several ones. The communication interface may represent any interface that is necessary for communication with other network elements, such as X2 / Xn interface for bidirectional communications between eNBs / gNBs, S1 / NG interface for communication between a Mobility Management Entity (MME)  / Access and Mobility Management Function (AMF)  / serving gateway (SGW)  / user plane function (UPF) and the eNB / gNB, Un interface for communication between the eNB / gNB and a relay node (RN) , or Uu interface for communication between the eNB / gNB and a terminal device.

[0154] The program 1030 is assumed to include program instructions that, when executed by the associated processor 1010, enable the device 1000 to operate in accordance with the embodiments of the present disclosure, as discussed herein with reference to FIGS. 1A-9. he embodiments herein may be implemented by computer software executable by the processor 1010 of the device 1000, or by hardware, or by a combination of software and hardware. The processor 1010 may be configured to implement various embodiments of the present disclosure. Furthermore, a combination of the processor 1010 and memory 1020 may form processing means 1050 adapted to implement various embodiments of the present disclosure.

[0155] The memory 1020 may be of any type suitable to the local technical network and may be implemented using any suitable data storage technology, such as a non-transitory computer readable storage medium, semiconductor-based memory devices, magnetic memory devices and systems, optical memory devices and systems, fixed memory and removable memory, as non-limiting examples. While only one memory 1020 is shown in the device 1000, there may be several physically distinct memory modules in the device 1000. The processor 1010 may be of any type suitable to the local technical network, and may include one or more of general purpose computers, special purpose computers, microprocessors, digital signal processors (DSPs) and processors based on multicore processor architecture, as non-limiting examples. The device 1000 may have multiple processors, such as an application specific integrated circuit chip that is slaved in time to a clock which synchronizes the main processor.

[0156] In summary, embodiments of the present disclosure may provide the following solutions.

[0157] The present disclosure provides a terminal device, comprising at least one processor configured to cause the terminal device at least to: perform a first performance monitoring for a positioning model to determine a monitoring decision, wherein the monitoring decision indicates that the positioning model is not applicable for model inference, and the positioning model is deployed at the terminal device, wherein the first performance monitoring is a first kind of monitoring without a ground truth label; transmit, to a location server, a first message comprising an indication of the positioning model being not applicable for model inference; receive, from the location server, a second message comprising a request for information of the first performance monitoring; and transmit, to the location server, a third message comprising the information of the first performance monitoring based on the second message.

[0158] In one embodiment, the terminal device as above, the second message further comprises at least one of the following: a statistic of a model input of training data, or a statistic of a model output of training data.

[0159] In one embodiment, the terminal device as above, the information comprises a type of the first performance monitoring which indicates one of the following: monitoring based on input data, wherein the input data is generated based on at least one measurement, monitoring based on statistics of the at least one measurement compared to statistics associated with training data, monitoring based on the statistics of the at least one measurement compared to statistics associated with one or more previous measurements for generating the input data, monitoring based on a detected drift of the at least one measurement comparing with several previous measurements, monitoring based on output data, monitoring based on statistics of the output data compared to statistics associated with training data, monitoring based on the statistics of the output data compared to statistics associated with a previous inference output, monitoring based on statistics of the output data compared to statistics associated with the training data and the previous inference output, or monitoring based on a detected drift of model inference result comparing with several previous output data.

[0160] In one embodiment, the terminal device as above, the information comprises a time duration for determining the monitoring decision, and wherein the time duration is indicated by one of the following: a plurality of timings for generating consecutive measurements for determining input data, a plurality of timings for generating continuous model inference results, a plurality of specific timings for generating measurements associated with a plurality of specific PRSs which are selected by the terminal device or indicated by the location server, a plurality of specific timings for generating model inference results which are selected by the terminal device or indicated by the location server, or a time window indicated by a start time and a length.

[0161] In one embodiment, the terminal device as above, the third message further comprises a metric of the first performance monitoring.

[0162] The present disclosure provides a location server, comprising at least one processor configured to cause the location server at least to: receive, from a terminal device, a first message comprising an indication of a positioning model being not applicable for model inference, wherein the indication is based on a monitoring decision of a first performance monitoring for the positioning model, and the positioning model is deployed at the terminal device, wherein the first performance monitoring is a first kind of monitoring without a ground truth label; transmit, to the terminal device, a second message comprising a request for information of the first performance monitoring; and receive, from a terminal device, a third message comprising the information of the first performance monitoring.

[0163] In one embodiment, the location server as above, the second message further comprises at least one of the following: a statistic of a model input of training data, or a statistic of a model output of training data.

[0164] In one embodiment, the location server as above, the information comprises a type of the first performance monitoring which indicates one of the following: monitoring based on input data, wherein the input data is generated based on at least one measurement, monitoring based on statistics of the at least one measurement compared to statistics associated with training data, monitoring based on the statistics of the at least one measurement compared to statistics associated with one or more previous measurements for generating the input data, monitoring based on a detected drift of the at least one measurement comparing with several previous measurements, monitoring based on output data, monitoring based on statistics of the output data compared to statistics associated with training data, monitoring based on the statistics of the output data compared to statistics associated with a previous inference output, monitoring based on statistics of the output data compared to statistics associated with the training data and the previous inference output, or monitoring based on a detected drift of model inference result comparing with several previous output data.

[0165] In one embodiment, the location server as above, the information comprises a time duration for determining the monitoring decision, and wherein the time duration is indicated by one of the following: a plurality of timings for generating consecutive measurements for determining input data, a plurality of timings for generating continuous model inference results, a plurality of specific timings for generating measurements associated with a plurality of specific PRSs which are selected by the terminal device or indicated by the location server, a plurality of specific timings for generating model inference results which are selected by the terminal device or indicated by the location server, or a time window indicated by a start time and a length.

[0166] In one embodiment, the location server as above, the third message further comprises a metric of the first performance monitoring.

[0167] The present disclosure provides a terminal device, comprising at least one processor configured to cause the terminal device at least to: perform a first performance monitoring for a positioning model to determine a monitoring decision, wherein the monitoring decision indicates that the positioning model is not applicable for model inference, and the positioning model is deployed at the terminal device, wherein the first performance monitoring is a first kind of monitoring without a ground truth label; transmit, to a location server, a first message comprising an indication of the positioning model being not applicable for model inference; receive, from the location server, a second message comprising an indication for triggering a second performance monitoring procedure and a request for a metric of the second performance monitoring procedure; perform the second performance monitoring procedure based on the second message; and transmit, to the location server, a third message comprising the metric of the second performance monitoring procedure.

[0168] In one embodiment, the terminal device as above, the second performance monitoring procedure is a second kind of monitoring procedure, and wherein the second message further comprises a ground truth label to be used for the second kind of monitoring procedure.

[0169] In one embodiment, the terminal device as above, an output of the positioning model comprises one of: a location of the terminal device, a LOS / NLOS indicator, timing information, or angle information, and wherein the ground truth label comprises a ground truth of the output.

[0170] In one embodiment, the terminal device as above, the metric of the second performance monitoring procedure comprises: a difference between the ground truth label and a model output, wherein the model output is determined by inputting first data into the positioning model, wherein the first data is determined based on at least one measurement that is associated with the ground truth label.

[0171] In one embodiment, the terminal device as above, the ground truth label is determined based on one of the following: a RAT-dependent positioning for the terminal device, a RAT-independent positioning for the terminal device, or a positioning result from a PRU.

[0172] In one embodiment, the terminal device as above, a same set of PRSs is used for determining both the ground truth label and the first data.

[0173] In one embodiment, the terminal device as above, the difference represents a positioning error, or the difference is represented by a quantized value which maps to the positioning error.

[0174] In one embodiment, the terminal device as above, an output of the positioning model comprises an indicator of LOS / NLOS, and wherein the ground truth label comprises a hard value of LOS or NLOS.

[0175] In one embodiment, the terminal device as above, the second message further comprises a timestamp of the ground truth label.

[0176] In one embodiment, the terminal device as above, the output is a model inference result which has an inference timestamp close to a timestamp of the ground truth label or close to a time when receiving the ground truth label.

[0177] In one embodiment, the terminal device as above, the output is a hard indicator of LOS / NLOS, and wherein the metric comprises a value being 0 or 1 which is determined based on an XNOR logic operation.

[0178] In one embodiment, the terminal device as above, the output is a soft indicator of LOS or NLOS, and wherein the metric comprises a value in a range from 0 to 1, and the value is determined based on the output and the ground truth label by using a predefined relationship.

[0179] In one embodiment, the terminal device as above, the second performance monitoring procedure is the first kind of monitoring procedure, and wherein the second message further comprises a configuration of the first kind of monitoring procedure.

[0180] In one embodiment, the terminal device as above, the configuration comprises a type of the first kind of monitoring procedure which indicates one of the following: monitoring based on input data, or monitoring based on output data.

[0181] In one embodiment, the terminal device as above, the configuration comprises a time duration for the first kind of monitoring procedure which indicates one of the following: a plurality of timings for generating consecutive measurements for determining model input, a plurality of timings for generating continuous model outputs, a plurality of timings for generating a combination of model inputs and model outputs data, or a time window indicated by a start time and a length.

[0182] In one embodiment, the terminal device as above, an output of the positioning model comprises one of: a location of the terminal device, a LOS / NLOS indicator, timing information, or angle information, and wherein the metric comprises one of the following: a statistic of at least one measurement which is used for determining model input, a statistic of at least one model output, a joint statistic of model input and model output, a quantized value which maps to one of: the statistic of at least one measurement, the statistic of at least one model output, or the joint statistic.

[0183] In one embodiment, the terminal device as above, the third message further comprise a timestamp of the metric.

[0184] The present disclosure provides a location server, comprising at least one processor configured to cause the location server at least to: receive, from a terminal device, a first message comprising an indication of a positioning model being not applicable for model inference, wherein the indication is based on a monitoring decision of a first performance monitoring for the positioning model, the positioning model is deployed at the terminal device, wherein the first performance monitoring is a first kind of monitoring without a ground truth label; transmit, to the terminal device, a second message comprising an indication for triggering a second performance monitoring procedure and a request for a metric of the second performance monitoring procedure; and receive, from the terminal device, a third message comprising the metric of the second performance monitoring procedure.

[0185] In one embodiment, the location server as above, the second performance monitoring procedure is a second kind of monitoring procedure, and wherein the second message further comprises a ground truth label to be used for the second kind of monitoring procedure.

[0186] In one embodiment, the location server as above, an output of the positioning model comprises one of: a location of the terminal device, a LOS / NLOAS indicator, timing information, or angle information, and wherein the ground truth label comprises a ground truth of the output.

[0187] In one embodiment, the location server as above, the metric of the second performance monitoring procedure comprises: a difference between the ground truth label and a model output, wherein the model output is determined by inputting first data into the positioning model, wherein the first data is determined based on at least one measurement that is associated with the ground truth label.

[0188] In one embodiment, the location server as above, the ground truth label is determined based on one of the following: a RAT-dependent positioning for the terminal device, a RAT-independent positioning for the terminal device, or a positioning result from a PRU.

[0189] In one embodiment, the location server as above, a same set of PRSs is used for determining both the ground truth label and the first data.

[0190] In one embodiment, the location server as above, the difference represents a positioning error, or the difference is represented by a quantized value which maps to the positioning error.

[0191] In one embodiment, the location server as above, an output of the positioning model comprises an indicator of LOS / NLOS, and wherein the ground truth label comprises a hard value of LOS or NLOS.

[0192] In one embodiment, the location server as above, the second message further comprises a timestamp of the ground truth label.

[0193] In one embodiment, the location server as above, the output is a model inference result which has an inference timestamp close to a timestamp of the ground truth label or close to a time when receiving the ground truth label.

[0194] In one embodiment, the location server as above, the output is a hard indicator of LOS / NLOS, and wherein the metric comprises a value being 0 or 1 which is determined based on an XNOR logic operation.

[0195] In one embodiment, the location server as above, the output is a soft indicator of LOS / NLOS, and wherein the metric comprises a value in a range from 0 to 1, and the value is determined based on the output and the ground truth label by using a predefined relationship.

[0196] In one embodiment, the location server as above, the second performance monitoring procedure is the first kind of monitoring procedure, and wherein the second message further comprises a configuration of the first kind of monitoring procedure.

[0197] In one embodiment, the location server as above, the configuration comprises a type of the first kind of monitoring procedure which indicates one of the following: monitoring based on input data, or monitoring based on output data.

[0198] In one embodiment, the location server as above, the configuration comprises a time duration for the first kind of monitoring procedure which indicates one of the following: a plurality of timings for generating consecutive measurements for determining model input, a plurality of timings for generating continuous model outputs, a plurality of timings for generating a combination of model inputs and model outputs data, or a time window indicated by a start time and a length.

[0199] In one embodiment, the location server as above, an output of the positioning model comprises one of: a location of the terminal device, a LOS / NLOS indicator, timing information, or angle information, and wherein the metric comprises one of the following: a statistic of at least one measurement which is used for determining model input, a statistic of at least one model output, a joint statistic of model input and model output, a quantized value which maps to one of: the statistic of at least one measurement, the statistic of at least one model output, or the joint statistic.

[0200] In one embodiment, the location server as above, the third message further comprise a timestamp of the metric.

[0201] The present disclosure provides a method of communication, comprising the operations implemented at one of: the terminal device or the location server.

[0202] The present disclosure provides a device, comprising: a processor; and a memory storing computer program codes; the memory and the computer program codes configured to, with the processor, cause the device to perform the method implemented at one of: the terminal device or the location server discussed above.

[0203] The present disclosure provides a non-transitory computer readable storage medium having instructions stored thereon, the instructions, when executed by a processor of an apparatus, cause the apparatus to perform the method implemented at one of: the terminal device or the location server discussed above.

[0204] The present disclosure provides a computer program product having instructions stored thereon, the instructions, when executed by a processor of an apparatus, cause the apparatus to perform the method implemented at one of: the terminal device or the location server discussed above.

[0205] Generally, various embodiments of the present disclosure may be implemented in hardware or special purpose circuits, software, logic or any combination thereof. Some aspects may be implemented in hardware, while other aspects may be implemented in firmware or software which may be executed by a controller, microprocessor or other computing device. While various aspects of embodiments of the present disclosure are illustrated and described as block diagrams, flowcharts, or using some other pictorial representation, it will be appreciated that the blocks, apparatus, systems, techniques or methods described herein may be implemented in, as non-limiting examples, hardware, software, firmware, special purpose circuits or logic, general purpose hardware or controller or other computing devices, or some combination thereof.

[0206] The present disclosure also provides at least one computer program product tangibly stored on a non-transitory computer readable storage medium. The computer program product includes computer-executable instructions, such as those included in program modules, being executed in a device on a target real or virtual processor, to carry out the process or method as described above. Generally, program modules include routines, programs, libraries, objects, classes, components, data structures, or the like that perform particular tasks or implement particular abstract data types. The functionality of the program modules may be combined or split between program modules as desired in various embodiments. Machine-executable instructions for program modules may be executed within a local or distributed device. In a distributed device, program modules may be located in both local and remote storage media.

[0207] Program code for carrying out methods of the present disclosure may be written in any combination of one or more programming languages. These program codes may be provided to a processor or controller of a general purpose computer, special purpose computer, or other programmable data processing apparatus, such that the program codes, when executed by the processor or controller, cause the functions / operations specified in the flowcharts and / or block diagrams to be implemented. The program code may execute entirely on a machine, partly on the machine, as a stand-alone software package, partly on the machine and partly on a remote machine or entirely on the remote machine or server.

[0208] The above program code may be embodied on a machine readable medium, which may be any tangible medium that may contain, or store a program for use by or in connection with an instruction execution system, apparatus, or device. The machine readable medium may be a machine readable signal medium or a machine readable storage medium. A machine readable medium may include but not limited to an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any suitable combination of the foregoing. More specific examples of the machine readable storage medium would include an electrical connection having one or more wires, a portable computer diskette, a hard disk, a random access memory (RAM) , a read-only memory (ROM) , an erasable programmable read-only memory (EPROM or Flash memory) , an optical fiber, a portable compact disc read-only memory (CD-ROM) , an optical storage device, a magnetic storage device, or any suitable combination of the foregoing.

[0209] Further, while operations are depicted in a particular order, this should not be understood as requiring that such operations be performed in the particular order shown or in sequential order, or that all illustrated operations be performed, to achieve desirable results. In certain circumstances, multitasking and parallel processing may be advantageous. Likewise, while several specific implementation details are contained in the above discussions, these should not be construed as limitations on the scope of the present disclosure, but rather as descriptions of features that may be specific to particular embodiments. Certain features that are described in the context of separate embodiments may also be implemented in combination in a single embodiment. Conversely, various features that are described in the context of a single embodiment may also be implemented in multiple embodiments separately or in any suitable sub-combination.

[0210] Although the present disclosure has been described in language specific to structural features and / or methodological acts, it is to be understood that the present disclosure defined in the appended claims is not necessarily limited to the specific features or acts described above. Rather, the specific features and acts described above are disclosed as example forms of implementing the claims.

Claims

1.A terminal device comprising at least one processor configured to cause the terminal device to:perform a first performance monitoring for a positioning model to determine a monitoring decision, wherein the monitoring decision indicates that the positioning model is not applicable for model inference, and the positioning model is deployed at the terminal device, wherein the first performance monitoring is a first kind of monitoring without a ground truth label;transmit, to a location server, a first message comprising an indication of the positioning model being not applicable for model inference;receive, from the location server, a second message comprising a request for information of the first performance monitoring; andtransmit, to the location server, a third message comprising the information of the first performance monitoring based on the second message.2.The terminal device of claim 1, wherein the second message further comprises at least one of the following:a statistic of a model input of training data, ora statistic of a model output of training data.3.The terminal device of claim 1, wherein the information comprises a type of the first performance monitoring which indicates one of the following:monitoring based on input data, wherein the input data is generated based on at least one measurement,monitoring based on statistics of the at least one measurement compared to statistics associated with training data,monitoring based on the statistics of the at least one measurement compared to statistics associated with one or more previous measurements for generating the input data,monitoring based on a detected drift of the at least one measurement comparing with several previous measurements,monitoring based on output data,monitoring based on statistics of the output data compared to statistics associated with training data,monitoring based on the statistics of the output data compared to statistics associated with a previous inference output,monitoring based on statistics of the output data compared to statistics associated with the training data and the previous inference output, ormonitoring based on a detected drift of model inference result comparing with several previous output data.4.The terminal device of claim 1, wherein the information comprises a time duration for determining the monitoring decision, and wherein the time duration is indicated by one of the following:a plurality of timings for generating consecutive measurements for determining input data,a plurality of timings for generating continuous model inference results,a plurality of specific timings for generating measurements associated with a plurality of specific positioning reference signals (PRS) which are selected by the terminal device or indicated by the location server,a plurality of specific timings for generating model inference results which are selected by the terminal device or indicated by the location server, ora time window indicated by a start time and a length.5.The terminal device of claim 1, wherein the third message further comprises a metric of the first performance monitoring.6.A location server comprising at least one processor configured to cause the location server to:receive, from a terminal device, a first message comprising an indication of a positioning model being not applicable for model inference, wherein the indication is based on a monitoring decision of a first performance monitoring for the positioning model, and the positioning model is deployed at the terminal device, wherein the first performance monitoring is a first kind of monitoring without a ground truth label;transmit, to the terminal device, a second message comprising a request for information of the first performance monitoring; andreceive, from a terminal device, a third message comprising the information of the first performance monitoring.7.A terminal device comprising at least one processor configured to cause the terminal device to:perform a first performance monitoring for a positioning model to determine a monitoring decision, wherein the monitoring decision indicates that the positioning model is not applicable for model inference, and the positioning model is deployed at the terminal device, wherein the first performance monitoring is a first kind of monitoring without a ground truth label;transmit, to a location server, a first message comprising an indication of the positioning model being not applicable for model inference;receive, from the location server, a second message comprising an indication for triggering a second performance monitoring procedure and a request for a metric of the second performance monitoring procedure;perform the second performance monitoring procedure based on the second message; andtransmit, to the location server, a third message comprising the metric of the second performance monitoring procedure.8.The terminal device of claim 7, wherein the second performance monitoring procedure is a second kind of monitoring procedure, and wherein the second message further comprises a ground truth label to be used for the second kind of monitoring procedure.9.The terminal device of claim 8, wherein an output of the positioning model comprises one of: a location of the terminal device, an indicator of line of sight (LOS) or non-line of sight (NLOS) , timing information, or angle information, and wherein the ground truth label comprises a ground truth of the output.10.The terminal device of claim 9, wherein the metric of the second performance monitoring procedure comprises: a difference between the ground truth label and a model output, wherein the model output is determined by inputting first data into the positioning model, wherein the first data is determined based on at least one measurement that is associated with the ground truth label.11.The terminal device of claim 10, wherein a same set of positioning reference signals (PRS) is used for determining both the ground truth label and the first data.12.The terminal device of claim 10, wherein the difference represents a positioning error, or the difference is represented by a quantized value which maps to the positioning error.13.The terminal device of claim 9, wherein the output is a model inference result which has an inference timestamp close to a timestamp of the ground truth label or close to a time when receiving the ground truth label.14.The terminal device of claim 9, wherein the output is a hard indicator of LOS or NLOS, and wherein the metric comprises a value being 0 or 1 which is determined based on an XNOR logic operation.15.The terminal device of claim 9, wherein the output is a soft indicator of LOS or NLOS, and wherein the metric comprises a value in a range from 0 to 1, and the value is determined based on the output and the ground truth label by using a predefined relationship.16.The terminal device of claim 7, wherein the second performance monitoring procedure is the first kind of monitoring procedure, and wherein the second message further comprises a configuration of the first kind of monitoring procedure.17.The terminal device of claim 16, wherein the configuration comprises a type of the first kind of monitoring procedure which indicates one of the following:monitoring based on input data, ormonitoring based on output data.18.The terminal device of claim 16, wherein the configuration comprises a time duration for the first kind of monitoring procedure which indicates one of the following:a plurality of timings for generating consecutive measurements for determining model input,a plurality of timings for generating continuous model outputs,a plurality of timings for generating a combination of model inputs and model outputs data, ora time window indicated by a start time and a length.19.The terminal device of claim 16, wherein an output of the positioning model comprises one of: a location of the terminal device, an indicator of line of sight (LOS) or non-line of sight (NLOS) , timing information, or angle information, and wherein the metric comprises one of the following:a statistic of at least one measurement which is used for determining model input,a statistic of at least one model output,a joint statistic of model input and model output,a quantized value which maps to one of: the statistic of at least one measurement, the statistic of at least one model output, or the joint statistic.20.A location server comprising at least one processor configured to cause the location server to:receive, from a terminal device, a first message comprising an indication of a positioning model being not applicable for model inference, wherein the indication is based on a monitoring decision of a first performance monitoring for the positioning model, the positioning model is deployed at the terminal device, wherein the first performance monitoring is a first kind of monitoring without a ground truth label;transmit, to the terminal device, a second message comprising an indication for triggering a second performance monitoring procedure and a request for a metric of the second performance monitoring procedure; andreceive, from the terminal device, a third message comprising the metric of the second performance monitoring procedure.

Images