Terminal device, method and computer readable medium for communication

Abstract

Embodiments of the present disclosure relate to a device, method and computer readable medium for communication. In one aspect, a terminal device determines a performance metric for an AI or ML model based on an output of the AI or ML model and a ground truth for monitoring performance of the AI or ML model. The terminal device determines a metric threshold based on first time when the output is to be applied and second time associated with the ground truth. Then, the terminal device compares the performance metric with the metric threshold. In turn, the terminal device evaluates the performance of the AI or ML model based on the comparison.

Description

TERMINAL DEVICE, METHOD AND COMPUTER READABLE MEDIUM FOR COMMUNICATIONTECHNICAL FIELD

[0001] Embodiments of the present disclosure generally relate to the field of telecommunication, and in particular, to a terminal device, method and computer readable medium for communication.BACKGROUND

[0002] Model monitoring may be defined as a procedure that monitors performance of an artificial intelligence (AI) or machine learning (ML) model. Regarding model monitoring in life cycle management (LCM) of the AI or ML model, the time when an output of the AI or ML model is to be applied may not always be aligned with the time associated with a ground truth for model monitoring. An unsuitable metric threshold may bring inaccuracy to results of model monitoring.SUMMARY

[0003] In general, example embodiments of the present disclosure provide a terminal device, method and computer readable medium for communication.

[0004] In a first aspect, there is provided a terminal device. The terminal device comprises a processor. The processor is configured to cause the terminal device to: determine a performance metric for an AI or ML model based on an output of the AI or ML model and a ground truth for monitoring performance of the AI or ML model; determine a metric threshold based on first time when the output is to be applied and second time associated with the ground truth; compare the performance metric with the metric threshold; and evaluate the performance of the AI or ML model based on the comparison.

[0005] In a second aspect, there is provided a method for communication. The method comprises: determining a performance metric for an AI or ML model based on an output of the AI or ML model and a ground truth for monitoring performance of the AI or ML model; determining a metric threshold based on first time when the output is to be applied and second time associated with the ground truth; comparing the performance metric with the metric threshold; and evaluating the performance of the AI or ML model based on the comparison.

[0006] In a third aspect, there is provided a computer readable medium having instructions  stored thereon. The instructions, when executed on at least one processor of a device, cause the device to perform the method according to the second aspect.

[0007] It is to be understood that the summary section is not intended to identify key or essential features of embodiments of the present disclosure, nor is it intended to be used to limit the scope of the present disclosure. Other features of the present disclosure will become easily comprehensible through the following description.BRIEF DESCRIPTION OF THE DRAWINGS

[0008] Through the more detailed description of some embodiments of the present disclosure in the accompanying drawings, the above and other objects, features and advantages of the present disclosure will become more apparent, wherein:

[0009] Fig. 1 illustrate an example communication network in which embodiments of the present disclosure can be implemented;

[0010] Fig. 2 illustrates a flowchart of an example method in accordance with some embodiments of the present disclosure;

[0011] Figs. 3, 4A, 4B, 4C and 5 illustrate an example of first time when the output is to be applied and second time associated with a ground truth in accordance with some embodiments of the present disclosure, respectively; and

[0012] Fig. 6 is a simplified block diagram of a device that is suitable for implementing embodiments of the present disclosure.

[0013] Throughout the drawings, the same or similar reference numerals represent the same or similar element.DETAILED DESCRIPTION

[0014] Principle of the present disclosure will now be described with reference to some example embodiments. It is to be understood that these embodiments are described only for the purpose of illustration and help those skilled in the art to understand and implement the present disclosure, without suggesting any limitations as to the scope of the disclosure. The disclosure described herein can be implemented in various manners other than the ones described below.

[0015] In the following description and claims, unless defined otherwise, all technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skills in the art to which this disclosure belongs.

[0016] As used herein, the term “terminal device” refers to any device having wireless or  wired communication capabilities. Examples of the terminal device include, but not limited to, user equipment (UE) , personal computers, desktops, mobile phones, cellular phones, smart phones, personal digital assistants (PDAs) , portable computers, tablets, wearable devices, internet of things (IoT) devices, Ultra-reliable and Low Latency Communications (URLLC) devices, Internet of Everything (IoE) devices, machine type communication (MTC) devices, device on vehicle for V2X communication where X means pedestrian, vehicle, or infrastructure / network, devices for Integrated Access and Backhaul (IAB) , Small Data Transmission (SDT) , mobility, Multicast and Broadcast Services (MBS) , positioning, dynamic / flexible duplex in commercial networks, reduced capability (RedCap) , Space borne vehicles or Air borne vehicles in Non-terrestrial networks (NTN) including Satellites and High Altitude Platforms (HAPs) encompassing Unmanned Aircraft Systems (UAS) , eXtended Reality (XR) devices including different types of realities such as Augmented Reality (AR) , Mixed Reality (MR) and Virtual Reality (VR) , the unmanned aerial vehicle (UAV) commonly known as a drone which is an aircraft without any human pilot, devices on high speed train (HST) , or image capture devices such as digital cameras, sensors, gaming devices, music storage and playback appliances, or Internet appliances enabling wireless or wired Internet access and browsing and the like. The ‘terminal device’ can further has ‘multicast / broadcast’ feature, to support public safety and mission critical, V2X applications, transparent IPv4 / IPv6 multicast delivery, IPTV, smart TV, radio services, software delivery over wireless, group communications and IoT applications. It may also incorporate one or multiple Subscriber Identity Module (SIM) as known as Multi-SIM. The term “terminal device” can be used interchangeably with a UE, a mobile station, a subscriber station, a mobile terminal, a user terminal or a wireless device.

[0017] The term “network device” refers to a device which is capable of providing or hosting a cell or coverage where terminal devices can communicate. Examples of a network device include, but not limited to, a Node B (NodeB or NB) , an evolved NodeB (eNodeB or eNB) , a next generation NodeB (gNB) , a transmission reception point (TRP) , a remote radio unit (RRU) , a radio head (RH) , a remote radio head (RRH) , an IAB node, a low power node such as a femto node, a pico node, a reconfigurable intelligent surface (RIS) , Network-controlled Repeaters, and the like.

[0018] The terminal device or the network device may have Artificial intelligence (AI) or Machine learning capability. It generally includes a model which has been trained from numerous collected data for a specific function, and can be used to infer some target information.

[0019] The terminal or the network device may work on several frequency ranges, e.g. FR1 (410 MHz –7125 MHz) , FR2 (24.25GHz to 71GHz) , frequency band larger than 100GHz as well as Tera Hertz (THz) . It can further work on licensed / unlicensed / shared spectrum. The terminal device may have more than one connection with the network devices under Multi-Radio Dual Connectivity (MR-DC) application scenario. The terminal device or the network device can work on full duplex, flexible duplex and cross division duplex modes.

[0020] The network device may have the function of network energy saving, Self-Organizing Networks (SON)  / Minimization of Drive Tests (MDT) . The terminal may have the function of power saving.

[0021] The embodiments of the present disclosure may be performed in test equipment, e.g. signal generator, signal analyzer, spectrum analyzer, network analyzer, test terminal device, test network device, channel emulator.

[0022] The embodiments of the present disclosure may be performed according to any generation communication protocols either currently known or to be developed in the future. Examples of the communication protocols include, but not limited to, the first generation (1G) , the second generation (2G) , 2.5G, 2.75G, the third generation (3G) , the fourth generation (4G) , 4.5G, the fifth generation (5G) communication protocols, 5.5G, 5G-Advanced networks, or the sixth generation (6G) networks.

[0023] As used herein, the singular forms ‘a’ , ‘an’ and ‘the’ are intended to include the plural forms as well, unless the context clearly indicates otherwise. The term ‘includes’ and its variants are to be read as open terms that mean ‘includes, but is not limited to. ’ The term ‘based on’ is to be read as ‘at least in part based on. ’ The term ‘some embodiments’ and ‘an embodiment’ are to be read as ‘at least some embodiments. ’ The term ‘another embodiment’ is to be read as ‘at least one other embodiment. ’ The terms ‘first, ’ ‘second, ’ and the like may refer to different or same objects. Other definitions, explicit and implicit, may be included below.

[0024] In some examples, values, procedures, or apparatus are referred to as ‘best, ’ ‘lowest, ’ ‘highest, ’ ‘minimum, ’ ‘maximum, ’ or the like. It will be appreciated that such descriptions are intended to indicate that a selection among many used functional alternatives can be made, and such selections need not be better, smaller, higher, or otherwise preferable to other selections.

[0025] Fig. 1 illustrates a schematic diagram of an example communication network 100 in which embodiments of the present disclosure can be implemented. As shown in Fig. 1, the  communication network 100 comprises a network device 120 and terminal devices 110-1, 110-2…, 110-N served by the network device 120. The serving area of the network device 120 is called as a cell 102. Hereinafter, the terminal devices 110-1, 110-2…, 110-N may be collectively referred to as “terminal devices 110” or individually referred to as “a terminal devices 110” .

[0026] It is to be understood that the number of network devices and terminal devices is only for the purpose of illustration without suggesting any limitations. The communication network 100 may comprise any suitable number of network devices and terminal devices adapted for implementing embodiments of the present disclosure.

[0027] As described above, regarding model monitoring in LCM of an AI or ML model, the time when an output of the AI or ML model is to be applied may not always be aligned with the time associated with a ground truth for model monitoring. An unsuitable metric threshold may bring inaccuracy to results of model monitoring.

[0028] In view of the above, embodiments of the present disclosure provide a solution for communication. In this solution, a terminal device determines a performance metric for an AI or ML model based on an output of the AI or ML model and a ground truth for monitoring performance of the AI or ML model. The terminal device determines a metric threshold based on first time when the output is to be applied and second time associated with the ground truth. Then, the terminal device compares the performance metric with the metric threshold. In turn, the terminal device evaluates the performance of the AI or ML model based on the comparison. This solution may improve accuracy of model monitoring, which can be more efficient for LCM related procedures of the AI or ML model.

[0029] Hereinafter, principle of the present disclosure will be described with reference to Figs. 2 to 6.

[0030] Fig. 2 illustrates a flowchart of an example method in accordance with some embodiments of the present disclosure. In some embodiments, the method 200 can be implemented at a terminal device, such as the terminal device 110 as shown in Fig. 1. For the purpose of discussion, the method 200 will be described with reference to Fig. 1.

[0031] At block 210, the terminal device 110 determines a performance metric for an AI or ML model based on an output of the AI or ML model and a ground truth for monitoring performance of the AI or ML model. The ground truth is associated with or correspond to the output.

[0032] As used herein, an output of an AI or ML model may be also referred to as a result  or output of model inference.

[0033] As used herein, the term “ground truth” may be used interchangeably with the term “ground truth label” .

[0034] As used herein, the expression “monitoring performance of an AI or ML model” may be used interchangeably with the expression “model monitoring” , “model performance monitoring” , “performance monitoring” , or “evaluating performance of an AI or ML model”

[0035] In some embodiments, the terminal device 110 may determine the performance metric by computing the performance metric based on the output of the AI or ML model and the ground truth.

[0036] In some embodiments, a model may be used interchangeably with AI model, ML model, AI or ML model, (AI / ML / auto-) encoder, channel state information (CSI) generation part or UE part / side model, functionality, AI-enabled feature / FG, which means a data driven algorithm that applies AI / ML techniques to generate a set of (AI / ML) outputs based on a set of (AI / ML) inputs.

[0037] In some embodiments, the terminal device 110 may perform model inference to get one or more outputs of the AI or ML model. Alternatively, the terminal device 110 may obtain the one or more outputs of the AI or ML model from model inference performed by the network device 120.

[0038] In some embodiments, the model inference may refer to a process of using a trained AI or ML model to generate a set of outputs based on a set of inputs.

[0039] In some embodiments, monitoring the performance of the AI or ML model may comprise UE-side monitoring based on an output of a CSI reconstruction model, subject to the aligned format, associated to the CSI report, indicated by the network device 120 or obtained from the network device 120.

[0040] Alternatively, in some embodiments, monitoring the performance of the AI or ML model may comprise Type 1 performance monitoring for CSI prediction using UE side model use case.

[0041] Alternatively, in some embodiments, monitoring the performance of the AI or ML model may comprise UE-side monitoring based on the output of the CSI reconstruction model (proxy) at the UE-side.

[0042] Alternatively, in some embodiments, monitoring the performance of the AI or ML model may comprise Type 2 performance monitoring for beam management (BM) prediction using UE side model use case.

[0043] In some embodiments, monitoring the performance of the AI or ML model may comprise monitoring based on inference accuracy. In such embodiments, the performance metric may comprise an intermediate key performance indicator (KPI) . For example, the intermediate KPI may include but is not limited to normalized mean square error (NMSE) or squared generalized cosine similarity (SGCS) .

[0044] Alternatively or additionally, in some embodiments, monitoring the performance of the AI or ML model may comprise monitoring based on system performance. In such embodiments, the performance metric may comprise a system performance KPI or an eventual KPI. For example, the system performance KPI or eventual KPI may include but is not limited to user perceived throughput (UPT) , hypothetical block error ratio (BLER) , or hybrid automatic repeat request acknowledgement (HARQ-ACK) .

[0045] At block 220, the terminal device 110 determines a metric threshold based on first time when the output is to be applied and second time associated with the ground truth. Some embodiments for determining the metric threshold will be described later with reference to Figs. 3 to 5.

[0046] At block 230, the terminal device 110 compares the performance metric with the metric threshold.

[0047] At block 240, the terminal device 110 evaluates the performance of the AI or ML model based on the comparison.

[0048] The method 200 may improve accuracy of model monitoring, which can be more efficient for LCM related procedures of the AI or ML model.

[0049] Fig. 3 illustrates an example of the first time when the output is to be applied and the second time associated with the ground truth in accordance with some embodiments of the present disclosure.

[0050] As shown in Fig. 3, the terminal device 110 may perform model inference to get one or more outputs of an AI or ML model. For example, the one or more outputs of an AI or ML model may comprise predicated CSI. An output of the AI or ML model is to be applied at the first time. The first time is represented by X. The second time associated with the ground truth is represented by Y.

[0051] In some embodiments, each of the first time and the second time may comprise any proper number of time unit. The time unit may comprise at least one of the following: slot, symbol, millisecond, second, or frame. In such embodiments, the offset between the first time and the second time may comprise at least one time unit, and the at least one time unit may  comprise at least one of the following: slot, symbol, millisecond, second, or frame. In the example of Fig. 3, the time unit comprises a slot. For example, the output of the AI or ML model is to be applied on slot X, and slot Y is associated with the ground truth.

[0052] In some embodiments, the first time when the output is to be applied may also be referred to as a time stamp of the output or applying time of the output.

[0053] In some embodiments, the output of the AI or ML model may comprise predicted CSI. In such embodiments, the first time when the output is to be applied may comprise a CSI reference resource.

[0054] In some embodiments, the second time associated with the ground truth may comprise the latest time carrying a reference signal (RS) from which the ground truth is obtained before or after the first time or at the first time.

[0055] For example, as shown in Fig. 3, the network device 120 may transmit RS on at least one of slots Y1, Y2, Y3, Y4 and Y5. The terminal device 110 may receive and measure the RS on at least one of slots Y1, Y2, Y3, Y4 and Y5. In turn, the terminal device 110 may obtain at least one ground truth on at least one of slots Y1, Y2, Y3, Y4 and Y5. Slots Y1 and Y2 are before slot X, slot Y3 is the same as slot X, and slots Y4 and Y5 are after slot X.

[0056] Alternatively, the second time associated with the ground truth may comprise time when the ground truth is determined to report to the network device 120. In some embodiments, the terminal device 110 may report the ground truth to the network device 120. Alternatively, the terminal device 110 may not report the ground truth to the network device 120.

[0057] In some embodiments, the terminal device 110 may determine an offset between the first time when the output is to be applied and the second time associated with the ground truth. In turn, the terminal device 110 may determine the metric threshold based on the offset. Hereinafter, the offset between the first time and the second time is also referred to as a distance or gap or interval between the first time and the second time.

[0058] In some embodiments, the terminal device 110 may receive, from the network device 120, first information about mapping between candidate metric thresholds and candidate offsets between the first time and the second time. In turn, the terminal device 110 may determine the metric threshold as one of the candidate metric thresholds based on the offset and the first information about the mapping.

[0059] In some embodiments, the terminal device 110 may receive the first information about the mapping via a radio resource control (RRC) signaling.

[0060] Alternatively, in some embodiments, the first information about the mapping may  be predefined.

[0061] Consider the example of Fig. 3. The candidate offsets between the first time and the second time may comprise a first offset between slot X and slot Y3, a second offset between slot X and slot Y4, a third offset between slot X and slot Y2, a fourth offset between slot X and slot Y5, and a fifth offset between slot X and slot Y1. Candidate metric thresholds may comprise a first (1st) metric threshold associated with the first offset, a second (2nd) metric threshold associated with the second offset, a third (3rd) metric threshold associated with the third offset, a fourth (4th) metric threshold associated with the fourth offset, and a fifth (5th) metric threshold associated with the fifth offset.

[0062] The terminal device 110 may receive, from the network device 120, the first information about the mapping between candidate metric thresholds and candidate offsets. For example, the first information about the mapping may comprise information about the following mapping: (5th metric threshold, the first offset) , (3rd metric threshold, the second offset) , (1th metric threshold, the third offset) , (2nd metric threshold, the fourth offset) , and (4th metric threshold, the fifth offset) .

[0063] Alternatively, in some embodiments, the candidate offsets between the first time and the second time may comprise the first offset between slot X and slot Y3, the third offset between slot X and slot Y2, and the fifth offset between slot X and slot Y1. Candidate metric thresholds may comprise the first (1st) metric threshold associated with the first offset, the third (3rd) metric threshold associated with the third offset, and the fifth (5th) metric threshold associated with the fifth offset.

[0064] Alternatively, in some embodiments, the candidate offsets between the first time and the second time may comprise the first offset between slot X and slot Y3, the second offset between slot X and slot Y2, and the fourth offset between slot X and slot Y1. Candidate metric thresholds may comprise the first (1st) metric threshold associated with the first offset, the second (2nd) metric threshold associated with the second offset, and the fourth (4th) metric threshold associated with the fourth offset.

[0065] Alternatively, in some embodiments, the candidate offsets between the first time and the second time may comprise the first offset between slot X and slot Y3 and the fifth offset between slot X and slot Y1. Candidate metric thresholds may comprise the first (1st) metric threshold associated with the first offset and the fifth (5th) metric threshold associated with the fifth offset.

[0066] Alternatively, in some embodiments, the candidate metric thresholds may be associated with SCS of a carrier or BWP on which the output is to be applied. In some  embodiments, the candidate metric thresholds may be configured every 2^μ slots for different SCS of a carrier or BWP on which the output is to be applied.

[0067] In some embodiments, SCS = 15* (2^μ) kHz. For example, if SCS is equal to 15kHz, μ is equal to 0. Thus, the candidate offsets between the first time and the second time may comprise 1 slot, 2 slots, 3 slots and so on, as shown in Fig. 3. The candidate metric thresholds may be configured every one slot.

[0068] For another example, if SCS is equal to 30kHz, μ is equal to 1. Thus, the candidate offsets between the first time and the second time may comprise 2 slot, 4 slots, 6 slots and so on.The candidate metric thresholds may be configured every two slots.

[0069] The terminal device 110 may receive, from the network device 120, the first information about the mapping between candidate metric thresholds and candidate offsets. For example, the first information about the mapping may comprise information about the following mapping: (5th metric threshold, the first offset) , (1th metric threshold, the third offset) , and (4th metric threshold, the fifth offset) .

[0070] For example, if the offset between the first time and the second time is equal to the the third offset, the terminal device 110 may determine the metric threshold as the 1th metric threshold based on the offset and the first information about the mapping.

[0071] For another example, if the offset between the first time and the second time is equal to the the first offset, the terminal device 110 may determine the metric threshold as the 5th metric threshold based on the offset and the first information about the mapping.

[0072] In some embodiments, the offset between the first time and the second time may comprise an absolute value of a difference between the first time and the second time. For example, in the example of Fig. 3, the offset between the first time and the second time may be equal to 0, 1 or 2.

[0073] Alternatively, in some embodiments, the offset between the first time and the second time may comprise a relative value between the first time and the second time. For example, in the example of Fig. 3, the offset between the first time and the second time may be equal to -2, -1, 0, 1 or 2.

[0074] Alternatively or additionally, in some embodiments, the terminal device 110 may report capability of a maximum offset between the first time and the second time for the AI or ML model to the network device 120. The maximum offset is also referred to as an offset threshold for the offset between the first time and the second time.

[0075] Alternatively or additionally, in some embodiments, the terminal device 110 may expect that the first information about the mapping can cover the offset threshold for the  offset between the first time and the second time. Otherwise, if the offset exceeds the offset threshold, the terminal device 110 may avoid evaluating the performance of the AI or ML model, or the terminal device 110 may transmit, to the network device 120, an indication indicating exceptional event. In such embodiments, the model monitoring is invalid.

[0076] Alternatively or additionally, in some embodiments, the terminal device 110 supports obtaining of ground truth for monitoring performance cross carrier or BWP (e.g., by capability reporting) . For example, the output is to be applied on a first SCS of a carrier or BWP while the ground truth is obtained on a second SCS of a carrier or BWP. In such embodiments, the first information about mapping may be determined based on the first SCS of the carrier or BWP on which the output is to be applied.

[0077] Alternatively, in some embodiments, the first information about mapping may be determined based on a speed of the terminal device 110. In such embodiments, the terminal device 110 may report the speed of the terminal device 110 to the network device 120.

[0078] Alternatively, in some embodiments, the terminal device 110 may receive, from the network device 120, a candidate metric threshold associated with a candidate offset. If an absolute value of the offset exceeds an offset threshold, the terminal device 110 may update the candidate metric threshold by using a first adaption factor. In turn, the terminal device 110 may determine the metric threshold as the updated candidate metric threshold.

[0079] Still consider the example of Fig. 3. The candidate offset between the first time and the second time may comprise the first offset between slot X and slot Y3. The candidate metric threshold may comprise the first (1st) metric threshold associated with the first offset.

[0080] The terminal device 110 may receive the candidate metric threshold associated with the candidate offset via an RRC signaling. Alternatively, mapping between the candidate metric threshold and the candidate offset may be predefined.

[0081] The terminal device 110 may determine whether an absolute value of the offset exceeds an offset threshold. That is, the terminal device 110 may determine whether |X –Y|exceeds the offset threshold. For example, Y may be equal to Y1, Y2, Y3, Y4 or Y5, and the offset threshold may be equal to 1. If |X –Y| exceeds the offset threshold, the terminal device 110 may update the first metric threshold by using the first adaption factor. For example, the terminal device 110 may scale, decrease or increase the first metric threshold by using the first adaption factor. In turn, the terminal device 110 may determine the metric threshold as the updated first metric threshold.

[0082] In some embodiments, the first adaption factor may be configured by the network device 120.

[0083] Alternatively, in some embodiments, the first adaption factor may be predefined.

[0084] Alternatively, in some embodiments, the first adaption factor may be determined by the terminal device 110 based on the offset between the first time and the second time. The offset may comprise a relative value between the first time and the second time. Alternatively, the offset may comprise an absolute value of a difference between the first time and the second time.

[0085] Alternatively or additionally, in some embodiments, the terminal device 110 supports obtaining of ground truth for monitoring performance cross carrier or BWP (e.g., by capability reporting) . For example, the output is to be applied on a first SCS of a carrier or BWP while the ground truth is obtained on a second SCS of a carrier or BWP. In such embodiments, the first adaption factor is associated with the first SCS of the carrier or BWP on which the output is to be applied. For example, the first adaption factor may be determined based on the first SCS of the carrier or BWP on which the output is to be applied.

[0086] Alternatively, in some embodiments, the first adaption factor may be determined based on a speed of the terminal device 110. In such embodiments, the terminal device 110 may report the speed of the terminal device 110 to the network device 120.

[0087] In some embodiments, the terminal device 110 may determine whether the second time is within a time duration around the first time. If the second time is within the time duration around the first time, the terminal device 110 may determine the metric threshold as a first metric threshold. If the second time is outside the time duration, the terminal device 110 may determine the metric threshold as a second metric threshold. This will be described with reference to Figs. 4A, 4B and 4C.

[0088] Figs. 4A, 4B and 4C illustrate an example of the first time when the output is to be applied and the second time associated with the ground truth in accordance with some embodiments of the present disclosure, respectively.

[0089] In the examples of Figs. 4A, 4B and 4C, the terminal device 110 may perform model inference to get one or more outputs of an AI or ML model. For example, the one or more outputs of an AI or ML model may comprise predicated CSI. An output of the AI or ML model is to be applied at the first time. The first time is represented by X. The second time associated with the ground truth is represented by Y. The output of the AI or ML model is to be applied on slot X, and slot Y is associated with the ground truth. For example, Y may be equal to Y1, Y2 or Y3.

[0090] As shown in Fig. 4A, the terminal device 110 may determine whether Y is within a time duration 410 around X. If Y is within the time duration 410, the terminal device 110  may determine the metric threshold as a first metric threshold. If Y is outside the time duration 410, the terminal device 110 may determine the metric threshold as a second metric threshold. For example, if Y is equal to Y1 which is within the time duration 410, the terminal device 110 may determine the metric threshold as a first metric threshold. For another example, if Y is equal to Y2 or Y3 which is outside the time duration 410, the terminal device 110 may determine the metric threshold as a second metric threshold.

[0091] The example of Fig. 4B is different from the example of Fig. 4A in that the time duration around the first time is restricted to be after the first time. For example, a time duration 420 around X is restricted to be after X. For example, if Y is equal to Y1 which is within the time duration 420, the terminal device 110 may determine the metric threshold as a first metric threshold. For another example, if Y is equal to Y2 or Y3 which is outside the time duration 420, the terminal device 110 may determine the metric threshold as a second metric threshold.

[0092] The example of Fig. 4C is different from the example of Fig. 4A in that the time duration around the first time is restricted to be before the first time. For example, a time duration 430 around X is restricted to be after X. For example, if Y is equal to Y1 which is within the time duration 430, the terminal device 110 may determine the metric threshold as a first metric threshold. For another example, if Y is equal to Y2 or Y3 which is outside the time duration 430, the terminal device 110 may determine the metric threshold as a second metric threshold.

[0093] In some embodiments, the terminal device 110 may receive at least one of the following from the network device 120: the first metric threshold, the second metric threshold, or a length of the time duration.

[0094] In some embodiments, the terminal device 110 may receive at least one of the following from the network device 120 via an RRC signaling: the first metric threshold, the second metric threshold, or a length of the time duration. Alternatively, at least one of the following may be predefined: the first metric threshold, the second metric threshold, or a length of the time duration.

[0095] Alternatively or additionally, in some embodiments, the terminal device 110 supports obtaining of ground truth for monitoring performance cross carrier or BWP (e.g., by capability reporting) . For example, the output is to be applied on a first SCS of a carrier or BWP while the ground truth is obtained on a second SCS of a carrier or BWP. In such embodiments, the time duration may be associated with the first SCS of the carrier or BWP on which the output is to be applied. For example, the time duration may be determined based  on the first SCS of the carrier or BWP on which the output is to be applied.

[0096] Alternatively, in some embodiments, the time duration may be determined based on a speed of the terminal device 110. In such embodiments, the terminal device 110 may report the speed of the terminal device 110 to the network device 120.

[0097] In some embodiments, the terminal device 110 may receive the first metric threshold from the network device 120. For example, the terminal device 110 may receive the first metric threshold from the network device 120 via an RRC signaling.

[0098] In turn, the terminal device 110 may update the first metric threshold by using a second adaption factor. For example, the terminal device 110 may scale, decrease or increase the first metric threshold by using the second adaption factor. In turn, the terminal device 110 may determine the second metric threshold as the updated first metric threshold.

[0099] In some embodiments, the second adaption factor may be configured by the network device 120.

[0100] Alternatively, in some embodiments, the second adaption factor may be predefined.

[0101] Alternatively, in some embodiments, the second adaption factor may be determined by the terminal device 110 based on the offset between the first time and the second time. The offset may comprise a relative value between the first time and the second time. Alternatively, the offset may comprise an absolute value of a difference between the first time and the second time.

[0102] Alternatively or additionally, in some embodiments, the terminal device 110 supports obtaining of ground truth for monitoring performance cross carrier or BWP (e.g., by capability reporting) . For example, the output is to be applied on a first SCS of a carrier or BWP while the ground truth is obtained on a second SCS of a carrier or BWP. In such embodiments, the second adaption factor is associated with the first SCS of the carrier or BWP on which the output is to be applied. For example, the second adaption factor may be determined based on the first SCS of the carrier or BWP on which the output is to be applied.

[0103] Alternatively, in some embodiments, the second adaption factor may be determined based on a speed of the terminal device 110. In such embodiments, the terminal device 110 may report the speed of the terminal device 110 to the network device 120.

[0104] In some embodiments, the output is to be applied within a time duration. The time duration may comprise multiple time units. The time units may comprises at least one of the following: slots, symbols, milliseconds, seconds, or frames. This will be described with reference to Fig. 5.

[0105] Fig. 5 illustrates an example of the first time when the output is to be applied and  the second time associated with the ground truth in accordance with some embodiments of the present disclosure.

[0106] As shown in Fig. 5, the terminal device 110 may perform model inference to get one or more outputs of an AI or ML model. For example, the one or more outputs of an AI or ML model may comprise predicated CSI. An output of the AI or ML model is to be applied within a time duration. The time duration is represented by X.

[0107] The time duration X may comprise multiple time units. In the example of Fig. 5, the time units comprise slots. For example, the time duration X comprises multiple slots, and slot Y is associated with the ground truth.

[0108] In some embodiments, the terminal device 110 may receive information about the time duration X from the network device 120.

[0109] In some embodiments, the information about the time duration X may comprise information about a starting time and an ending time of the time duration. For example, the starting time and the ending time of the time duration may be slot a and slot b respectively.

[0110] Alternatively, the information about the time duration X may indicate that the output is to be applied on slot a while the output will be used till slot b (e.g., till next output update) .

[0111] In the example of Fig. 5, the second time associated with the ground truth is represented by Y. For example, Y may be equal to Y1, Y2 or Y3.

[0112] In some embodiments, the terminal device 110 may use the time duration X as a valid performance monitoring duration. In such embodiments, the terminal device 110 may use any ground truth obtained within the time duration X for monitoring performance of the AI or ML model. For example, the terminal device 110 may use a ground truth obtained on slot Y1 or Y2 for monitoring performance of the AI or ML model. In such embodiments, the terminal device 110 may use a consistent metric threshold for evaluating the performance of the AI or ML model as long as the ground truth is obtained within the time duration X. The consistent metric threshold may be configured by the network device 120 or predefined.

[0113] Alternatively, in some embodiments, the terminal device 110 may select a reference time within the time duration X as valid performance monitoring time. In other words, the terminal device 110 may select the first time within the time duration X as valid performance monitoring time or valid time for applying the output. The reference time or the first time may be configured as any slot within the time duration X. For example, the reference time or the first time may a starting time (i.e., slot a) or an ending time (i.e., slot b) of the time duration X. In turn, the terminal device 110 may determine an offset between the reference time (i.e., the first time) and the second time and determine the metric threshold based on the  offset, as described above.

[0114] In some embodiments, if the following model performance monitoring procedures are applied in the terminal device 110 and / or the network device 120, the following may be performed. The terminal device 110 may perform model inference by using the AI or ML model at the terminal device 110 side. The terminal device 110 may get ground truth for monitoring. The terminal device 110 may report model output and / or the corresponding ground-truth to the network device 120. The network device 120 may determine or calculate the performance metrics. The network device 120 may compare the performance metric with a metric threshold.

[0115] In some embodiments, the present disclosure may be applied to one of the following scenarios: Type 2 performance monitoring for CSI prediction using the AI or ML model at the terminal device 110 side, or the network device 120 performs performance monitoring for BM prediction using the AI or ML model at the terminal device 110 side.

[0116] In some embodiments, the time information of ground truth will be informed to the network device 120.

[0117] In some embodiments, it is up to the network device 120 to determine how to calculate the performance metrics and how to set the metric threshold.

[0118] In some embodiments, if the following model performance monitoring procedures are applied in the terminal device 110 and / or the network device 120, the following may be performed. The terminal device 110 may perform mode inference by using the AI or ML model at the terminal device 110 side. The terminal device 110 may get the ground truth for monitoring. The terminal device 110 may calculate at least one performance metric. The terminal device 110 may report the at least one performance metric to the network device 120. The network device 120 may compare the performance metric with the metric threshold.

[0119] In some embodiments, the present disclosure may be applied to one of the following scenarios: Type 2 performance monitoring for CSI prediction by using the AI or ML model at the terminal device 110 side, or the terminal device 110 assists performance monitoring for BM prediction by using the AI or ML model at the terminal device 110 side.

[0120] In some embodiments, the time information of the ground truth used for calculating the performance metric will be informed to the network device 120. For example, the terminal device 110 may transmit, to the network device 120, time offset between the time when the output is to be applied and the time associated with the ground truth.

[0121] In some embodiments, it is up to the network device 120 to determine how to perform monitoring.

[0122] In some embodiments, if the following model performance monitoring procedures are applied to the terminal device 110 and / or the network device 120, the following may be performed. The network device 120 may perform mode inference by using the AI or ML model at the network device 120 side. The terminal device 110 may get the ground truth for monitoring. The terminal device 110 may report corresponding ground-truth to the network device 120. The network device 120 may calculate the performance metrics. The network device 120 may compare the performance metric with the metric threshold.

[0123] In some embodiments, the present disclosure may be applied to one of the following scenarios: the network device 120 performs model monitoring based on the target CSI with realistic channel estimation associated to the CSI report which is reported by the terminal device 110 or obtained from the terminal device 110, or the network device 120 performs performance monitoring for BM prediction by using the AI or ML model at the network device 120 side.

[0124] In some embodiments, the time information of the ground truth will be informed to the network device 120.

[0125] In some embodiments, it is up to the network device 120 to determine how to calculate the performance metrics and how to set a metric threshold.

[0126] Fig. 6 is a simplified block diagram of a device 600 that is suitable for implementing embodiments of the present disclosure. The device 600 can be considered as a further example embodiment of the terminal device 110 or the network device 120 as shown in Fig. 1. Accordingly, the device 600 can be implemented at or as at least a part of the terminal device 110 or or the network device 120.

[0127] As shown, the device 600 includes a processor 610, a memory 620 coupled to the processor 610, a suitable transceiver 640 coupled to the processor 610, and a communication interface coupled to the transceiver 640. The memory 610 stores at least a part of a program 630. The transceiver 640 may be for bidirectional communications or a unidirectional communication based on requirements. The transceiver 640 may include at least one of a transmitter 642 and a receiver 644. The transmitter 642 and the receiver 644 may be functional modules or physical entities. The transceiver 640 has at least one antenna to facilitate communication, though in practice an Access Node mentioned in this application may have several ones. The communication interface may represent any interface that is necessary for communication with other network elements, such as X2 / Xn interface for bidirectional communications between eNBs / gNBs, S1 / NG interface for communication between a Mobility Management Entity (MME)  / Access and Mobility Management Function  (AMF)  / SGW / UPF and the eNB / gNB, Un interface for communication between the eNB / gNB and a relay node (RN) , or Uu interface for communication between the eNB / gNB and a terminal device.

[0128] The components included in the apparatuses and / or devices of the present disclosure may be implemented in various manners, including software, hardware, firmware, or any combination thereof. In one embodiment, one or more units may be implemented using software and / or firmware, for example, machine-executable instructions stored on the storage medium. In addition to or instead of machine-executable instructions, parts or all of the units in the apparatuses and / or devices may be implemented, at least in part, by one or more hardware logic components. For example, and without limitation, illustrative types of hardware logic components that can be used include Field-programmable Gate Arrays (FPGAs) , Application-specific Integrated Circuits (ASICs) , Application-specific Standard Products (ASSPs) , System-on-a-chip systems (SOCs) , Complex Programmable Logic Devices (CPLDs) , and the like.

Claims

1.A terminal device, comprising:a processor configured to cause the terminal device to:determine a performance metric for an artificial intelligence (AI) or machine learning (ML) model based on an output of the AI or ML model and a ground truth for monitoring performance of the AI or ML model;determine a metric threshold based on first time when the output is to be applied and second time associated with the ground truth;compare the performance metric with the metric threshold; andevaluate the performance of the AI or ML model based on the comparison.2.The terminal device of claim 1, wherein the terminal device is caused to determine the metric threshold by:determining an offset between the first time and the second time; anddetermining the metric threshold based on the offset.3.The terminal device of claim 2, wherein the offset comprises at least one time unit, and the at least one time unit comprises at least one of the following:slot,symbol,millisecond,second, orframe.4.The terminal device of claim 2, wherein the terminal device is caused to determine the metric threshold based on the offset by:receiving, from a network device, first information about mapping between candidate metric thresholds and candidate offsets between the first time and the second time; anddetermining the metric threshold as one of the candidate metric thresholds based on the offset and the first information about the mapping.5.The terminal device of claim 2, wherein the terminal device is caused to determine the metric threshold based on the offset by:receiving, from a network device, a candidate metric threshold associated with a candidate offset;based on determining that an absolute value of the offset exceeds an offset threshold, updating the candidate metric threshold by using a first adaption factor; anddetermining the metric threshold as the updated candidate metric threshold.6.The terminal device of claim 5, wherein:the first adaption factor is configured by the network device, orthe first adaption factor is predefined, orthe first adaption factor is determined by the terminal device based on the offset.7.The terminal device of claim 5, wherein the first adaption factor is associated with a Subcarrier Spacing (SCS) of a carrier or Bandwidth Part (BWP) on which the output is to be applied.8.The terminal device of claim 2, wherein the terminal device is further caused to:based on determining that the offset exceeds an offset threshold,avoid evaluating the performance of the AI or ML model, ortransmit, to the network device, an indication indicating exceptional event.9.The terminal device of claim 1, wherein the terminal device is caused to determine the metric threshold by:based on determining that the second time is within a time duration around the first time, determining the metric threshold as a first metric threshold; andbased on determining that the second time is outside the time duration, determining the metric threshold as a second metric threshold.10.The terminal device of claim 9, wherein the time duration is located before or after the first time.11.The terminal device of claim 9, wherein the terminal device is further caused to:receive at least one of the following from a network device:the first metric threshold,the second metric threshold, ora length of the time duration.12.The terminal device of claim 9, wherein the time duration is associated with a Subcarrier Spacing (SCS) of a carrier or Bandwidth Part (BWP) on which the output is to be applied.13.The terminal device of claim 11, wherein the terminal device is further caused to:receive the first metric threshold from the network device;update the first metric threshold by using a second adaption factor; anddetermine the second metric threshold as the updated first metric threshold.14.The terminal device of claim 13, wherein the second adaption factor is associated with a Subcarrier Spacing (SCS) of a carrier or Bandwidth Part (BWP) on which the output is to be applied.15.The terminal device of claim 1, wherein the output is to be applied within a time duration; andwherein the terminal device is further caused to select the first time within the time duration.16.The terminal device of claim 15, wherein the first time comprises a starting time or an ending time of the time duration.17.A method for communications, comprising:determining a performance metric for an artificial intelligence (AI) or machine learning (ML) model based on an output of the AI or ML model and a ground truth for monitoring performance of the AI or ML model;determining a metric threshold based on first time when the output is to be applied and second time associated with the ground truth;comparing the performance metric with the metric threshold; andevaluating the performance of the AI or ML model based on the comparison.18.A computer readable medium having instructions stored thereon, the instructions, when executed on at least one processor of a device, causing the device to carry out the method according to claim 17.

Images