Devices and methods for communication

Abstract

Embodiments of the present disclosure provide a solution for performance monitoring. In a solution, a first device receives, from a second device, at least one configuration of a measurement report; determines a first performance metric corresponding to a first set of samples determined based on the at least one configuration, and a second performance metric corresponding to a second set of samples which is a subset of the first set of samples; and transmits at least one measurement report to the second device, wherein the at least one measurement report comprises at least one of: first performance information determined based on the first performance metric, second performance information determined based on the second performance metric, or third performance information determined based on at least one of: the first performance metric or the second performance metric.

Description

DEVICES AND METHODS FOR COMMUNICATION

[0001] FIELDS

[0002] Example embodiments of the present disclosure generally relate to the field of communication techniques and in particular, to devices and methods for performance monitoring.BACKGROUND

[0003] As communication networks and services increase in size, complexity, and number of users, operations in the communication networks may become increasingly more complicated. In order to improve the communication performance, machine learning (ML)  / artificial intelligence (AI) technology is proposed to be used in the wireless communication network. For example, the terminal device and the network device may use different ML models to assist communication-related functionalities, such as, beam management (BM) , mobility management and so on.SUMMARY

[0004] In general, embodiments of the present disclosure provide a solution for performance monitoring.

[0005] In a first aspect, there is provided a first device. The first device comprises: a processor configured to cause the first device to: receive, from a second device, at least one configuration of a measurement report; determine a first performance metric corresponding to a first set of samples determined based on the at least one configuration, and a second performance metric corresponding to a second set of samples which is a subset of the first set of samples; and transmit at least one measurement report to the second device, wherein the at least one measurement report comprises at least one of: first performance information determined based on the first performance metric, second performance information determined based on the second performance metric, or third performance information determined based on at least one of: the first performance metric or the second performance metric.

[0006] In a second aspect, there is provided a first device. The first device comprises: a processor configured to cause the first device to: receive, from a second device, at least  one configuration of a measurement report; determine at least one of: distribution of false samples in a first set of samples which is determined based on the at least one configuration, or consecutive false samples in the first set of samples; transmit, to the second device, at least one measurement report comprising at least one of the following: first information related to the distribution of false sample in the first set of samples, or second information related to the consecutive false samples in the first set of samples.

[0007] In a third aspect, there is provided a second device. The second device comprises: a processor configured to cause the second device to: transmit, to a first device, at least one configuration of a measurement report; receive at least one measurement report from the first device, wherein the at least one measurement report comprises at least one of: first performance information determined based on the first performance metric corresponding to a first set of samples, the first set of samples being determined based on the at least one configuration, second performance information determined based on the second performance metric corresponding to a second set of samples which is a subset of the first set of samples, or third performance information determined based on at least one of: the first performance metric or the second performance metric.

[0008] In a fourth aspect, there is provided a second device. The second device comprises: a processor configured to cause the second device to: transmit at least one configuration of a measurement report to a first device; receive, from the first device, at least one measurement report comprising at least one of the following: first information related to distribution of false sample in a first set of samples, the first set of sample being determined based on the at least one configuration, or second information related to consecutive false samples in the first set of samples.

[0009] In a fifth aspect, there is provided a communication method performed by a first device. The method comprises: receiving, from a second device, at least one configuration of a measurement report; determining a first performance metric corresponding to a first set of samples determined based on the at least one configuration, and a second performance metric corresponding to a second set of samples which is a subset of the first set of samples; and transmitting at least one measurement report to the second device, wherein the at least one measurement report comprises at least one of: first performance information determined based on the first performance metric, second performance information determined based on the second performance metric, or third performance  information determined based on at least one of: the first performance metric or the second performance metric.

[0010] In a sixth aspect, there is provided a communication method performed by a first device. The method comprises: receiving, from a second device, at least one configuration of a measurement report; determining at least one of: distribution of false samples in a first set of samples which is determined based on the at least one configuration, or consecutive false samples in the first set of samples; transmitting, to the second device, at least one measurement report comprising at least one of the following: first information related to the distribution of false sample in the first set of samples, or second information related to the consecutive false samples in the first set of samples.

[0011] In a seventh aspect, there is provided a communication method performed by a second device. The method comprises: transmitting, to a first device, at least one configuration of a measurement report; receiving at least one measurement report from the first device, wherein the at least one measurement report comprises at least one of: first performance information determined based on the first performance metric corresponding to a first set of samples, the first set of samples being determined based on the at least one configuration, second performance information determined based on the second performance metric corresponding to a second set of samples which is a subset of the first set of samples, or thirding performance information determined based on at least one of: the first performance metric or the second performance metric.

[0012] In an eighth aspect, there is provided a communication method performed by a second device. The method comprises: transmitting at least one configuration of a measurement report to a first device; receiving, from the first device, at least one measurement report comprising at least one of the following: first information related to distribution of false sample in a first set of samples, the first set of sample being determined based on the at least one configuration, or second information related to consecutive false samples in the first set of samples.

[0013] In a ninth aspect, there is provided a computer readable medium having instructions stored thereon, the instructions, when executed on at least one processor, causing the at least one processor to carry out the method according to the fifth, sixth, seventh, or eighth aspect.

[0014] Other features of the present disclosure will become easily comprehensible through the following description.BRIEF DESCRIPTION OF THE DRAWINGS

[0015] Through the more detailed description of some example embodiments of the present disclosure in the accompanying drawings, the above and other objects, features and advantages of the present disclosure will become more apparent, wherein:

[0016] FIG. 1A illustrates an example communication environment in which example embodiments of the present disclosure can be implemented;

[0017] FIG. 1B illustrates an example diagram of interaction among the NW and the UE;

[0018] FIG. 2A and FIG. 2B illustrate example diagrams of interaction among the NW and the UE;

[0019] FIG. 3 illustrates a signaling flow of communication in accordance with some embodiments of the present disclosure;

[0020] FIG. 4 to FIG. 8 illustrate example diagrams of interaction among the NW and the UE;

[0021] FIG. 9 illustrates a flowchart of a communication method implemented at a first device according to some example embodiments of the present disclosure;

[0022] FIG. 10 illustrates a flowchart of a communication method implemented at a first device according to some example embodiments of the present disclosure;

[0023] FIG. 11 illustrates a flowchart of a communication method implemented at a second device according to some example embodiments of the present disclosure;

[0024] FIG. 12 illustrates a flowchart of a communication method implemented at a second device according to some example embodiments of the present disclosure;

[0025] FIG. 13 illustrates a simplified block diagram of an apparatus that is suitable for implementing example embodiments of the present disclosure.

[0026] Throughout the drawings, the same or similar reference numerals represent the same or similar element.DETAILED DESCRIPTION

[0027] Principle of the present disclosure will now be described with reference to some example embodiments. It is to be understood that these embodiments are described only for the purpose of illustration and help those skilled in the art to understand and implement the present disclosure, without suggesting any limitation as to the scope of the disclosure. Embodiments described herein can be implemented in various manners other than the ones described below.

[0028] In the following description and claims, unless defined otherwise, all technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skills in the art to which this disclosure belongs.

[0029] As used herein, the term ‘terminal device’ refers to any device having wireless or wired communication capabilities. Examples of the terminal device include, but not limited to, user equipment (UE) , personal computers, desktops, mobile phones, cellular phones, smart phones, personal digital assistants (PDAs) , portable computers, tablets, wearable devices, internet of things (IoT) devices, Ultra-reliable and Low Latency Communications (URLLC) devices, Internet of Everything (IoE) devices, machine type communication (MTC) devices, devices on vehicle for V2X communication where X means pedestrian, vehicle, or infrastructure / network, devices for Integrated Access and Backhaul (IAB) , Space borne vehicles or Air borne vehicles in Non-terrestrial networks (NTN) including Satellites and High Altitude Platforms (HAPs) encompassing Unmanned Aircraft Systems (UAS) , eXtended Reality (XR) devices including different types of realities such as Augmented Reality (AR) , Mixed Reality (MR) and Virtual Reality (VR) , the unmanned aerial vehicle (UAV) commonly known as a drone which is an aircraft without any human pilot, devices on high speed train (HST) , or image capture devices such as digital cameras, sensors, gaming devices, music storage and playback appliances, or Internet appliances enabling wireless or wired Internet access and browsing and the like. The ‘terminal device’ can further have ‘multicast / broadcast’ feature, to support public safety and mission critical, V2X applications, transparent IPv4 / IPv6 multicast delivery, IPTV, smart TV, radio services, software delivery over wireless, group communications and IoT applications. It may also incorporate one or multiple Subscriber Identity Module (SIM) as known as Multi-SIM. The term “terminal device” can be used interchangeably with a UE, a mobile station, a subscriber station, a mobile terminal, a user terminal or a wireless device.

[0030] The term “network device” refers to a device which is capable of providing or hosting a cell or coverage where terminal devices can communicate. Examples of a network device include, but not limited to, a Node B (NodeB or NB) , an evolved NodeB (eNodeB or eNB) , a next generation NodeB (gNB) , a transmission reception point (TRP) , a remote radio unit (RRU) , a radio head (RH) , a remote radio head (RRH) , an IAB node, a low power node such as a femto node, a pico node, a reconfigurable intelligent surface (RIS) , and the like.

[0031] The terminal device or the network device may have Artificial intelligence (AI) or Machine learning capability. It generally includes a model which has been trained from numerous collected data for a specific function, and can be used to predict some information.

[0032] The terminal or the network device may work on several frequency ranges, e.g., FR1 (e.g., 450 MHz to 6000 MHz) , FR2 (e.g., 24.25GHz to 52.6GHz) , frequency band larger than 100 GHz as well as Tera Hertz (THz) . It can further work on licensed / unlicensed / shared spectrum. The terminal device may have more than one connection with the network devices under Multi-Radio Dual Connectivity (MR-DC) application scenario. The terminal device or the network device can work on full duplex, flexible duplex and cross division duplex modes.

[0033] The embodiments of the present disclosure may be performed in test equipment, e.g., signal generator, signal analyzer, spectrum analyzer, network analyzer, test terminal device, test network device, channel emulator. In some embodiments, the terminal device may be connected with a first network device and a second network device. One of the first network device and the second network device may be a master node and the other one may be a secondary node. The first network device and the second network device may use different radio access technologies (RATs) . In some embodiments, the first network device may be a first RAT device and the second network device may be a second RAT device. In some embodiments, the first RAT device is eNB and the second RAT device is gNB. Information related with different RATs may be transmitted to the terminal device from at least one of the first network device or the second network device. In some embodiments, first information may be transmitted to the terminal device from the first network device and second information may be transmitted to the terminal device from the second network device directly or via the first network device. In some embodiments, information related with configuration for the terminal device configured by the second  network device may be transmitted from the second network device via the first network device. Information related with reconfiguration for the terminal device configured by the second network device may be transmitted to the terminal device from the second network device directly or via the first network device.

[0034] As used herein, the singular forms ‘a’ , ‘an’ and ‘the’ are intended to include the plural forms as well, unless the context clearly indicates otherwise. The term ‘includes’ and its variants are to be read as open terms that mean ‘includes, but is not limited to. ’ The term ‘based on’ is to be read as ‘at least in part based on. ’ The term ‘one embodiment’ and ‘an embodiment’ are to be read as ‘at least one embodiment. ’ The term ‘another embodiment’ is to be read as ‘at least one other embodiment. ’ The terms ‘first, ’ ‘second, ’ and the like may refer to different or same objects. Other definitions, explicit and implicit, may be included below.

[0035] In some examples, values, procedures, or apparatus are referred to as ‘best, ’ ‘lowest, ’ ‘highest, ’ ‘minimum, ’ ‘maximum, ’ or the like. It will be appreciated that such descriptions are intended to indicate that a selection among many used functional alternatives can be made, and such selections need not be better, smaller, higher, or otherwise preferable to other selections.

[0036] As used herein, the term “resource, ” “transmission resource, ” “uplink resource, ” or “downlink resource” may refer to any resource for performing a communication, such as a resource in time domain, a resource in frequency domain, a resource in space domain, a resource in code domain, or any other resource enabling a communication, and the like. In the following, unless explicitly stated, a resource in both frequency domain and time domain will be used as an example of a transmission resource for describing some example embodiments of the present disclosure. It is noted that example embodiments of the present disclosure are equally applicable to other resources in other domains.

[0037] As used herein, the terms “UE expects” , “UE does not expect, “terminal device expects” , “terminal device does not expect” may imply restrictions on a configuration of a network device (also referred to as NW configuration) . The terms “UE is not expected to” and “terminal device is not expected to” may imply a terminal implementation, also referred to as UE implementation. In some embodiments, the terms “UE does not expect” and “UE is not expected to” may be used equally.

[0038] As discussed above, the terminal device and the network device may use different ML models to assist communication-related functionalities, such as, BM, mobility management and so on.

[0039] So far, two BM cases (i.e., BM-case1 and BM-case2) have been proposed and discussed separately, specifically,

[0040] ● BM-Case1: Spatial-domain downlink beam prediction for Set A of beams based on measurement results of Set B of beams;

[0041] Consider: 1) : artificial intelligence (AI)  / machine learning (ML) model training and inference at NW side. 2) : AI / ML model training and inference at UE side.

[0042] Consider: 1) : Set A and Set B are different (Set B is not a subset of Set A) . 2) : Set B is a subset of Set A. Note: Set A is for DL beam prediction.

[0043] AI / ML model input consider: 1) : only L1-reference signal receiving power (RSRP) measurement based on Set B; 2) : L1-RSRP measurement based on Set B and assistance information; 3) : channel impulse response (CIR) based on Set B; 4) : layer 1 (L1) -reference signal receiving power (RSRP) measurement based on Set B and the corresponding DL Tx and / or Rx beam ID.

[0044] ● BM-Case2: Temporal Downlink beam prediction for Set A of beams based on the historic measurement results of Set B of beams;

[0045] Consider: 1) : AI / ML model training and inference at NW side. 2) : AI / ML model training and inference at UE side.

[0046] Consider: 1) : Set A and Set B are different (Set B is NOT a subset of Set A) . 2) : Set B is a subset of Set A (Set A and Set B are not the same) . 3) : Set A and Set B are the same.

[0047] AI / ML model input consider: measurement results of K (K≥1) latest measurement instances with the following alternatives: 1) : Only L1-RSRP measurement based on Set B; 2) : L1-RSRP measurement based on Set B and assistance information; 3) : L1-RSRP measurement based on Set B and the corresponding DL Tx and / or Rx beam ID.

[0048] F predictions for F future time instances can be obtained based on the output of AI / ML model, where each prediction is for each time instance. At least F=1.

[0049] Set B is a set of beams whose measurements may be taken as inputs of the AI / ML model.

[0050] Beam prediction accuracy related key performance indicators (KPIs) , may include:

[0051] -Top-1 genie-aided Tx beam considers the following definitions:

[0052] -Option A, the Top-1 genie-aided Tx beam is the Tx beam that results in the largest layer 1 (L1) -reference signal received power (RSRP) over all Tx and Rx beams;

[0053] -Option B, the Top-1 genie-aided Tx beam is the Tx beam that results in the largest L1-RSRP over all Tx beams with specific Rx beam (s) ;

[0054] Specific Rx beam (s) are to be reported. Note: specific Rx beams are a subset of all Rx beams.

[0055] -Top-1 genie-aided Tx-Rx beam pair considers the following definitions:

[0056] -Option A: The Tx-Rx beam pair that results in the largest L1-RSRP over all Tx and Rx beams;

[0057] -Other options not precluded and can be reported;

[0058] -Average L1-RSRP difference of Top-1 predicted beam:

[0059] -The difference between the ideal L1-RSRP of Top-1 predicted beam and the ideal L1-RSRP of the Top-1 genie-aided beam;

[0060] -Beam prediction accuracy (%) :

[0061] -Top-1 (%) : the percentage of "the Top-1 genie-aided beam is Top-1 predicted beam" ;

[0062] -Top-K / 1 (%) : the percentage of "the Top-1 genie-aided beam is one of the Top-K predicted beams" ;

[0063] -Top-1 / K (%) (Optional) : the percentage of "the Top-1 predicted beam is one of the Top-K genie-aided beams" ;

[0064] -Where K >1 and values can be reported;

[0065] -cumulative distribution function (CDF) of L1-RSRP difference for Top-1 predicted beam;

[0066] -Beam prediction accuracy (%) with 1dB margin for Top-1 beam;

[0067] -The beam prediction accuracy (%) with 1dB margin is the percentage of the Top-1 predicted beam "whose ideal L1-RSRP is within 1dB of the ideal L1-RSRP of the Top-1 genie-aided beam" ;

[0068] -Other beam prediction accuracy related KPIs are not precluded and can be reported.

[0069] It has been agreed that for UE-sided model, at least for BM-Case1, for content in the report of inference results, support:

[0070] -Option 1: Beam information on predicted Top K beam (s) among a set of beams (K=1 or larger) ;

[0071] -Option 2: Beam information on predicted Top K beam (s) among a set of beams and RSRP of predicted Top K beam (s) among a set of beams (K=1 or larger) ;

[0072] -Option 3: Beam information on predicted Top K beam (s) among a set of beams and probability information of predicted Top K beam (s) among a set of beams; Probability information is the probability of the beam to be the Top 1 or Top K beam;

[0073] -Option 4: Beam information on predicted Top K beam (s) among a set of beams, RSRP of predicted Top K beam (s) among a set of beams, and confidence information of the RSRP, where the set of beams is Set A, i.e., the beams for UE prediction.

[0074] Further, it has been agreed that for report content of inference results for UE-sided model for BM-Case 1, for the RSRP of predicted Top K beam (s) in the report of inference results, when applicable, further study the following options:

[0075] -Option A: Predicted RSRP;

[0076] -Option B: Predicted RSRP, if the beam is not configured for corresponding measurement, and measured L1-RSRP if the beam is configured for corresponding measurement.

[0077] The predicted RSRP is based on AI / ML output and support on both Option A and Option B is not precluded.

[0078] In the context of the present discourse, model may be interchangeably with AI / ML, AI / ML model, AI / ML agent, functionality, AI / ML functionality, AI-enabled feature / FG (feature group) , dataset, NW-side or UE-side additional condition, condition, applicable condition, model structure, model parameter, reference model, proxy model, model description / meta information. It means a data driven algorithm that applies AI / ML  techniques to generate a set of (AI / ML) outputs based on a set of (AI / ML) inputs. AI / ML-enabled feature may refer to a feature where AI / ML may be used. Functionality may refer to an AI / ML-enabled Feature / FG enabled by configuration (s) , where configuration (s) is (are) supported based on conditions indicated by UE capability. Model may be associated with specific configurations / conditions associated with UE capability of an AI / ML-enabled Feature / FG and additional conditions (e.g., scenarios, sites, and datasets) as determined / identified between UE-side and NW-side.

[0079] Model may be represented by model ID, i.e., indication of functionality or model. Model ID is interchangeably with associated ID, functionality ID, dataset ID, scenario ID, zone ID, configuration ID, quantization ID, local (model) ID, global (model) ID, logical (model) ID, physical (model) ID and so on.

[0080] Measured result (s) may be interchangeably with ground-truth (label) .

[0081] LCM of model comprises at least one of: model selection, model switching, model activation, model deactivation, fallback (to non-AI / ML) .

[0082] Model inference may mean a process of using a trained AI / ML model to produce a set of outputs based on a set of inputs. Output may be interchangeably with infer, predict, estimate, calculate, determine. Performance monitoring may mean a procedure that monitors the (inference) performance related to the AI / ML model.

[0083] Model activation may mean to enable an AI / ML model for a specific AI / ML-enabled feature. Model deactivation may mean to disable an AI / ML model for a specific AI / ML-enabled feature. Model switching may mean deactivating a currently active AI / ML model and activating a different AI / ML model for a specific AI / ML-enabled feature. Model selection may mean a process of selecting an AI / ML model for activation among multiple models for the same AI / ML-enabled feature. Note: Model selection may or may not be carried out simultaneously with model activation. Data collection may mean a process of collecting data by the network nodes, management entity, or UE for the purpose of AI / ML model training, data analytics, model inference or performance monitoring.

[0084] UE may be interchangeably with NW, TRP, LMF (location management function) , gNB, access point (AP) , OAM (server) , over the top (OTT, server) , core network (CN, server) , edge cloud (server) , (serving) cell, bandwidth part (BWP) . NW may be transmitter or receiver, and UE may be receiver or transmitter.

[0085] Performance metric may comprise at least one of the following:

[0086] -In case of AI / ML-based beam prediction: Top 1 or Top K (e.g., Top 1 / K, Top K / 1) beam prediction accuracy (with or without margin) by comparing the prediction results and the Top 1 or Top K beam based on the measurements from a resource set / resources for monitoring. The L1-RSRP difference information based on actual measurement of the L1-RSRP of one or more of Top K predicted beam, and L1-RSRP measurements from a resource set / resources for monitoring. The L1-RSRP difference information between the predicted L1-RSRP and measured L1-RSRP of corresponding beam (s) of a resource set / resources for monitoring. The probability information of the predicted beam (s) to be the Top 1 or Top K beam. The confidence information calculated from measured L1-RSRPs and predicted RSRPs for a resource set / resources for monitoring.

[0087] -In case of AI / ML-based channel state information (CSI) feedback, e.g., CSI compression, CSI prediction: Squared Generalized Cosine Similarity (SGCS) or Normalized Mean Square Error (NMSE) between predicted (or recovered) CSI and measured (or target, input, actual) CSI. The CSI may be interchangeably with channel, precoding matrix, codebook.

[0088] A (data) sample may refer to at least one of: predicted result (s) determined based on model inference and (corresponding) measured result (s) (i.e., ground-truth, ground-truth label) , a comparison result between the predicted results (s) and (corresponding) measured result (s) , a performance metric representing the comparison result, measurement instance / interval or reporting instance / interval corresponding to the predicted result (s) and / or measured result (s) , or measurement resource set / resource or reporting resource used / configured for determine the predicted result (s) and / or measured result (s) .

[0089] When the performance metric may be beam prediction accuracy, e.g., Top 1 beam prediction accuracy. The true sample may mean that, for this sample, the Top-1 genie-aided beam is the Top-1 predicted beam, and the false sample may mean that, for this sample, the Top-1 genie-aided beam is not the Top-1 predicted beam.

[0090] When the performance metric is L1-RSRP difference, the true sample may mean that, for this sample, the L1-RSRP difference is not larger than a threshold (unit: dB) , and the false sample may mean that, for this sample, the L1-RSRP difference is larger than a threshold (unit: dB) .

[0091] When the performance metric is probability or confidence information, the true sample may mean that, for this sample, the probability or confidence information is larger than a threshold, and the false sample may mean that, for this sample, the probability or confidence information is not larger than a threshold.

[0092] When the performance metric is SGCS or NMSE, the true sample may mean that, for this sample, the SGCS is larger than a threshold, or the NMSE is not larger than a threshold, and the false sample may mean that, for this sample, the SGCS is not larger than a threshold, or the NMSE is larger than a threshold.

[0093] ‘UE perform (performance) monitoring or data collection (for performance monitoring) ’ may comprise at least one of the following:

[0094] -UE receives the resource set / resources for monitoring.

[0095] -UE measures the resource set / resources for monitoring.

[0096] -UE determines the predicted results and / or the measured results (i.e., ground-truth) .

[0097] -UE determines the performance metric (s) per sample or per set of samples.

[0098] -UE manages (e.g., save, update, add, remove, suspend, reset) the performance metric (s) .

[0099] -UE reports the performance metric (s) or / and other information related to the performance metric (s) , e.g., comparison between the performance metric (s) and threshold (s) .

[0100] The purpose about performance monitoring may not be introduced in specification, UE may determine whether to perform performance monitoring based on at least one of the following:

[0101] -Calculated information / quantity (e.g., any information about the performance metric) configured by NW.

[0102] -Reporting information / quantity (e.g., any information about the performance metric) configured by NW.

[0103] -Resource set / resources for performance monitoring configured by NW.

[0104] -Time window for performance monitoring (e.g., monitoring window) configured by NW.

[0105] The measurement resource set / resources for (performance) monitoring may mean the measurement resource set or resources for determining / calculating information required for information related to the performance metric, or / and the measurement resource set or resources is associated with an associated ID. And the measurement resource set / resource may comprise at least one of: CSI-RS resource, CSI-RS resource set, SSB resource, SSB resource set, SRS resource, SRS resource set.

[0106] The report (or measurement report) for monitoring may mean that the report / measurement quantity (or content) of the report is information related to the performance metric, or / and the report is associated with an associated ID. And the report may comprise at least one of: L1 report (e.g., CSI report) , L3 report, gNB scheduled report, UE / event triggered report.

[0107] The UL resource may comprise at least one of: physical uplink control channel (PUCCH) resource (i.e., uplink control information (UCI) ) or  / physical uplink shared channel (PUSCH) resource.

[0108] ‘Information A and information B are reported in the same UL resource (s) ’ may comprise at least one of: A and B are reported in the same CSI report (or UCI) , A and B are reported in the same UL medium access control (MAC) control element (CE) , A and B are reported in the same UL RRC message, A and B are reported in the PUCCH / PUSCH resource. Further, A and B are reported in separate CSI part in the CSI report, e.g., part 1 and part 2.

[0109] Feature ‘information A and information B are reported in separate UL resources’ may comprise at least one of: A and B are reported in separate CSI reports (or UCIs) , A and B are reported in separate UL MAC CEs, A and B are reported in separate UL radio resource control (RRC) messages, A and B are reported in the PUCCH / PUSCH resources. Further, A is reported in the PUCCH resource, e.g., an SR (scheduling request) and B is reported in the scheduled PUSCH resource.

[0110] Beam is interchangeably with at least one of: Tx beam, Rx beam, (Tx-Rx) beam pair, transmission configuration indicator (TCI) state, unified TCI state, joint (DL / UL) TCI state, DL TCI state, UL TCI state, beam shape, beam pattern, beam indexing, QCL information, Quasi Co-Location (QCL) reference signal (RS) , power control information (P0, alpha, closed loop index) , pathloss reference signal (PL-RS) , spatial relation information.

[0111] QCL information comprises at least one of typeA (Doppler shift, Doppler spread, average delay, delay spread) , typeB (Doppler shift, Doppler spread) , typeC (Doppler shift, average delay) , typeD (Spatial Rx parameter) .

[0112] QCL RS comprises at least one of RS configured with typeA in the TCI state, RS configured with typeB in the TCI state, RS configured with typeC in the TCI state, RS configured with typeD in the TCI state.

[0113] Beam can be replaced or represented by beam ID, where the beam ID is interchangeably with (Tx / Rx) beam ID, RS (e.g., CSI-RS, synchronization signal and physical broadcast channel (PBCH) block (SSB) , sounding reference signal (SRS) ) ID, RS resource ID (e.g., CSI-RS resource indicator (CRI) , SSB resource indicator (SSBRI) ) , TCI state ID, QCL RS (e.g., QCL-typeD RS) ID, measurement RS ID, measurement RS resource ID, path-loss RS ID, beam pattern ID, Tx ID, Rx ID, associated ID.

[0114] Beam information may comprise at least one of: beam index, CRI, SSBRI, beam pattern index, indicator of a set of beams.

[0115] Beam quality comprise at least one of L1-RSRP, L1-signal to interference plus noise ratio (SINR) , RSRP, SINR, reference signal receiving quality (RSRQ) , received signal strength indication (RSSI) , reference signal carrier phase (RSCP) . These information may be interchangeable.

[0116] Parameter may be interchangeably with RRC information element (IE) . Signaling may be interchangeably with command, information carried or indicated by signaling or command.

[0117] Comprise may be interchangeably with indicate, include, consist of. ‘A corresponds to B’ is interchangeably with ‘A is associated with B’ , ‘A is mapped to B, or B is mapped to A’ , ‘A for B, or B for A’ , ‘A with B, or B with A’ .

[0118] Configure may be interchangeably with reconfigure, activate, indicate, trigger, schedule, provide. Release may be interchangeably with deactivate, schedule. Enable may be interchangeably with activate, start, initiate. Disable may be interchangeably with stop, end, suspend, postpone, terminate. Report may be interchangeably with transmit, send, carry, comprise, provide. Indication may be interchangeably with indicator, ID, index, identifier, identity, identification.

[0119] UE capability (information) may be interchangeably with RRC message, UAI (UE assistance information) .

[0120] Wording ‘performance metric is better or not better than a threshold’ may be: whether (the performance metric is) better or not better depends on the performance metric, e.g., when the performance metric is beam prediction accuracy (or SGCS) , the bigger the performance metric, the better the performance; when the performance metric is L1-RSRP difference, the smaller the performance metric, the better the performance.

[0121] Principles and implementations of the present disclosure will be described in detail below with reference to the figures.

[0122] Example environment

[0123] FIG. 1A illustrates a schematic diagram of an example communication environment 100A in which example embodiments of the present disclosure can be implemented. In the communication environment 100A, a plurality of communication devices, including a first device 110 and a second device 120, can communicate with each other.

[0124] Further, multiple input multiple output (MIMO) is supported in the communication environment 100A, such that the second device 120 and the first device 110 may communicate with each other via different beams to enable a directional communication.

[0125] In FIG. 1A, the first device 110 / second device 120 may be included a terminal device, gNB, a network device, an over the top (OTT, server) , a CN, an edge cloud (server) , a neutral site, AP, transmission reception point (TRP) and so on.

[0126] As one example scenario, the first device 110 may include a terminal device and the second device 120 may include a network device serving the terminal device. In this specific example embodiment, a link from the first device 110 to the second device 120 is referred to as uplink, while a link from the second device 120 to the first device 110 is referred to as a downlink.

[0127] In downlink, the second device 120 is a transmitting (TX) device (or a transmitter) and the first device 110 is a receiving (RX) device (or a receiver) , and the second device 120 may transmit downlink transmission to the first device 110 via one or more beams. As illustrated in FIG. 1A, the second device 120 transmits downlink transmission to the first device 110 via the beams 140-1 to 140-3. For purpose of discussion, the beams 140-1 to 140-3 are collectively or individually referred to as beam 140.

[0128] Correspondingly, in uplink, the second device 120 is an RX device (or a receiver) and the first device 110 is a TX device (or a transmitter) , and the first device 110 may transmit uplink transmission to the second device 120 via one or more beams. As illustrated in FIG. 1A, the first device 110 transmits uplink transmission to the second device 120 via the beams 130-1 to 130-3. For purpose of discussion, the beams 130-1 to 130-3 are collectively or individually referred to as beam 130.

[0129] Further, in some embodiments, a model 115 may be deployed at the first device 110. In some case, BM, such as, beam prediction, may be supported by the model 115. In such scenario, performance-related information may be provided to the second device 120 via a measurement report (s) .

[0130] For BM-Case1 and BM-Case2 with a UE-side AI / ML model, Type 1 performance monitoring and Type 2 performance monitoring may be supported. As for Type 1 performance monitoring, configuration / Signalling may be transmitted from gNB to UE for measurement and / or reporting. Further, UE may have different operations as below: Option 1 (NW-side performance monitoring) : UE sends reporting to NW (e.g., for the calculation of performance metric at NW) ; and Option 2 (UE-assisted performance monitoring) : UE calculates performance metric (s) , either reports it to NW or reports an event to NW based on the performance metric (s) .

[0131] Indication may be transmitted from NW for UE to do life circle management (LCM) operations. Further, at least the performance and reporting overhead of model monitoring mechanism should be considered.

[0132] As for Type 2 performance monitoring, indication / request / report may be transmitted from UE to gNB for performance monitoring. It is noted that the indication / request / report may be not needed in some case (s) . Configuration / Signalling from gNB to UE for performance monitoring measurement and / or reporting. Further, if it is for UE side model monitoring, UE makes decision (s) of model selection / activation / deactivation / switching / fallback operation. Mechanism that facilitates the UE to detect whether the functionality / model may be suitable or no longer suitable.

[0133] For BM-Case1 and BM-Case2 with a NW-side AI / ML model, in a case that beam measurement and report for model monitoring: UE reporting of beam measurement (s) may be based on a set of beams indicated by gNB; signalling may be e.g., RRC-based, L1-based. Further, NW monitors the performance metric (s) and makes decision (s) of model  selection / activation / deactivation / switching / fallback operation. Performance and UE complexity, power consumption should be considered.

[0134] It has been agreed that for BM-Case1 and BM-Case2 with a UE-side AI / ML model: support Type 1 performance monitoring, including the following two options:

[0135] -Option 1 (NW-side performance monitoring) : UE sends a report to NW (for the calculation of performance metric at NW) ; Measurement results from resource set for monitoring, e.g., L1-RSRP and / or RS index is supported as the content of the report. The report is at least configured / triggered by NW;

[0136] -Option 2 (UE-assisted performance monitoring) : UE calculates performance metric (s) .

[0137] For BM-Case1 and BM-Case2 with a UE-sided AI / ML model, for Option 2 (UE-assisted performance monitoring) , further study at least the following alternatives.

[0138] Alternative 1: Top 1 or Top K beam prediction accuracy (with or without margin) by comparing the prediction results and the Top 1 or Top K beam based on the measurements from a resource set / resources for monitoring.

[0139] Alternative 2: The L1-RSRP difference information based on actual measurement of the L1-RSRP of one or more of Top K predicted beam, and L1-RSRP measurements from a resource set / resources for monitoring.

[0140] Alternative 3: The RSRP difference information between the predicted RSRP and measured L1-RSRP of corresponding beam (s) of a resource set / resources for monitoring. It is noted that resources for Set B for monitoring are not precluded and can be study and this may be only applicable when the model can predict RSRP.

[0141] Alternative 4: The probability information of the predicted beam (s) to be the Top 1 or Top K beam. It is noted that this may be only applicable when the model can generate probability information.

[0142] For all alternatives 1 to 4, it is expected to study whether the performance information is calculated per sample (one-shot) , or per set of samples (window) .

[0143] Taking beam prediction as an example, in a case of the beam prediction accuracy, e.g., Top 1 beam prediction accuracy (without margin) as performance metric, if it is calculated per sample (i.e., one-shot) , the performance metric may be the following: whether the Top-1 genie-aided beam is the Top-1 predicted beam. For a sample, if the  Top-1 genie-aided beam is the Top-1 predicted beam, the sample can be represented by ‘true sample’ (i.e., ‘T’ in the following figure) . For a sample, if the Top-1 genie-aided beam is not the Top-1 predicted beam, the sample can be represented by ‘false sample’ (i.e., ‘F’ in the following figure) .

[0144] If it is calculated per set of samples (or window) , the performance metric may be the following (reference is now made to FIG. 1B, which illustrates an example diagram 100B of interaction among the NW (the second device 120) and the UE (the first device 110) ) : The percentage (%) of ‘the Top-1 genie-aided beam is the Top-1 predicted beam’ . For example, the beam prediction accuracy may be as follows:

[0145] When L1-RSRP difference as performance metric if it is calculated per sample (i.e., one-shot) , the performance metric may be at least one of the following: L1-RSRP difference; whether L1-RSRP difference is larger than or equal to a threshold. If it is calculated per set of samples (or window) , the performance metric may be at least one of the following: average L1-RSRP difference (or other statistical values such as variance, standard deviation, median and so on of L1-RSRP differences corresponding to multiple samples) ; The percentage (%) of ‘L1-RSRP difference is larger than or equal to a threshold’ ; The percentage (%) of ‘L1-RSRP difference is not larger than a threshold’ .

[0146] When probability information as performance metric, if it is calculated per sample (i.e., one-shot) , the performance metric may be at least one of the following: probability information; whether probability information is larger than or equal to a threshold. If it is calculated per set of samples (or window) , the performance metric may be at least one of the following: average probability information (or other statistical values such as variance, standard deviation, median and so on of probability information corresponding to multiple samples) . The percentage (%) of ‘probability information is larger than or equal to a threshold’ . The percentage (%) of ‘probability information is not larger than a threshold’ .

[0147] It is to be understood that the number of devices and their connections shown in FIG. 1A are only for the purpose of illustration without suggesting any limitation. The communication environment 100A may include any suitable number of devices configured to implementing example embodiments of the present disclosure.

[0148] In some embodiments, the first device 110 and the second device 120 may communicate with each other via a channel such as a wireless communication channel on an air interface (e.g., Uu interface) . The wireless communication channel may comprise a physical uplink control channel (PUCCH) , a physical uplink shared channel (PUSCH) , a physical random-access channel (PRACH) , a physical downlink control channel (PDCCH) , a physical downlink shared channel (PDSCH) and a physical broadcast channel (PBCH) . Of course, any other suitable channels are also feasible.

[0149] The communications in the communication environment 100A may conform to any suitable standards including, but not limited to, Global System for Mobile Communications (GSM) , Long Term Evolution (LTE) , LTE-Evolution, LTE-Advanced (LTE-A) , New Radio (NR) , Wideband Code Division Multiple Access (WCDMA) , Code Division Multiple Access (CDMA) , GSM EDGE Radio Access Network (GERAN) , Machine Type Communication (MTC) and the like. The embodiments of the present disclosure may be performed according to any generation communication protocols either currently known or to be developed in the future. Examples of the communication protocols include, but not limited to, the first generation (1G) , the second generation (2G) , 2.5G, 2.75G, the third generation (3G) , the fourth generation (4G) , 4.5G, the fifth generation (5G) communication protocols, 5.5G, 5G-Advanced networks, or the sixth generation (6G) networks.

[0150] Example Processes

[0151] In general, due to the performance of the AI / ML model is fluctuating and unpredictable in real-world environment, it is reasonable to use statistical results of multiple samples within a longer period of time (i.e., performance metric per set of samples) to evaluate the performance of the AI / ML model. For performance monitoring for UE-side, the performance metric is calculated by UE and reported to NW. Compared to the performance metric per sample, UE reporting overhead can be saved based on the performance metric per set of samples, and the complexity at NW side can be reduced, e.g., NW does not need to maintain the performance metric for each sample for each UE.

[0152] However, there are the following issue with calculating the performance metric per set of samples (or within monitoring window) . Typically, the performance metric is calculated based on all samples in the set of samples (or within the monitoring window) .  However, this performance metric based on all samples may not fully reflect the performance of the AI / ML model.

[0153] For example, in the examples of FIG. 2A and 2B, assuming the beam prediction accuracy is used as the performance metric. It can be observed that, in both Case 1 (FIG. 2A) and Case 2 (FIG. 2B) , the beam prediction accuracy (based all samples) is 90%. From this performance metric alone, the performance (of the AI / ML model) is good.

[0154] In the example of FIG. 2A, the false samples are randomly distributed among the set of samples (or within monitoring window) . This distribution may indicate that the performance of the AI / ML model is relatively consistent across the entire set of samples, and errors occur randomly rather than being caused by specific factors. In this case, the performance of the AI / ML model may be considered relatively stable, and the false samples may only be caused by random errors or outliers.

[0155] In the example of FIG. 2B, almost all false samples are concentrated in the last few samples (within monitoring window) . This distribution may indicate that the AI / ML model has encountered problems in processing the latest data, which may be due to changes in data distribution over time (data drift) , or the model is no longer sensitive to recent data trends. In this case, the performance of the AI / ML model may be declining and further investigation (e.g., further performance monitoring) and possible adjustments are needed.

[0156] If the above cases (especially FIG. 2B) are not known to NW, it will lead to NW making inappropriate decision, such as using the AI / ML model with deteriorated performance after the performance monitoring. According to some embodiments of the present disclosure, more comprehensive performance information may be provided.

[0157] Reference is made to FIG. 3, which illustrates a signaling flow 300 for communication in accordance with some embodiments of the present disclosure. For the purposes of discussion, the signaling flow 300 will be discussed with reference to FIG. 1A, for example, by using the first device 110 and the second device 120.

[0158] It is to be understood that the operations at the first device 110 and the second device 120 should be coordinated. In other words, the second device 120 and the first device 110 should have common understanding about configurations, parameters and so on. Such common understanding may be implemented by any suitable interactions between the  second device 120 and the first device 110 or both the second device 120 and the first device 110 applying the same rule / policy. In the following, although some operations are described from a perspective of the first device 110, it is to be understood that the corresponding operations should be performed by the second device 120. Similarly, although some operations are described from a perspective of the second device 120, it is to be understood that the corresponding operations should be performed by the first device 110. Merely for brevity, some of the same or similar contents are omitted here.

[0159] For the purpose of discussion, the first device 110 may be a terminal device and the second device 120 may be a network device. It should be understood that, in the other embodiments, the first device 110 / second device 120 may be any of: a terminal device, a network device, an over the top (OTT) (server) , an operation administration and maintenance (OAM) (server) , an edge cloud (server) , a neutral site, transmission reception point (TRP) core network and so on. In present disclosure is not limited in this regard.

[0160] Example embodiments where the second performance metric is determined by the first device 110 will be discussed with reference to FIG. 3.

[0161] In operation, as illustrated in FIG. 3, the second device 120 transmits (310-1) at least one configuration of a measurement report to the first device 110, and the first device 110 receives (310-2) the at least one configuration accordingly.

[0162] Then, the first device 110 determines a first performance metric corresponding to a first set of samples determined based on the at least one configuration, and a second performance metric corresponding to a second set of samples which is a subset of the first set of samples. In other words, the first performance metric may be determine based on a first set of samples and / or the second performance metric may be determine based on a second set of samples.

[0163] In some embodiments, the second set of samples are the first or last M samples of the first set of samples, and M is an integer which is larger than zero and smaller than a number of samples in the first set of samples.

[0164] In some embodiments, for determining the performance metric calculated based on a set of samples (or within a monitoring window, i.e., the first set of samples or the first monitoring window) , firstly, UE needs to determine a monitoring window or monitoring  sample size. Specifically, at least of the following explicit and implicit manners may be considered.

[0165] In a case of explicit manner, in some embodiments, the at least one configuration may indicate at least one of the following: a first monitoring window, or a first number of samples of the first set of samples. Alternatively, or in addition, in some embodiments, the at least one configuration indicates at least one of the following: a second monitoring window, wherein the second set of samples is determined based on the second monitoring window, a second number of samples of the second set of samples, a relationship between the first monitoring window and the second monitoring window, or a relationship between the first number and the second number.

[0166] In some embodiments, NW may configure at least one of the following for UE:

[0167] -Monitoring window (i.e., the first monitoring window) . Specifically, the monitoring window may be a time duration / window in ms / symbol / slot / sub-frame / frame / s, and it may indicate that UE needs to calculate and / or report the performance metric based on the samples (e.g., all samples) within the monitoring window.

[0168] -Monitoring sample size (i.e., the first number of samples) . Specifically, the monitoring sample size may be the number of samples (that is larger than or equal to 1) , and it may indicate how many samples UE needs to calculate and / or report the performance metric based on.

[0169] In some embodiments, the monitoring window may be determined based on the configured monitoring sample size and the periodicity of the configured measurement resource set or resources for monitoring (if the measurement resource set or resources is periodic or semi-persistent) . In other words, the monitoring sample size may be determined based on the configured monitoring window and the configured measurement resource set or resources for monitoring.

[0170] In a case of explicit manner, according to some embodiments of the present disclosure, the collection of the first set of samples may be controlled by first message (s) and / or second message (s) .

[0171] As illustrated in FIG. 3, the second device 120 may transmit (320-1) at least one first message to the first device 110 and the first device 110 may receive (310-2) the at least one first message accordingly. The first device 110 may start collecting (330) the  first set of samples in response to the at least one first message. In some embodiments, the at least one first message may comprise at least one of the following:

[0172] -a message used for configuring or activating measurement resources for performance monitoring,

[0173] -a message used for configuring or activating measurement report for performance monitoring,

[0174] -a message used for enabling or activating performance monitoring or data collection,

[0175] -a message used for enabling or activating the first device 110 to receive measurement signals for performance monitoring, or

[0176] -a message used for enabling or activating the first device 110 to receive measurement signals associated with the at least one measurement report.

[0177] In some embodiments, the second device 120 may transmit (340-1) at least one second message to the first device 110 and the first device 110 may receive (340-2) the at least one second message accordingly. The first device 110 may stop collecting the first set of samples in response to the at least one second message. In some embodiments, the at least one second message may comprise at least one of the following:

[0178] -a message used for releasing or deactivating measurement resources for performance monitoring,

[0179] -a message used for releasing or deactivating measurement report for performance monitoring,

[0180] -a message used for disabling or deactivating performance monitoring or data collection,

[0181] -a message used for disabling or deactivating the first device 110 to receive measurement signals for performance monitoring,

[0182] -a message used for disabling or deactivating the first device 110 to receive measurement signals associated with the at least one measurement report, or

[0183] -a message used for indicating the first device 110 to determine and / or report performance metric information related to collected samples.

[0184] In some embodiments, at least one first message and at least one second message are associated with at least one of the following: a same associated identity, a same  measurement resource set identity, a same measurement resource identity, a same report identity, a same resource setting identity, or a same monitoring process identity.

[0185] Further example embodiments will be discussed with reference to FIG. 4. In the example of FIG. 4, UE may determine the (first) monitoring window or monitoring sample size (i.e., the first number of samples) based on at least two received signaling: a first type of signaling (i.e., the at least one first message) and a second type of signaling (i.e., the at least one second message) .

[0186] In some embodiments, the first type of signaling may comprise one or more signaling, and it may comprise at least one of the following:

[0187] -Signaling used to configure (or activate) measurement resource set or resources for performance monitoring.

[0188] -Signaling used to configure (or activate) report for performance monitoring.

[0189] -Signaling used to enable (or activate) performance monitoring or data collection.

[0190] -Signaling used to enable (or activate) UE to receive measurement resource set or resources for performance monitoring.

[0191] -Signaling used to enable (or activate) UE to receive measurement resource set or resources associated with (or configured for) a report, where the report may be configured for performance monitoring.

[0192] In some embodiments, the second type of signaling may comprise one or more signaling, and it may comprise at least one of the following:

[0193] -Signaling used to release (or deactivate) measurement resource set or resources for performance monitoring.

[0194] -Signaling used to disable (or deactivate) performance monitoring or data collection.

[0195] -Signaling used to disable (or deactivate) UE to receive measurement resource set or resources for performance monitoring.

[0196] -Signaling used to disable (or deactivate) UE to receive measurement resource set or resources associated with (or configured for) a report.

[0197] -Where the report may be configured for performance monitoring.

[0198] -Signaling used to trigger (or schedule, request, indicate) a report for reporting information related to the performance metric.

[0199] In this case, the report may be a previously configured report (e.g., CSI report) , but UE did not perform the reporting after receiving the configuration information of the report. Instead, UE may perform the reporting after receiving these signaling (the first message (s) and / or the second message (s) ) .

[0200] Furthermore, the first type of signaling and the second type of signaling may be associated with at least one of: the same associated ID (s) , the same measurement resource set ID (s) , the same measurement resource ID (s) , the same CSI report ID (s) (e.g., CSI-ReportConfigId) , the same CSI resource setting ID (s) (e.g., CSI-ResourceConfigId) or the same monitoring process ID (s) .

[0201] Specifically, after UE receives the first type of signaling, UE may start to receive the configured measurement resource set or resources for monitoring, and then UE may perform data collection based on the received measurement resource set or resources for monitoring. After UE receives the second type of signaling, UE may stop performing data collection and / or UE may determine / calculate the performance metric (s) based on the previously collected sample (s) and / or report the determined performance metric (s) to NW.

[0202] In this way, UE / NW may know how many (or which) samples are used to calculate the performance metric. Further, compared with the monitoring window or monitoring sample size configured by NW, this option is more flexible.

[0203] Next, the first device 110 transmits (340-1) at least one measurement report to the second device 120, and the second device 120 receives (340-2) the at least one measurement report accordingly. In particular, the at least one measurement report comprises at least one of: first performance information determined based on the first performance metric, second performance information determined based on the second performance metric, or third performance information determined based on at least one of:the first performance metric or the second performance metric.

[0204] In the following, more details about the first, second and third performance information will be discussed.

[0205] In some embodiments, the first performance information may comprise at least one of the following: at least one value of the first performance metric, a number of samples  in the first set of samples, a number of true samples in the first set of samples, a number of false samples in the first set of samples, an indication indicating the first performance metric is better than or equal to a threshold, or an indication indicating the first performance metric is no better than or worse than a threshold.

[0206] In some embodiments, the second performance information may comprise at least one of the following: at least one value of the second performance metric, a number of samples in the second set of samples, a number of true samples in the second set of samples, a number of false samples in the second set of samples, an indication indicating the second performance metric is better than or equal to a threshold, an indication indicating the second performance metric is no better than or worse than a threshold, or difference information between the second performance metric and the first performance metric.

[0207] In some embodiments, the third performance information may comprise a weighted value determined based on the first performance metric and the second performance metric.

[0208] In some embodiments, the third performance information may comprise an indication. Further the indication may be set to a first value if:

[0209] -the first performance metric is better than or equal to a first threshold, and the second performance metric is better than or equal to a second threshold, or

[0210] -the first performance metric is no better than or worse than the first threshold, and the second performance metric is better than or equal to the second threshold.

[0211] The indication may be set to a second value if:

[0212] -the first performance metric is better than or equal to a first threshold, and the second performance metric is no better than or worse than a second threshold,

[0213] -the first performance metric is no better than or worse than the first threshold, and the second performance metric is better than or equal to the second threshold, or

[0214] -the first performance metric is no better than or worse than the first threshold, and the second performance metric is no better than or worse than the second threshold.

[0215] In some embodiments, the third performance information may comprise an indication. Further, the indication may be set to a first value if the first performance metric  is better than or equal to a first threshold, and the second performance metric is better than or equal to a second threshold. In addition, the indication may be set to a second value if the first performance metric is no better than or worse than a first threshold, and the second performance metric is no better than or worse than a second threshold. Further, the indication may be set to a third value if: the first performance metric is better than or equal to a first threshold, and the second performance metric is no better than or worse than a second threshold, or the first performance metric is no better than or worse than the first threshold, and the second performance metric is better than or equal to the second threshold.

[0216] Optionally, in some embodiments, the at least one measurement report may comprise an indication indicating whether the first performance information is comprised in the at least one measurement report. Alternatively, or in addition, in some embodiments, the at least one measurement report may comprise an indication indicating whether the second performance information is comprised in the at least one measurement report. Alternatively, or in addition, in some embodiments, the at least one measurement report may comprise an indication indicating whether the third performance information is comprised in the at least one measurement report.

[0217] According to some embodiments of the present disclosure, the determining / transmitting / reporting of the second performance metric is performed conditionally as discussed below.

[0218] In some embodiments, the first device 110 may determine the second performance metric and / or transmit the second performance information in response to at least one of the following:

[0219] -a number of samples of the first set of samples being larger than or equal to a threshold,

[0220] -time length of a first monitoring window being larger than or equal to a threshold, wherein the first set of samples is determined based on the first monitoring window,

[0221] -the first performance metric being better than or equal to a first threshold,

[0222] -the first performance metric being no better than or worse than the first threshold,

[0223] -the second performance metric being better than or equal to a second threshold,

[0224] -the second performance metric being no better than or worse than the second threshold,

[0225] -reception of an indication indicating the first device 110 to determine and / or transmit the second performance metric,

[0226] -reception of an indication indicating the first device 110 to determine and / or transmit the second performance information,

[0227] -the at least one configuration comprising a second monitoring window or a second number of samples, wherein the second set of samples is determined based on the second monitoring window or the second number of samples,

[0228] -distribution of false samples in the first set of samples following at least one of: non-random distribution, clustered distribution, non-uniform distribution, initial clustering distribution, or terminal clustering distribution,

[0229] -distribution of false samples in the second set of samples following at least one of: non-random distribution, clustered distribution, non-uniform distribution, initial clustering distribution, or terminal clustering distribution,

[0230] -a number of false samples of consecutive false samples in the first set of samples being larger than or equal to a threshold, or

[0231] -a number of false samples of consecutive false samples in the second set of samples being larger than or equal to a threshold.

[0232] According to some embodiments of the present disclosure, the transmission of the at least one measurement report is conditionally.

[0233] In some embodiments, the first device 110 may transmit the at least one measurement report in response to at least one of the following:

[0234] -the first performance metric is no better than or worse than a first threshold,

[0235] -the second performance metric is no better than or worse than a second threshold,

[0236] -a weighted value determined based on the first performance metric and the second performance metric is no better than or worse than a third threshold,

[0237] -a number of times that the first performance metric is no better than or worse than a first threshold is larger than or equal to a first threshold number,

[0238] -a number of times that the second performance metric is no better than or worse than a first threshold is larger than or equal to a second threshold number, or

[0239] -a number of times that weighted value determined based on the first performance metric and the second performance metric is no better than or worse than a first threshold is larger than or equal to a third threshold number.

[0240] It is noted that the at least one measurement report comprises the first performance information and / or the second performance information and / or the third performance information. As a result, transmitting the at least one measurement report based on the above conditions equate to “transmitting the at least one measurement report comprising at least one of the first performance information, the second performance information or the third performance information” or “transmitting the first performance information and / or the second performance information and / or the third performance information” .

[0241] Merely for a better understanding, further example will be discussed as below. In some embodiments, UE may determine and / or report a first type of performance metric (i.e., the first performance metric) and a second type of performance metric (i.e., the second performance metric) , where the first type of performance metric is determined based on a first set of samples within the (first) monitoring window, and the second type of performance metric is determined based on a second set of samples within the monitoring window.

[0242] In some embodiments, the first set of samples may comprise all samples within the monitoring window. In some embodiments, the second set of samples may comprise a specific or predefined portion of samples within the monitoring window, e.g., the last (or recent, nearest) M samples within the monitoring window. In some embodiments, the M (that is larger than or equal to 0, and smaller than or equal to the monitoring sample size) may be configured by NW using RRC / MAC CE / DCI, for example shown in the figure below. Optionally, the M can be determined based on the monitoring sample size, e.g., a specified or configured mapping relationship between the M and the monitoring sample size, a specified or configured ratio between the M and the monitoring sample size. Optionally, the M may be determined based on a further monitoring window provided by NW. And similarly, the further monitoring window can be determined based on the configured monitoring window or monitoring sample size, e.g., a specified mapping relationship or ratio.

[0243] In some embodiments, considering that when the monitoring sample size is small, or / and when the first type of performance metric is quite bad, it may be unnecessary to  determine and / or report the second type of performance metric, UE may determine and / or report the second type of performance metric when at least one of the followings are fulfilled: the monitoring sample size (or the length / size of the monitoring window) is larger than or equal to a threshold; The first type of performance metric is better than a threshold; UE is provided NW with a parameter / configuration enabling or indicating UE to calculate and / or report the second type of performance metric, e.g., the M.

[0244] In the example of FIG. 6A and FIG. 6B, assuming the monitoring sample size is 100, and the value of the M is 10. Top-1 beam prediction accuracy (%) is used as the performance metric, and assuming there are 90 true samples (i.e., the Top-1 genie-aided beam is the Top-1 predicted beam, represented by ‘T’ ) and 10 false samples (i.e., the Top-1 genie-aided beam is not the Top-1 predicted beam, represented by ‘F’ ) among the 100 samples for monitoring.

[0245] In the example of FIG. 6A, UE may determine that the first type of beam prediction accuracy is 10 / 90*100%= 90%based on all samples within the monitoring window, and the second type of beam prediction accuracy is 2 / 10*100%= 80%based on the last 10 samples within the monitoring window. In the example of FIG. 6B, similarly, UE may determine that the first type of beam prediction accuracy is 10 / 90*100%= 90%, and the second type of prediction accuracy is 2 / 10*100%= 20%.

[0246] After UE determines the first type of performance metric and the second type of performance metric, UE may report a first information (i.e., the first performance information) and a second information (i.e., the second performance information) , where the first information is determined based on the first type of performance metric, and the second information is determined based on the second type of performance metric.

[0247] In some embodiments, the first information may comprise at least one of: a quantified (or non-quantified) value of the first type of performance metric, a first indication, or the number of false (or true) samples within the monitoring window. The first indication may be determined based on the first type of performance metric, a first threshold and / or a first predefined condition. For example, the first indication indicates whether the first type of performance metric is better than (or not better than) a first threshold.

[0248] In some embodiments, the second information may comprise at least one of: a quantified (or non-quantified) value of the second type of performance metric, a second  indication, or the number of false (or true) samples within the further monitoring window (or out of the last M samples within the monitoring window) . The second indication may be determined based on the second type of performance metric, a second threshold and / or a second predefined condition. For example, the second indication indicates whether the second type of performance metric is better than (or not better than) a second threshold.

[0249] In some embodiments, the first threshold and / or first predefined condition and the second threshold and / or second predefined condition may be the same or different.

[0250] In some embodiments, the second information may comprise a difference between the quantified (or non-quantified) value of the first type of performance metric and the quantified (or non-quantified) value of the second type of performance metric.

[0251] In some embodiments, when the second information comprises the number of false samples out of the last M samples within the monitoring window, if the second information is reported in the UCI (e.g., CSI report) , the bitwidth for the CSI field for indicating the second information may be determined based on

[0252] In some embodiments, when the first type of performance metric is quite bad, it may be unnecessary to determine and / or report the second type of performance metric. Therefore, the reported first information may be used to indicate whether the second information is reported.

[0253] In some embodiments, the first information and second information may be reported in the same UL resource (s) or separate UL resources.

[0254] Optionally, in some embodiments, UE may report a third information (i.e., the third performance information) , where the third information is determined based on the first type of performance metric and the second type of performance metric.

[0255] In some embodiments, the third information may comprise a weighted value of the first type of performance metric and the second type of performance metric, e.g., weighted performance metric. This means that the first type of performance metric or first type of performance metric may correspond to a weight (factor) .

[0256] Optionally, on some embodiments, the third information may comprise an indication of whether the performance (of the AI / ML model) is good. Specifically, in some embodiments, UE may determine that the performance is good based on at least one of the following: the first type of performance metric is better than a first threshold, and the  second type of performance metric is better than a second threshold; The first type of performance metric is not better than a first threshold, and the second type of performance metric is better than a second threshold.

[0257] In some embodiments, UE may determine that the performance is not good based on at least one of the following: the first type of performance metric is better than a first threshold, and the second type of performance metric is not better than a second threshold; The first type of performance metric is not better than a first threshold, and the second type of performance metric is better than a second threshold; and the first type of performance metric is not better than a first threshold, and the second type of performance metric is not better than a second threshold.

[0258] In some embodiments, the third information may comprise an indication representing performance level. For example, the performance level may comprise at least one of: ‘good’ , ‘not good’ and ‘uncertain’ (or ambiguous, pending, indeterminate) . Specifically, in some embodiments, UE may determine the ‘good’ based on at least one of the following: the first type of performance metric is better than a first threshold, and the second type of performance metric is better than a second threshold. In some embodiments, UE may determine the ‘not good’ based on at least one of the following: the first type of performance metric is not better than a first threshold, and the second type of performance metric is not better than a second threshold. In some embodiments, UE may determine the ‘uncertain’ based on at least one of the following: the first type of performance metric is not better than a first threshold, and the second type of performance metric is better than a second threshold. the first type of performance metric is better than a first threshold, and the second type of performance metric is not better than a second threshold.

[0259] In some embodiments, UE may determine and / or report one or more second (or first) type of performance metric, where the multiple second type of performance metric are determined based on the multiple different (or same) second sets of samples. For any two second sets of samples, the samples in the set can fully overlap, partially overlap or not overlap, e.g., UE may be configured with multiple different Ms.

[0260] In some embodiments, UE may report at least one of: the first information, second information, or third information (i.e., UE may report at least one measurement report) when at least one of the following criterion is fulfilled, or is fulfilled N (N≥1) times within  a period of time : the first type of performance metric is not better than a threshold; the second type of performance metric is not better than a threshold; A weighted value of the first type of performance metric and the second type of performance metric, e.g., weighted performance metric, is not better than a threshold.

[0261] In this way, based on the first type of performance metric and the second type of performance metric provided by UE, NW can not only determine the overall performance of the model within the monitoring window, but more importantly, it can determine the performance trend of the nearest samples. This is very important for NW to make next decision, e.g., performance monitoring (whether to continue performance monitoring, adjust the frequency of performance monitoring) , model deactivation, model switching, fallback (to non-AI / ML scheme) . For instance, in the example of FIG. 6A, because both the first type of beam prediction accuracy and the second type of beam prediction accuracy are good, the performance of the AI / ML model may be good for a longer period of time in the future for NW. Therefore, the AI / ML model may continue to be used, and performance monitoring may be temporarily suspended for a period of time. In example of FIG. 6B, because the second type of beam prediction accuracy is not good, the performance of the AI / ML model may be not good for a longer period of time in the future for NW. In this case, NW may immediately request to continue the performance monitoring, and temporarily suspend the AI / ML model (e.g., model deactivation, fallback) .

[0262] In the real scenario, a sample may be a false sample or a true sample. According to some embodiments of the present disclosure, information on the false samples and / or the true samples may be determined and reported. Example embodiments will be discussed with reference to FIG. 3. It should be noted that although false samples are used as example scenario when discussing some example embodiments, theses embodiments also may be applicable to true samples. In other words, the wording “false” may be replaced by “true” .

[0263] In operation, as illustrated in FIG. 3, the second device 120 transmits (310-1) at least one configuration of a measurement report to the first device 110, and the first device 110 receives (310-2) the at least one configuration accordingly.

[0264] Then, the first device 110 determines at least one of: distribution of false samples in a first set of samples which is determined based on the at least one configuration, or consecutive false samples in the first set of samples.

[0265] After that, the first device 110 transmits (340-1) at least one measurement report to the second device 120, and the second device 120 receives (340-2) the at least one measurement report accordingly. In particular, the at least one measurement report comprises at least one of:

[0266] -first information related to the distribution of false sample in the first set of samples, or

[0267] -second information related to the consecutive false samples in the first set of samples.

[0268] In some embodiments, the at least one configuration indicates at least one of the following: a first monitoring window, wherein the first set of samples is determined based on the first monitoring window, or a first number of samples of the first set of samples.

[0269] According to some embodiments of the present disclosure, the collection of the first set of samples may be controlled by first message (s) and / or second message (s) .

[0270] As illustrated in FIG. 3, the second device 120 may transmit (320-1) at least one first message to the first device 110 and the first device 110 may receive (310-2) the at least one first message accordingly. The first device 110 may start collecting (330) the first set of samples in response to the at least one first message. In some embodiments, the at least one first message may comprise at least one of the following:

[0271] -a message used for configuring or activating measurement resources for performance monitoring,

[0272] -a message used for configuring or activating measurement report for performance monitoring,

[0273] -a message used for enabling or activating performance monitoring or data collection,

[0274] -a message used for enabling or activating the first device 110 to receive measurement signals for performance monitoring, or

[0275] -a message used for enabling or activating the first device 110 to receive measurement signals associated with the at least one measurement report.

[0276] In some embodiments, the second device 120 may transmit (340-1) at least one second message to the first device 110 and the first device 110 may receive (340-2) the at least one second message accordingly. The first device 110 may stop collecting the first set of samples in response to the at least one second message. In some embodiments, the at least one second message may comprise at least one of the following:

[0277] -a message used for releasing or deactivating measurement resources for performance monitoring,

[0278] -a message used for releasing or deactivating measurement report for performance monitoring,

[0279] -a message used for disabling or deactivating performance monitoring or data collection,

[0280] -a message used for disabling or deactivating the first device 110 to receive measurementsignals for performance monitoring,

[0281] -a message used for disabling or deactivating the first device 110 to receive measurement signals associated with the at least one measurement report, or

[0282] -a message used for indicating the first device 110 to determine and / or report performance metric information related to collected samples.

[0283] In some embodiments, at least one first message and at least one second message are associated with at least one of the following: a same associated identity, a same measurement resource set identity, a same measurement resource identity, a same report identity, a same resource setting identity, or a same monitoring process identity.

[0284] In the following, more details about the first and second information will be discussed. In some embodiments, the first information may comprise at least one of the following:

[0285] -an indication of whether the distribution follows random distribution,

[0286] -an indication of whether the distribution follows clustered distribution,

[0287] -an indication of whether the distribution follows uniform distribution,

[0288] -an indication of whether the distribution follows initial clustering distribution,

[0289] -an indication of whether the distribution follows terminal clustering distribution, or

[0290] -an indication of a type of the distribution.

[0291] In some embodiments, the second information may comprise at least one of the following:

[0292] -an indication of whether there are consecutive false samples in the first set of samples, -position information of the consecutive false samples,

[0293] -a number of false samples of the consecutive false samples,

[0294] -an indication of whether the consecutive false samples earlier or no later than a reference position, or

[0295] -an indication of whether the number of false samples of the consecutive false samples is larger than or equal to a threshold.

[0296] In some embodiments, the at least one measurement report may comprise an indication indicating whether the first information is comprised in the measurement report. Alternatively, or in addition, in some embodiments, the at least one measurement report may comprise an indication indicating whether the second information is comprised in the measurement report.

[0297] According to some embodiments of the present disclosure, the determining / transmitting / reporting of the first information and / or second information is performed conditionally as discussed below.

[0298] In some embodiments, the first device 110 may determine and / or transmit at least one of: the first information, or the second information in response to at least one of the following:

[0299] -a number of samples of the first set of samples being larger than or equal to a threshold,

[0300] -time length of a first monitoring window being larger than or equal to a threshold, wherein the first set of samples is determined based on the first monitoring window,

[0301] -a first performance metric determined based on the first set of samples being better than or equal to the second threshold,

[0302] -reception of an indication indicating the first device 110 to determine and / or transmit at least one of: the distribution of false samples in the first set of samples, the consecutive false samples in the first set of samples, the first information or the second information,

[0303] -distribution of false samples in the first set of samples following at least one of: non-random distribution, clustered distribution, non-uniform distribution, initial clustering distribution, or terminal clustering distribution, or

[0304] -a number of false samples of consecutive false samples in the first set of samples being larger than or equal to a threshold.

[0305] According to some embodiments of the present disclosure, the transmission of the at least one measurement report is conditionally. In some embodiments, the first device 110 may transmit the at least one measurement report in response to at least one of the following:

[0306] -a number of samples of the first set of samples being larger than or equal to a threshold,

[0307] -time length of a first monitoring window being larger than or equal to a threshold, wherein the first set of samples is determined based on the first monitoring window,

[0308] -a first performance metric determined based on the first set of samples being better than or equal to the second threshold,

[0309] -reception of an indication indicating the first device 110 to determine and / or transmit at least one of: the distribution of false samples in the first set of samples, the consecutive false samples in the first set of samples, the first information or the second information,

[0310] -distribution of false samples in the first set of samples following at least one of: non-random distribution, clustered distribution, non-uniform distribution, initial clustering distribution, or terminal clustering distribution, or

[0311] -a number of false samples of consecutive false samples in the first set of samples being larger than or equal to a threshold.

[0312] For a better understanding, further example embodiments are discussed as below. In some embodiments, UE may determine and / or report a first type of performance metric and information related to data distribution of false (or true) samples within the monitoring window.

[0313] In some embodiments, in addition to the first type of performance metric (i.e., the first performance metric) , UE may determine information related to data distribution of false samples. Specifically, where the information related to data distribution of false samples may comprise at least one of the following:

[0314] -Whether the distribution of false samples follows random distribution within the monitoring window (and / or the further monitoring window) .

[0315] -Whether the distribution of false samples follows clustered (or aggregated) distribution within the monitoring window (and / or the further monitoring window) .

[0316] -Whether the distribution of false samples follows uniform distribution within the monitoring window (and / or the further monitoring window) .

[0317] -Whether the distribution of false samples follows initial clustering (or left-skewed) distribution within the monitoring window (and / or the further monitoring window) . If the distribution of false samples follows non-random distribution, clustered distribution or non-uniform distribution within the monitoring window (and / or the further monitoring window) , UE may determine this information.

[0318] -Whether the distribution of false samples follows terminal clustering (or right-skewed) distribution within the monitoring window (and / or the further monitoring window) . If the distribution of false samples follows non-random distribution, clustered distribution or non-uniform distribution within the monitoring window (and / or the further monitoring window) , UE may determine this information.

[0319] In some embodiments, after the determination of the information related to data distribution of false samples, UE may report at least one of the following information to NW:Indication of whether the distribution of false samples follows random distribution within the monitoring window (and / or the further monitoring window) ; Indication of whether the distribution of false samples follows clustered (or aggregated) distribution within the monitoring window (and / or the further monitoring window) ; Indication of whether the distribution of false samples follows uniform distribution within the monitoring window (and / or the further monitoring window) ; Indication of whether the distribution of false samples follows initial clustering (or left-skewed) distribution within the monitoring window (and / or the further monitoring window) (If the distribution of false samples follows non-random distribution, clustered distribution or non-uniform distribution within the monitoring window (and / or the further monitoring window) , UE may report this information) ; Indication of whether the distribution of false samples follows terminal clustering (or right-skewed) distribution within the monitoring window (and / or the further monitoring window) (If the distribution of false samples follows non-random distribution, clustered distribution or non-uniform distribution within the  monitoring window (and / or the further monitoring window) , UE may report this information.

[0320] ) Furthermore, the at least one of above information may be reported in the same UL resource (s) or separate UL resources.

[0321] In some embodiments, UE may report at least one of: the first type of performance metric (or the first performance information) , the information related to data distribution of false samples (e.g., the at least one of above information / indication, i.e., first information related to the distribution of false sample in the first set of samples) (i.e., report at least measurement report) when at least one of the following criterion is fulfilled, or is fulfilled N (N≥1) times within a period of time: the first type of performance metric is not better than a threshold; the distribution of false samples follows non-random distribution within the monitoring window (and / or the further monitoring window) ; the distribution of false samples follows clustered (or aggregated) distribution within the monitoring window (and / or the further monitoring window) ; the distribution of false samples follows non-uniform distribution within the monitoring window (and / or the further monitoring window) ; the distribution of false samples follows initial clustering (or left-skewed) distribution within the monitoring window (and / or the further monitoring window) ; the distribution of false samples follows terminal clustering (or right-skewed) distribution within the monitoring window (and / or the further monitoring window) .

[0322] In some embodiments, UE may determine and / or report a first type of performance metric and information related to consecutive false samples (i.e., second information related to the consecutive false samples in the first set of samples) within the monitoring window.

[0323] In some embodiments, in addition to the first type of performance metric, UE may determine whether there are at least one consecutive false samples within the monitoring window (for example shown in FIG. 7A) or / and the further monitoring window (or out of the M samples) . It is noted that, the consecutive false samples should comprise at least 2 samples.

[0324] In some embodiments, if there are at least one consecutive false samples within the monitoring window, UE may determine at least one of the following consecutive false samples (represented by ‘target consecutive false samples’ ) from the at least one consecutive false samples within the monitoring window: the consecutive false samples  having the maximum number of (consecutive) samples; the last (or recent, nearest) consecutive false samples; the last (or recent, nearest) consecutive false samples having the maximum number of (consecutive) samples.

[0325] Furthermore, UE may determine at least one of the following information based on the at least one target consecutive false samples:

[0326] -Position / location information of the target consecutive false samples in the monitoring window or / and the further monitoring window. Specifically, the position information may comprise at least one of a time domain indicator, or a sample indicator. Specifically, where the time domain indicator may comprise indicator of the time unit (e.g., symbol, slot, sub-frame, frame, ms, s, periodicity of sample) where the first or / and last sample of the target consecutive false samples is located. Where the sample indicator may comprise indicator of the first or / and last sample of the target consecutive false samples within the monitoring window (or / and the further monitoring window) .

[0327] -Size information of the target consecutive false samples. Specifically, the size information may comprise at least of a number of samples in the target consecutive false samples, or time duration (unit: symbol, slot, sub-frame, frame, ms, s, periodicity of sample) of the target consecutive false samples.

[0328] In the example of FIG, 7B, the position information may be an indicator of the 95th sample, e.g., [sample indicator: 95] . This means that the reference sample is the 1st sample, i.e., the earliest sample. Optionally, the reference sample may be the last sample, i.e., the 100th sample, accordingly, the sample indicator may be 5. The size information may be 6.

[0329] In some embodiments, UE may report at least one of the following information based on the at least one of above determined information:

[0330] -Indication of whether there are at least one consecutive false samples within the monitoring window or / and the further monitoring window.

[0331] -Position information of the target consecutive false samples (if there are at least one consecutive false samples within the monitoring window or / and the further monitoring window) .

[0332] -Size information of the target consecutive false samples (if there are at least one consecutive false samples within the monitoring window or / and the further monitoring window) .

[0333] In some embodiments, for reporting the position information or / and the size information, UE may determine and report at least one of the following information:

[0334] -Indication of whether the position information of the target consecutive false samples is not later than a reference position;

[0335] -Indication of whether the size information of the target consecutive false samples is larger than or equal to a threshold.

[0336] In some embodiments, the indication of whether there are at least one consecutive false samples within the monitoring window and the other information may be reported in the same UL resource (s) or separate UL resources.

[0337] In some embodiments, the size information may be represented by a counter. For example, when a (new) false sample is identified, the counter will increase by 1; when a (new) true sample is identified, UE will save (or record, log) the current value of the counter, and then reset the counter.

[0338] Alternatively, in some embodiments, the event may be pre-configured, upon the pre-defined event, the first device 110 may stop collecting the first set of samples and / or transmit the at least one measurement report as discussed below.

[0339] In some embodiments, upon a number of consecutive false samples being larger than or equal to a threshold, the first device 110 may stop collecting the first set of samples, Alternatively, or in addition, in some embodiments, upon a number of consecutive false samples being larger than or equal to a threshold, the first device 110 may transmit the at least one measurement report, where the at least one measurement report may comprises at least one of the following: an indication of the number of consecutive false samples being larger than or equal to a threshold, or performance metric information determined based on collected samples.

[0340] For a better understanding, further example embodiments are discussed as below.

[0341] In some embodiments, when at least one the following condition is fulfilled within the monitoring window or / and the further monitoring window, UE may report at least one of the following information: the number of consecutive false samples is larger than or equal to a threshold.

[0342] Reporting information may comprise at least one of the following: Indication of whether the number of consecutive false samples is larger than or equal to a threshold; and / or the performance metric determined based on the collected samples.

[0343] In some embodiments, the indication and the performance metric may be reported in the same UL resource (s) , or separate UL resources.

[0344] In the example of FIG. 8, assuming the threshold is 10, UE may need to report information related to performance metric and / or other information before the end of the monitoring window.

[0345] Example method

[0346] FIG. 9 illustrates a flowchart of a communication method 900 implemented at a first device in accordance with some embodiments of the present disclosure. For the purpose of discussion, the method 900 will be described from the perspective of the first device 110 in FIG. 1A.

[0347] At block 910, the first device receives, from a second device, at least one configuration of a measurement report.

[0348] At block 920, the first device determines a first performance metric corresponding to a first set of samples determined based on the at least one configuration, and a second performance metric corresponding to a second set of samples which is a subset of the first set of samples.

[0349] At block 930, the first device transmits at least one measurement report to the second device, wherein the at least one measurement report comprises at least one of: first performance information determined based on the first performance metric, second performance information determined based on the second performance metric, or third performance information determined based on at least one of: the first performance metric or the second performance metric.

[0350] In some example embodiments, the second set of samples are the first or last M samples of the first set of samples, and M is an integer which is larger than zero and smaller than a number of samples in the first set of samples.

[0351] In some example embodiments, the first performance information comprises at least one of the following: at least one value of the first performance metric, a number of samples in the  first set of samples, a number of true samples in the first set of samples, a number of false samples in the first set of samples, an indication indicating the first performance metric is better than or equal to a threshold, or an indication indicating the first performance metric is no better than or worse than a threshold.

[0352] In some example embodiments, the second performance information comprises at least one of the following: at least one value of the second performance metric, a number of samples in the second set of samples, a number of true samples in the second set of samples, a number of false samples in the second set of samples, an indication indicating the second performance metric is better than or equal to a threshold, an indication indicating the second performance metric is no better than or worse than a threshold, or difference information between the second performance metric and the first performance metric.

[0353] In some example embodiments, the at least one measurement report further comprises at least one of the following: an indication indicating whether the first performance information is comprised in the at least one measurement report, an indication indicating whether the second performance information is comprised in the at least one measurement report, or an indication indicating whether the third performance information is comprised in the at least one measurement report.

[0354] In some example embodiments, the third performance information comprises a weighted value determined based on the first performance metric and the second performance metric.

[0355] In some example embodiments, the indication is set to a first value if: the first performance metric is better than or equal to a first threshold, and the second performance metric is better than or equal to a second threshold, or the first performance metric is no better than or worse than the first threshold, and the second performance metric is better than or equal to the second threshold; and the indication is set to a second value if: the first performance metric is better than or equal to a first threshold, and the second performance metric is no better than or worse than a second threshold, the first performance metric is no better than or worse than the first threshold, and the second performance metric is better than or equal to the second threshold, or the first performance metric is no better than or worse than the first threshold, and the second performance metric is no better than or worse than the second threshold.

[0356] In some example embodiments, the indication is set to a first value if: the first performance metric is better than or equal to a first threshold, and the second performance metric is better than or equal to a second threshold, or the indication is set to a second value if:  the first performance metric is no better than or worse than a first threshold, and the second performance metric is no better than or worse than a second threshold, the indication is set to a third value if: the first performance metric is better than or equal to a first threshold, and the second performance metric is no better than or worse than a second threshold, or the first performance metric is no better than or worse than the first threshold, and the second performance metric is better than or equal to the second threshold.

[0357] In some example embodiments, the first device may determine the second performance metric and / or transmit the second performance information in response to at least one of the following: a number of samples of the first set of samples being larger than or equal to a threshold, time length of a first monitoring window being larger than or equal to a threshold, wherein the first set of samples is determined based on the first monitoring window, the first performance metric being better than or equal to a first threshold, the first performance metric being no better than or worse than the first threshold, the second performance metric being better than or equal to a second threshold, the second performance metric being no better than or worse than the second threshold, reception of an indication indicating the first device to determine and / or transmit the second performance metric, reception of an indication indicating the first device to determine and / or transmit the second performance information, the at least one configuration comprising a second monitoring window or a second number of samples, wherein the second set of samples is determined based on the second monitoring window or the second number of samples, distribution of false samples in the first set of samples following at least one of: non-random distribution, clustered distribution, non-uniform distribution, initial clustering distribution, or terminal clustering distribution, distribution of false samples in the second set of samples following at least one of: non-random distribution, clustered distribution, non-uniform distribution, initial clustering distribution, or terminal clustering distribution, a number of false samples of consecutive false samples in the first set of samples being larger than or equal to a threshold, or a number of false samples of consecutive false samples in the second set of samples being larger than or equal to a threshold.

[0358] In some example embodiments, the first device may transmit the at least one measurement report in response to at least one of the following: the first performance metric is no better than or worse than a first threshold, the second performance metric is no better than or worse than a second threshold, a weighted value determined based on the first performance metric and the second performance metric is no better than or worse than a third threshold, a number of times that the first performance metric is no better than or worse than a first threshold  is larger than or equal to a first threshold number, a number of times that the second performance metric is no better than or worse than a first threshold is larger than or equal to a second threshold number, or a number of times that weighted value determined based on the first performance metric and the second performance metric is no better than or worse than a first threshold is larger than or equal to a third threshold number.

[0359] In some example embodiments, the at least one configuration indicates at least one of the following: a first monitoring window, wherein the first set of samples is determined based on the first monitoring window, a first number of samples of the first set of samples, a second monitoring window, wherein the second set of samples is determined based on the second monitoring window, a second number of samples of the second set of samples, a relationship between the first monitoring window and the second monitoring window, or a relationship between the first number and the second number.

[0360] In some example embodiments, the first device may receive, from the second device, at least one first message comprising at least one of the following: a message used for configuring or activating measurement resources for performance monitoring, a message used for configuring or activating measurement report for performance monitoring, a message used for enabling or activating performance monitoring or data collection, a message used for enabling or activating the first device to receive measurement signals for performance monitoring, or a message used for enabling or activating the first device to receive measurement signals associated with the at least one measurement report; and start collecting the first set of samples in response to the at least one first message.

[0361] In some example embodiments, the first device may receive, from the second device, at least one second message comprising at least one of the following: a message used for releasing or deactivating measurement resources for performance monitoring, a message used for releasing or deactivating measurement report for performance monitoring, a message used for disabling or deactivating performance monitoring or data collection, a message used for disabling or deactivating the first device to receive measurement signals for performance monitoring, a message used for disabling or deactivating the first device to receive measurement signals associated with the at least one measurement report, or a message used for indicating the first device to determine and / or report performance metric information related to collected samples; and stop collecting the first set of samples in response to the at least one second message.

[0362] In some example embodiments, at least one first message and at least one second message are associated with at least one of the following: a same associated identity, a same measurement resource set identity, a same measurement resource identity, a same report identity, a same resource setting identity, or a same monitoring process identity.

[0363] FIG. 10 illustrates a flowchart of a communication method 1000 implemented at a first device in accordance with some embodiments of the present disclosure. For the purpose of discussion, the method 1000 will be described from the perspective of the first device 110 in FIG. 1A.

[0364] At block 1010, the first device receives, from a second device, at least one configuration of a measurement report.

[0365] At block 1020, the first device determines at least one of: distribution of false samples in a first set of samples which is determined based on the at least one configuration, or consecutive false samples in the first set of samples.

[0366] At block 1030, the first device transmits, to the second device, at least one measurement report comprising at least one of the following: first information related to the distribution of false sample in the first set of samples, or second information related to the consecutive false samples in the first set of samples.

[0367] In some example embodiments, the first information comprises at least one of the following: an indication of whether the distribution follows random distribution, an indication of whether the distribution follows clustered distribution, an indication of whether the distribution follows uniform distribution, an indication of whether the distribution follows initial clustering distribution, an indication of whether the distribution follows terminal clustering distribution, or an indication of a type of the distribution.

[0368] In some example embodiments, the second information comprises at least one of the following: an indication of whether there are consecutive false samples in the first set of samples, position information of the consecutive false samples, a number of false samples of the consecutive false samples, an indication of whether the consecutive false samples earlier or no later than a reference position, or an indication of whether the number of false samples of the consecutive false samples is larger than or equal to a threshold.

[0369] In some example embodiments, the first device may determine and / or transmit at least one of: the first information, or the second information in response to at least one of the  following: a number of samples of the first set of samples being larger than or equal to a threshold, time length of a first monitoring window being larger than or equal to a threshold, wherein the first set of samples is determined based on the first monitoring window, a first performance metric determined based on the first set of samples being better than or equal to the second threshold, reception of an indication indicating the first device to determine and / or transmit at least one of: the distribution of false samples in the first set of samples, the consecutive false samples in the first set of samples, the first information or the second information, distribution of false samples in the first set of samples following at least one of: non-random distribution, clustered distribution, non-uniform distribution, initial clustering distribution, or terminal clustering distribution, or a number of false samples of consecutive false samples in the first set of samples being larger than or equal to a threshold.

[0370] In some example embodiments, upon a number of consecutive false samples being larger than or equal to a threshold, the first device may perform at least one of the following: stop collecting the first set of samples; or transmit the at least one measurement report comprising at least one of the following: an indication of the number of consecutive false samples being larger than or equal to a threshold, or performance metric information determined based on collected samples.

[0371] In some example embodiments, the first device may transmit the measurement report in response to at least one of the following: a number of samples of the first set of samples being larger than or equal to a threshold, time length of a first monitoring window being larger than or equal to a threshold, wherein the first set of samples is determined based on the first monitoring window, a first performance metric determined based on the first set of samples being better than or equal to the second threshold, reception of an indication indicating the first device to determine and / or transmit at least one of: the distribution of false samples in the first set of samples, the consecutive false samples in the first set of samples, the first information or the second information, distribution of false samples in the first set of samples following at least one of: non-random distribution, clustered distribution, non-uniform distribution, initial clustering distribution, or terminal clustering distribution, or a number of false samples of consecutive false samples in the first set of samples being larger than or equal to a threshold.

[0372] In some example embodiments, the at least one configuration indicates at least one of the following: a first monitoring window, wherein the first set of samples is determined based on the first monitoring window, or a first number of samples of the first set of samples.

[0373] In some example embodiments, the first device may receive, from the second device, at least one first message comprising at least one of the following: a message used for configuring or activating measurement resources for performance monitoring, a message used for configuring or activating measurement report for performance monitoring, a message used for enabling or activating performance monitoring or data collection, a message used for enabling or activating the first device to receive measurement signals for performance monitoring, or a message used for enabling or activating the first device to receive measurement signals associated with the at least one measurement report; and start collecting the first set of samples in response to the at least one first message.

[0374] In some example embodiments, the first device may receive, from the second device, at least one second message comprising at least one of the following: a message used for releasing or deactivating measurement resources for performance monitoring, a message used for releasing or deactivating measurement report for performance monitoring, a message used for disabling or deactivating performance monitoring or data collection, a message used for disabling or deactivating the first device to receive measurement signals for performance monitoring, a message used for disabling or deactivating the first device to receive measurement signals associated with the at least one measurement report, or a message used for indicating the first device to determine and / or report performance metric and / or performance information related to collected samples; and stop collecting the first set of samples in response to the at least one second message.

[0375] In some example embodiments, at least one first message and at least one second message are associated with at least one of the following: a same associated identity, a same measurement resource set identity, a same measurement resource identity, a same report identity, a same resource setting identity, or a same monitoring process identity.

[0376] In some example embodiments, the at least one measurement report further comprises: an indication indicating whether the first information is comprised in the measurement report, or an indication indicating whether the second information is comprised in the measurement report.

[0377] FIG. 11 illustrates a flowchart of a communication method 1100 implemented at a second device in accordance with some embodiments of the present disclosure. For the purpose of discussion, the method 1100 will be described from the perspective of the second device 120 in FIG. 1A.

[0378] At block 1110, the second device transmits, to a first device, at least one configuration of a measurement report.

[0379] At block 1120, the second device receives at least one measurement report from the first device, wherein the at least one measurement report comprises at least one of: first performance information determined based on the first performance metric corresponding to a first set of samples, the first set of samples being determined based on the at least one configuration, second performance information determined based on the second performance metric corresponding to a second set of samples which is a subset of the first set of samples, or third performance information determined based on at least one of: the first performance metric or the second performance metric.

[0380] In some example embodiments, the second set of samples are the first or last M samples of the first set of samples, and M is an integer which is larger than zero and smaller than a number of samples in the first set of samples.

[0381] In some example embodiments, the first performance information comprises at least one of the following: at least one value of the first performance metric, a number of samples in the first set of samples, a number of true samples in the first set of samples, a number of false samples in the first set of samples, an indication indicating the first performance metric is better than or equal to a threshold, or an indication indicating the first performance metric is no better than or worse than a threshold.

[0382] In some example embodiments, the second performance information comprises at least one of the following: at least one value of the second performance metric, a number of samples in the second set of samples, a number of true samples in the second set of samples, a number of false samples in the second set of samples, an indication indicating the second performance metric is better than or equal to a threshold, an indication indicating the second performance metric is no better than or worse than a threshold, or difference information between the second performance metric and the first performance metric.

[0383] In some example embodiments, the at least one measurement report further comprises at least one of the following: an indication indicating whether the first performance information is comprised in the at least one measurement report, an indication indicating whether the second performance information is comprised in the at least one measurement report, or an indication indicating whether the third performance information is comprised in the at least one measurement report.

[0384] In some example embodiments, the third performance information comprises a weighted value determined based on the first performance metric and the second performance metric.

[0385] In some example embodiments, the indication is set to a first value if: the first performance metric is better than or equal to a first threshold, and the second performance metric is better than or equal to a second threshold, or the first performance metric is no better than or worse than the first threshold, and the second performance metric is better than or equal to the second threshold; and the indication is set to a second value if: the first performance metric is better than or equal to a first threshold, and the second performance metric is no better than or worse than a second threshold, the first performance metric is no better than or worse than the first threshold, and the second performance metric is better than or equal to the second threshold, or the first performance metric is no better than or worse than the first threshold, and the second performance metric is no better than or worse than the second threshold.

[0386] In some example embodiments, the indication is set to a first value if: the first performance metric is better than or equal to a first threshold, and the second performance metric is better than or equal to a second threshold, or the indication is set to a second value if: the first performance metric is no better than or worse than a first threshold, and the second performance metric is no better than or worse than a second threshold, the indication is set to a third value if: the first performance metric is better than or equal to a first threshold, and the second performance metric is no better than or worse than a second threshold, or the first performance metric is no better than or worse than the first threshold, and the second performance metric is better than or equal to the second threshold.

[0387] In some example embodiments, the at least one configuration indicates at least one of the following: a first monitoring window, wherein the first set of samples is determined based on the first monitoring window, a first number of samples of the first set of samples, a second monitoring window, wherein the second set of samples is determined based on the second monitoring window, a second number of samples of the second set of samples, a relationship between the first monitoring window and the second monitoring window, or a relationship between the first number and the second number.

[0388] In some example embodiments, the second device may transmit at least one first message to the first device, such that the first device starts collecting the first set of samples in response to the at least one first message, the at least one first message comprising at least one of the following: a message used for configuring or activating measurement resources for  performance monitoring, a message used for configuring or activating measurement report for performance monitoring, a message used for enabling or activating performance monitoring or data collection, a message used for enabling or activating the first device to receive measurement signals for performance monitoring, or a message used for enabling or activating the first device to receive measurement signals associated with the at least one measurement report.

[0389] In some example embodiments, the second device may transmit at least one second message to the first device, such that the first device stops collecting the first set of samples in response to the at least one second message, the at least one second message comprising at least one of the following: a message used for releasing or deactivating measurement resources for performance monitoring, a message used for releasing or deactivating measurement report for performance monitoring, a message used for disabling or deactivating performance monitoring or data collection, a message used for disabling or deactivating the first device to receive measurement signals for performance monitoring, a message used for disabling or deactivating the first device to receive measurement signals associated with the at least one measurement report, or a message used for indicating the first device to determine and / or report performance metric information related to collected samples.

[0390] In some example embodiments, at least one first message and at least one second message are associated with at least one of the following: a same associated identity, a same measurement resource set identity, a same measurement resource identity, a same report identity, a same resource setting identity, or a same monitoring process identity.

[0391] FIG. 12 illustrates a flowchart of a communication method 1200 implemented at a second device in accordance with some embodiments of the present disclosure. For the purpose of discussion, the method 1200 will be described from the perspective of the second device in FIG. 1A.

[0392] At block 1210, the second device transmits at least one configuration of a measurement report to a first device.

[0393] At block 1220, the second device receives, from the first device, at least one measurement report comprising at least one of the following: first information related to distribution of false sample in a first set of samples, the first set of sample being determined based on the at least one configuration, or second information related to consecutive false samples in the first set of samples.

[0394] In some example embodiments, the first information comprises at least one of the following: an indication of whether the distribution follows random distribution, an indication of whether the distribution follows clustered distribution, an indication of whether the distribution follows uniform distribution, an indication of whether the distribution follows initial clustering distribution, an indication of whether the distribution follows terminal clustering distribution, or an indication of a type of the distribution.

[0395] In some example embodiments, the second information comprises at least one of the following: an indication of whether there are consecutive false samples in the first set of samples, position information of the consecutive false samples, a number of false samples of the consecutive false samples, an indication of whether the consecutive false samples earlier or no later than a reference position, or an indication of whether the number of false samples of the consecutive false samples is larger than or equal to a threshold.

[0396] In some example embodiments, the at least one measurement report further comprises at least one of the following: an indication of the number of consecutive false samples being larger than or equal to a threshold, or performance metric information determined based on collected samples.

[0397] In some example embodiments, the at least one configuration indicates at least one of the following: a first monitoring window, wherein the first set of samples is determined based on the first monitoring window, or a first number of samples of the first set of samples.

[0398] In some example embodiments, the second device may transmit at least one first message to the first device, such that the first device starts collecting the first set of samples in response to the at least one first message, the at least one first message comprising at least one of the following: a message used for configuring or activating measurement resources for performance monitoring, a message used for configuring or activating measurement report for performance monitoring, a message used for enabling or activating performance monitoring or data collection, a message used for enabling or activating the first device to receive measurement signals for performance monitoring, or a message used for enabling or activating the first device to receive measurement signals associated with the at least one measurement report.

[0399] In some example embodiments, the second device may transmit at least one second message to the first device, such that the first device stops collecting the first set of samples in response to the at least one second message, the at least one second message comprising at least  one of the following: a message used for releasing or deactivating measurement resources for performance monitoring, a message used for releasing or deactivating measurement report for performance monitoring, a message used for disabling or deactivating performance monitoring or data collection, a message used for disabling or deactivating the first device to receive measurement signals for performance monitoring, a message used for disabling or deactivating the first device to receive measurement signals associated with the at least one measurement report, or a message used for indicating the first device to determine and / or report performance metric information related to collected samples.

[0400] In some example embodiments, at least one first message and at least one second message are associated with at least one of the following: a same associated identity, a same measurement resource set identity, a same measurement resource identity, a same report identity, a same resource setting identity, or a same monitoring process identity.

[0401] In some example embodiments, the at least one measurement report further comprises: an indication indicating whether the first information is comprised in the measurement report, or an indication indicating whether the second information is comprised in the measurement report.

[0402] Example Apparatus and Device

[0403] FIG. 13 is a simplified block diagram of a device 1300 that is suitable for implementing embodiments of the present disclosure. The device 1300 can be considered as a further example implementation of any of the devices as shown in FIG. 1A. Accordingly, the device 1300 can be implemented at or as at least a part of the first device 110 or the second device 120.

[0404] As shown, the device 1300 includes a processor 1310, a memory 1320 coupled to the processor 1310, a suitable transceiver 1340 coupled to the processor 1310, and a communication interface coupled to the transceiver 1340. The memory 1320 stores at least a part of a program 1330. The transceiver 1340 may be for bidirectional communications or a unidirectional communication based on requirements. The transceiver 1340 may include at least one of a transmitter 1342 and a receiver 1344. The transmitter 1342 and the receiver 1344 may be functional modules or physical entities. The transceiver 1340 has at least one antenna to facilitate communication, though in practice an Access Node mentioned in this application may have several ones. The communication interface may represent any interface that is necessary for communication with other network elements,  such as X2 / Xn interface for bidirectional communications between eNBs / gNBs, S1 / NG interface for communication between a Mobility Management Entity (MME)  / Access and Mobility Management Function (AMF)  / SGW / UPF and the eNB / gNB, Un interface for communication between the eNB / gNB and a relay node (RN) , or Uu interface for communication between the eNB / gNB and a terminal device.

[0405] The program 1330 is assumed to include program instructions that, when executed by the associated processor 1310, enable the device 1300 to operate in accordance with the embodiments of the present disclosure, as discussed herein with reference to FIGS. 1 to 12. The embodiments herein may be implemented by computer software executable by the processor 1310 of the device 1300, or by hardware, or by a combination of software and hardware. The processor 1310 may be configured to implement various embodiments of the present disclosure. Furthermore, a combination of the processor 1310 and memory 1320 may form processing means 1350 adapted to implement various embodiments of the present disclosure.

[0406] The memory 1320 may be of any type suitable to the local technical network and may be implemented using any suitable data storage technology, such as a non-transitory computer readable storage medium, semiconductor-based memory devices, magnetic memory devices and systems, optical memory devices and systems, fixed memory and removable memory, as non-limiting examples. While only one memory 1320 is shown in the device 1300, there may be several physically distinct memory modules in the device 1300. The processor 1310 may be of any type suitable to the local technical network, and may include one or more of general purpose computers, special purpose computers, microprocessors, digital signal processors (DSPs) and processors based on multicore processor architecture, as non-limiting examples. The device 1300 may have multiple processors, such as an application specific integrated circuit chip that is slaved in time to a clock which synchronizes the main processor.

[0407] According to embodiments of the present disclosure, a first device comprising a circuitry is provided. The circuitry is configured to: receive, from a second device, at least one configuration of a measurement report; determine a first performance metric corresponding to a first set of samples determined based on the at least one configuration, and a second performance metric corresponding to a second set of samples which is a subset of the first set of samples; and transmit at least one measurement report to the second device, wherein the at least one measurement report comprises at least one of: first  performance information determined based on the first performance metric, second performance information determined based on the second performance metric, or third performance information determined based on at least one of: the first performance metric or the second performance metric. According to embodiments of the present disclosure, the circuitry may be configured to perform any method implemented by the first device as discussed above.

[0408] According to embodiments of the present disclosure, a first device comprising a circuitry is provided. The circuitry is configured to: receive, from a second device, at least one configuration of a measurement report; determine at least one of: distribution of false samples in a first set of samples which is determined based on the at least one configuration, or consecutive false samples in the first set of samples; transmit, to the second device, at least one measurement report comprising at least one of the following: first information related to the distribution of false sample in the first set of samples, or second information related to the consecutive false samples in the first set of samples. According to embodiments of the present disclosure, the circuitry may be configured to perform any method implemented by the first device as discussed above.

[0409] According to embodiments of the present disclosure, a second device comprising a circuitry is provided. The circuitry is configured to: transmit, to a first device, at least one configuration of a measurement report; receive at least one measurement report from the first device, wherein the at least one measurement report comprises at least one of: first performance information determined based on the first performance metric corresponding to a first set of samples, the first set of samples being determined based on the at least one configuration, second performance information determined based on the second performance metric corresponding to a second set of samples which is a subset of the first set of samples, or third performance information determined based on at least one of: the first performance metric or the second performance metric. According to embodiments of the present disclosure, the circuitry may be configured to perform any method implemented by the second device as discussed above.

[0410] According to embodiments of the present disclosure, a second device comprising a circuitry is provided. The circuitry is configured to: transmit at least one configuration of a measurement report to a first device; receive, from the first device, at least one measurement report comprising at least one of the following: first information related to distribution of false sample in a first set of samples, the first set of sample being  determined based on the at least one configuration, or second information related to consecutive false samples in the first set of samples. According to embodiments of the present disclosure, the circuitry may be configured to perform any method implemented by the second device as discussed above.

[0411] The term “circuitry” used herein may refer to hardware circuits and / or combinations of hardware circuits and software. For example, the circuitry may be a combination of analog and / or digital hardware circuits with software / firmware. As a further example, the circuitry may be any portions of hardware processors with software including digital signal processor (s) , software, and memory (ies) that work together to cause an apparatus, such as a terminal device or a network device, to perform various functions. In a still further example, the circuitry may be hardware circuits and or processors, such as a microprocessor or a portion of a microprocessor, that requires software / firmware for operation, but the software may not be present when it is not needed for operation. As used herein, the term circuitry also covers an implementation of merely a hardware circuit or processor (s) or a portion of a hardware circuit or processor (s) and its (or their) accompanying software and / or firmware.

[0412] According to embodiments of the present disclosure, a first apparatus is provided. The first apparatus comprises means for receiving, from a second device, at least one configuration of a measurement report; means for determining a first performance metric corresponding to a first set of samples determined based on the at least one configuration, and a second performance metric corresponding to a second set of samples which is a subset of the first set of samples; and means for transmitting at least one measurement report to the second device, wherein the at least one measurement report comprises at least one of: first performance information determined based on the first performance metric, second performance information determined based on the second performance metric, or third performance information determined based on at least one of: the first performance metric or the second performance metric. In some embodiments, the first apparatus may comprise means for performing the respective operations of the method 900. In some example embodiments, the first apparatus may further comprise means for performing other operations in some example embodiments of the method 900. The means may be implemented in any suitable form. For example, the means may be implemented in a circuitry or software module.

[0413] According to embodiments of the present disclosure, a first apparatus is provided. The first apparatus comprises means for receiving, from a second device, at least one configuration of a measurement report; means for determining at least one of: distribution of false samples in a first set of samples which is determined based on the at least one configuration, or consecutive false samples in the first set of samples; means for transmitting, to the second device, at least one measurement report comprising at least one of the following: first information related to the distribution of false sample in the first set of samples, or second information related to the consecutive false samples in the first set of samples. In some embodiments, the second apparatus may comprise means for performing the respective operations of the method 1000. In some example embodiments, the second apparatus may further comprise means for performing other operations in some example embodiments of the method 1000. The means may be implemented in any suitable form. For example, the means may be implemented in a circuitry or software module.

[0414] According to embodiments of the present disclosure, a second apparatus is provided. The second apparatus comprises means for transmitting, to a first device, at least one configuration of a measurement report; means for receiving at least one measurement report from the first device, wherein the at least one measurement report comprises at least one of: first performance information determined based on the first performance metric corresponding to a first set of samples, the first set of samples being determined based on the at least one configuration, second performance information determined based on the second performance metric corresponding to a second set of samples which is a subset of the first set of samples, or third performance information determined based on at least one of: the first performance metric or the second performance metric. In some embodiments, the third apparatus may comprise means for performing the respective operations of the method 1100. In some example embodiments, the third apparatus may further comprise means for performing other operations in some example embodiments of the method 1100. The means may be implemented in any suitable form. For example, the means may be implemented in a circuitry or software module.

[0415] According to embodiments of the present disclosure, a second apparatus is provided. The second apparatus comprises means for transmitting at least one configuration of a measurement report to a first device; means for receiving, from the first device, at least one measurement report comprising at least one of the following: first information related  to distribution of false sample in a first set of samples, the first set of sample being determined based on the at least one configuration, or second information related to consecutive false samples in the first set of samples. In some embodiments, the fourth apparatus may comprise means for performing the respective operations of the method 1200. In some example embodiments, the fourth apparatus may further comprise means for performing other operations in some example embodiments of the method 1200. The means may be implemented in any suitable form. For example, the means may be implemented in a circuitry or software module.

[0416] In summary, embodiments of the present disclosure provide the following aspects.

[0417] In an aspect, it is proposed a first device comprising: a processor configured to cause the first device to: receive, from a second device, at least one configuration of a measurement report; determine a first performance metric corresponding to a first set of samples determined based on the at least one configuration, and a second performance metric corresponding to a second set of samples which is a subset of the first set of samples; and transmit at least one measurement report to the second device, wherein the at least one measurement report comprises at least one of: first performance information determined based on the first performance metric, second performance information determined based on the second performance metric, or third performance information determined based on at least one of: the first performance metric or the second performance metric.

[0418] In some embodiments, the second set of samples are the first or last M samples of the first set of samples, and M is an integer which is larger than zero and smaller than a number of samples in the first set of samples.

[0419] In some embodiments, the first performance information comprises at least one of the following: at least one value of the first performance metric, a number of samples in the first set of samples, a number of true samples in the first set of samples, a number of false samples in the first set of samples, an indication indicating the first performance metric is better than or equal to a threshold, or an indication indicating the first performance metric is no better than or worse than a threshold.

[0420] In some embodiments, the second performance information comprises at least one of the following: at least one value of the second performance metric, a number of samples in the second set of samples, a number of true samples in the second set of samples, a  number of false samples in the second set of samples, an indication indicating the second performance metric is better than or equal to a threshold, an indication indicating the second performance metric is no better than or worse than a threshold, or difference information between the second performance metric and the first performance metric.

[0421] In some embodiments, the at least one measurement report further comprises at least one of the following: an indication indicating whether the first performance information is comprised in the at least one measurement report, an indication indicating whether the second performance information is comprised in the at least one measurement report, or an indication indicating whether the third performance information is comprised in the at least one measurement report.

[0422] In some embodiments, the third performance information comprises a weighted value determined based on the first performance metric and the second performance metric.

[0423] In some embodiments, the indication is set to a first value if: the first performance metric is better than or equal to a first threshold, and the second performance metric is better than or equal to a second threshold, or the first performance metric is no better than or worse than the first threshold, and the second performance metric is better than or equal to the second threshold; and the indication is set to a second value if: the first performance metric is better than or equal to a first threshold, and the second performance metric is no better than or worse than a second threshold, the first performance metric is no better than or worse than the first threshold, and the second performance metric is better than or equal to the second threshold, or the first performance metric is no better than or worse than the first threshold, and the second performance metric is no better than or worse than the second threshold.

[0424] In some embodiments, the indication is set to a first value if: the first performance metric is better than or equal to a first threshold, and the second performance metric is better than or equal to a second threshold, or the indication is set to a second value if: the first performance metric is no better than or worse than a first threshold, and the second performance metric is no better than or worse than a second threshold, the indication is set to a third value if: the first performance metric is better than or equal to a first threshold, and the second performance metric is no better than or worse than a second threshold, or  the first performance metric is no better than or worse than the first threshold, and the second performance metric is better than or equal to the second threshold.

[0425] In some embodiments, the first device is further caused to: determine the second performance metric and / or transmit the second performance information in response to at least one of the following: a number of samples of the first set of samples being larger than or equal to a threshold, time length of a first monitoring window being larger than or equal to a threshold, wherein the first set of samples is determined based on the first monitoring window, the first performance metric being better than or equal to a first threshold, the first performance metric being no better than or worse than the first threshold, the second performance metric being better than or equal to a second threshold, the second performance metric being no better than or worse than the second threshold, reception of an indication indicating the first device to determine and / or transmit the second performance metric, reception of an indication indicating the first device to determine and / or transmit the second performance information, the at least one configuration comprising a second monitoring window or a second number of samples, wherein the second set of samples is determined based on the second monitoring window or the second number of samples, distribution of false samples in the first set of samples following at least one of: non-random distribution, clustered distribution, non-uniform distribution, initial clustering distribution, or terminal clustering distribution, distribution of false samples in the second set of samples following at least one of: non-random distribution, clustered distribution, non-uniform distribution, initial clustering distribution, or terminal clustering distribution, a number of false samples of consecutive false samples in the first set of samples being larger than or equal to a threshold, or a number of false samples of consecutive false samples in the second set of samples being larger than or equal to a threshold.

[0426] In some embodiments, the first device is further caused to: transmit the at least one measurement report in response to at least one of the following: the first performance metric is no better than or worse than a first threshold, the second performance metric is no better than or worse than a second threshold, a weighted value determined based on the first performance metric and the second performance metric is no better than or worse than a third threshold, a number of times that the first performance metric is no better than or worse than a first threshold is larger than or equal to a first threshold number, a number of times that the second performance metric is no better than or worse than a first threshold  is larger than or equal to a second threshold number, or a number of times that weighted value determined based on the first performance metric and the second performance metric is no better than or worse than a first threshold is larger than or equal to a third threshold number.

[0427] In some embodiments, the at least one configuration indicates at least one of the following: a first monitoring window, wherein the first set of samples is determined based on the first monitoring window, a first number of samples of the first set of samples, a second monitoring window, wherein the second set of samples is determined based on the second monitoring window, a second number of samples of the second set of samples, a relationship between the first monitoring window and the second monitoring window, or a relationship between the first number and the second number.

[0428] In some embodiments, the first device is further caused to: receive, from the second device, at least one first message comprising at least one of the following: a message used for configuring or activating measurement resources for performance monitoring, a message used for configuring or activating measurement report for performance monitoring, a message used for enabling or activating performance monitoring or data collection, a message used for enabling or activating the first device to receive measurement signals for performance monitoring, or a message used for enabling or activating the first device to receive measurement signals associated with the at least one measurement report; and start collecting the first set of samples in response to the at least one first message.

[0429] In some embodiments, the first device is further caused to: receive, from the second device, at least one second message comprising at least one of the following: a message used for releasing or deactivating measurement resources for performance monitoring, a message used for releasing or deactivating measurement report for performance monitoring, a message used for disabling or deactivating performance monitoring or data collection, a message used for disabling or deactivating the first device to receive measurement signals for performance monitoring, a message used for disabling or deactivating the first device to receive measurement signals associated with the at least one measurement report, or a message used for indicating the first device to determine and / or report performance metric information related to collected samples; and stop collecting the first set of samples in response to the at least one second message.

[0430] In some embodiments, at least one first message and at least one second message are associated with at least one of the following: a same associated identity, a same measurement resource set identity, a same measurement resource identity, a same report identity, a same resource setting identity, or a same monitoring process identity.

[0431] In an aspect, it is proposed a first device comprising: a processor configured to cause the first device to: receive, from a second device, at least one configuration of a measurement report; determine at least one of: distribution of false samples in a first set of samples which is determined based on the at least one configuration, or consecutive false samples in the first set of samples; transmit, to the second device, at least one measurement report comprising at least one of the following: first information related to the distribution of false sample in the first set of samples, or second information related to the consecutive false samples in the first set of samples.

[0432] In some embodiments, the first information comprises at least one of the following: an indication of whether the distribution follows random distribution, an indication of whether the distribution follows clustered distribution, an indication of whether the distribution follows uniform distribution, an indication of whether the distribution follows initial clustering distribution, an indication of whether the distribution follows terminal clustering distribution, or an indication of a type of the distribution.

[0433] In some embodiments, the second information comprises at least one of the following: an indication of whether there are consecutive false samples in the first set of samples, position information of the consecutive false samples, a number of false samples of the consecutive false samples, an indication of whether the consecutive false samples earlier or no later than a reference position, or an indication of whether the number of false samples of the consecutive false samples is larger than or equal to a threshold.

[0434] In some embodiments, the first device is further caused to: determine and / or transmit at least one of: the first information, or the second information in response to at least one of the following: a number of samples of the first set of samples being larger than or equal to a threshold, time length of a first monitoring window being larger than or equal to a threshold, wherein the first set of samples is determined based on the first monitoring window, a first performance metric determined based on the first set of samples being better than or equal to the second threshold, reception of an indication indicating the first device to determine and / or transmit at least one of: the distribution of  false samples in the first set of samples, the consecutive false samples in the first set of samples, the first information or the second information, distribution of false samples in the first set of samples following at least one of: non-random distribution, clustered distribution, non-uniform distribution, initial clustering distribution, or terminal clustering distribution, or a number of false samples of consecutive false samples in the first set of samples being larger than or equal to a threshold.

[0435] In some embodiments, the first device is further caused to: upon a number of consecutive false samples being larger than or equal to a threshold, perform at least one of the following: stop collecting the first set of samples; or transmit the at least one measurement report comprising at least one of the following: an indication of the number of consecutive false samples being larger than or equal to a threshold, or performance metric information determined based on collected samples.

[0436] In some embodiments, the first device is further caused to: transmit the measurement report in response to at least one of the following: a number of samples of the first set of samples being larger than or equal to a threshold, time length of a first monitoring window being larger than or equal to a threshold, wherein the first set of samples is determined based on the first monitoring window, a first performance metric determined based on the first set of samples being better than or equal to the second threshold, reception of an indication indicating the first device to determine and / or transmit at least one of: the distribution of false samples in the first set of samples, the consecutive false samples in the first set of samples, the first information or the second information, distribution of false samples in the first set of samples following at least one of:non-random distribution, clustered distribution, non-uniform distribution, initial clustering distribution, or terminal clustering distribution, or a number of false samples of consecutive false samples in the first set of samples being larger than or equal to a threshold.

[0437] In some embodiments, the at least one configuration indicates at least one of the following: a first monitoring window, wherein the first set of samples is determined based on the first monitoring window, or a first number of samples of the first set of samples.

[0438] In some embodiments, the first device is further caused to: receive, from the second device, at least one first message comprising at least one of the following: a message used for configuring or activating measurement resources for performance monitoring, a  message used for configuring or activating measurement report for performance monitoring, a message used for enabling or activating performance monitoring or data collection, a message used for enabling or activating the first device to receive measurement signals for performance monitoring, or a message used for enabling or activating the first device to receive measurement signals associated with the at least one measurement report; and start collecting the first set of samples in response to the at least one first message.

[0439] In some embodiments, the first device is further caused to: receive, from the second device, at least one second message comprising at least one of the following: a message used for releasing or deactivating measurement resources for performance monitoring, a message used for releasing or deactivating measurement report for performance monitoring, a message used for disabling or deactivating performance monitoring or data collection, a message used for disabling or deactivating the first device to receive measurement signals for performance monitoring, a message used for disabling or deactivating the first device to receive measurement signals associated with the at least one measurement report, or a message used for indicating the first device to determine and / or report performance metric and / or performance information related to collected samples; and stop collecting the first set of samples in response to the at least one second message.

[0440] In some embodiments, at least one first message and at least one second message are associated with at least one of the following: a same associated identity, a same measurement resource set identity, a same measurement resource identity, a same report identity, a same resource setting identity, or a same monitoring process identity.

[0441] In some embodiments, the at least one measurement report further comprises: an indication indicating whether the first information is comprised in the measurement report, or an indication indicating whether the second information is comprised in the measurement report.

[0442] In an aspect, it is proposed a second device comprising: a processor configured to cause the second device to: transmit, to a first device, at least one configuration of a measurement report; transmit at least one measurement report to the second device, wherein the at least one measurement report comprises at least one of: first performance information determined based on the first performance metric corresponding to a first set  of samples, the first set of samples being determined based on the at least one configuration, second performance information determined based on the second performance metric corresponding to a second set of samples which is a subset of the first set of samples, or third performance information determined based on at least one of: the first performance metric or the second performance metric.

[0443] In some embodiments, the second set of samples are the first or last M samples of the first set of samples, and M is an integer which is larger than zero and smaller than a number of samples in the first set of samples.

[0444] In some embodiments, the first performance information comprises at least one of the following: at least one value of the first performance metric, a number of samples in the first set of samples, a number of true samples in the first set of samples, a number of false samples in the first set of samples, an indication indicating the first performance metric is better than or equal to a threshold, or an indication indicating the first performance metric is no better than or worse than a threshold.

[0445] In some embodiments, the second performance information comprises at least one of the following: at least one value of the second performance metric, a number of samples in the second set of samples, a number of true samples in the second set of samples, a number of false samples in the second set of samples, an indication indicating the second performance metric is better than or equal to a threshold, an indication indicating the second performance metric is no better than or worse than a threshold, or difference information between the second performance metric and the first performance metric.

[0446] In some embodiments, the at least one measurement report further comprises at least one of the following: an indication indicating whether the first performance information is comprised in the at least one measurement report, an indication indicating whether the second performance information is comprised in the at least one measurement report, or an indication indicating whether the third performance information is comprised in the at least one measurement report.

[0447] In some embodiments, the third performance information comprises a weighted value determined based on the first performance metric and the second performance metric.

[0448] In some embodiments, the indication is set to a first value if: the first performance metric is better than or equal to a first threshold, and the second performance metric is better than or equal to a second threshold, or the first performance metric is no better than or worse than the first threshold, and the second performance metric is better than or equal to the second threshold; and the indication is set to a second value if: the first performance metric is better than or equal to a first threshold, and the second performance metric is no better than or worse than a second threshold, the first performance metric is no better than or worse than the first threshold, and the second performance metric is better than or equal to the second threshold, or the first performance metric is no better than or worse than the first threshold, and the second performance metric is no better than or worse than the second threshold.

[0449] In some embodiments, the indication is set to a first value if: the first performance metric is better than or equal to a first threshold, and the second performance metric is better than or equal to a second threshold, or the indication is set to a second value if: the first performance metric is no better than or worse than a first threshold, and the second performance metric is no better than or worse than a second threshold, the indication is set to a third value if: the first performance metric is better than or equal to a first threshold, and the second performance metric is no better than or worse than a second threshold, or the first performance metric is no better than or worse than the first threshold, and the second performance metric is better than or equal to the second threshold.

[0450] In some embodiments, the at least one configuration indicates at least one of the following: a first monitoring window, wherein the first set of samples is determined based on the first monitoring window, a first number of samples of the first set of samples, a second monitoring window, wherein the second set of samples is determined based on the second monitoring window, a second number of samples of the second set of samples, a relationship between the first monitoring window and the second monitoring window, or a relationship between the first number and the second number.

[0451] In some embodiments, the second device is further caused to: transmit at least one first message to the first device, such that the first device starts collecting the first set of samples in response to the at least one first message, the at least one first message comprising at least one of the following: a message used for configuring or activating measurement resources for performance monitoring, a message used for configuring or activating measurement report for performance monitoring, a message used for enabling  or activating performance monitoring or data collection, a message used for enabling or activating the first device to receive measurement signals for performance monitoring, or a message used for enabling or activating the first device to receive measurement signals associated with the at least one measurement report.

[0452] In some embodiments, the second device is further caused to: transmit at least one second message to the first device, such that the first device stops collecting the first set of samples in response to the at least one second message, the at least one second message comprising at least one of the following: a message used for releasing or deactivating measurement resources for performance monitoring, a message used for releasing or deactivating measurement report for performance monitoring, a message used for disabling or deactivating performance monitoring or data collection, a message used for disabling or deactivating the first device to receive measurement signals for performance monitoring, a message used for disabling or deactivating the first device to receive measurement signals associated with the at least one measurement report, or a message used for indicating the first device to determine and / or report performance metric information related to collected samples.

[0453] In some embodiments, at least one first message and at least one second message are associated with at least one of the following: a same associated identity, a same measurement resource set identity, a same measurement resource identity, a same report identity, a same resource setting identity, or a same monitoring process identity.

[0454] In an aspect, it is proposed a second device comprising: a processor configured to cause the second device to: transmit at least one configuration of a measurement report to a first device; receive, from the first device, at least one measurement report comprising at least one of the following: first information related to distribution of false sample in a first set of samples, the first set of sample being determined based on the at least one configuration, or second information related to consecutive false samples in the first set of samples.

[0455] In some embodiments, the first information comprises at least one of the following: an indication of whether the distribution follows random distribution, an indication of whether the distribution follows clustered distribution, an indication of whether the distribution follows uniform distribution, an indication of whether the distribution follows  initial clustering distribution, an indication of whether the distribution follows terminal clustering distribution, or an indication of a type of the distribution.

[0456] In some embodiments, the second information comprises at least one of the following: an indication of whether there are consecutive false samples in the first set of samples, position information of the consecutive false samples, a number of false samples of the consecutive false samples, an indication of whether the consecutive false samples earlier or no later than a reference position, or an indication of whether the number of false samples of the consecutive false samples is larger than or equal to a threshold.

[0457] In some embodiments, the at least one measurement report further comprises at least one of the following: an indication of the number of consecutive false samples being larger than or equal to a threshold, or performance metric information determined based on collected samples.

[0458] In some embodiments, the at least one configuration indicates at least one of the following: a first monitoring window, wherein the first set of samples is determined based on the first monitoring window, or a first number of samples of the first set of samples.

[0459] In some embodiments, the second device is further caused to: transmit at least one first message to the first device, such that the first device starts collecting the first set of samples in response to the at least one first message, the at least one first message comprising at least one of the following: a message used for configuring or activating measurement resources for performance monitoring, a message used for configuring or activating measurement report for performance monitoring, a message used for enabling or activating performance monitoring or data collection, a message used for enabling or activating the first device to receive measurement signals for performance monitoring, or a message used for enabling or activating the first device to receive measurement signals associated with the at least one measurement report.

[0460] In some embodiments, the second device is further caused to: transmit at least one second message to the first device, such that the first device stops collecting the first set of samples in response to the at least one second message, the at least one second message comprising at least one of the following: a message used for releasing or deactivating measurement resources for performance monitoring, a message used for releasing or deactivating measurement report for performance monitoring, a message used for disabling or deactivating performance monitoring or data collection, a message used for  disabling or deactivating the first device to receive measurement signals for performance monitoring, a message used for disabling or deactivating the first device to receive measurement signals associated with the at least one measurement report, or a message used for indicating the first device to determine and / or report performance metric information related to collected samples.

[0461] In some embodiments, at least one first message and at least one second message are associated with at least one of the following: a same associated identity, a same measurement resource set identity, a same measurement resource identity, a same report identity, a same resource setting identity, or a same monitoring process identity.

[0462] In some embodiments, the at least one measurement report further comprises: an indication indicating whether the first information is comprised in the measurement report, or an indication indicating whether the second information is comprised in the measurement report.

[0463] In an aspect, a first device comprises: at least one processor; and at least one memory coupled to the at least one processor and storing instructions thereon, the instructions, when executed by the at least one processor, causing the device to perform the method implemented by the first device discussed above.

[0464] In an aspect, a first device comprises: at least one processor; and at least one memory coupled to the at least one processor and storing instructions thereon, the instructions, when executed by the at least one processor, causing the device to perform the method implemented by the first device discussed above.

[0465] In an aspect, a second device comprises: at least one processor; and at least one memory coupled to the at least one processor and storing instructions thereon, the instructions, when executed by the at least one processor, causing the device to perform the method implemented by the second device discussed above.

[0466] In an aspect, a second device comprises: at least one processor; and at least one memory coupled to the at least one processor and storing instructions thereon, the instructions, when executed by the at least one processor, causing the device to perform the method implemented by the second device discussed above.

[0467] In an aspect, a computer readable medium having instructions stored thereon, the instructions, when executed on at least one processor, causing the at least one processor to perform the method implemented by the first device discussed above.

[0468] In an aspect, a computer readable medium having instructions stored thereon, the instructions, when executed on at least one processor, causing the at least one processor to perform the method implemented by the first device discussed above.

[0469] In an aspect, a computer readable medium having instructions stored thereon, the instructions, when executed on at least one processor, causing the at least one processor to perform the method implemented by the second device discussed above.

[0470] In an aspect, a computer readable medium having instructions stored thereon, the instructions, when executed on at least one processor, causing the at least one processor to perform the method implemented by the second device discussed above.

[0471] In an aspect, a computer program comprising instructions, the instructions, when executed on at least one processor, causing the at least one processor to perform the method implemented by the first device discussed above.

[0472] In an aspect, a computer program comprising instructions, the instructions, when executed on at least one processor, causing the at least one processor to perform the method implemented by the first device discussed above.

[0473] In an aspect, a computer program comprising instructions, the instructions, when executed on at least one processor, causing the at least one processor to perform the method implemented by the second device discussed above.

[0474] In an aspect, a computer program comprising instructions, the instructions, when executed on at least one processor, causing the at least one processor to perform the method implemented by the second device discussed above.

[0475] Generally, various embodiments of the present disclosure may be implemented in hardware or special purpose circuits, software, logic or any combination thereof. Some aspects may be implemented in hardware, while other aspects may be implemented in firmware or software which may be executed by a controller, microprocessor or other computing device. While various aspects of embodiments of the present disclosure are illustrated and described as block diagrams, flowcharts, or using some other pictorial representation, it will be appreciated that the blocks, apparatus, systems, techniques or  methods described herein may be implemented in, as non-limiting examples, hardware, software, firmware, special purpose circuits or logic, general purpose hardware or controller or other computing devices, or some combination thereof.

[0476] The present disclosure also provides at least one computer program product tangibly stored on a non-transitory computer readable storage medium. The computer program product includes computer-executable instructions, such as those included in program modules, being executed in a device on a target real or virtual processor, to carry out the process or method as described above with reference to FIGS. 1 to 13. Generally, program modules include routines, programs, libraries, objects, classes, components, data structures, or the like that perform particular tasks or implement particular abstract data types. The functionality of the program modules may be combined or split between program modules as desired in various embodiments. Machine-executable instructions for program modules may be executed within a local or distributed device. In a distributed device, program modules may be located in both local and remote storage media.

[0477] Program code for carrying out methods of the present disclosure may be written in any combination of one or more programming languages. These program codes may be provided to a processor or controller of a general purpose computer, special purpose computer, or other programmable data processing apparatus, such that the program codes, when executed by the processor or controller, cause the functions / operations specified in the flowcharts and / or block diagrams to be implemented. The program code may execute entirely on a machine, partly on the machine, as a stand-alone software package, partly on the machine and partly on a remote machine or entirely on the remote machine or server.

[0478] The above program code may be embodied on a machine readable medium, which may be any tangible medium that may contain, or store a program for use by or in connection with an instruction execution system, apparatus, or device. The machine readable medium may be a machine readable signal medium or a machine readable storage medium. A machine readable medium may include but not limited to an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any suitable combination of the foregoing. More specific examples of the machine readable storage medium would include an electrical connection having one or more wires, a portable computer diskette, a hard disk, a random access memory (RAM) , a read-only memory (ROM) , an erasable programmable read-only memory (EPROM or Flash memory) , an optical fiber, a portable compact disc read-only memory (CD-ROM) ,  an optical storage device, a magnetic storage device, or any suitable combination of the foregoing.

[0479] Further, while operations are depicted in a particular order, this should not be understood as requiring that such operations be performed in the particular order shown or in sequential order, or that all illustrated operations be performed, to achieve desirable results. In certain circumstances, multitasking and parallel processing may be advantageous. Likewise, while several specific implementation details are contained in the above discussions, these should not be construed as limitations on the scope of the present disclosure, but rather as descriptions of features that may be specific to particular embodiments. Certain features that are described in the context of separate embodiments may also be implemented in combination in a single embodiment. Conversely, various features that are described in the context of a single embodiment may also be implemented in multiple embodiments separately or in any suitable sub-combination.

[0480] Although the present disclosure has been described in language specific to structural features and / or methodological acts, it is to be understood that the present disclosure defined in the appended claims is not necessarily limited to the specific features or acts described above. Rather, the specific features and acts described above are disclosed as example forms of implementing the claims.

Claims

1.A first device comprising:a processor configured to cause the first device to:receive, from a second device, at least one configuration of a measurement report;determine a first performance metric corresponding to a first set of samples determined based on the at least one configuration, and a second performance metric corresponding to a second set of samples which is a subset of the first set of samples; andtransmit at least one measurement report to the second device, wherein the at least one measurement report comprises at least one of: first performance information determined based on the first performance metric, second performance information determined based on the second performance metric, or third performance information determined based on at least one of: the first performance metric or the second performance metric.2.The first device of claim 1, wherein the second set of samples are the first or last M samples of the first set of samples, and M is an integer which is larger than zero and smaller than a number of samples in the first set of samples.3.The first device of claim 1, wherein the first performance information comprises at least one of the following:at least one value of the first performance metric,a number of samples in the first set of samples,a number of true samples in the first set of samples,a number of false samples in the first set of samples,an indication indicating the first performance metric is better than or equal to a threshold, oran indication indicating the first performance metric is no better than or worse than a threshold.4.The first device of claim 1, wherein the second performance information comprises at least one of the following:at least one value of the second performance metric,a number of samples in the second set of samples,a number of true samples in the second set of samples,a number of false samples in the second set of samples,an indication indicating the second performance metric is better than or equal to a threshold,an indication indicating the second performance metric is no better than or worse than a threshold, ordifference information between the second performance metric and the first performance metric.5.The first device of claim 1, wherein the at least one measurement report further comprises at least one of the following:an indication indicating whether the first performance information is comprised in the at least one measurement report,an indication indicating whether the second performance information is comprised in the at least one measurement report, oran indication indicating whether the third performance information is comprised in the at least one measurement report.6.The first device of claim 1, wherein the third performance information comprises a weighted value determined based on the first performance metric and the second performance metric.7.The first device of claim 1, wherein the third performance information comprises an indication, and wherein,the indication is set to a first value if:the first performance metric is better than or equal to a first threshold, and the second performance metric is better than or equal to a second threshold, orthe first performance metric is no better than or worse than the first threshold, and the second performance metric is better than or equal to the second threshold; andthe indication is set to a second value if:the first performance metric is better than or equal to a first threshold, and the second performance metric is no better than or worse than a second threshold,the first performance metric is no better than or worse than the first threshold, and the second performance metric is better than or equal to the second threshold, orthe first performance metric is no better than or worse than the first threshold, and the second performance metric is no better than or worse than the second threshold.8.The first device of claim 1, wherein the third performance information comprises an indication, and wherein,the indication is set to a first value if:the first performance metric is better than or equal to a first threshold, and the second performance metric is better than or equal to a second threshold, orthe indication is set to a second value if:the first performance metric is no better than or worse than a first threshold, and the second performance metric is no better than or worse than a second threshold,the indication is set to a third value if:the first performance metric is better than or equal to a first threshold, and the second performance metric is no better than or worse than a second threshold, orthe first performance metric is no better than or worse than the first threshold, and the second performance metric is better than or equal to the second threshold.9.The first device of claim 1, wherein the first device is further caused to: determine the second performance metric and / or transmit the second performance information in response to at least one of the following:a number of samples of the first set of samples being larger than or equal to a threshold,time length of a first monitoring window being larger than or equal to a threshold, wherein the first set of samples is determined based on the first monitoring window,the first performance metric being better than or equal to a first threshold,the first performance metric being no better than or worse than the first threshold,the second performance metric being better than or equal to a second threshold,the second performance metric being no better than or worse than the second threshold,reception of an indication indicating the first device to determine and / or transmit the second performance metric,reception of an indication indicating the first device to determine and / or transmit the second performance information,the at least one configuration comprising a second monitoring window or a second number of samples, wherein the second set of samples is determined based on the second monitoring window or the second number of samples,distribution of false samples in the first set of samples following at least one of: non-random distribution, clustered distribution, non-uniform distribution, initial clustering distribution, or terminal clustering distribution,distribution of false samples in the second set of samples following at least one of: non-random distribution, clustered distribution, non-uniform distribution, initial clustering distribution, or terminal clustering distribution,a number of false samples of consecutive false samples in the first set of samples being larger than or equal to a threshold, ora number of false samples of consecutive false samples in the second set of samples being larger than or equal to a threshold.10.The first device of claim 1, wherein the first device is further caused to: transmit the at least one measurement report in response to at least one of the following:the first performance metric is no better than or worse than a first threshold,the second performance metric is no better than or worse than a second threshold,a weighted value determined based on the first performance metric and the second performance metric is no better than or worse than a third threshold,a number of times that the first performance metric is no better than or worse than a first threshold is larger than or equal to a first threshold number,a number of times that the second performance metric is no better than or worse than a first threshold is larger than or equal to a second threshold number, ora number of times that weighted value determined based on the first performance metric and the second performance metric is no better than or worse than a first threshold is larger than or equal to a third threshold number.11.The first device of claim 1, wherein the at least one configuration indicates at least one of the following:a first monitoring window, wherein the first set of samples is determined based on the first monitoring window,a first number of samples of the first set of samples,a second monitoring window, wherein the second set of samples is determined based on the second monitoring window,a second number of samples of the second set of samples,a relationship between the first monitoring window and the second monitoring window, ora relationship between the first number and the second number.12.The first device of claim 1, wherein the first device is further caused to:receive, from the second device, at least one first message comprising at least one of the following:a message used for configuring or activating measurement resources for performance monitoring,a message used for configuring or activating measurement report for performance monitoring,a message used for enabling or activating performance monitoring or data collection,a message used for enabling or activating the first device to receive measurement signals for performance monitoring, ora message used for enabling or activating the first device to receive measurement signals associated with the at least one measurement report; andstart collecting the first set of samples in response to the at least one first message.13.The first device of claim 1, wherein the first device is further caused to:receive, from the second device, at least one second message comprising at least one of the following:a message used for releasing or deactivating measurement resources for performance monitoring,a message used for releasing or deactivating measurement report for performance monitoring,a message used for disabling or deactivating performance monitoring or data collection,a message used for disabling or deactivating the first device to receive measurement signals for performance monitoring,a message used for disabling or deactivating the first device to receive measurement signals associated with the at least one measurement report, ora message used for indicating the first device to determine and / or report performance metric information related to collected samples; andstop collecting the first set of samples in response to the at least one second message.14.The first device of claim 12 or 13, wherein at least one first message and at least one second message are associated with at least one of the following: a same associated identity, a same measurement resource set identity, a same measurement resource identity, a same report identity, a same resource setting identity, or a same monitoring process identity.15.A first device comprising:a processor configured to cause the first device to:receive, from a second device, at least one configuration of a measurement report;determine at least one of:distribution of false samples in a first set of samples which is determined based on the at least one configuration, orconsecutive false samples in the first set of samples;transmit, to the second device, at least one measurement report comprising at least one of the following:first information related to the distribution of false sample in the first set of samples, orsecond information related to the consecutive false samples in the first set of samples.16.The first device of claim 15, wherein the first information comprises at least one of the following:an indication of whether the distribution follows random distribution,an indication of whether the distribution follows clustered distribution,an indication of whether the distribution follows uniform distribution,an indication of whether the distribution follows initial clustering distribution,an indication of whether the distribution follows terminal clustering distribution, oran indication of a type of the distribution.17.The first device of claim 15, wherein the second information comprises at least one of the following:an indication of whether there are consecutive false samples in the first set of samples,position information of the consecutive false samples,a number of false samples of the consecutive false samples,an indication of whether the consecutive false samples earlier or no later than a reference position, oran indication of whether the number of false samples of the consecutive false samples is larger than or equal to a threshold.18.The first device of claim 15, wherein the first device is further caused to: determine and / or transmit at least one of: the first information, or the second information in response to at least one of the following:a number of samples of the first set of samples being larger than or equal to a threshold,time length of a first monitoring window being larger than or equal to a threshold, wherein the first set of samples is determined based on the first monitoring window,a first performance metric determined based on the first set of samples being better than or equal to the second threshold,reception of an indication indicating the first device to determine and / or transmit at least one of: the distribution of false samples in the first set of samples, the consecutive false samples in the first set of samples, the first information or the second information,distribution of false samples in the first set of samples following at least one of: non-random distribution, clustered distribution, non-uniform distribution, initial clustering distribution, or terminal clustering distribution, ora number of false samples of consecutive false samples in the first set of samples being larger than or equal to a threshold.19.The first device of claim 15, wherein the first device is further caused to:upon a number of consecutive false samples being larger than or equal to a threshold, perform at least one of the following:stop collecting the first set of samples; ortransmit the at least one measurement report comprising at least one of the following:an indication of the number of consecutive false samples being larger than or equal to a threshold, orperformance metric information determined based on collected samples.20.The first device of claim 15, wherein the at least one measurement report further comprises:an indication indicating whether the first information is comprised in the measurement report, oran indication indicating whether the second information is comprised in the measurement report.

Images