Devices and methods of communication

Abstract

Embodiments of the present disclosure relate to devices and methods of communication. A network device transmits a configuration comprising a first resource for model inference and a second resource for model monitoring. The second resource is used on a set of future time instances associated with the model inference and is associated with the first resource. The terminal device and the network device cause the model to be monitored by causing a set of predicted results and a set of measured results on the set of future time instances to be obtained based on RS transmission or reception on the first resource and the second resource respectively. In this way, a resource for model monitoring may be configured for a future time instance and model monitoring of a model for time domain prediction may be achieved.

Description

DEVICES AND METHODS OF COMMUNICATIONTECHNICAL FIELD

[0001] Embodiments of the present disclosure generally relate to the field of telecommunication, and in particular, to methods, devices and computer storage media of communication for monitoring an artificial intelligence (AI)  / machine learning (ML) model for time domain prediction.BACKGROUND

[0002] Currently, channel status information (CSI) prediction and a downlink (DL) transmitting (Tx) beam prediction has been identified as a use case of an AI / ML model for time domain prediction. To monitor performance of an AI / ML model, several monitoring methods have been discussed. Some of the monitoring methods require a ground truth to assess accuracy of prediction. Time domain prediction may give a result for a future time instance. However, it is still unclear how to get a ground truth for the future time instance to assess performance of an AI / ML model for time domain prediction.SUMMARY

[0003] In general, embodiments of the present disclosure provide methods, devices and computer storage media of communication for monitoring an AI / ML model for time domain prediction.

[0004] In a first aspect, there is provided a terminal device. The terminal device comprises a processor configured to cause the terminal device to: receive, from a network device, a configuration comprising a first resource for model inference of a model for time domain prediction and a second resource for model monitoring of the model, the second resource being used on a set of future time instances associated with the model inference and being associated with the first resource; and cause the model to be monitored by causing a set of predicted results and a set of measured results on the set of future time instances to be obtained based on reference signal transmission or reception on the first resource and the second resource respectively.

[0005] In a second aspect, there is provided a network device. The network device comprises a processor configured to cause the network device to: transmit, to a terminal  device, a configuration comprising a first resource for model inference of a model for time domain prediction and a second resource for model monitoring of the model, the second resource being used on a set of future time instances associated with the model inference and being associated with the first resource; and cause the model to be monitored by causing a set of predicted results and a set of measured results on the set of future time instances to be obtained based on reference signal transmission or reception on the first resource and the second resource respectively.

[0006] In a third aspect, there is provided a method of communication. The method comprises: receiving, at a terminal device and from a network device, a configuration comprising a first resource for model inference of a model for time domain prediction and a second resource for model monitoring of the model, the second resource being used on a set of future time instances associated with the model inference and being associated with the first resource; and causing the model to be monitored by causing a set of predicted results and a set of measured results on the set of future time instances to be obtained based on reference signal transmission or reception on the first resource and the second resource respectively.

[0007] In a fourth aspect, there is provided a method of communication. The method comprises: transmitting, at a network device and to a terminal device, a configuration comprising a first resource for model inference of a model for time domain prediction and a second resource for model monitoring of the model, the second resource being used on a set of future time instances associated with the model inference and being associated with the first resource; and causing the model to be monitored by causing a set of predicted results and a set of measured results on the set of future time instances to be obtained based on reference signal transmission or reception on the first resource and the second resource respectively.

[0008] In a fifth aspect, there is provided a computer readable medium having instructions stored thereon. The instructions, when executed on at least one processor, cause the at least one processor to perform the method according to the third or fourth aspect of the present disclosure.

[0009] Other features of the present disclosure will become easily comprehensible through the following description.BRIEF DESCRIPTION OF THE DRAWINGS

[0010] Through the more detailed description of some embodiments of the present disclosure in the accompanying drawings, the above and other objects, features and advantages of the present disclosure will become more apparent, wherein:

[0011] FIG. 1 illustrates an example communication network in which some embodiments of the present disclosure can be implemented;

[0012] FIG. 2 illustrates a schematic diagram illustrating an example AI / ML based time domain prediction in which some embodiments of the present disclosure can be implemented;

[0013] FIG. 3 illustrates a signaling chart illustrating a process of communication for model monitoring according to some embodiments of the present disclosure;

[0014] FIG. 4 illustrates a signaling chart illustrating an example process of model monitoring according to some embodiments of the present disclosure;

[0015] FIG. 5 illustrates a signaling chart illustrating another example process of model monitoring according to some embodiments of the present disclosure;

[0016] FIG. 6 illustrates a signaling chart illustrating another example process of model monitoring according to some embodiments of the present disclosure;

[0017] FIG. 7 illustrates a signaling chart illustrating another example process of model monitoring according to some embodiments of the present disclosure;

[0018] FIG. 8 illustrates an example method of communication implemented at a terminal device in accordance with some embodiments of the present disclosure;

[0019] FIG. 9 illustrates an example method of communication implemented at a network device in accordance with some embodiments of the present disclosure; and

[0020] FIG. 10 is a simplified block diagram of a device that is suitable for implementing embodiments of the present disclosure.

[0021] Throughout the drawings, the same or similar reference numerals represent the same or similar element.DETAILED DESCRIPTION

[0022] Principle of the present disclosure will now be described with reference to some embodiments. It is to be understood that these embodiments are described only for the  purpose of illustration and help those skilled in the art to understand and implement the present disclosure, without suggesting any limitations as to the scope of the disclosure. The disclosure described herein can be implemented in various manners other than the ones described below.

[0023] In the following description and claims, unless defined otherwise, all technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skills in the art to which this disclosure belongs.

[0024] As used herein, the term “terminal device” refers to any device having wireless or wired communication capabilities. Examples of the terminal device include, but not limited to, user equipment (UE) , personal computers, desktops, mobile phones, cellular phones, smart phones, personal digital assistants (PDAs) , portable computers, tablets, wearable devices, Internet of things (IoT) devices, ultra-reliable and low latency communications (URLLC) devices, Internet of everything (IoE) devices, machine type communication (MTC) devices, device on vehicle for V2X communication where X means pedestrian, vehicle, or infrastructure / network, devices for integrated access and backhaul (IAB) , small data transmission (SDT) , mobility, multicast and broadcast services (MBS) , positioning, dynamic / flexible duplex in commercial networks, reduced capability (RedCap) , Space borne vehicles or air borne vehicles in non-terrestrial networks (NTN) including Satellites and high altitude platforms (HAPs) encompassing unmanned aircraft systems (UAS) , extended reality (XR) devices including different types of realities such as augmented reality (AR) , mixed reality (MR) and virtual reality (VR) , the unmanned aerial vehicle (UAV) commonly known as a drone which is an aircraft without any human pilot, devices on high speed train (HST) , or image capture devices such as digital cameras, sensors, gaming devices, music storage and playback appliances, or Internet appliances enabling wireless or wired Internet access and browsing and the like. The ‘terminal device’ can further has ‘multicast / broadcast’ feature, to support public safety and mission critical, V2X applications, transparent IPv4 / IPv6 multicast delivery, IPTV, smart TV, radio services, software delivery over wireless, group communications and IoT applications. It may also incorporate one or multiple subscriber identity module (SIM) as known as multi-SIM. The term “terminal device” can be used interchangeably with a UE, a mobile station, a subscriber station, a mobile terminal, a user terminal or a wireless device.

[0025] The term “network device” refers to a device which is capable of providing or hosting a cell or coverage where terminal devices can communicate. Examples of a network  device include, but not limited to, a Node B (NodeB or NB) , an evolved NodeB (eNodeB or eNB) , a next generation NodeB (gNB) , a transmission reception point (TRP) , a remote radio unit (RRU) , a radio head (RH) , a remote radio head (RRH) , an IAB node, a low power node such as a femto node, a pico node, a reconfigurable intelligent surface (RIS) , Network-controlled Repeaters, and the like.

[0026] The terminal device or the network device may have AI / ML capability. It generally includes a model which has been trained from numerous collected data for a specific function, and can be used to predict some information.

[0027] The terminal or the network device may work on several frequency ranges, e.g. FR1 (410 MHz to 7125 MHz) , FR2 (24.25GHz to 71GHz) , frequency band larger than 100GHz as well as Tera Hertz (THz) . It can further work on licensed / unlicensed / shared spectrum. The terminal device may have more than one connections with the network devices under MR-DC application scenario. The terminal device or the network device can work on full duplex, flexible duplex and cross division duplex modes.

[0028] The network device may have the function of network energy saving, self-organizing networks (SON)  / minimization of drive tests (MDT) . The terminal may have the function of power saving.

[0029] The embodiments of the present disclosure may be performed in test equipment, e.g. signal generator, signal analyzer, spectrum analyzer, network analyzer, test terminal device, test network device, channel emulator.

[0030] In one embodiment, the terminal device may be connected with a first network device and a second network device. One of the first network device and the second network device may be a master node and the other one may be a secondary node. The first network device and the second network device may use different radio access technologies (RATs) . In one embodiment, the first network device may be a first RAT device and the second network device may be a second RAT device. In one embodiment, the first RAT device is eNB and the second RAT device is gNB. Information related with different RATs may be transmitted to the terminal device from at least one of the first network device or the second network device. In one embodiment, first information may be transmitted to the terminal device from the first network device and second information may be transmitted to the terminal device from the second network device directly or via the first network device. In one embodiment, information related with configuration for the terminal device  configured by the second network device may be transmitted from the second network device via the first network device. Information related with reconfiguration for the terminal device configured by the second network device may be transmitted to the terminal device from the second network device directly or via the first network device.

[0031] As used herein, the singular forms “a” , “an” and “the” are intended to include the plural forms as well, unless the context clearly indicates otherwise. The term “includes” and its variants are to be read as open terms that mean “includes, but is not limited to. ” The term “based on” is to be read as “at least in part based on. ” The term “one embodiment” and “an embodiment” are to be read as “at least one embodiment. ” The term “another embodiment” is to be read as “at least one other embodiment. ” The terms “first, ” “second, ” and the like may refer to different or same objects. Other definitions, explicit and implicit, may be included below.

[0032] In some examples, values, procedures, or apparatus are referred to as “best, ” “lowest, ” “highest, ” “minimum, ” “maximum, ” or the like. It will be appreciated that such descriptions are intended to indicate that a selection among many used functional alternatives can be made, and such selections need not be better, smaller, higher, or otherwise preferable to other selections.

[0033] As mentioned above, it is still unclear how to get a ground truth for a future time instance to assess performance of an AI / ML model for time domain prediction.

[0034] Embodiments of the present disclosure provide a solution of communication for monitoring an AI / ML model for time domain prediction. In the solution, a network device transmits, to a terminal device, a configuration comprising a first resource for model inference of a model for time domain prediction and a second resource for model monitoring of the model. The second resource is used on a set of future time instances associated with the model inference and is associated with the first resource. The terminal device and the network device cause the model to be monitored by causing a set of predicted results and a set of measured results on the set of future time instances to be obtained based on reference signal transmission or reception on the first resource and the second resource respectively. In this way, a resource for model monitoring may be configured for a future time instance and the model monitoring of the model for time domain prediction may be achieved.

[0035] For convenience, definitions of some terms in the present disclosure may be listed as below.

[0036] · AI / ML Model: a data driven algorithm that applies AI / ML techniques to generate a set of outputs based on a set of inputs.

[0037] · AI / ML model delivery: a generic term referring to delivery of an AI / ML model from one entity to another entity in any manner. An entity may mean a network node / function (e.g., gNB, location management function (LMF) , etc. ) , UE, proprietary server, etc..

[0038] · AI / ML model Inference: a process of using a trained AI / ML model to produce a set of outputs based on a set of inputs.

[0039] · AI / ML model testing: a subprocess of training, to evaluate performance of a final AI / ML model using a dataset different from one used for model training and validation. Differently from AI / ML model validation, testing does not assume subsequent tuning of the model.

[0040] · AI / ML model training: a process to train an AI / ML model (e.g., by learning an input / output relationship) in a data driven manner and obtain the trained AI / ML model for inference.

[0041] · AI / ML model transfer: a delivery of an AI / ML model over an air interface in a manner that is not transparent to the third generation partnership project (3GPP) signalling, either parameters of a model structure known at a receiving end or a new model with parameters. The delivery may contain a full model or a partial model.

[0042] · AI / ML model validation: a subprocess of training, to evaluate quality of an AI / ML model using a dataset different from one used for model training, that helps selecting model parameters that generalize beyond a dataset used for model training.

[0043] · data collection: a process of collecting data by a network node, management entity, or UE for the purpose of AI / ML model training, data analytics and inference.

[0044] · federated learning  / federated training: a machine learning technique that trains an AI / ML model across multiple decentralized edge nodes (e.g., UEs, gNBs) each performing local model training using local data samples. The technique requires multiple interactions of the model, but no exchange of local data samples.

[0045] · functionality identification: a process / method of identifying an AI / ML functionality for the common understanding between the NW and the UE. Note: Information regarding the AI / ML functionality may be shared during functionality  identification. Where AI / ML functionality resides depends on the specific use cases and sub use cases.

[0046] · model activation: enable an AI / ML model for a specific AI / ML-enabled feature.

[0047] · model deactivation: disable an AI / ML model for a specific AI / ML-enabled feature.

[0048] · model download: Model transfer from the network to UE.

[0049] · model identification: a process / method of identifying an AI / ML model for the common understanding between the NW and the UE. The process / method of model identification may or may not be applicable. Information regarding the AI / ML model may be shared during model identification.

[0050] · model monitoring: a procedure that monitors inference performance of an AI / ML model.

[0051] · model parameter update: a process of updating model parameters of a model.

[0052] · model selection: a process of selecting an AI / ML model for activation among multiple models for the same AI / ML enabled feature. Model selection may or may not be carried out simultaneously with model activation.

[0053] · model switching: a process of deactivating a currently active AI / ML model and activating a different AI / ML model for a specific AI / ML-enabled feature.

[0054] · model update: a process of updating model parameters and / or model structure of a model.

[0055] · model upload: model transfer from UE to the network.

[0056] · network-side (AI / ML) model: an AI / ML Model whose inference is performed entirely at the network.

[0057] · offline field data: data collected from field and used for offline training of an AI / ML model.

[0058] · offline training: an AI / ML training process where the model is trained based on collected dataset, and where the trained model is later used or delivered for inference. Note: This definition only serves as a guidance. There may be cases that may not exactly conform to this definition but could still be categorized as offline training by commonly accepted conventions.

[0059] · online field data: data collected from field and used for online training of the AI / ML model.

[0060] · online training: an AI / ML training process where the model being used for inference) is (typically continuously) trained in (near) real-time with the arrival of new training samples. The notion of (near) real-time vs. non real-time is context-dependent and is relative to the inference time-scale. This definition only serves as a guidance. There may be cases that may not exactly conform to this definition but could still be categorized as online training by commonly accepted conventions. Fine-tuning / re-training may be done via online or offline training.

[0061] · reinforcement learning (RL) : a process of training an AI / ML model from an input (also known as a state) and a feedback signal (also known as a reward) resulting from the model’s output (also known as an action) in an environment the model is interacting with.

[0062] · semi-supervised learning: a process of training a model with a mix of labelled data and unlabelled data.

[0063] · supervised learning: a process of training a model from input and its corresponding labels.

[0064] · two-sided (AI / ML) model: a paired AI / ML model (s) over which joint inference is performed, where joint inference comprises AI / ML Inference whose inference is performed jointly across the UE and the network, i.e, the first part of inference is firstly performed by UE and then the remaining part is performed by gNB, or vice versa.

[0065] · UE-side (AI / ML) model: an AI / ML Model whose inference is performed entirely at the UE.

[0066] · unsupervised learning: a process of training a model without labelled data.

[0067] · proprietary-format models: ML models of vendor- / device-specific proprietary format, from 3GPP perspective. They are not mutually recognizable across vendors and hide model design information from other vendors when shared. Note: An example is a device-specific binary executable format.

[0068] · open-format models: ML models of specified format that are mutually recognizable across vendors and allow interoperability, from 3GPP perspective. They are mutually recognizable between vendors and do not hide model design information  from other vendors when shared.

[0069] In the context of the present disclosure, the terms “model” , “functionality” and “model / functionality” may be used interchangeably. The terms “feature” and “feature group” may be used interchangeably. The terms “model” and “model group” may be used interchangeably. The terms “functionality” , “functionality group” , “functionality set” may be used interchangeably. The terms “ID” , “index” , “indicator” and “identifier” may be used interchangeably. The term “model monitoring” may be interchangeably used with “monitoring” , “performance monitoring” , “performance monitoring for a model / functionality” , or “performance monitoring for an AI / ML enabled feature” .

[0070] In the context of the present disclosure, the term “network (NW) ” herein may refer to “operations, administration and maintenance (OAM) ” , “server” , or “advanced mobile location (AML)  / LMF” .

[0071] In the context of the present disclosure, the terms “beam” , “precoder” , “precoding” , “precoding matrix” , “spatial relation information” , “spatial relation info” , “precoding information” , “precoding information and number of layers” , “precoding matrix indicator (PMI) ” , “precoding matrix indicator” , “transmission precoding matrix indication” , “precoding matrix indication” , “transmission configuration indication state (TCI state) ” , “uplink (UL) TCI state” , “joint TCI state” , “transmission configuration indicator” , “quasi co-location (QCL) ” , “quasi-co-location” , “QCL parameter” , “QCL assumption” , “QCL relationship” and “spatial relation” can be used interchangeably. A beam may refer to downlink beam, uplink beam, Tx beam, Rx beam, beam pair, reference signal (RS) resource, RS resource set, antenna port, antenna port group, antenna element (s) , antenna array (s) , beam group.

[0072] In the context of the present disclosure, the term “historical measurement result” may refer to one of the following options:

[0073] · Option 1: based on number of measurements (denoted as Pt) , number of RSs (denoted as Mt) and prediction time (denoted as T2) . T2 means a time duration for prediction. Mt means the number of time instances for measurement as AI / ML inputs with a periodicity of Tper. Pt means the number of time instance (s) for prediction with a periodicity of Tper in T2.

[0074] · Option 2: based on a periodicity (denoted as T) of required reference signals for measurements. For every T=Y ms, reference signals for measurements are needed.

[0075] · Option 3: based on times (denoted as Z) of a given minimal periodicity Tper of reference signals for measurements. UE may measure reference signals for model inputs every Z times of Tper.

[0076] · Option 4: based on an observation window (e.g., number / distance) , e.g., 5 / 5ms (e.g., 5 times observations and 5ms between two observations, or 5 times observations in 5ms) , or 10 / 5ms (e.g., 10 times observations and 5ms between two observations, or 10 times observations in 5ms) .

[0077] It is to be noted that the term “periodicity of Tper” , “T” , or “distance” mentioned above may be called as an interval or time interval between two historical measurements, or between two measurements for historical results. The time duration related to Mt*Tper, Y*Tper, or “distance” , or “observation window” mentioned above may be called as a measurement window for historical measurement results.

[0078] In the context of the present disclosure, the term “future time instance” may refer to one of the following options:

[0079] · Option 1: N future time instance (s) that is based on an output of AI / ML model inference. The future time instance may include information about a timestamp, or an interval between two joint time instances.

[0080] · Option 2: based on number of measurements (denoted as Pt) , number of RSs (denoted as Mt) and prediction time (denoted as T2) . T2 means a time duration for beam prediction. Mt means the number of time instances for measurement as AI / ML inputs with a periodicity of Tper. Pt means the number of time instance (s) for prediction with a periodicity of Tper in T2.

[0081] · Option 3: based on a periodicity (denoted as T) of required reference signals for measurements. For every T=Y ms, reference signals for measurements are needed.

[0082] · Option 4: based on times (denoted as Z) of a given minimal periodicity Tper of reference signals for measurements. UE may measure reference signals for model inputs every Z times of Tper. Prediction time is defined as the time from each measurement instance to the latest prediction instance before the next measurement instance.

[0083] · Option 5: based on a prediction window (e.g., number / distance between prediction instances / distance from the last observation instance to the first or starting  prediction instance) , e.g., 1 / 5ms / 5ms.

[0084] It is to be noted that the term “periodicity of Tper” , “distance” mentioned above may be called as an interval or time interval between two future time instances. The time duration related to Pt*Tper, “Z” , “distance” , number*distance may be called as prediction window for future time instances.

[0085] In the context of the present disclosure, the term “model inputs” herein may include measurement results of a resource for model inference. The term “model outputs” herein may include predictions of future time instances.

[0086] In the context of the present disclosure, the term “model monitoring / performance monitoring metrics” herein may include performance metrics or data needed for performance metric calculation such as:

[0087] · inference accuracy, including metrics related to intermediate key performance indicators (KPIs) ;

[0088] · system performance, including metrics related to system performance KPIs;

[0089] · data distribution,

[0090] input-based: e.g., monitoring the validity of the AI / ML input, e.g., out-of-distribution detection, drift detection of input data, signal-to-noise ratio (SNR) , delay spread, etc.,

[0091] output-based: e.g., drift detection of output data; or

[0092] · applicable condition.

[0093] In the context of the present disclosure, for time domain CSI prediction, the model inputs may be K (K≥1) historical CSI, which may be in following form (s) : a precoding matrix or raw channel matrix in spatial-frequency domain using angular-delay domain projection; or a rank indication (RI) , a precoding matrix indicator (PMI) , or a channel quality indicator (CQI) . The model outputs may be predicted CSI of F (F≥1) future time instances, which may be in following form (s) : a precoding matrix or raw channel matrix in spatial-frequency domain using angular-delay domain projection; or RI, PMI, or CQI.

[0094] In the context of the present disclosure, for time domain CSI prediction, monitoring performance metric (s) may be performed with the following:

[0095] · intermediate KPI (e.g., normalized mean square error (NMSE) or squared  generalized cosine similarity (SGCS) ) ;

[0096] · eventual KPIs (e.g., throughput, hypothetical block error rate (BLER) , BLER, negative acknowledgement (NACK)  / acknowledgement (ACK) ) ; or

[0097] · input or output data based monitoring: such as data drift between training dataset and observed dataset and out-of-distribution detection.

[0098] In the context of the present disclosure, for time domain beam prediction, time domain DL beam prediction for a set of beams (also called as Set A herein) may be performed based on historic measurement results of another set of beams (also called as Set B herein) . The model inputs may be measurement results of K (K≥1) latest measurement instances, which may be in following form (s) : only layer 1-reference signal received power (L1-RSRP) measurement based on Set B; L1-RSRP measurement based on Set B and assistance information; L1-RSRP measurement based on Set B and the corresponding DL Tx and / or Rx beam identity (ID) . The model outputs may be predictions of F (F≥1) future time instances, which may be in following form (s) : Tx and / or Rx Beam ID (s) and / or the predicted L1-RSRP of the N predicted DL Tx and / or Rx beams, e.g., N predicted beams can be the top-N predicted beams; Tx and / or Rx Beam ID (s) of the N predicted DL Tx and / or Rx beams and other information, e.g., N predicted beams can be the top-N predicted beams; Tx and / or Rx Beam angle (s) and / or the predicted L1-RSRP of the N predicted DL Tx and / or Rx beams, e.g., N predicted beams can be the top-N predicted beams.

[0099] As used herein, a model may be equivalent to at least one of the following: an AI / ML model, a ML model, an AI model, a data-driven, a data processing model, an algorithm, a functionality, a procedure, a process, an entity, a function, a feature, a feature group, a model identifier (ID) , an ID, a functionality ID, a configuration ID, a scenario ID, a site ID, or a dataset ID. As a result, the above terms may be used interchangeably.

[0100] In some embodiments, the model may be represented by or associated with a channel, a resource, a resource set, a reference signal (RS) resource, a RS resource set, a RS port, a set of RS ports, a RS port ID, or a set of RS port IDs.

[0101] In some embodiments, the model may comprise a set of weights values that may be learned during training, for example for a specific architecture or configuration, where a set of weights values may also be called a parameter set.

[0102] In some embodiments, the model may be used to predict a target cell, or  measurements of a set of beams of a set of candidate cells in future based on at least historical measurements (e.g., L1-RSRP, L1-SINR) of a set of beams of a set of candidate cells.

[0103] In some embodiments, an input of the ML model (i.e., AI input) may refer to the input of a model and indicate data inputted into the model, which may be equivalent to data.

[0104] In some embodiments, an output of ML model (i.e., AI output) may refers to the output of a model and indicate result (s) outputted by the model, which is equivalent to label / data.

[0105] In some embodiments, a ground truth label of data (or ground-truth label) for monitoring or training the ML model (i.e., AI output) may refers to the authoritative, accepted data, or true answer or outcome for AI / ML model.

[0106] In some embodiments, “ground truth” , “ground truth label” , “ground truth label of data” , “input label” , “input data” and “data” can be used interchangeably.

[0107] In some embodiments, the ground truth can be interpreted as actual / factual (i.e. actual / factual measured) data / values / results / collections / parameters, which can be used as reference, compared to prediction or inference.

[0108] In the context of the present disclosure, beam prediction accuracy (%) may be expressed as one of the following:

[0109] · Top-1 (%) : the percentage of "the Top-1 genie-aided beam is Top-1 predicted beam" ;

[0110] · Top-N / 1 (%) : the percentage of "the Top-1 genie-aided beam is one of the Top-N predicted beams" ; or

[0111] · Top-1 / N (%) (Optional) : the percentage of "the Top-1 predicted beam is one of the Top-N genie-aided beams" .

[0112] In the context of the present disclosure, for time domain beam prediction, monitoring performance metric (s) may be performed with the following:

[0113] · beam prediction accuracy related KPIs, e.g., top-N / 1 beam prediction accuracy;

[0114] · link quality related KPIs, e.g., throughput, L1-RSRP, layer 1-signal to interference plus noise ratio (L1-SINR) , hypothetical BLER;

[0115] · performance metric based on input / output data distribution of AI / ML model; or

[0116] · L1-RSRP difference evaluated by comparing measured reference signal  received power (RSRP) and predicted RSRP.

[0117] Principles and implementations of the present disclosure will be described in detail below with reference to the figures.

[0118] EXAMPLE OF COMMUNICATION NETWORK

[0119] FIG. 1 illustrates an example communication network 100 in which embodiments of the present disclosure can be implemented. As shown in Fig. 1, the communication network 100 includes a terminal device 110 and a network device 120 served by the terminal device 110.

[0120] As shown in FIG. 1, the terminal device 110 may have a plurality of beams, and the network device 120 may have a plurality of beams. A channel (or called as a sub-channel) may be formed between one of the beams of the terminal device 110 and one of the beams of the network device 120. The terminal device 110 may transmit information to the network device 120 or receive information from the network device 120 via one or more of the sub-channels.

[0121] It is to be understood that the number of devices and beams in FIG. 1 is given for the purpose of illustration without suggesting any limitations to the present disclosure. The communication network 100 may include any suitable number of network devices and / or terminal devices and / or beams adapted for implementing implementations of the present disclosure.

[0122] The communications in the communication network 100 may conform to any suitable standards including, but not limited to, global system for mobile communications (GSM) , long term evolution (LTE) , LTE-evolution, LTE-advanced (LTE-A) , new radio (NR) , wideband code division multiple access (WCDMA) , code division multiple access (CDMA) , GSM EDGE radio access network (GERAN) , machine type communication (MTC) and the like. The embodiments of the present disclosure may be performed according to any generation communication protocols either currently known or to be developed in the future. Examples of the communication protocols include, but not limited to, the first generation (1G) , the second generation (2G) , 2.5G, 2.75G, the third generation (3G) , the fourth generation (4G) , 4.5G, the fifth generation (5G) communication protocols, 5.5G, 5G-advanced networks, or the sixth generation (6G) networks.

[0123] Communication in a direction from the terminal device 110 towards the network device 120 is referred to as UL communication, while communication in a reverse direction  from the network device 120 towards the terminal device 110 is referred to as DL communication. A wireless communication channel may comprise a physical uplink control channel (PUCCH) , a physical uplink shared channel (PUSCH) , a physical random-access channel (PRACH) , a physical downlink control channel (PDCCH) , a physical downlink shared channel (PDSCH) and a physical broadcast channel (PBCH) .

[0124] FIG. 2 illustrates a schematic diagram 200 illustrating an example AI / ML based time domain prediction in which some embodiments of the present disclosure can be implemented. In this example, a model for time domain prediction is applied. As shown in FIG. 2, historical measurement results may be obtained as an input of a model inference of the model, and predicted results for X future time instances may be obtained as an output of the model inference.

[0125] As one method of monitoring performance of the model, the model may be monitored based on inference accuracy. The inference accuracy may be derived based on a comparison between ground truth and the predicted results for the X future time instances. Thus, a resource for model monitoring may be required for the X future time instances so as to get the ground truth. However, it is still unclear how to configure and use the resource for model monitoring.

[0126] In view of this, embodiments of the present disclosure provide a solution of model monitoring so as to provide a measurement opportunity of a future time instance and facilitate model monitoring. The solution will be described in detail with reference to FIGs. 3 to 7 below.

[0127] EXAMPLE IMPLEMENTATION OF MODEL MONITORING

[0128] FIG. 3 illustrates a signaling chart illustrating a process 300 of communication for model monitoring according to some embodiments of the present disclosure. For the purpose of discussion, the process 300 will be described with reference to FIG. 1. The process 300 may involve the terminal device 110 and the network device 120 as illustrated in FIG. 1. It is to be understood that the steps and the order of the steps in FIG. 3 are merely for illustration, and not for limitation. For example, the order of the steps may be changed. Some of the steps may be omitted or any other suitable additional steps may be added. It is assumed that a model for time domain prediction outputs a set of predicted results on a set of future time instances (i.e., one or more future time instances) with a set of measured results on a set of history time instances as a model input.

[0129] In the context of the present disclosure, a first resource is used for model inference, and a second resource is used for model monitoring. A first report is used for model inference and a second report is used for model monitoring. The first report may involve a report for the set of predicted results on the set of future time instances, or a report for the set of measured results on the set of history time instances. The second report may involve a report for a set of measured results on the set of future time instances, or a report for a result of the model monitoring.

[0130] As shown in FIG. 3, the terminal device 110 may transmit 310 information of capability (also referred to as capability information herein) of the terminal device 110 to the network device 120. In some embodiment, the capability information may be carried in UE assistance information (UAI) .

[0131] In some embodiments, the capability information of the terminal device 110 may comprise information of whether the terminal device 110 supports model monitoring without dedicated resources for obtaining the set of measured results on the set of future time instances. In other words, the capability information of the terminal device 110 may comprise information of whether the terminal device 110 supports model monitoring without dedicated resources for obtaining ground truth (e.g., not require a resource for model monitoring) .

[0132] In some embodiments, the capability information of the terminal device 110 may comprise information of whether the terminal device 110 supports a request of the second resource for model monitoring. In some embodiments, the capability information of the terminal device 110 may comprise information of whether the terminal device 110 supports a request of the second report for model monitoring. In some embodiments, the capability information of the terminal device 110 may comprise information of whether the terminal device 110 supports the request of the second resource in the first report for model inference. In some embodiments, the capability information of the terminal device 110 may comprise number of second resources required for the model monitoring at the terminal device 110.

[0133] In some embodiments, the capability information of the terminal device 110 may comprise information of whether the terminal device 110 supports an aperiodic (AP) report of model monitoring results. In some embodiments, the capability information of the terminal device 110 may comprise information of whether the terminal device 110 supports one AP report for both model inference and model monitoring.

[0134] In some embodiments, the capability information of the terminal device 110 may comprise information of whether the terminal device 110 supports the set of measured results on the set of future time instances. In other words, the capability information of the terminal device 110 may comprise information of whether the terminal device 110 can keep or store ground truth on the set of future time instances.

[0135] In some embodiments, the capability information of the terminal device 110 may comprise number of future time instances supported by the terminal device 110. In other words, the capability information of the terminal device 110 may comprise information of number of future time instances that the terminal device 110 can keep or store.

[0136] In some embodiments, the capability information of the terminal device 110 may comprise information of whether the capability information is reported for time-domain CSI prediction and time-domain beam prediction respectively. In some embodiments, the capability information of the terminal device 110 may comprise information of whether the capability information is reported for each model or functionality respectively.

[0137] In some embodiments, the capability information of the terminal device 110 may comprise information of whether the capability information is reported for terminal device side prediction (i.e., UE side prediction) and network device side prediction (i.e., NW side prediction) respectively. In some embodiments, the capability information of the terminal device 110 may comprise information of whether the capability information is reported for terminal device side monitoring (i.e., UE side monitoring) and network device side monitoring (i.e., NW side monitoring) respectively.

[0138] It is to be understood that the capability information of the terminal device 110 may comprise any other suitable capability information or any combination of the above capability information.

[0139] Continuing to refer to FIG. 3, the network device 120 may transmit 320 one or more configurations for the model to the terminal device 110. In some embodiments, the network device 120 may generate the one or more configurations based on the capability information of the terminal device 110. It is to be understood that the one or more configurations may also be generated without the capability information of the terminal device 110.

[0140] In some embodiments, the one or more configurations may comprise an AI / ML related configuration. The AI / ML related configuration may indicate AI / ML functionality or model related information, e.g., functionality identification, or model ID.

[0141] In some embodiments, the one or more configurations may comprise a resource configuration. In some embodiments, the resource configuration may indicate the first resource for model inference. In some embodiments, the resource configuration may indicate the second resource for model monitoring. The second resource may be used on the set of future time instances associated with the model inference, and the second resource may be associated with the first resource. In some embodiments, the resource configuration may indicate an association between the first resource and the second resource.

[0142] In some embodiments, the one or more configurations may comprise a report configuration. In some embodiments, the report configuration may indicate the first report for model inference. In some embodiments, the report configuration may indicate the second report for model monitoring. In some embodiments, the report configuration may indicate an association between the first report and the second report.

[0143] In some embodiments, the one or more configurations may comprise a trigger state configuration. The trigger state configuration may indicate a list of trigger states. At least one of the trigger states may be configured for two report configurations of the first report and the second report. In some embodiments, at least one of the trigger states may be with one report configuration with two resource configurations of the first resource and the second resource.

[0144] It is to be understood that the one or more configurations may comprise any other suitable configurations or any combination of the above configurations.

[0145] As shown in FIG. 3, the terminal device 110 and the network device 120 may cause 330 the model to be monitored by interactions based on the one or more configurations. In some embodiments, the terminal device 110 and the network device 120 may cause the set of predicted results and the set of measured results on the set of future time instances to be obtained based on reference signal (RS) transmission or reception on the first resource and the second resource respectively.

[0146] For illustration, some example embodiments for model monitoring will be detailed in connection with Embodiments 1 to 4 below.

[0147] Embodiment 1

[0148] In this embodiment, the model inference and the model monitoring are performed at the terminal device 110. This embodiment may be at least suitable for UE sided model, i.e., the model is deployed at terminal device 110. The terminal device 110 performs the model  inference, e.g., predicts future CSI / beam. Optionally, the terminal device 110 may report the prediction results to the network device 120. Further, this embodiment may be at least suitable for UE side model monitoring, e.g., for the terminal device 110 to assess whether the prediction at the terminal device 110 is good or not. The model monitoring may be up to the terminal device 110.

[0149] In this embodiment, ground truth (e.g., actual CSI / beam) on a set of future time instances is needed at the terminal device 110, which requires a resource for a measurement (i.e., the second resource) in the future (i.e., after prediction) . The set of future time instances may be determined by the associated AI / ML model, and NW configuration. In some embodiments, the second resource for model monitoring may be associated with the first resource or the first report for model inference.

[0150] In some embodiments, the second resource or the second report for the model monitoring may be configured in a periodic or semi-persistent way. In some embodiments, the second resource or the second report for the model monitoring may be triggered by the network device 120. In some embodiments, the second resource or the second report for the model monitoring may be initiated or requested by the terminal device 110.

[0151] In some embodiments, the second resource is used by the terminal device 110 to obtain the ground truth, and / or to assess accuracy of the prediction. In this sense, the second resource should be transmitted or measured at those time points corresponding to the set of future time instances. The second resource may comprise a set of resources, i.e., one or more resources.

[0152] In some embodiments, the second resource may be requested by the terminal device 110 when the terminal device 110 needs to perform the model monitoring. In some embodiments, the second resource may be triggered by the network device 120 based on a request from the terminal device 110 or based on NW decision or configuration.

[0153] According to a conventional CSI framework, which has a hierarchical structure, usually a resource is not triggered alone. Then the second report may be triggered together with the second resource, and the second report is associated with the second resource. In some embodiments, if a result of the model monitoring is not needed at NW, the second report may be configured with reporting nothing (e.g., report quantity may be configured as “none” ) . If NW needs the result of the model monitoring, the report quantity may be configured as “monitoring result” .

[0154] FIG. 4 illustrates a signaling chart illustrating an example process 400 of model monitoring according to some embodiments of the present disclosure. For the purpose of discussion, the process 400 will be described with reference to FIG. 1. The process 400 may involve the terminal device 110 and the network device 120 as illustrated in FIG. 1. It is to be understood that the steps and the order of the steps in FIG. 4 are merely for illustration, and not for limitation. For example, the order of the steps may be changed. Some of the steps may be omitted or any other suitable additional steps may be added.

[0155] As shown in FIG. 4, the terminal device 110 may transmit 410 information of capability of the terminal device 110 to the network device 120. Details of the step 410 are same as that of the step 310 in FIG. 3, and thus are not repeated here for conciseness.

[0156] With reference to FIG. 4, the network device 120 may transmit 420 one or more configurations for the model to the terminal device 110. In some embodiments, the one or more configurations may comprise an AI / ML related configuration. The AI / ML related configuration may indicate AI / ML functionality or model related information, e.g., functionality identification, or model ID.

[0157] In some embodiments, the one or more configurations may comprise a resource configuration. In some embodiments, the resource configuration may indicate the first resource for model inference. If configured, the first resource is used for the terminal device 110 to collect data for model inputs.

[0158] In some embodiments, the resource configuration may indicate the second resource for model monitoring. In some embodiments, the second resource may be a set of channel status information-reference signal (CSI-RS) resources. In some embodiments, the second resource may be a set of synchronization signal (SS)  / physical broadcast channel (PBCH) blocks. In some embodiments, the second resource may be multiple sets of resources.

[0159] In some embodiments, the number of resources or resources sets in the second resource may be based on the number of future time instances of the prediction, e.g., F. In some embodiments, the number of resources or resources sets in the second resource may be based on the number of selected future time instances required monitoring (e.g., required measurement for ground truth) , e.g., F’, where F’ ≤F. In some embodiments, the number of resources or resources sets in the second resource may be a different number from F and F’, e.g., F”. In some embodiments, F, F’ or F” may be determined based on UE request, UE report, UE capability information, UE assistance information, or NW configuration, or  description / requirement / capability of the associated AI / ML model / functionality.

[0160] In some embodiments for time domain CSI prediction, for each future time instance, the set of CSI-RS resources as the second resource may comprise only one CSI-RS resource. In some embodiments for time domain beam prediction, for each future time instance, the set of CSI-RS resources as the second resource may correspond to beams in Set A. The beams in Set A are associated with beams in Set B used for model inference (i.e., the first resource) .

[0161] In some embodiments, if the second resource is aperiodic, the second resource may be configured by a timing-related configuration which may correspond to a future time instance of the model. In some embodiments, the timing-related configuration may comprise a list of offset values for CSI-RS resources or resource sets in an AP resource set. For example, resource #1 at 1st future time instance (1st offset value) , …, resource #x at x-th future time instance (x-th offset value) . Each offset value may be the time between a trigger and an RS transmission at a future time instance corresponding to the offset value.

[0162] In some embodiments, if the second resource is periodic or semi-persistent, the timing-related configuration may comprise a periodicity and a corresponding offset value for periodic or semi-persistent CSI-RS resources. In some embodiments, the periodicity may correspond to a time interval between future time instances.

[0163] In some embodiments, the resource configuration may indicate an association between the first resource and the second resource. In some embodiments, the association may be explicitly configured, e.g., be configured as associated resources. In some embodiments, the association may be an actual association between resources for model inference and resources for model monitoring. For example, the first and second resources may be linked by an associated model or functionality ID.

[0164] In some embodiments, the one or more configurations may comprise a report configuration. In some embodiments, the report configuration may indicate the first report for model inference. If configured, the first report may be used for the terminal device 110 to report a set of predicted results. In some embodiments, exact content of the first report may be in one or many forms of model outputs. In some embodiments, for UE side monitoring of UE sided model, it may be not always necessary to report the prediction results. In some embodiments, the first report may comprise future time instances related information such as the number of predictions, a time interval between two future time instances, a prediction window size, etc..

[0165] In some embodiments, the report configuration may indicate the second report for model monitoring. If configured, the second report is used for the terminal device 110 to report a result of the model monitoring. In some embodiments, exact content of the second report may be one or more of monitoring metrics. Other parameters on the configuration of the report content may also be feasible. In some embodiments, for UE side monitoring of UE sided model, it may be not always necessary to report the result of the model monitoring. In some embodiments, if a model switch is needed, or fallback to a non-AI or default model is needed, the terminal device 110 may provide the second report to the network device 120 (e.g., “on demand” second report) . In this case, the second report may comprise a request for the model switch or fallback to the non-AI or default model. In some embodiments, if the second report is not needed, the report quantity may be configured as “none” .

[0166] In some embodiments, the report configuration may indicate an association between the first report and the second report. In some embodiments, the association may be explicitly configured. For example, the first and second reports may be configured as associated reports. In another example, the first and second reports may be linked by trigger state configurations as described later. In some embodiments, the association may be an actual association between the first report for model inference and the second report for model monitoring. For example, the first and second reports may be linked by an associated model or functionality ID.

[0167] In some embodiments, the one or more configurations may comprise a trigger state configuration, e.g., if an AP report is configured for the first report and / or the second report. In some embodiments, the trigger state configuration may indicate a list of trigger states. At least one of the trigger states may be configured for two report configurations of the first report and the second report.

[0168] In some embodiments, a single trigger state may be used to trigger at least one of the first resource, the first report, the second resource or the second report. In some embodiments, two associated trigger states may be configured. One of the two associated trigger states is used for the first report, and the other is used for the second report.

[0169] In some embodiments, the second report and the second resource may be associated with different and linked trigger states. For example, if a time offset between the second resource and the second report is larger than a threshold, the second report and the second resource may be associated with different and linked trigger states.

[0170] In some embodiments, different occasions or time instances of the second resource or the second report may be associated with different and linked trigger states. For example, if a time offset between two second resources is larger than a threshold, different occasions or time instances of the second resource or the second report may be associated with different and linked trigger states.

[0171] It is to be understood that other details of the step 420 are same as that of the step 320 in FIG. 3, and thus are not repeated here for conciseness.

[0172] Continuing to refer to FIG. 4, the terminal device 110 may obtain 430 the set of predicted results on the set of future time instances by model inference. For example, the terminal device 110 may perform RS measurements on the first resource and collect a set of measured results (also referred to as a set of history measurement results herein) on a history time instances. With the set of history measurement results as model inputs, the terminal device 110 may obtain the set of predicted results on the set of future time instances as model outputs.

[0173] As shown in FIG. 4, the terminal device 110 may transmit 440 the first report if the first report is configured. In some embodiments, the first report may comprise the set of predicted results. The report format or content for the set of predicted results is based on the model outputs.

[0174] With reference to FIG. 4, the terminal device 110 may transmit 450 a request for the model monitoring to the network device 120. In some embodiments, the request for the model monitoring may comprise information of the set of future time instances. In some embodiments, the request for the model monitoring may comprise information of a request for the second resource for monitoring the model. In some embodiments, the request for the model monitoring may comprise information of a request for the second report for the result of the model monitoring. In some embodiments, the request for the model monitoring may comprise an associated model or functionality ID. It is to be understood that the request for the model monitoring may comprise any other suitable information or any combination of the above information.

[0175] In some embodiments, the terminal device 110 may transmit the request for the model monitoring in the first report. In this way, signaling overhead and latency may be reduced. It is to be understood that the terminal device 110 may transmit the request for the model monitoring separately from the first report.

[0176] Continuing to refer to FIG. 4, the terminal device 110 may obtain 460 a set of measured results on the set of future time instances by performing RS transmission or reception on the second resource. With reference to FIG. 4, in some embodiments, the network device 120 may transmit 461, to the terminal device 110, an indication of activating the second resource.

[0177] In some embodiments, if the second resource is aperiodic, the second resource may be activated by downlink control information (DCI) . For example, a CSI request field may be included in the DCI. The number of bits of the CSI request field may depend on the number of trigger states configured. In some embodiments, the DCI may also be used to activate the model monitoring. For example, model or functionality related information may be included in the DCI or configured in the trigger state.

[0178] In some embodiments, if the second resource is semi-persistent, the second resource may be activated by a medium access control control element (MAC CE) . For example, information (ID, index) of the second report or the second resource may be included in the MAC CE. In some embodiments, the MAC CE may also be used to activate the model monitoring. For example, model or functionality related information may be included in the MAC CE or configured in the trigger state.

[0179] It is to be understood that the second resource may be activated once the second resource is configured, without further indication of activating the second resource.

[0180] With reference to FIG. 4, in some embodiments, the network device 120 may transmit 462 a set of RSs on the second resource, and the terminal device 110 may perform 463 the RS measurements on the second resource and obtain the set of measured results on the set of future time instances. In some embodiments, if the second resource is periodic, the second resource may be transmitted occasions of the same resource corresponding to the future time instances.

[0181] In some embodiments, the terminal device 110 may assume that the second resource and the first resource are associated. In some embodiments, the first resource and the second resource may be configured with the same set of parameters or properties, or transmitted or received with the same setup for at least one of the following: RS density, a set of antenna ports, number of antenna ports, Tx power, a TCI state, QCL information, a set of Rx beams, number of the first resources, number of the second resources, a set of Tx beams, or a Tx beam pattern. In some embodiments for time domain beam prediction, the first  resource and the second resource may be configured with the same set of parameters or properties, or transmitted or received with the same setup for the case that the first resource is Set A and the second resource is Set B.

[0182] In some embodiments, the first resource and the second resource may be transmitted with different setup. In other words, the first resource and the second resource may be transmitted with a first setup and a second setup respectively. In this case, the network device 120 may transmit a difference between the first setup and the second setup to the terminal device 110.

[0183] In some embodiments, the first resource and the second resource may correspond to different measurement methods. For the first resource, the measurement is for obtaining the model inputs. For the second resource, the measurement is for obtaining the ground truth. In some embodiments for time domain beam prediction, for the first resource, the measurement result may be beam ID (s) and L1-RSRP (s) of each beam in Set B. For the second resource, the measurement result may be the best beam in Set A and RSRP of the best beam, or a difference between the best beam in Set A and a predicted beam.

[0184] In some alternative embodiments, the terminal device 110 may transmit a set of RSs on the second resource, and the network device 120 may measure the set of RSs and transmit measurement results to the terminal device 110.

[0185] Continuing to refer to FIG. 4, the terminal device 110 may perform 470 the model monitoring based on a comparison between the set of predicted results and the set of measured results on the set of future time instances. A result of the model monitoring may be obtained in any suitable ways and the present disclosure does not limit this aspect.

[0186] With reference to FIG. 4, in some embodiments, the terminal device 110 may transmit 480, to the network device 120, the second report indicating the result of the model monitoring. In some embodiments, the second report may be transmitted based on capability of the terminal device 110. In some embodiments, the second report may be transmitted based on NW configurations, e.g., if the second report is configured and / or activated.

[0187] In some embodiments, exact content of the second report may comprise one or more monitoring metrics. It is to be understood that the monitoring metrics may be implemented in any suitable forms. In some embodiments, the exact content of the second report may comprise information indicating a model switch is needed. In some embodiments, exact  content of the second report may comprise information indicating a mode of the model switch, fallback to a non-AI model or a default model.

[0188] With the process 400, measurement opportunities of future time instances may be provided to a terminal device to monitor model performance. It is to be understood that operations described in the process 400 may be carried out separately or in any suitable combination.

[0189] Embodiment 2

[0190] In this embodiment, the model inference is performed at the terminal device 110 and the model monitoring is performed at the network device 120. This embodiment may be at least suitable for UE sided model, i.e., the model is deployed at terminal device 110. The terminal device 110 performs the model inference, e.g., predicts future CSI / beam. Further, this embodiment may be at least suitable for NW side model monitoring, e.g., for the network device 120 to assess whether the prediction at the terminal device 110 is good or not.

[0191] In this embodiment, the terminal device 110 needs to report the prediction results to the network device 120 so that the network device 120 can perform model monitoring.

[0192] In this embodiment, ground truth (e.g., actual CSI / beam) on a set of future time instances is also needed at the network device 120. The set of future time instances may be determined by the associated AI / ML model, and NW configuration. In some embodiments, model inference may be performed based on the first resource and / or the first report. The second resource for model monitoring may be associated with the first resource or the first report for model inference.

[0193] In some embodiments, the model monitoring at the network device 120 may be based on the report of the ground truth from the terminal device 110. In this case, a measurement resource is also required for the terminal device 110 to obtain the ground truth. In some embodiments, the report of the ground truth from the terminal device 110 may be controlled within a small payload.

[0194] In some embodiments, the model monitoring at the network device 120 may be based on a measurement at the network device 120 on an RS (e.g., sounding reference signal (SRS) ) transmitted by the terminal device 110 on the second resource. Comparing with the model monitoring based on the report of the ground truth from the terminal device 110, the model monitoring based on the measurement at the network device 120 may avoid waste of resources for the ground truth report.

[0195] In some embodiments, the second resource may be used by the network device 120 to obtain the ground truth, and / or to assess the prediction accuracy. In this sense, the second resource should be transmitted or measured at those time points corresponding to the set of future time instances.

[0196] In some embodiments, the second resource may be configured as periodic or semi-persistent. In some embodiments, the second resource may be requested by the terminal device 110. In some embodiments, the second resource may be triggered by the network device 120. In some embodiments, the network device 120 may provide a result of the model monitoring to the terminal device 110.

[0197] FIG. 5 illustrates a signaling chart illustrating another example process 500 of model monitoring according to some embodiments of the present disclosure. For the purpose of discussion, the process 500 will be described with reference to FIG. 1. The process 500 may involve the terminal device 110 and the network device 120 as illustrated in FIG. 1. It is to be understood that the steps and the order of the steps in FIG. 5 are merely for illustration, and not for limitation. For example, the order of the steps may be changed. Some of the steps may be omitted or any other suitable additional steps may be added.

[0198] As shown in FIG. 5, the terminal device 110 may transmit 510 information of capability of the terminal device 110 to the network device 120. Details of the step 510 are same as that of the step 310 in FIG. 3, and thus are not repeated here for conciseness.

[0199] With reference to FIG. 5, the network device 120 may transmit 520 one or more configurations for the model to the terminal device 110. In some embodiments, the one or more configurations may comprise an AI / ML related configuration. The AI / ML related configuration may indicate AI / ML functionality or model related information, e.g., functionality identification, or model ID.

[0200] In some embodiments, the one or more configurations may comprise a resource configuration. In some embodiments, the resource configuration may indicate the first resource for model inference. If configured, the first resource is used for the terminal device 110 to collect data for model inputs.

[0201] In some embodiments, the resource configuration may indicate the second resource for model monitoring. In some embodiments, the second resource may be a set of SRS resources. In some embodiments, the second resource may be multiple sets of resources.

[0202] In some embodiments, the number of resources or resources sets in the second  resource may be based on the number of future time instances of the model, e.g., F. In some embodiments, the number of resources or resources sets in the second resource may be based on the number of selected future time instances required monitoring (e.g., the number of future time instances required measurement for ground truth) , e.g., F’, where F’≤F. In some embodiments, the number of resources or resources sets in the second resource may be a different number from F and F’, e.g., F”. In some embodiments, F, F’ or F” may be determined based on UE request, UE report, UE capability information, UE assistance information, or NW configuration, or description / requirement / capability of the associated AI / ML model / functionality.

[0203] In some embodiments for time domain CSI prediction, for each future time instance, the set of SRS resources as the second resource may comprise only one SRS resource. In some embodiments, the SRS resource may be used for channel acquisition, e.g., the usage of the SRS resource may be configured as “antenna switch” . In some embodiments, the first resource (e.g., CSI-RS resource) may be configured as an associated RS for the set of SRS resources.

[0204] In some embodiments for time domain beam prediction, for each future time instance, the set of SRS resources as the second resource may correspond to Set A. the first resource (e.g., a set of CSI-RS resources corresponding to Set B) may be configured as an associated RS for the set of SRS resources.

[0205] In some embodiments, the resource configuration may indicate an association between the first resource and the second resource. In some embodiments, the first and second resources may be configured as associated resources. In some embodiments, the first and second resources may be linked by trigger states.

[0206] In some embodiments, if the second resource is aperiodic, the second resource may be configured by a timing-related configuration which may correspond to a future time instance of the model. In some embodiments, the timing-related configuration may comprise a list of offset values for SRS resources or resource sets in an AP resource set. For example, resource #1 at 1st future time instance (1st offset value) , …, resource #x at x-th future time instance (x-th offset value) . Each offset value may be the time between a trigger and an RS transmission at a future time instance corresponding to the offset value.

[0207] In some embodiments, if the second resource is periodic or semi-persistent, the timing-related configuration may comprise a periodicity and a corresponding offset value for  periodic or semi-persistent SRS resources. In some embodiments, the periodicity may correspond to a time interval between future time instances.

[0208] In some alternative embodiments, the second resource may be DL RS. If configured, the second resource may be used for the terminal device 110 to collect the ground truth for report to NW.

[0209] In some embodiments, the one or more configurations may comprise a report configuration. In some embodiments, the report configuration may indicate the first report for model inference. If configured, the first report may be used for the terminal device 110 to report a set of predicted results on a set of future time instances.

[0210] In some embodiments, the report configuration may indicate the second report for a set of measured results (i.e., the ground truth) on the set of future time instances. If configured, the second report may be used for the terminal device 110 to report the ground truth.

[0211] In some embodiments, the report configuration may indicate an association between the first report and the second report. In some embodiments, the association may be explicitly configured. For example, the first and second reports may be configured as associated reports. In another example, the first and second reports may be linked by trigger state configurations. In some embodiments, the association may be an actual association between the first report for model inference and the second report for model monitoring. For example, the first and second reports may be linked by an associated model or functionality ID.

[0212] In some embodiments, the one or more configurations may comprise a trigger state configuration, e.g., if an AP report is configured for the first report and / or the second report. In some embodiments, the trigger state configuration may indicate a list of trigger states. At least one of the trigger states may be configured for two report configurations of the first report and the second report.

[0213] In some embodiments, a single trigger state may be used to trigger at least one of the first resource, the first report, the second resource or the second report. In some embodiments, two associated trigger states may be configured. One of the two associated trigger states is used for the first report, and the other is used for the second report.

[0214] In some embodiments, if the second resource is SRS (e.g., which does not require any trigger state configuration) , the second resource may be triggered by DCI. For example,  a SRS request field may be included in the DCI.

[0215] It is to be understood that other details of the step 520 are same as that of the step 320 in FIG. 3, and thus are not repeated here for conciseness.

[0216] Continuing to refer to FIG. 5, the terminal device 110 may obtain 530 the set of predicted results on the set of future time instances by model inference. For example, the terminal device 110 may perform RS measurements on the first resource and collect a set of measured results (also referred to as a set of history measurement results herein) on a history time instances. With the set of history measurement results as model inputs, the terminal device 110 may obtain the set of predicted results on the set of future time instances as model outputs.

[0217] As shown in FIG. 5, the terminal device 110 may transmit 540 the first report for the set of predicted results. The report format or content for the set of predicted results is based on the model outputs.

[0218] With reference to FIG. 5, the terminal device 110 may transmit 550 a request for the model monitoring to the network device 120. In some embodiments, the request for the model monitoring may comprise information of the set of future time instances. In some embodiments, the request for the model monitoring may comprise information of a request for the second resource for monitoring the model. In some embodiments, the request for the model monitoring may comprise information of a request for the second report for the result of the model monitoring. In some embodiments, the request for the model monitoring may comprise an associated model or functionality ID. It is to be understood that the request for the model monitoring may comprise any other suitable information or any combination of the above information.

[0219] In some embodiments, the terminal device 110 may transmit the request for the model monitoring in the first report. In this way, signaling overhead and latency may be reduced. It is to be understood that the terminal device 110 may transmit the request for the model monitoring separately from the first report.

[0220] Continuing to refer to FIG. 5, the network device 120 may obtain 560 the set of measured results on the set of future time instances by performing RS transmission or reception on the second resource. With reference to FIG. 5, in some embodiments, the network device 120 may transmit 561, to the terminal device 110, an indication of activating the second resource.

[0221] In some embodiments, if the second resource is aperiodic, the second resource may be activated by DCI. In some embodiments, an SRS request field may be included in the DCI. In some embodiments, a model or functionality ID may be included in the DCI.

[0222] In some embodiments, if the second resource is semi-persistent, the second resource may be activated by a MAC CE. For example, information (ID, index) of the second resource may be included in the MAC CE. In some embodiments, model or functionality related information may be included in the MAC CE.

[0223] In some embodiments, if the second resource is periodic, the second resource may be transmitted occasions of the same resource corresponding to the set of future time instances.

[0224] It is to be understood that the second resource may be activated once the second resource is configured, without further indication of activating the second resource.

[0225] With reference to FIG. 5, in some embodiments, the terminal device 110 may transmit 562 a set of RSs (e.g., SRS) on the second resource, and the network device 120 may perform 563 the RS measurements on the second resource and obtain the set of measured results on the set of future time instances.

[0226] In some embodiments, the terminal device 110 may assume that the second resource and the first resource are associated. In some embodiments, the first resource and the second resource may be configured with a corresponding set of parameters or properties, or transmitted or received with a corresponding setup for at least one of the following: RS density, a set of antenna ports, number of antenna ports, Tx power, a TCI state, QCL information, a set of Rx beams, number of the first resources, number of the second resources, a set of Tx beams, or a Tx beam pattern. In some embodiments for time domain beam prediction, the first resource and the second resource may be configured with a corresponding set of parameters or properties, or transmitted or received with a corresponding setup for the case that the first resource is Set A and the second resource is Set B.

[0227] In some embodiments for time domain beam prediction, Tx beams of SRS resources at the terminal device 110 may correspond to Rx beams of the first resource (i.e., Set B) at the terminal device 110. In some embodiments, the Tx beams of SRS resources may be configured as the same beam or the best beam. In some embodiments, Rx beams of SRS resources at the network device 120 may correspond to Tx beams of the first resource (i.e., Set B) at the network device 120.

[0228] In some embodiments, the first resource and the second resource may be transmitted with non-corresponding setup. In other words, the first resource and the second resource may be transmitted with a first setup and a second setup respectively. In this case, the network device 120 may transmit a difference between the first setup and the second setup to the terminal device 110.

[0229] In some alternative embodiments, the second resource may be a DL RS. The network device 120 may transmit a set of DL RSs on the second resource, and the terminal device 110 may measure the set of DL RSs and transmit measurement results to the network device 120.

[0230] Continuing to refer to FIG. 5, the network device 120 may perform 570 the model monitoring based on a comparison between the set of predicted results and the set of measured results on the set of future time instances. A result of the model monitoring may be obtained in any suitable ways, which is up to NW implementation.

[0231] With reference to FIG. 5, in some embodiments, the network device 120 may transmit 580 information of the model monitoring to the terminal device 110. In some embodiments, the information of the model monitoring may comprise information indicating a model switch is needed. In some embodiments, the information of the model monitoring may comprise information indicating a mode of the model switch, fallback to a non-AI model or a default model.

[0232] With the process 500, measurement opportunities of future time instances may be provided to a network device to monitor model performance. It is to be understood that operations described in the process 500 may be carried out separately or in any suitable combination.

[0233] Embodiment 3

[0234] In this embodiment, the model inference and the model monitoring are performed at the network device 120. This embodiment may be at least suitable for NW sided model, i.e., the model is deployed at the network device 120. The network device 120 performs the model inference, e.g., predicts future CSI / beam. The network device 120 may collect data required for model input based UE report or NW measurements. Further, this embodiment may be at least suitable for NW side model monitoring, e.g., for the network device 120 to assess whether the prediction at the network device 120 is good or not. The model monitoring may be up to the network device 120.

[0235] In this embodiment, ground truth (e.g., actual CSI / beam) on a set of future time  instances is needed at the network device 120. The set of future time instances may be determined by the associated AI / ML model, and NW configuration. In some embodiments, model inference may be performed based on the first resource and / or the first report. The second resource or the second report for model monitoring may be associated with the first resource or the first report for model inference. In some embodiments, a measurement resource (i.e., the second resource) may also be required for the terminal device 110 to obtain the ground truth. In some embodiments, the network device 120 may obtain the ground truth by performing a measurement on an RS (e.g., SRS) transmitted by the terminal device 110 on the second resource.

[0236] In some embodiments, the second resource or the second report for the model monitoring may be configured in a periodic or semi-persistent way. In some embodiments, the second resource or the second report for the model monitoring may be triggered by the network device 120. In some embodiments, the second resource or the second report for the model monitoring may be initiated or requested by the terminal device 110.

[0237] In some embodiments, the second report may be used for the terminal device 110 to report information required for NW side monitoring, e.g., the ground truth corresponding to the prediction at the network device 120. In some embodiments, the second resource may be used for the terminal device 110 to obtain the ground truth. In this sense, the second resource should be transmitted or measured at those time points corresponding to the set of future time instances.

[0238] FIG. 6 illustrates a signaling chart illustrating another example process 600 of model monitoring according to some embodiments of the present disclosure. For the purpose of discussion, the process 600 will be described with reference to FIG. 1. The process 600 may involve the terminal device 110 and the network device 120 as illustrated in FIG. 1. It is to be understood that the steps and the order of the steps in FIG. 6 are merely for illustration, and not for limitation. For example, the order of the steps may be changed. Some of the steps may be omitted or any other suitable additional steps may be added.

[0239] As shown in FIG. 6, the terminal device 110 may transmit 610 information of capability of the terminal device 110 to the network device 120. Details of the step 610 are same as that of the step 310 in FIG. 3, and thus are not repeated here for conciseness.

[0240] With reference to FIG. 6, the network device 120 may transmit 620 one or more configurations for the model to the terminal device 110. In some embodiments, the one or  more configurations may comprise an AI / ML related configuration. The AI / ML related configuration may indicate AI / ML functionality or model related information, e.g., functionality identification, or model ID.

[0241] In some embodiments, the one or more configurations may comprise a resource configuration. In some embodiments, the resource configuration may indicate the first resource for model inference. If configured, the first resource is used for the terminal device 110 to collect data for model inputs.

[0242] In some embodiments, the resource configuration may indicate the second resource for model monitoring. In some embodiments, the second resource may be a set of CSI-RS resources. In some embodiments, the second resource may be a set of SS / PBCH blocks. In some embodiments, the second resource may be multiple sets of resources.

[0243] In some embodiments, the number of resources or resources sets in the second resource may be based on the number of future time instances of the prediction, e.g., F. In some embodiments, the number of resources or resources sets in the second resource may be based on the number of selected future time instances required monitoring (e.g., required measurement for ground truth) , e.g., F’, where F’≤F. In some embodiments, the number of resources or resources sets in the second resource may be a different number from F and F’ , e.g., F”. In some embodiments, F, F’ or F” may be determined based on UE request, UE report, UE capability information, UE assistance information, or NW configuration, or description / requirement / capability of the associated AI / ML model / functionality.

[0244] In some embodiments for time domain CSI prediction, for each future time instance, the set of CSI-RS resources as the second resource may comprise only one CSI-RS resource. In some embodiments for time domain beam prediction, for each future time instance, the set of CSI-RS resources as the second resource may correspond to beams in Set A. The beams in Set A are associated with beams in Set B used for model inference (i.e., the first resource) .

[0245] In some embodiments, if the second resource is aperiodic, the second resource may be configured by a timing-related configuration which may correspond to a future time instance of the model. In some embodiments, the timing-related configuration may comprise a list of offset values for CSI-RS resources or resource sets in an AP resource set. For example, resource #1 at 1st future time instance (1st offset value) , …, resource #x at x-th future time instance (x-th offset value) . Each offset value may be the time between a trigger and an RS transmission at a future time instance corresponding to the offset value.

[0246] In some embodiments, if the second resource is periodic or semi-persistent, the timing-related configuration may comprise a periodicity and a corresponding offset value for periodic or semi-persistent CSI-RS resources. In some embodiments, the periodicity may correspond to a time interval between future time instances.

[0247] In some embodiments, the resource configuration may indicate an association between the first resource and the second resource. In some embodiments, the association may be explicitly configured, e.g., be configured as associated resources. In some embodiments, the association may be an actual association between resources for model inference and resources for model monitoring. For example, the first and second resources may be linked by an associated model or functionality ID.

[0248] In some embodiments, the one or more configurations may comprise a report configuration. In some embodiments, the report configuration may indicate the first report for model inference. The first report may be configured for the terminal device 110 to report a set of measured results on a set of history time instances (i.e., data as model inputs for NW side model inference) .

[0249] In some embodiments, the report configuration may indicate the second report for model monitoring. The second report may be configured for the terminal device 110 to report a set of measured results on the set of future time instances (i.e., ground truth for NW side mode monitoring) . In some embodiments, report quantity of the second report may comprise the ground truth or related information.

[0250] In some embodiments, the report configuration may comprise a timing-related configuration of the second report. In some embodiments, the timing-related configuration may indicate that the second report is one-shot report for the set of measured results. The one-shot report may include multiple ground truth values corresponding to multiple future time instances. In some embodiments, a corresponding time offset may be provided. In some embodiments, the time offset may be from a trigger of the second report to a transmission of the second report. In some embodiments, the time offset may be from the first or last transmission occasion or time instance of the second resource to a transmission of the second report. In some embodiments, the time offset may be from the 1st / x-th future time instance to a transmission of the second report. In some embodiments, the time offset may be from a transmission of the first report to a transmission of the second report.

[0251] In some embodiments, the timing-related configuration may indicate that the second  report comprises a set of reports (e.g., multiple reports) for the set of measured results. A report in the set of reports may correspond to a future time instance in the set of future time instances.

[0252] In some embodiments for an AP report, the terminal device 110 may be provided with a list of offset values for CSI resources or resource sets in an AP resource set. In some embodiments for a periodic or semi-persistent report, the terminal device 110 may be provided with a periodicity and a corresponding offset value for periodic and semi-persistent CSI-RS resources. The periodicity may correspond to a time interval between future time instances. For example, ground truth #1 at the 1st future time instance (1st offset value) , …, ground truth #x @x-th future time instance (x-th offset value) . The offset value may be the time between the trigger of the second report and the RS transmission.

[0253] In some embodiments, the report configuration may indicate an association between the first report and the second report. In some embodiments, the association may be explicitly configured. For example, the first and second reports may be configured as associated reports. In another example, the first and second reports may be linked by trigger state configurations. In some embodiments, the association may be an actual association between the first report for model inference and the second report for model monitoring. For example, the first and second reports may be linked by an associated model or functionality ID.

[0254] In some alternative embodiments, the second resource may be an SRS and the second report may be not configured. In some embodiments, a timing-related configuration may be provided to a configured SRS transmission corresponding to a future time instance.

[0255] In some embodiments, the one or more configurations may comprise a trigger state configuration, e.g., if an AP report is configured for the first report and / or the second report. In some embodiments, the trigger state configuration may indicate a list of trigger states. At least one of the trigger states may be configured for report configurations of the first resource, the second resource, the first report and the second report.

[0256] In some embodiments, a single trigger state may be used to trigger at least one of the first resource, the first report, the second resource or the second report. In some embodiments, two associated trigger states may be configured. One of the two associated trigger states is used for the first report, and the other is used for the second report.

[0257] In some embodiments, the second report and the second resource may be associated  with different and linked trigger states. For example, if a time offset between the second resource and the second report is larger than a threshold, the second report and the second resource may be associated with different and linked trigger states.

[0258] In some embodiments, different occasions or time instances of the second resource or the second report may be associated with different and linked trigger states. For example, if a time offset between two second resources is larger than a threshold, different occasions or time instances of the second resource or the second report may be associated with different and linked trigger states.

[0259] It is to be understood that other details of the step 620 are same as that of the step 320 in FIG. 3, and thus are not repeated here for conciseness.

[0260] Continuing to refer to FIG. 6, the network device 120 may obtain 630 the set of predicted results on the set of future time instances by model inference. In some embodiments, the terminal device 110 may perform 631 RS measurements on the first resource and collect a set of history measurement results on a history time instances. The terminal device 110 may transmit 632, to the network device 120, the first report comprising the set of history measurement results. With the set of history measurement results as model inputs, the network device 120 may obtain 633 the set of predicted results on the set of future time instances as model outputs.

[0261] As shown in FIG. 6, the network device 120 may obtain 640 the set of measured results on the set of future time instances by performing reference signal transmission or reception on the second resource.

[0262] With reference to FIG. 6, in some embodiments, the network device 120 may transmit 641, to the terminal device 110, an indication of activating the second resource.

[0263] In some embodiments, if the second resource is aperiodic, the second resource may be activated by DCI. For example, a CSI request field may be included in the DCI. The number of bits of the CSI request field may depend on the number of trigger states configured. In some embodiments, the DCI may also be used to activate the model monitoring. For example, model or functionality related information may be included in the DCI or configured in the trigger state.

[0264] In some embodiments, if the second resource is semi-persistent, the second resource may be activated by a MAC CE. For example, information (ID, index) of the second report or the second resource may be included in the MAC CE. In some embodiments, the MAC  CE may also be used to activate the model monitoring. For example, model or functionality related information may be included in the MAC CE or configured in the trigger state.

[0265] In some embodiments, if the second resource is periodic, the second resource may be transmitted occasions of the same resource corresponding to the future time instances.

[0266] It is to be understood that the second resource may be activated once the second resource is configured, without further indication of activating the second resource.

[0267] With reference to FIG. 6, in some embodiments, the network device 120 may transmit 642 a set of RSs on the second resource, and the terminal device 110 may perform 643 the RS measurements on the second resource and obtain the set of measured results on the set of future time instances.

[0268] In some embodiments, the terminal device 110 may assume that the second resource and the first resource are associated. In some embodiments, the first resource and the second resource may be configured with the same set of parameters or properties, or transmitted or received with the same setup for at least one of the following: RS density, a set of antenna ports, number of antenna ports, Tx power, a TCI state, QCL information, a set of Rx beams, number of the first resources, number of the second resources, a set of Tx beams, or a Tx beam pattern. In some embodiments for time domain beam prediction, the first resource and the second resource may be configured with the same set of parameters or properties, or transmitted or received with the same setup for the case that the first resource is Set A and the second resource is Set B.

[0269] In some embodiments for time domain beam prediction, if the second resource is a set of SRS resources, Tx beams of the SRS resources at the terminal device 110 may correspond to Rx beams of the first resource (i.e., Set B) . In some embodiments, the Tx beams of the SRS resources at the terminal device 110 may be configured as the same beam or the best beam. In some embodiments, Rx beams of the SRS resources at the network device 120 may correspond to Tx beams of the first resource (i.e., Set B) at the network device 120.

[0270] In some embodiments, the first resource and the second resource may be transmitted with different setup. In other words, the first resource and the second resource may be transmitted with a first setup and a second setup respectively. In this case, the network device 120 may transmit a difference between the first setup and the second setup to the terminal device 110.

[0271] In some embodiments, the first resource and the second resource may correspond to different measurement methods. For the first resource, the measurement is for obtaining the model inputs. For the second resource, the measurement is for obtaining the ground truth.

[0272] With reference to FIG. 6, the terminal device 110 may transmit 644, to the network device 120, the second report comprising the set of measured results on the set of future time instances (i.e., the ground truth) . In some embodiments, the terminal device 110 may transmit the second report based on capability of the terminal device 110. In some embodiments, the terminal device 110 may transmit the second report based on NW configurations.

[0273] In some alternative embodiments, the second resource may be an SRS. In this case, the terminal device 110 may transmit the SRS on the second resource, and the network device 120 may measure the SRS. In some embodiments, the second resource may be activated by DCI. For example, a SRS request field may be included in the DCI. In some embodiments, the second resource may be activated by a MAC CE. For example, information (ID, index) of an SRS resource or resource set may be included in the MAC CE.

[0274] Continuing to refer to FIG. 6, the network device 120 may perform 650 the model monitoring based on a comparison between the set of predicted results and the set of measured results on the set of future time instances. A result of the model monitoring may be obtained in any suitable ways, which is up to NW implementations.

[0275] With the process 600, measurement opportunities of future time instances may be provided to a terminal device to report the ground truth to NW and NW is facilitated to monitor an AI / ML model. It is to be understood that operations described in the process 600 may be carried out separately or in any suitable combination.

[0276] Embodiment 4

[0277] In this embodiment, the model inference is performed at the network device 120 and the model monitoring is performed at the terminal device 110. This embodiment may be at least suitable for NW sided model, i.e., the model is deployed at the network device 120. The network device 120 performs the model inference, e.g., predicts future CSI / beam. Further, this embodiment may be at least suitable for UE side model monitoring, e.g., for the terminal device 110 to assess whether the prediction at the network device 120 is good or not.

[0278] In this embodiment, a set of predicted results on a set of future time instances at the  network device 120 needs to be transmitted to the terminal device 110.

[0279] In this embodiment, ground truth (e.g., actual CSI / beam) on the set of future time instances is also needed at the terminal device 110. In this case, a measurement resource (i.e., the second resource) may be required for model monitoring. The set of future time instances may be determined by the associated AI / ML model, and NW configuration. In some embodiments, model inference may be performed based on the first resource and / or the first report. The second resource or the second report for model monitoring may be associated with the first resource or the first report for model inference.

[0280] In some embodiments, the second resource or the second report for the model monitoring may be configured in a periodic or semi-persistent way. In some embodiments, the second resource or the second report for the model monitoring may be triggered by the network device 120. In some embodiments, the second resource or the second report for the model monitoring may be initiated or requested by the terminal device 110.

[0281] In some embodiments, the second report may be used for the terminal device 110 to report a result of the model monitoring to the network device 120. The result of the model monitoring is related to the prediction at the network device 120. In some embodiments, the second resource may be used for the terminal device 110 to obtain the ground truth. In this sense, the second resource should be transmitted or measured at those time points corresponding to the set of future time instances.

[0282] FIG. 7 illustrates a signaling chart illustrating another example process 700 of model monitoring according to some embodiments of the present disclosure. For the purpose of discussion, the process 700 will be described with reference to FIG. 1. The process 700 may involve the terminal device 110 and the network device 120 as illustrated in FIG. 1. It is to be understood that the steps and the order of the steps in FIG. 7 are merely for illustration, and not for limitation. For example, the order of the steps may be changed. Some of the steps may be omitted or any other suitable additional steps may be added.

[0283] As shown in FIG. 7, the terminal device 110 may transmit 710 information of capability of the terminal device 110 to the network device 120. Details of the step 710 are same as that of the step 310 in FIG. 3, and thus are not repeated here for conciseness.

[0284] With reference to FIG. 7, the network device 120 may transmit 720 one or more configurations for the model to the terminal device 110. In some embodiments, the one or more configurations may comprise an AI / ML related configuration. The AI / ML related  configuration may indicate AI / ML functionality or model related information, e.g., functionality identification, or model ID.

[0285] In some embodiments, the one or more configurations may comprise a resource configuration. In some embodiments, the resource configuration may indicate the first resource for model inference. If configured, the first resource is used for the terminal device 110 to collect data for model inputs.

[0286] In some embodiments, the resource configuration may indicate the second resource for model monitoring. In some embodiments, the second resource may be a set of CSI-RS resources. In some embodiments, the second resource may be a set of SS / PBCH blocks. In some embodiments, the second resource may be multiple sets of resources.

[0287] In some embodiments, the number of resources or resources sets in the second resource may be based on the number of future time instances of the prediction. In some embodiments, the number of resources or resources sets in the second resource may be based on the number of selected future time instances required monitoring, e.g., required measurement for ground truth.

[0288] In some embodiments for time domain CSI prediction, for each future time instance, the set of CSI-RS resources as the second resource may comprise only one CSI-RS resource. In some embodiments for time domain beam prediction, for each future time instance, the set of CSI-RS resources as the second resource may correspond to beams in Set A. The beams in Set A are associated with beams in Set B used for model inference (i.e., the first resource) .

[0289] In some embodiments, if the second resource is aperiodic, the second resource may be configured by a timing-related configuration which may correspond to a future time instance of the model. In some embodiments, the timing-related configuration may comprise a list of offset values for CSI-RS resources or resource sets in an AP resource set. For example, resource #1 at 1st future time instance (1st offset value) , …, resource #x at x-th future time instance (x-th offset value) . Each offset value may be the time between a trigger and an RS transmission at a future time instance corresponding to the offset value.

[0290] In some embodiments, if the second resource is periodic or semi-persistent, the timing-related configuration may comprise a periodicity and a corresponding offset value for periodic or semi-persistent CSI-RS resources. In some embodiments, the periodicity may correspond to a time interval between future time instances.

[0291] In some embodiments, the resource configuration may indicate an association  between the first resource and the second resource. In some embodiments, the association may be explicitly configured, e.g., be configured as associated resources. In some embodiments, the association may be an actual association between resources for model inference and resources for model monitoring. For example, the first and second resources may be linked by an associated model or functionality ID.

[0292] In some embodiments, the one or more configurations may comprise a report configuration. In some embodiments, the report configuration may indicate the first report for model inference. The first report may be configured for the terminal device 110 to report a set of measured results on a set of history time instances (i.e., data as model inputs for NW side model inference) .

[0293] In some embodiments, the report configuration may indicate the second report for model monitoring. The second report may be configured for the terminal device 110 to report a result of the model monitoring to NW. In some embodiments, report quantity of the second report may comprise monitoring results based on different possible monitoring metrics.

[0294] In some embodiments, the report configuration may comprise a timing-related configuration of the second report. In some embodiments, the timing-related configuration may indicate that the second report is one-shot report for a set of model monitoring results. The one-shot report may include one or multiple model monitoring results corresponding to multiple future time instances. In some embodiments, the multiple model monitoring results may refer to a monitoring result for the prediction of 1st, …, x-th future time instance respectively. In some embodiments, the one model monitoring results may refer to a monitoring result for all the predictions from 1st to x-th future time instance jointly.

[0295] In some embodiments, a corresponding time offset may be provided. In some embodiments, the time offset may be from a trigger of the second report to a transmission of the second report. In some embodiments, the time offset may be from the first or last transmission occasion or time instance of the second resource to a transmission of the second report. In some embodiments, the time offset may be from the 1st / x-th future time instance to a transmission of the second report. In some embodiments, the time offset may be from a transmission of the first report to a transmission of the second report.

[0296] In some embodiments, the timing-related configuration may indicate that the second report comprises a set of reports (e.g., multiple reports) for the set of model monitoring results.  A report in the set of reports may correspond to a future time instance in the set of future time instances.

[0297] In some embodiments for an AP report, the terminal device 110 may be provided with a list of offset values for CSI resources or resource sets in an AP resource set. In some embodiments for a periodic or semi-persistent report, the terminal device 110 may be provided with a periodicity and a corresponding offset value for periodic and semi-persistent CSI-RS resources. The periodicity may correspond to a time interval between future time instances. For example, ground truth #1 at the 1st future time instance (1st offset value) , …, ground truth #x @x-th future time instance (x-th offset value) . The offset value may be the time between the trigger of the second report and the RS transmission.

[0298] In some embodiments, the report configuration may indicate an association between the first report and the second report. In some embodiments, the association may be explicitly configured. For example, the first and second reports may be configured as associated reports. In another example, the first and second reports may be linked by trigger state configurations. In some embodiments, the association may be an actual association between the first report for model inference and the second report for model monitoring. For example, the first and second reports may be linked by an associated model or functionality ID.

[0299] In some alternative embodiments, the second resource may be an SRS and the second report may be not configured. In some embodiments, a timing-related configuration may be provided to a configured SRS transmission corresponding to a future time instance.

[0300] In some embodiments, the one or more configurations may comprise a trigger state configuration, e.g., if an AP report is configured for the first report and / or the second report. In some embodiments, the trigger state configuration may indicate a list of trigger states. At least one of the trigger states may be configured for report configurations of the first resource, the second resource, the first report and the second report.

[0301] In some embodiments, a single trigger state may be used to trigger at least one of the first resource, the first report, the second resource or the second report. In some embodiments, two associated trigger states may be configured. One of the two associated trigger states is used for the first report, and the other is used for the second report.

[0302] In some embodiments, the second report and the second resource may be associated with different and linked trigger states. For example, if a time offset between the second  resource and the second report is larger than a threshold, the second report and the second resource may be associated with different and linked trigger states.

[0303] In some embodiments, different occasions or time instances of the second resource or the second report may be associated with different and linked trigger states. For example, if a time offset between two second resources is larger than a threshold, different occasions or time instances of the second resource or the second report may be associated with different and linked trigger states.

[0304] It is to be understood that other details of the step 720 are same as that of the step 320 in FIG. 3, and thus are not repeated here for conciseness.

[0305] Continuing to refer to FIG. 7, the network device 120 may obtain 730 the set of predicted results on the set of future time instances by model inference. In some embodiments, the terminal device 110 may perform 731 RS measurements on the first resource and collect a set of history measurement results on a history time instances. The terminal device 110 may transmit 732, to the network device 120, the first report comprising the set of history measurement results. With the set of history measurement results as model inputs, the network device 120 may obtain 733 the set of predicted results on the set of future time instances as model outputs.

[0306] As shown in FIG. 7, the network device 120 may transmit 740 the set of predicted results on the set of future time instances to the terminal device 110. In some embodiments, the network device 120 may provide prediction results to the terminal device 110 based on different possible AI / ML model outputs.

[0307] In some embodiments, the network device 120 may provide information of the set of future time instances to the terminal device 110. In some embodiments, the network device 120 may provide the information of the set of future time instances via the timing-related configuration of the second resource. In some embodiments, the network device 120 may provide the information of the set of future time instances via the AI / ML functionality / model information or configuration. In some embodiments, the network device 120 may provide the information of the set of future time instances by explicit list (s) of time offsets. In some embodiments, the network device 120 may provide the information of the set of future time instances by a starting point, a time interval between two future time instances, and the total number of future time instances. In some embodiments, the network device 120 may provide the information of the set of future time instances by a prediction  window. It is to be understood that any other suitable ways are also feasible.

[0308] With reference to FIG. 7, the terminal device 110 may obtain 750 the set of measured results on the set of future time instances by performing reference signal transmission or reception on the second resource.

[0309] With reference to FIG. 7, in some embodiments, the network device 120 may transmit 751, to the terminal device 110, an indication of activating the second resource.

[0310] In some embodiments, if the second resource is aperiodic, the second resource may be activated by DCI. For example, a CSI request field may be included in the DCI. The number of bits of the CSI request field may depend on the number of trigger states configured. In some embodiments, the DCI may also be used to activate the model monitoring. For example, model or functionality related information may be included in the DCI or configured in the trigger state.

[0311] In some embodiments, if the second resource is semi-persistent, the second resource may be activated by a MAC CE. For example, information (ID, index) of the second report or the second resource may be included in the MAC CE. In some embodiments, the MAC CE may also be used to activate the model monitoring. For example, model or functionality related information may be included in the MAC CE or configured in the trigger state.

[0312] In some embodiments, if the second resource is periodic, the second resource may be transmitted occasions of the same resource corresponding to the future time instances.

[0313] It is to be understood that the second resource may be activated once the second resource is configured, without further indication of activating the second resource.

[0314] With reference to FIG. 7, in some embodiments, the network device 120 may transmit 752 a set of RSs on the second resource, and the terminal device 110 may perform 753 the RS measurements on the second resource and obtain the set of measured results on the set of future time instances.

[0315] In some embodiments, the terminal device 110 may assume that the second resource and the first resource are associated. In some embodiments, the first resource and the second resource may be configured with the same set of parameters or properties, or transmitted or received with the same setup for at least one of the following: RS density, a set of antenna ports, number of antenna ports, Tx power, a TCI state, QCL information, a set of Rx beams, number of the first resources, number of the second resources, a set of Tx beams,  or a Tx beam pattern. In some embodiments for time domain beam prediction, the first resource and the second resource may be configured with the same set of parameters or properties, or transmitted or received with the same setup for the case that the first resource is Set A and the second resource is Set B.

[0316] In some embodiments for time domain beam prediction, if the second resource is a set of SRS resources, Tx beams of the SRS resources at the terminal device 110 may correspond to Rx beams of the first resource (i.e., Set B) . In some embodiments, the Tx beams of the SRS resources at the terminal device 110 may be configured as the same beam or the best beam. In some embodiments, Rx beams of the SRS resources at the network device 120 may correspond to Tx beams of the first resource (i.e., Set B) at the network device 120.

[0317] In some embodiments, the first resource and the second resource may be transmitted with different setup. In other words, the first resource and the second resource may be transmitted with a first setup and a second setup respectively. In this case, the network device 120 may transmit a difference between the first setup and the second setup to the terminal device 110.

[0318] In some embodiments, the first resource and the second resource may correspond to different measurement methods. For the first resource, the measurement is for obtaining the model inputs. For the second resource, the measurement is for assessing AI / ML model performance, e.g., for obtaining the ground truth.

[0319] With reference to FIG. 7, the terminal device 110 may perform 760 the model monitoring based on a comparison between the set of predicted results and the set of measured results on the set of future time instances. A result of the model monitoring may be obtained in any suitable ways.

[0320] Continuing to refer to FIG. 7, the terminal device 110 may transmit 770, to the network device 120, the second report comprising a result of the model monitoring. In some embodiments, the terminal device 110 may transmit the second report based on capability of the terminal device 110. In some embodiments, the terminal device 110 may transmit the second report based on NW configurations. In some embodiments, exact content of the second report may comprise one or more monitoring metrics. It is to be understood that the monitoring metrics may be implemented in any suitable forms. In some embodiments, the exact content of the second report may comprise information indicating a model switch is  needed. In some embodiments, exact content of the second report may comprise information indicating a mode of the model switch, e.g., fallback to a non-AI model or a default model.

[0321] In some alternative embodiments, the second resource may be an SRS. In this case, the terminal device 110 may transmit the SRS on the second resource, and the network device 120 may measure the SRS and transmit the measurement results to the terminal device 110.

[0322] With the process 700, a terminal device may be provided with prediction results and measurement opportunities of future time instances to monitor an AI / ML model. It is to be understood that operations described in the process 700 may be carried out separately or in any suitable combination.

[0323] For some operations in the processes 300 to 700 as described above, some alternatives may also be provided as below.

[0324] In some embodiments for resource configuration, a resource may be configured as periodic via a radio resource control (RRC) signaling. In some embodiments, the terminal device 110 may not measure the resource if configured time for the resource is not any future time instance based on model inference. In some embodiments, the resource may be considered as muted or deactivated or zero-power if the configured time for the resource is not any future time instance based on model inference. This implies that the network device 120 does not transmit an RS corresponding to the resource configuration. In some embodiments, if both the first recourse and the second resource are periodic, the first recourse and the second resource may be the same resource, e.g., different transmission instances or occasions for a resource with the same resource ID or index.

[0325] In some embodiments for a request for the second resource, the terminal device 110 may request different types of resources for model monitoring. In some embodiments, the terminal device 110 may request different time domain behaviors, e.g., periodic, semi-persistent, or aperiodic. In some embodiments, the terminal device 110 may request different usages of the second resource, e.g., resources for channel measurement, resources for interference measurement, or resources for inter-cell measurement. In some embodiments, considering the association between the first resource and the second resource, the terminal device 110 may also provide required information on at least one of the following to the network device 120 for configuration and transmission of the second resource: RS density, a set of antenna ports, the number of antenna ports, Tx power, TCI state, QCL  information, a set of Rx beams, the number of resources, a set of Tx beams, or Tx beam pattern.

[0326] In some embodiments for a request for the second report, the terminal device 110 may request different types of report for model monitoring. In some embodiments, the terminal device 110 may request different time domain behaviors, e.g., periodic, semi-persistent, or aperiodic. In some embodiments, the terminal device 110 may request different report quantities, e.g., CSI-RS resource indicator (CRI) or RI or PMI or CQI or RSRP or signal to interference plus noise ratio (SINR) or their combinations.

[0327] In some embodiments for a measurement and report of the second resource, if the model monitoring is completed, a configured or requested resource may be early dropped or terminated, or may be not measured. In some embodiments, the first few comparisons between predicted values and ground truth values may give negative results. The 1st perdition is not accurate, then less chance that x-th prediction can be accurate. In this case, the configured or requested resource may be early dropped or terminated, or may be not measured. In some embodiments, for UE side monitoring of UE sided model, the terminal device 110 may provide information of early termination to the network device 120 via another request or report.

[0328] In some embodiments for a measurement and report of the second resource, more resources may be requested for model monitoring if the model monitoring requires resources more than configured resources for the second resource. For example, if the second resource may be only configured or provided for the first few comparisons between predicted values and ground truth values, the terminal device 110 may request more resources for the model monitoring. In some embodiments, for UE side monitoring of UE sided model, the terminal device 110 may provide information of requesting more resources for the model monitoring to the network device 120 via another request or report.

[0329] In some embodiments for a timing of a future time instance, a future time instance herein may include the cases that transmission occasions are near to exact future time. In some embodiments, a resource within a time window may be considered as a resource corresponding to the future time instance. The time window may be configured, or reported, or just be the same as a time interval between two future time instances. In some embodiments, the latest resource before the exact future time, or the first resource after the exact future time, may be considered as a resource correspond to the future time instance.

[0330] In some embodiments for a starting time point of a future time instance, the starting time point may be the time at which model inference is completed. In some embodiments, the starting time point may be the time at which model inference (or prediction, or data required for model inputs) is reported or indicated from the terminal device 110 to the network device 120. In some embodiments, the starting time point may be the time at which model inference (or prediction, or data required for model inputs) is acknowledged from the network device 120 to the terminal device 110 or from the terminal device 110 to the network device 120. In some embodiments, the starting time point may be the time at which a specific indication is transmitted or ACK of the specific indication is received. In some embodiments, the starting time point may be the time at which a specific indication is received or ACK of the specific indication is transmitted. In some embodiments, the starting time point may be a defined reference time point. In some embodiments, the starting time point may be defined in the AI / ML model or functionality. In some embodiments, the starting time point may be the time at which a request is sent from the terminal device 110. In some embodiments, the starting time point may be the time at which the request is responded. In some embodiments, the starting time point may be the time at which the response to the request is received. In some embodiments, the starting time point may be the time of the last measurement of resources for model inputs.

[0331] In some embodiments for trigger states, if a single trigger state is used to trigger both model inference and model monitoring, both the first resource and the second resource are transmitted in a time offset from the trigger to the report of model monitoring results. In some embodiments, the time offset may be larger than a sum of two or more of the following: time required for model inference; time required for model monitoring; time required for a measurement of the first resource; time required for a measurement of the second resource; time required for preparation of the first report; or time required for preparation of the second report.

[0332] So far, model monitoring for a model of time domain prediction is described in connection with the processes 300 to 700. It is to be understood that operations described in the processes 300 to 700 may be carried out separately or in any suitable combinations.

[0333] EXAMPLE IMPLEMENTATION OF METHODS

[0334] Corresponding to the above processes, embodiments of the present disclosure provide methods of communication implemented at a terminal device and a network device.  These methods will be described below with reference to FIGs. 8 and 9.

[0335] FIG. 8 illustrates an example method 800 of communication implemented at a terminal device in accordance with some embodiments of the present disclosure. For example, the method 800 may be performed at the terminal device 110 as shown in FIG. 1. For the purpose of discussion, in the following, the method 800 will be described with reference to FIG. 1. It is to be understood that the method 800 may include additional blocks not shown and / or may omit some blocks as shown, and the scope of the present disclosure is not limited in this regard.

[0336] At block 810, the terminal device 110 receives, from the network device 120, a configuration comprising a first resource for model inference of a model for time domain prediction and a second resource for model monitoring of the model. The second resource is used on a set of future time instances associated with the model inference and is associated with the first resource.

[0337] At block 820, the terminal device 110 causes the model to be monitored by causing a set of predicted results and a set of measured results on the set of future time instances to be obtained based on reference signal transmission or reception on the first resource and the second resource respectively.

[0338] In some embodiments, the model inference and the model monitoring are performed at the terminal device 110. In some embodiments, the terminal device 110 may further receive, from the network device 120, a configuration indicating at least one of the following: a first report for the set of predicted results, a second report for a result of the model monitoring, an association between the first report and the second report, or at least one trigger state is used for triggering the first report and the second report.

[0339] In some embodiments where the model inference and the model monitoring are performed at the terminal device 110, the terminal device 110 may cause the model to be monitored by: obtaining the set of predicted results on the set of future time instances by the model inference with reference signal measurements on the first resource as an input of the model; transmitting, to the network device, a request for the model monitoring, the request comprising at least one of the following: information of the set of future time instances, information of a request for the second resource for monitoring the model, or information of a request for a second report for a result of the model monitoring; and obtaining the set of measured results on the set of future time instances by performing reference signal  transmission or reception on the second resource. In some embodiments, the terminal device 110 may transmit the request for the model monitoring in a first report for the set of predicted results.

[0340] In some embodiments where the model inference and the model monitoring are performed at the terminal device 110, if an indication for activating a first report for the set of predicted results is received from the network device 120, the terminal device 110 may transmit, to the network device 120, the first report comprising the set of predicated results. If an indication for activating the second report is received from the network device 120, the terminal device 110 may transmit, to the network device 120, the second report comprising at least one of the following: one or more monitoring metrics, information indicating a model switch is needed, or information indicating a mode of the model switch.

[0341] In some embodiments, the model inference is performed at the terminal device 110, and the model monitoring is performed at the network device 120. In some embodiments, the terminal device 110 may further receive, from the network device, a configuration indicating at least one of the following: a first report for the set of predicted results, a second report for the set of measured results, an association between the first report and the second report, or at least one trigger state is used for triggering the first report and the second report.

[0342] In some embodiments where the model inference is performed at the terminal device 110 and the model monitoring is performed at the network device 120, the terminal device 110 may cause the model to be monitored by: obtaining the set of predicted results on the set of future time instances by the model inference with reference signal measurements on the first resource as an input of the model; transmitting, to the network device 120, a first report for the set of predicted results; transmitting, to the network device 120, a request for the model monitoring, the request comprising at least one of the following: information of the set of future time instances, information of a request for the second resource for monitoring the model, or information of a request for a second report for the set of measured results; and causing the set of measured results on the set of future time instances to be obtained by performing reference signal transmission or reception on the second resource. In some embodiments, the terminal device 110 may transmit the request for the model monitoring in the first report for the set of predicted results. In some embodiments, the terminal device 110 may perform the reference signal transmission on the second resource by causing a transmitting beam of the second resource to correspond to a receiving beam of the first resource.

[0343] In some embodiments where the model inference is performed at the terminal device 110 and the model monitoring is performed at the network device 120, if an indication for activating a first report for the set of predicted results is received from the network device 120, the terminal device 110 may transmit, to the network device 120, the first report comprising the set of predicted results. If an indication for activating the second report is received from the network device 120, the terminal device 110 may transmit, to the network device 120, the second report comprising the set of measured results. In some embodiments, the terminal device 110 may receive, from the network device 120, information of the model monitoring comprising at least one of the following: information indicating a model switch is needed, or information indicating a mode of the model switch.

[0344] In some embodiments, the model inference and the model monitoring are performed at the network device 120. In some embodiments, the terminal device 110 may further receive, from the network device 120, a configuration indicating at least one of the following: a first report for a further set of measured results on a set of history time instances, a second report for the set of measured results, an association between the first report and the second report, at least one trigger state is used for triggering the first report and the second report, or an indication that the second report is one-shot report for the set of measured results or a set of reports for the set of measured results, a report in the set of reports corresponding to a future time instance in the set of future time instances.

[0345] In some embodiments where the model inference and the model monitoring are performed at the network device 120, the terminal device 110 may cause the model to be monitored by: causing the set of predicted results on the set of future time instances to be obtained by performing reference signal transmission or reception on the first resource; and causing the set of measured results on the set of future time instances to be obtained by performing reference signal transmission or reception on the second resource.

[0346] In some embodiments, the terminal device 110 may cause the set of predicted results to be obtained by: in accordance with a determination that an indication for activating a first report for a further set of measured results on a set of history time instances is received from the network device, transmitting, to the network device 120, the first report comprising the further set of measured results. In some embodiments, the terminal device 110 may cause the set of measured results to be obtained by: in accordance with a determination that an indication for activating a second report for the set of measured results on the set of future time instances is received from the network device 120, transmitting, to the network device  120, the second report comprising the set of measured results.

[0347] In some embodiments, the model inference is performed at the network device 120 and the model monitoring is performed at the terminal device 110. In some embodiments, the terminal device 110 may further receive, from the network device 120, a configuration indicating at least one of the following: a first report for a further set of measured results on a set of history time instances, a second report for a result of the model monitoring, an association between the first report and the second report, at least one trigger state is used for triggering the first report and the second report, or an indication that the second report is one-shot report for a set of model monitoring results or a set of reports for the set of model monitoring results, a report in the set of reports corresponding to a future time instance in the set of future time instances.

[0348] In some embodiments where the model inference is performed at the network device 120 and the model monitoring is performed at the terminal device 110, the terminal device 110 may cause the model to be monitored by: receiving, from the network device 120, the set of predicted results on the set of future time instances; and obtaining the set of measured results on the set of future time instances by performing reference signal transmission or reception on the second resource.

[0349] In some embodiments, if an indication for activating a first report for a further set of measured results on a set of history time instances is received from the network device 120, the terminal device 110 may transmit, to the network device 120, the first report comprising the further set of measured results. If an indication for activating a second report for a result of the model monitoring is received from the network device120, the terminal device 110 may transmit, to the network device 120, the second report comprising at least one of the following: one or more monitoring metrics, information indicating a model switch is needed, or information indicating a mode of the model switch.

[0350] In some embodiments, the terminal device 110 may receive, from the network device 120, an indication for activating the second resource. In some embodiments, the indication for activating the second resource and the indication for activating the second report may be the same indication. In some embodiments, the indication for activating the first report and the indication for activating the second report are the same indication.

[0351] In some embodiments, the first resource and the second resource may be configured with a same or corresponding set of parameters or properties, or transmitted or received with  a same or corresponding setup for at least one of the following: reference signal density, a set of antenna ports, number of antenna ports, Tx power, a TCI state, QCL information, a set of Rx beams, number of the first resources, number of the second resources, a set of Tx beams, a Tx beam pattern, or the first resource is a set of beams to be measured as an input of the model and the second resource is a set of beams to be predicted as an output of the model.

[0352] In some embodiments, the first resource and the second resource may be transmitted with a first setup and a second setup respectively. In these embodiments, the terminal device 110 may receive, from the network device 120, a difference between the first setup and the second setup.

[0353] In some embodiments, the terminal device 110 may transmit, to the network device 120, capability information of the terminal device 110 comprising at least one of the following: information of whether the terminal device 110 supports model monitoring without dedicated resources for obtaining the set of measured results; information of whether the terminal device 110 supports a request of the second resource; information of whether the terminal device 110 supports the request of the second resource in a first report for the model inference; number of second resources required for the model monitoring at the terminal device 110; information of whether the terminal device 110 supports an aperiodic report of model monitoring results; information of whether the terminal device 110 supports one aperiodic report for both the model inference and the model monitoring; information of whether the terminal device 110 supports the set of measured results for the set of future time instances; number of future time instances supported by the terminal device 110; information of whether the capability information is reported for time-domain channel status information prediction and time-domain beam prediction respectively; information of whether the capability information is reported for each model respectively; information of whether the capability information is reported for terminal device side prediction and network device side prediction respectively; or information of whether the capability information is reported for terminal device side monitoring and network device side monitoring respectively.

[0354] With the method 800, a measurement opportunity of a future time instance may be provided and model monitoring may be facilitated. It is to be understood that operations of the method 800 correspond to that described in connection with FIGs. 3 to 7, and other details are omitted here for conciseness.

[0355] FIG. 9 illustrates an example method 900 of communication implemented at a  network device in accordance with some embodiments of the present disclosure. For example, the method 900 may be performed at the network device 120 as shown in FIG. 1. For the purpose of discussion, in the following, the method 900 will be described with reference to FIG. 1. It is to be understood that the method 900 may include additional blocks not shown and / or may omit some blocks as shown, and the scope of the present disclosure is not limited in this regard.

[0356] At block 910, the network device 120 transmits, to the terminal device 110, a configuration comprising a first resource for model inference of a model for time domain prediction and a second resource for model monitoring of the model. The second resource is used on a set of future time instances associated with the model inference and is associated with the first resource.

[0357] At block 920, the network device 120 causes the model to be monitored by causing a set of predicted results and a set of measured results on the set of future time instances to be obtained based on reference signal transmission or reception on the first resource and the second resource respectively.

[0358] In some embodiments, the model inference and the model monitoring are performed at the terminal device 110. In some embodiments, the network device 120 may further transmit, to the terminal device 110, a configuration indicating at least one of the following: a first report for the set of predicted results, a second report for a result of the model monitoring, an association between the first report and the second report, or at least one trigger state is used for triggering the first report and the second report.

[0359] In some embodiments where the model inference and the model monitoring are performed at the terminal device 110, the network device 120 may cause the model to be monitored by: receiving, from the terminal device 110, a request for the model monitoring, the request comprising at least one of the following: information of the set of future time instances, information of a request for the second resource for monitoring the model, or information of a request for a second report for a result of the model monitoring. In some embodiments, the network device 120 may receive the request for the model monitoring in a first report for the set of predicted results.

[0360] In some embodiments, the network device 120 may transmit, to the terminal device 110, an indication for activating a first report for the set of predicted results. In some embodiments, the network device 120 may receive, from the terminal device 110, the first  report comprising the set of predicated results. In some embodiments, the network device 120 may transmit, to the terminal device 110, an indication for activating the second report. In some embodiments, the network device 120 may receive, from the terminal device 110, the second report comprising at least one of the following: one or more monitoring metrics, information indicating a model switch is needed, or information indicating a mode of the model switch.

[0361] In some embodiments, the model inference is performed at the terminal device 110, and the model monitoring is performed at the network device 120. In some embodiments, the network device 120 may further transmit, to the terminal device 110, a configuration indicating at least one of the following: a first report for the set of predicted results, a second report for the set of measured results, an association between the first report and the second report, or at least one trigger state is used for triggering the first report and the second report.

[0362] In some embodiments where the model inference is performed at the terminal device 110 and the model monitoring is performed at the network device 120, the network device 120 may cause the model to be monitored by: receiving, from the terminal device 110, a first report for the set of predicted results; receiving, from the terminal device 110, a request for the model monitoring, the request comprising at least one of the following: information of the set of future time instances, information of a request for the second resource for monitoring the model, or information of a request for a second report for the set of measured results; and obtaining the set of measured results on the set of future time instances by performing reference signal transmission or reception on the second resource. In some embodiments, the network device 120 may receive the request for the model monitoring in the first report for the set of predicted results. In some embodiments, the network device 120 may perform the reference signal transmission on the second resource by causing a receiving beam of the second resource to correspond to a transmitting beam of the first resource.

[0363] In some embodiments, the network device 120 may transmit, to the terminal device 110, an indication for activating a first report for the set of predicted results. In some embodiments, the network device 120 may receive, from the terminal device 110, the first report comprising the set of predicated results. In some embodiments, the network device 120 may transmit, to the terminal device 110, an indication for activating the second report. In some embodiments, the network device 120 may receive, from the terminal device 110, the second report comprising the set of measured results. In some embodiments, the  network device 120 may transmit, to the terminal device 110, information of the model monitoring comprising at least one of the following: information indicating a model switch is needed, or information indicating a mode of the model switch.

[0364] In some embodiments, the model inference and the model monitoring are performed at the network device 120. In some embodiments, the network device 120 may further transmit, to the terminal device 110, a configuration indicating at least one of the following: a first report for a further set of measured results on a set of history time instances, a second report for the set of measured results, an association between the first report and the second report, at least one trigger state is used for triggering the first report and the second report, or an indication that the second report is one-shot report for the set of measured results or a set of reports for the set of measured results, a report in the set of reports corresponding to a future time instance in the set of future time instances.

[0365] In some embodiments where the model inference and the model monitoring are performed at the network device 120, the network device 120 may cause the model to be monitored by: obtaining the set of predicted results on the set of future time instances by performing reference signal transmission or reception on the first resource; and obtaining the set of measured results on the set of future time instances by performing reference signal transmission or reception on the second resource.

[0366] In some embodiments, the network device 120 may obtain the set of predicted results by: transmitting, to the terminal device 110, an indication for activating a first report for a further set of measured results on a set of history time instances; and receiving, from the terminal device 110, the first report comprising a further set of measured results on a set of history time instances as an input of the model. In some embodiments, the network device 120 may obtain the set of measured results by: transmitting, to the terminal device 110, an indication for activating a second report for the set of measured results on the set of future time instances; and receiving, from the terminal device 110, the second report comprising the set of measured results.

[0367] In some embodiments, the model inference is performed at the network device 120 and the model monitoring is performed at the terminal device 110. In some embodiments, the network device 120 may further transmit, to the terminal device 110, a configuration indicating at least one of the following: a first report for a further set of measured results on a set of history time instances, a second report for a result of the model monitoring, an  association between the first report and the second report, at least one trigger state is used for triggering the first report and the second report, or an indication that the second report is one-shot report for the set of measured results or a set of reports for the set of measured results, a report in the set of reports corresponding to a future time instance in the set of future time instances.

[0368] In some embodiments where the model inference is performed at the network device 120 and the model monitoring is performed at the terminal device 110, the network device 120 may cause the model to be monitored by: transmitting, to the terminal device 110, the set of predicted results on the set of future time instances; and causing the set of measured results on the set of future time instances to be obtained by performing reference signal transmission or reception on the second resource.

[0369] In some embodiments, the network device 120 may transmit, to the terminal device 110, an indication for activating a first report for a further set of measured results on a set of history time instances. In some embodiments, the network device 120 may receive, from the terminal device 110, the first report comprising a further set of measured results on a set of history time instances. In some embodiments, the network device 120 may transmit, to the terminal device 110, an indication for activating a second report for a result of the model monitoring. In some embodiments, the network device 120 may receive, from the terminal device 110, the second report comprising at least one of the following: one or more monitoring metrics, information indicating a model switch is needed, or information indicating a mode of the model switch.

[0370] In some embodiments, the network device 120 may transmit, to the terminal device 110, an indication for activating the second resource. In some embodiments, the indication for activating the second resource and the indication for activating the second report may be the same indication. In some embodiments, the indication for activating the first report and the indication for activating the second report may be the same indication.

[0371] In some embodiments, the first resource and the second resource may be configured with a same or corresponding set of parameters or properties, or transmitted or received with a same or corresponding setup for at least one of the following: reference signal density, a set of antenna ports, number of antenna ports, Tx power, a TCI state, QCL information, a set of Rx beams, number of the first resources, number of the second resources, a set of Tx beams, a Tx beam pattern, or the first resource is a set of beams to be measured as an input of the  model and the second resource is a set of beams to be predicted as an output of the model.

[0372] In some embodiments, the first resource and the second resource may be transmitted with a first setup and a second setup respectively. In these embodiments, the network device 120 may transmit, to the terminal device 110, a difference between the first setup and the second setup.

[0373] In some embodiments, the network device 120 may transmit, to the terminal device 110, capability information of the terminal device 110 comprising at least one of the following: information of whether the terminal device 110 supports model monitoring without dedicated resources for obtaining the set of measured results; information of whether the terminal device 110 supports a request of the second resource; information of whether the terminal device 110 supports the request of the second resource in a first report for the model inference; number of second resources required for the model monitoring at the terminal device 110; information of whether the terminal device 110 supports an aperiodic report of model monitoring results; information of whether the terminal device 110 supports one aperiodic report for both the model inference and the model monitoring; information of whether the terminal device 110 supports the set of measured results for the set of future time instances; number of future time instances supported by the terminal device 110; information of whether the capability information is reported for time-domain channel status information prediction and time-domain beam prediction respectively; information of whether the capability information is reported for each model respectively; information of whether the capability information is reported for terminal device side prediction and network device side prediction respectively; or information of whether the capability information is reported for terminal device side monitoring and network device side monitoring respectively.

[0374] With the method 900, network configuration may be provided for a measurement opportunity of a future time instance and model monitoring may be facilitated. It is to be understood that operations of the method 900 correspond to that described in connection with FIGs. 3 to 7, and other details are omitted here for conciseness.

[0375] EXAMPLE IMPLEMENTATION OF DEVICES

[0376] FIG. 10 is a simplified block diagram of a device 1000 that is suitable for implementing embodiments of the present disclosure. The device 1000 can be considered as a further example implementation of the terminal device 110 or the network device 120 as shown in FIG. 1. Accordingly, the device 1000 can be implemented at or as at least a part  of the terminal device 110 or the network device 120.

[0377] As shown, the device 1000 includes a processor 1010, a memory 1020 coupled to the processor 1010, a suitable transceiver 1040 coupled to the processor 1010, and a communication interface coupled to the transceiver 1040. The memory 1010 stores at least a part of a program 1030. The transceiver 1040 may be for bidirectional communications or a unidirectional communication based on requirements. The transceiver 1040 may include at least one of a transmitter 1042 or a receiver 1044. The transmitter 1042 and the receiver 1044 may be functional modules or physical entities. The transceiver 1040 has at least one antenna to facilitate communication, though in practice an Access Node mentioned in this application may have several ones. The communication interface may represent any interface that is necessary for communication with other network elements, such as X2 / Xn interface for bidirectional communications between eNBs / gNBs, S1 / NG interface for communication between a mobility management entity (MME)  / access and mobility management function (AMF)  / SGW / UPF and the eNB / gNB, Un interface for communication between the eNB / gNB and a relay node (RN) , or Uu interface for communication between the eNB / gNB and a terminal device.

[0378] The program 1030 is assumed to include program instructions that, when executed by the associated processor 1010, enable the device 1000 to operate in accordance with the embodiments of the present disclosure, as discussed herein with reference to FIGs. 1 to 9. The embodiments herein may be implemented by computer software executable by the processor 1010 of the device 1000, or by hardware, or by a combination of software and hardware. The processor 1010 may be configured to implement various embodiments of the present disclosure. Furthermore, a combination of the processor 1010 and memory 1020 may form processing means 1050 adapted to implement various embodiments of the present disclosure.

[0379] The memory 1020 may be of any type suitable to the local technical network and may be implemented using any suitable data storage technology, such as a non-transitory computer readable storage medium, semiconductor based memory devices, magnetic memory devices and systems, optical memory devices and systems, fixed memory and removable memory, as non-limiting examples. While only one memory 1020 is shown in the device 1000, there may be several physically distinct memory modules in the device 1000. The processor 1010 may be of any type suitable to the local technical network, and may include one or more of general purpose computers, special purpose computers,  microprocessors, digital signal processors (DSPs) and processors based on multicore processor architecture, as non-limiting examples. The device 1000 may have multiple processors, such as an application specific integrated circuit chip that is slaved in time to a clock which synchronizes the main processor.

[0380] In some embodiments, a terminal device comprises a circuitry configured to: receive, from a network device, a configuration comprising a first resource for model inference of a model for time domain prediction and a second resource for model monitoring of the model, the second resource being used on a set of future time instances associated with the model inference and being associated with the first resource; and cause the model to be monitored by causing a set of predicted results and a set of measured results on the set of future time instances to be obtained based on reference signal transmission or reception on the first resource and the second resource respectively.

[0381] In some embodiments, a network device comprises a circuitry configured to: transmit, to a terminal device, a configuration comprising a first resource for model inference of a model for time domain prediction and a second resource for model monitoring of the model, the second resource being used on a set of future time instances associated with the model inference and being associated with the first resource; and cause the model to be monitored by causing a set of predicted results and a set of measured results on the set of future time instances to be obtained based on reference signal transmission or reception on the first resource and the second resource respectively.

[0382] The term “circuitry” used herein may refer to hardware circuits and / or combinations of hardware circuits and software. For example, the circuitry may be a combination of analog and / or digital hardware circuits with software / firmware. As a further example, the circuitry may be any portions of hardware processors with software including digital signal processor (s) , software, and memory (ies) that work together to cause an apparatus, such as a terminal device or a network device, to perform various functions. In a still further example, the circuitry may be hardware circuits and or processors, such as a microprocessor or a portion of a microprocessor, that requires software / firmware for operation, but the software may not be present when it is not needed for operation. As used herein, the term circuitry also covers an implementation of merely a hardware circuit or processor (s) or a portion of a hardware circuit or processor (s) and its (or their) accompanying software and / or firmware.

[0383] In summary, embodiments of the present disclosure may provide the following  solutions.

[0384] In one solution, a terminal device comprises a processor configured to cause the terminal device to: receive, from a network device, a configuration comprising a first resource for model inference of a model for time domain prediction and a second resource for model monitoring of the model, the second resource being used on a set of future time instances associated with the model inference and being associated with the first resource; and cause the model to be monitored by causing a set of predicted results and a set of measured results on the set of future time instances to be obtained based on reference signal transmission or reception on the first resource and the second resource respectively.

[0385] In some embodiments, the model inference and the model monitoring are performed at the terminal device.

[0386] In some embodiments, the terminal device is further caused to: receive, from the network device, a configuration indicating at least one of the following: a first report for the set of predicted results, a second report for a result of the model monitoring, an association between the first report and the second report, or at least one trigger state is used for triggering the first report and the second report.

[0387] In some embodiments, the terminal device is caused to cause the model to be monitored by: obtaining the set of predicted results on the set of future time instances by the model inference with reference signal measurements on the first resource as an input of the model; transmitting, to the network device, a request for the model monitoring, the request comprising at least one of the following: information of the set of future time instances, information of a request for the second resource for monitoring the model, or information of a request for a second report for a result of the model monitoring; and obtaining the set of measured results on the set of future time instances by performing reference signal transmission or reception on the second resource.

[0388] In some embodiments, the terminal device is caused to transmit the request for the model monitoring by: transmitting the request for the model monitoring in a first report for the set of predicted results.

[0389] In some embodiments, the terminal device is further caused to at least one of the following: in accordance with a determination that an indication for activating a first report for the set of predicted results is received from the network device, transmit, to the network device, the first report comprising the set of predicated results; or in accordance with a  determination that an indication for activating the second report is received from the network device, transmit, to the network device, the second report comprising at least one of the following: one or more monitoring metrics, information indicating a model switch is needed, or information indicating a mode of the model switch.

[0390] In some embodiments, the model inference is performed at the terminal device, and the model monitoring is performed at the network device.

[0391] In some embodiments, the terminal device is further caused to: receive, from the network device, a configuration indicating at least one of the following: a first report for the set of predicted results, a second report for the set of measured results, an association between the first report and the second report, or at least one trigger state is used for triggering the first report and the second report.

[0392] In some embodiments, the terminal device is caused to cause the model to be monitored by: obtaining the set of predicted results on the set of future time instances by the model inference with reference signal measurements on the first resource as an input of the model; transmitting, to the network device, a first report for the set of predicted results; transmitting, to the network device, a request for the model monitoring, the request comprising at least one of the following: information of the set of future time instances, information of a request for the second resource for monitoring the model, or information of a request for a second report for the set of measured results; and causing the set of measured results on the set of future time instances to be obtained by performing reference signal transmission or reception on the second resource.

[0393] In some embodiments, the terminal device is caused to transmit the request for the model monitoring by: transmitting the request for the model monitoring in the first report for the set of predicted results. In some embodiments, the terminal device is caused to perform the reference signal transmission on the second resource by: causing a transmitting beam of the second resource to correspond to a receiving beam of the first resource.

[0394] In some embodiments, the terminal device is further caused to at least one of the following: in accordance with a determination that an indication for activating a first report for the set of predicted results is received from the network device, transmit, to the network device, the first report comprising the set of predicted results; in accordance with a determination that an indication for activating the second report is received from the network device, transmit, to the network device, the second report comprising the set of measured  results; or receive, from the network device, information of the model monitoring comprising at least one of the following: information indicating a model switch is needed, or information indicating a mode of the model switch.

[0395] In some embodiments, the model inference and the model monitoring are performed at the network device.

[0396] In some embodiments, the terminal device is further caused to: receive, from the network device, a configuration indicating at least one of the following: a first report for a further set of measured results on a set of history time instances, a second report for the set of measured results, an association between the first report and the second report, at least one trigger state is used for triggering the first report and the second report, or an indication that the second report is one-shot report for the set of measured results or a set of reports for the set of measured results, a report in the set of reports corresponding to a future time instance in the set of future time instances.

[0397] In some embodiments, the terminal device is caused to cause the model to be monitored by: causing the set of predicted results on the set of future time instances to be obtained by performing reference signal transmission or reception on the first resource; and causing the set of measured results on the set of future time instances to be obtained by performing reference signal transmission or reception on the second resource.

[0398] In some embodiments, the terminal device is caused to cause the set of predicted results to be obtained by: in accordance with a determination that an indication for activating a first report for a further set of measured results on a set of history time instances is received from the network device, transmitting, to the network device, the first report comprising the further set of measured results. In some embodiments, the terminal device is caused to cause the set of measured results to be obtained by: in accordance with a determination that an indication for activating a second report for the set of measured results on the set of future time instances is received from the network device, transmitting, to the network device, the second report comprising the set of measured results.

[0399] In some embodiments, the model inference is performed at the network device and the model monitoring is performed at the terminal device.

[0400] In some embodiments, the terminal device is further caused to: receive, from the network device, a configuration indicating at least one of the following: a first report for a further set of measured results on a set of history time instances, a second report for a result  of the model monitoring, an association between the first report and the second report, at least one trigger state is used for triggering the first report and the second report, or an indication that the second report is one-shot report for a set of model monitoring results or a set of reports for the set of model monitoring results, a report in the set of reports corresponding to a future time instance in the set of future time instances.

[0401] In some embodiments, the terminal device is caused to cause the model to be monitored by: receiving, from the network device, the set of predicted results on the set of future time instances; and obtaining the set of measured results on the set of future time instances by performing reference signal transmission or reception on the second resource.

[0402] In some embodiments, the terminal device is further caused to at least one of the following: in accordance with a determination that an indication for activating a first report for a further set of measured results on a set of history time instances is received from the network device, transmit, to the network device, the first report comprising the further set of measured results; or in accordance with a determination that an indication for activating a second report for a result of the model monitoring is received from the network device, transmit, to the network device, the second report comprising at least one of the following: one or more monitoring metrics, information indicating a model switch is needed, or information indicating a mode of the model switch.

[0403] In some embodiments, the terminal device is further caused to: receive, from the network device, an indication for activating the second resource.

[0404] In some embodiments, an indication for activating the second resource and the indication for activating the second report are the same indication. In some embodiments, an indication for activating the first report and the indication for activating the second report are the same indication.

[0405] In some embodiments, the first resource and the second resource are configured with a same or corresponding set of parameters or properties, or transmitted or received with a same or corresponding setup for at least one of the following: reference signal density, a set of antenna ports, number of antenna ports, transmitting power, a transmission configuration indication (TCI) state, quasi-colocation (QCL) information, a set of receiving beams, number of the first resources, number of the second resources, a set of transmitting beams, a transmitting beam pattern, or the first resource is a set of beams to be measured as an input of the model, and the second resource is a set of beams to be predicted as an output of the  model.

[0406] In some embodiments, the first resource and the second resource are transmitted with a first setup and a second setup respectively, and wherein the terminal device is further caused to: receive, from the network device, a difference between the first setup and the second setup.

[0407] In some embodiments, the terminal device is further caused to: transmit, to the network device, capability information of the terminal device comprising at least one of the following: information of whether the terminal device supports model monitoring without dedicated resources for obtaining the set of measured results; information of whether the terminal device supports a request of the second resource; information of whether the terminal device supports the request of the second resource in a first report for the model inference; number of second resources required for the model monitoring at the terminal device; information of whether the terminal device supports an aperiodic report of model monitoring results; information of whether the terminal device supports one aperiodic report for both the model inference and the model monitoring; information of whether the terminal device supports the set of measured results for the set of future time instances; number of future time instances supported by the terminal device; information of whether the capability information is reported for time-domain channel status information prediction and time-domain beam prediction respectively; information of whether the capability information is reported for each model respectively; information of whether the capability information is reported for terminal device side prediction and network device side prediction respectively; or information of whether the capability information is reported for terminal device side monitoring and network device side monitoring respectively.

[0408] In another solution, a network device comprises a processor configured to cause the network device to: transmit, to a terminal device, a configuration comprising a first resource for model inference of a model for time domain prediction and a second resource for model monitoring of the model, the second resource being used on a set of future time instances associated with the model inference and being associated with the first resource; and cause the model to be monitored by causing a set of predicted results and a set of measured results on the set of future time instances to be obtained based on reference signal transmission or reception on the first resource and the second resource respectively.

[0409] In some embodiments, the model inference and the model monitoring are performed  at the terminal device.

[0410] In some embodiments, the network device is further caused to: transmit, to the terminal device, a configuration indicating at least one of the following: a first report for the set of predicted results, a second report for a result of the model monitoring, an association between the first report and the second report, or at least one trigger state is used for triggering the first report and the second report.

[0411] In some embodiments, the network device is caused to cause the model to be monitored by: receiving, from the terminal device, a request for the model monitoring, the request comprising at least one of the following: information of the set of future time instances, information of a request for the second resource for monitoring the model, or information of a request for a second report for a result of the model monitoring.

[0412] In some embodiments, the network device is caused to receive the request for the model monitoring by: receiving the request for the model monitoring in a first report for the set of predicted results.

[0413] In some embodiments, the network device is further caused to at least one of the following: transmit, to the terminal device, an indication for activating a first report for the set of predicted results; receive, from the terminal device, the first report comprising the set of predicated results; transmit, to the terminal device, an indication for activating the second report; or receive, from the terminal device, the second report comprising at least one of the following: one or more monitoring metrics, information indicating a model switch is needed, or information indicating a mode of the model switch.

[0414] In some embodiments, the model inference is performed at the terminal device, and the model monitoring is performed at the network device.

[0415] In some embodiments, the network device is further caused to: transmit, to the terminal device, a configuration indicating at least one of the following: a first report for the set of predicted results, a second report for the set of measured results, an association between the first report and the second report, or at least one trigger state is used for triggering the first report and the second report.

[0416] In some embodiments, the network device is caused to cause the model to be monitored by: receiving, from the terminal device, a first report for the set of predicted results; receiving, from the terminal device, a request for the model monitoring, the request comprising at least one of the following: information of the set of future time instances,  information of a request for the second resource for monitoring the model, or information of a request for a second report for the set of measured results; and obtaining the set of measured results on the set of future time instances by performing reference signal transmission or reception on the second resource.

[0417] In some embodiments, the network device is caused to receive the request for the model monitoring by: receiving the request for the model monitoring in the first report for the set of predicted results. In some embodiments, the network device is caused to perform the reference signal transmission on the second resource by: causing a receiving beam of the second resource to correspond to a transmitting beam of the first resource.

[0418] In some embodiments, the network device is further caused to at least one of the following: transmit, to the terminal device, an indication for activating a first report for the set of predicted results; receive, from the terminal device, the first report comprising the set of predicated results; transmit, to the terminal device, an indication for activating the second report; receive, from the terminal device, the second report comprising the set of measured results; or transmit, to the terminal device, information of the model monitoring comprising at least one of the following: information indicating a model switch is needed, or information indicating a mode of the model switch.

[0419] In some embodiments, the model inference and the model monitoring are performed at the network device.

[0420] In some embodiments, the network device is further caused to: transmit, to the terminal device, a configuration indicating at least one of the following: a first report for a further set of measured results on a set of history time instances, a second report for the set of measured results, an association between the first report and the second report, at least one trigger state is used for triggering the first report and the second report, or an indication that the second report is one-shot report for the set of measured results or a set of reports for the set of measured results, a report in the set of reports corresponding to a future time instance in the set of future time instances.

[0421] In some embodiments, the network device is caused to cause the model to be monitored by: obtaining the set of predicted results on the set of future time instances by performing reference signal transmission or reception on the first resource; and obtaining the set of measured results on the set of future time instances by performing reference signal transmission or reception on the second resource.

[0422] In some embodiments, the network device is caused to obtain the set of predicted results by: transmitting, to the terminal device, an indication for activating a first report for a further set of measured results on a set of history time instances; and receiving, from the terminal device, the first report comprising a further set of measured results on a set of history time instances as an input of the model. In some embodiments, the network device is caused to obtain the set of measured results by: transmitting, to the terminal device, an indication for activating a second report for the set of measured results on the set of future time instances; and receiving, from the terminal device, the second report comprising the set of measured results.

[0423] In some embodiments, the model inference is performed at the network device and the model monitoring is performed at the terminal device.

[0424] In some embodiments, the network device is further caused to: transmit, to the terminal device, a configuration indicating at least one of the following: a first report for a further set of measured results on a set of history time instances, a second report for a result of the model monitoring, an association between the first report and the second report, at least one trigger state is used for triggering the first report and the second report, or an indication that the second report is one-shot report for the set of measured results or a set of reports for the set of measured results, a report in the set of reports corresponding to a future time instance in the set of future time instances.

[0425] In some embodiments, the network device is caused to cause the model to be monitored by: transmitting, to the terminal device, the set of predicted results on the set of future time instances; and causing the set of measured results on the set of future time instances to be obtained by performing reference signal transmission or reception on the second resource.

[0426] In some embodiments, the network device is further caused to at least one of the following: transmit, to the terminal device, an indication for activating a first report for a further set of measured results on a set of history time instances; receive, from the terminal device, the first report comprising a further set of measured results on a set of history time instances; transmit, to the terminal device, an indication for activating a second report for a result of the model monitoring; or receive, from the terminal device, the second report comprising at least one of the following: one or more monitoring metrics, information indicating a model switch is needed, or information indicating a mode of the model switch.

[0427] In some embodiments, the network device is further caused to: transmit, to the terminal device, an indication for activating the second resource.

[0428] In some embodiments, an indication for activating the second resource and the indication for activating the second report are the same indication. In some embodiments, an indication for activating the first report and the indication for activating the second report are the same indication.

[0429] In some embodiments, the first resource and the second resource are configured with a same or corresponding set of parameters or properties, or transmitted or received with a same or corresponding setup for at least one of the following: reference signal density, a set of antenna ports, number of antenna ports, transmitting power, a transmission configuration indication (TCI) state, quasi-colocation (QCL) information, a set of receiving beams, number of the first resources, number of the second resources, a set of transmitting beams, a transmitting beam pattern, or the first resource is a set of beams to be measured as an input of the model, and the second resource is a set of beams to be predicted as an output of the model.

[0430] In some embodiments, the first resource and the second resource are transmitted with a first setup and a second setup respectively, and the network device is further caused to:transmit, to the terminal device, a difference between the first setup and the second setup.

[0431] In some embodiments, the network device is further caused to: receive, from the terminal device, capability information of the terminal device comprising at least one of the following: information of whether the terminal device supports model monitoring without dedicated resources for obtaining the set of measured results; information of whether the terminal device supports a request of the second resource; information of whether the terminal device supports the request of the second resource in a first report for the model inference; number of second resources required for the model monitoring at the terminal device; information of whether the terminal device supports an aperiodic report of model monitoring results; information of whether the terminal device supports one aperiodic report for both the model inference and the model monitoring; information of whether the terminal device supports the set of measured results for the set of future time instances; number of future time instances supported by the terminal device; information of whether the capability information is reported for time-domain channel status information prediction and time-domain beam prediction respectively; information of whether the capability information is  reported for each model respectively; information of whether the capability information is reported for terminal device side prediction and network device side prediction respectively; or information of whether the capability information is reported for terminal device side monitoring and network device side monitoring respectively.

[0432] Generally, various embodiments of the present disclosure may be implemented in hardware or special purpose circuits, software, logic or any combination thereof. Some aspects may be implemented in hardware, while other aspects may be implemented in firmware or software which may be executed by a controller, microprocessor or other computing device. While various aspects of embodiments of the present disclosure are illustrated and described as block diagrams, flowcharts, or using some other pictorial representation, it will be appreciated that the blocks, apparatus, systems, techniques or methods described herein may be implemented in, as non-limiting examples, hardware, software, firmware, special purpose circuits or logic, general purpose hardware or controller or other computing devices, or some combination thereof.

[0433] The present disclosure also provides at least one computer program product tangibly stored on a non-transitory computer readable storage medium. The computer program product includes computer-executable instructions, such as those included in program modules, being executed in a device on a target real or virtual processor, to carry out the process or method as described above with reference to FIGs. 1 to 9. Generally, program modules include routines, programs, libraries, objects, classes, components, data structures, or the like that perform particular tasks or implement particular abstract data types. The functionality of the program modules may be combined or split between program modules as desired in various embodiments. Machine-executable instructions for program modules may be executed within a local or distributed device. In a distributed device, program modules may be located in both local and remote storage media.

[0434] Program code for carrying out methods of the present disclosure may be written in any combination of one or more programming languages. These program codes may be provided to a processor or controller of a general purpose computer, special purpose computer, or other programmable data processing apparatus, such that the program codes, when executed by the processor or controller, cause the functions / operations specified in the flowcharts and / or block diagrams to be implemented. The program code may execute entirely on a machine, partly on the machine, as a stand-alone software package, partly on the machine and partly on a remote machine or entirely on the remote machine or server.

[0435] The above program code may be embodied on a machine readable medium, which may be any tangible medium that may contain, or store a program for use by or in connection with an instruction execution system, apparatus, or device. The machine readable medium may be a machine readable signal medium or a machine readable storage medium. A machine readable medium may include but not limited to an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any suitable combination of the foregoing. More specific examples of the machine readable storage medium would include an electrical connection having one or more wires, a portable computer diskette, a hard disk, a random access memory (RAM) , a read-only memory (ROM) , an erasable programmable read-only memory (EPROM or Flash memory) , an optical fiber, a portable compact disc read-only memory (CD-ROM) , an optical storage device, a magnetic storage device, or any suitable combination of the foregoing.

[0436] Further, while operations are depicted in a particular order, this should not be understood as requiring that such operations be performed in the particular order shown or in sequential order, or that all illustrated operations be performed, to achieve desirable results. In certain circumstances, multitasking and parallel processing may be advantageous. Likewise, while several specific implementation details are contained in the above discussions, these should not be construed as limitations on the scope of the present disclosure, but rather as descriptions of features that may be specific to particular embodiments. Certain features that are described in the context of separate embodiments may also be implemented in combination in a single embodiment. Conversely, various features that are described in the context of a single embodiment may also be implemented in multiple embodiments separately or in any suitable sub-combination.

[0437] Although the present disclosure has been described in language specific to structural features and / or methodological acts, it is to be understood that the present disclosure defined in the appended claims is not necessarily limited to the specific features or acts described above. Rather, the specific features and acts described above are disclosed as example forms of implementing the claims.

Claims

1.A terminal device, comprising:a processor configured to cause the terminal device to:receive, from a network device, a configuration comprising a first resource for model inference of a model for time domain prediction and a second resource for model monitoring of the model, the second resource being used on a set of future time instances associated with the model inference and being associated with the first resource; andcause the model to be monitored by causing a set of predicted results and a set of measured results on the set of future time instances to be obtained based on reference signal transmission or reception on the first resource and the second resource respectively.2.The terminal device of claim 1, wherein the model inference and the model monitoring are performed at the terminal device.3.The terminal device of claim 2, wherein the terminal device is further caused to:receive, from the network device, a configuration indicating at least one of the following:a first report for the set of predicted results,a second report for a result of the model monitoring,an association between the first report and the second report, orat least one trigger state is used for triggering the first report and the second report.4.The terminal device of claim 2, wherein the terminal device is caused to cause the model to be monitored by:obtaining the set of predicted results on the set of future time instances by the model inference with reference signal measurements on the first resource as an input of the model;transmitting, to the network device, a request for the model monitoring, the request comprising at least one of the following: information of the set of future time instances, information of a request for the second resource for monitoring the model, or information of a request for a second report for a result of the model monitoring; andobtaining the set of measured results on the set of future time instances by performing reference signal transmission or reception on the second resource.5.The terminal device of claim 4, wherein the terminal device is caused to transmit the  request for the model monitoring by:transmitting the request for the model monitoring in a first report for the set of predicted results.6.The terminal device of claim 4, wherein the terminal device is further caused to at least one of the following:in accordance with a determination that an indication for activating a first report for the set of predicted results is received from the network device, transmit, to the network device, the first report comprising the set of predicated results; orin accordance with a determination that an indication for activating the second report is received from the network device, transmit, to the network device, the second report comprising at least one of the following:one or more monitoring metrics,information indicating a model switch is needed, orinformation indicating a mode of the model switch.7.The terminal device of claim 1, wherein the model inference is performed at the terminal device, and the model monitoring is performed at the network device.8.The terminal device of claim 7, wherein the terminal device is further caused to:receive, from the network device, a configuration indicating at least one of the following:a first report for the set of predicted results,a second report for the set of measured results,an association between the first report and the second report, orat least one trigger state is used for triggering the first report and the second report.9.The terminal device of claim 7, wherein the terminal device is caused to cause the model to be monitored by:obtaining the set of predicted results on the set of future time instances by the model inference with reference signal measurements on the first resource as an input of the model;transmitting, to the network device, a first report for the set of predicted results;transmitting, to the network device, a request for the model monitoring, the request comprising at least one of the following: information of the set of future time instances, information of a request for the second resource for monitoring the model, or information of a request for a second report for the set of measured results; andcausing the set of measured results on the set of future time instances to be obtained by performing reference signal transmission or reception on the second resource.10.The terminal device of claim 9, wherein the terminal device is caused to transmit the request for the model monitoring by: transmitting the request for the model monitoring in the first report for the set of predicted results, orwherein the terminal device is caused to perform the reference signal transmission on the second resource by: causing a transmitting beam of the second resource to correspond to a receiving beam of the first resource.11.The terminal device of claim 9, wherein the terminal device is further caused to at least one of the following:in accordance with a determination that an indication for activating a first report for the set of predicted results is received from the network device, transmit, to the network device, the first report comprising the set of predicted results;in accordance with a determination that an indication for activating the second report is received from the network device, transmit, to the network device, the second report comprising the set of measured results; orreceive, from the network device, information of the model monitoring comprising at least one of the following: information indicating a model switch is needed, or information indicating a mode of the model switch.12.The terminal device of claim 1, wherein the model inference and the model monitoring are performed at the network device.13.The terminal device of claim 12, wherein the terminal device is further caused to:receive, from the network device, a configuration indicating at least one of the following:a first report for a further set of measured results on a set of history time instances,a second report for the set of measured results,an association between the first report and the second report,at least one trigger state is used for triggering the first report and the second report, oran indication that the second report is one-shot report for the set of measured results or a set of reports for the set of measured results, a report in the set of reports corresponding to a future time instance in the set of future time instances.14.The terminal device of claim 12, wherein the terminal device is caused to cause the model to be monitored by:causing the set of predicted results on the set of future time instances to be obtained by performing reference signal transmission or reception on the first resource; andcausing the set of measured results on the set of future time instances to be obtained by performing reference signal transmission or reception on the second resource.15.The terminal device of claim 14, wherein the terminal device is caused to cause the set of predicted results to be obtained by: in accordance with a determination that an indication for activating a first report for a further set of measured results on a set of history time instances is received from the network device, transmitting, to the network device, the first report comprising the further set of measured results, orwherein the terminal device is caused to cause the set of measured results to be obtained by: in accordance with a determination that an indication for activating a second report for the set of measured results on the set of future time instances is received from the network device, transmitting, to the network device, the second report comprising the set of measured results.16.The terminal device of claim 6 or 11 or 15, wherein an indication for activating the second resource and the indication for activating the second report are the same indication, orwherein an indication for activating the first report and the indication for activating the second report are the same indication.17.The terminal device of claim 1, wherein the first resource and the second resource are configured with a same or corresponding set of parameters or properties, or transmitted or received with a same or corresponding setup for at least one of the following:reference signal density,a set of antenna ports,number of antenna ports,transmitting power,a transmission configuration indication (TCI) state,quasi-colocation (QCL) information,a set of receiving beams,number of the first resources,number of the second resources,a set of transmitting beams,a transmitting beam pattern, orthe first resource is a set of beams to be measured as an input of the model, and the second resource is a set of beams to be predicted as an output of the model.18.The terminal device of claim 1, wherein the first resource and the second resource are transmitted with a first setup and a second setup respectively, and wherein the terminal device is further caused to:receive, from the network device, a difference between the first setup and the second setup.19.The terminal device of claim 1, wherein the terminal device is further caused to:transmit, to the network device, capability information of the terminal device comprising at least one of the following:information of whether the terminal device supports model monitoring without dedicated resources for obtaining the set of measured results;information of whether the terminal device supports a request of the second resource;information of whether the terminal device supports the request of the second resource in a first report for the model inference;number of second resources required for the model monitoring at the terminal device;information of whether the terminal device supports an aperiodic report of model monitoring results;information of whether the terminal device supports one aperiodic report for both the model inference and the model monitoring;information of whether the terminal device supports the set of measured results for the set of future time instances;number of future time instances supported by the terminal device;information of whether the capability information is reported for time-domain channel status information prediction and time-domain beam prediction respectively;information of whether the capability information is reported for each model respectively;information of whether the capability information is reported for terminal device side prediction and network device side prediction respectively; orinformation of whether the capability information is reported for terminal device side monitoring and network device side monitoring respectively.20.A network device, comprising:a processor configured to cause the network device to:transmit, to a terminal device, a configuration comprising a first resource for model inference of a model for time domain prediction and a second resource for model monitoring of the model, the second resource being used on a set of future time instances associated with the model inference and being associated with the first resource; andcause the model to be monitored by causing a set of predicted results and a set of measured results on the set of future time instances to be obtained based on reference signal transmission or reception on the first resource and the second resource respectively.

Images