Devices and methods of communication

Abstract

Embodiments of the present disclosure relate to devices and methods of communication. In one aspect, a terminal device may evaluate performance of a first model within a first period of time. If a first number of first performance instances of the first model is evaluated within a first time duration, the terminal device may evaluate performance of a candidate of the first model within a second period of time. If a second number of second performance instances of the candidate is evaluated within a second time duration, the terminal device may perform a model management associated with at least one of the first model or the candidate. In this way, model management at a terminal device side may be carried out.

Description

DEVICES AND METHODS OF COMMUNICATIONTECHNICAL FIELD

[0001] Embodiments of the present disclosure generally relate to the field of telecommunication, and in particular, to methods, devices and computer storage media of communication for management of an artificial intelligence (AI)  / machine learning (ML) model.BACKGROUND

[0002] To monitor performance of an AI / ML model, various monitoring methods have been discussed. However, a solution of model management for different monitoring methods is still incomplete and needs to be further developed.SUMMARY

[0003] In general, embodiments of the present disclosure provide methods, devices and computer storage media of communication for model management.

[0004] In a first aspect, there is provided a terminal device. The terminal device comprises a processor configured to cause the terminal device to: evaluate performance of a first model within a first period of time; in accordance with a determination that a first number of first performance instances of the first model is evaluated within a first time duration, evaluate performance of a candidate of the first model within a second period of time; and in accordance with a determination that a second number of second performance instances of the candidate is evaluated within a second time duration, perform a model management associated with at least one of the first model or the candidate.

[0005] In a second aspect, there is provided a terminal device. The terminal device comprises a processor configured to cause the terminal device to: evaluate performance of a first model within a first period of time; and in accordance with a determination that a first performance instance of the first model is evaluated within the first period of time, transmit, to a network device, a first indication of the first performance instance of the first model.

[0006] In a third aspect, there is provided a network device. The network device comprises a processor configured to cause the network device to: receive, from a terminal  device, a first indication of a first performance instance of a first model; transmit, to the terminal device, an indication of evaluating performance of a candidate for the first model; receive, from the terminal device, a second indication of a second performance instance of the candidate; and perform a model management associated with at least one of the first model or the candidate.

[0007] In a fourth aspect, there is provided a method of communication. The method comprises: evaluating, at a terminal device, performance of a first model within a first period of time; in accordance with a determination that a first number of first performance instances of the first model is evaluated within a first time duration, evaluating performance of a candidate of the first model within a second period of time; and in accordance with a determination that a second number of second performance instances of the candidate is evaluated within a second time duration, performing a model management associated with at least one of the first model or the candidate.

[0008] In a fifth aspect, there is provided a method of communication. The method comprises: evaluating, at a terminal device, performance of a first model within a first period of time; and in accordance with a determination that a first performance instance of the first model is evaluated within the first period of time, transmitting, to a network device, a first indication of the first performance instance of the first model.

[0009] In a sixth aspect, there is provided a method of communication. The method comprises: receiving, at a network device and from a terminal device, a first indication of a first performance instance of a first model; transmitting, to the terminal device, an indication of evaluating performance of a candidate for the first model; receiving, from the terminal device, a second indication of a second performance instance of the candidate; and performing a model management associated with at least one of the first model or the candidate.

[0010] In a seventh aspect, there is provided a computer readable medium having instructions stored thereon. The instructions, when executed on at least one processor, cause the at least one processor to perform the method according to any of the fourth to sixth aspects of the present disclosure.

[0011] Other features of the present disclosure will become easily comprehensible through the following description.BRIEF DESCRIPTION OF THE DRAWINGS

[0012] Through the more detailed description of some embodiments of the present disclosure in the accompanying drawings, the above and other objects, features and advantages of the present disclosure will become more apparent, wherein:

[0013] FIG. 1 illustrates an example communication network in which some embodiments of the present disclosure can be implemented;

[0014] FIG. 2 illustrates a signaling chart illustrating a process of communication for model management at a terminal device side according to some embodiments of the present disclosure;

[0015] FIG. 3 illustrates a signaling chart illustrating a process of communication for model management at a network device side according to some embodiments of the present disclosure;

[0016] FIG. 4 illustrates a flowchart of a method of communication implemented at a terminal device in accordance with some embodiments of the present disclosure;

[0017] FIG. 5 illustrates a flowchart of another method of communication implemented at a terminal device in accordance with some embodiments of the present disclosure;

[0018] FIG. 6 illustrates a flowchart of a method of communication implemented at a network device in accordance with some embodiments of the present disclosure; and

[0019] FIG. 7 is a simplified block diagram of a device that is suitable for implementing embodiments of the present disclosure.

[0020] Throughout the drawings, the same or similar reference numerals represent the same or similar element.DETAILED DESCRIPTION

[0021] Principle of the present disclosure will now be described with reference to some embodiments. It is to be understood that these embodiments are described only for the purpose of illustration and help those skilled in the art to understand and implement the present disclosure, without suggesting any limitations as to the scope of the disclosure. The disclosure described herein can be implemented in various manners other than the ones described below.

[0022] In the following description and claims, unless defined otherwise, all technical and  scientific terms used herein have the same meaning as commonly understood by one of ordinary skills in the art to which this disclosure belongs.

[0023] As used herein, the term ‘terminal device’ refers to any device having wireless or wired communication capabilities. Examples of the terminal device include, but not limited to, user equipment (UE) , personal computers, desktops, mobile phones, cellular phones, smart phones, personal digital assistants (PDAs) , portable computers, tablets, wearable devices, Internet of things (IoT) devices, ultra-reliable and low latency communications (URLLC) devices, Internet of everything (IoE) devices, machine type communication (MTC) devices, device on vehicle for V2X communication where X means pedestrian, vehicle, or infrastructure / network, devices for integrated access and backhaul (IAB) , small data transmission (SDT) , mobility, multicast and broadcast services (MBS) , positioning, dynamic / flexible duplex in commercial networks, reduced capability (RedCap) , space borne vehicles or air borne vehicles in non-terrestrial networks (NTN) including Satellites and high altitude platforms (HAPs) encompassing unmanned aircraft systems (UAS) , extended reality (XR) devices including different types of realities such as augmented reality (AR) , mixed reality (MR) and virtual reality (VR) , the unmanned aerial vehicle (UAV) commonly known as a drone which is an aircraft without any human pilot, devices on high speed train (HST) , or image capture devices such as digital cameras, sensors, gaming devices, music storage and playback appliances, or Internet appliances enabling wireless or wired Internet access and browsing and the like. The ‘terminal device’ can further has ‘multicast / broadcast’ feature, to support public safety and mission critical, V2X applications, transparent IPv4 / IPv6 multicast delivery, IPTV, smart TV, radio services, software delivery over wireless, group communications and IoT applications. It may also incorporate one or multiple subscriber identity module (SIM) as known as multi-SIM. The term ‘terminal device’ can be used interchangeably with a UE, a mobile station, a subscriber station, a mobile terminal, a user terminal or a wireless device.

[0024] The term ‘network device’ refers to a device which is capable of providing or hosting a cell or coverage where terminal devices can communicate. Examples of a network device include, but not limited to, a Node B (NodeB or NB) , an evolved NodeB (eNodeB or eNB) , a next generation NodeB (gNB) , a transmission reception point (TRP) , a remote radio unit (RRU) , a radio head (RH) , a remote radio head (RRH) , an IAB node, a low power node such as a femto node, a pico node, a reconfigurable intelligent surface (RIS) , Network-controlled Repeaters, and the like.

[0025] The terminal device or the network device may have AI / ML capability. It generally includes a model which has been trained from numerous collected data for a specific function, and can be used to predict some information.

[0026] The terminal or the network device may work on several frequency ranges, e.g. FR1 (410 MHz to 7125 MHz) , FR2 (24.25GHz to 71GHz) , frequency band larger than 100GHz as well as Tera Hertz (THz) . It can further work on licensed / unlicensed / shared spectrum. The terminal device may have more than one connections with the network devices under MR-DC application scenario. The terminal device or the network device can work on full duplex, flexible duplex and cross division duplex modes.

[0027] The network device may have the function of network energy saving, self-organizing networks (SON)  / minimization of drive tests (MDT) . The terminal may have the function of power saving.

[0028] The embodiments of the present disclosure may be performed in test equipment, e.g. signal generator, signal analyzer, spectrum analyzer, network analyzer, test terminal device, test network device, channel emulator.

[0029] In one embodiment, the terminal device may be connected with a first network device and a second network device. One of the first network device and the second network device may be a master node and the other one may be a secondary node. The first network device and the second network device may use different radio access technologies (RATs) . In one embodiment, the first network device may be a first RAT device and the second network device may be a second RAT device. In one embodiment, the first RAT device is eNB and the second RAT device is gNB. Information related with different RATs may be transmitted to the terminal device from at least one of the first network device or the second network device. In one embodiment, first information may be transmitted to the terminal device from the first network device and second information may be transmitted to the terminal device from the second network device directly or via the first network device. In one embodiment, information related with configuration for the terminal device configured by the second network device may be transmitted from the second network device via the first network device. Information related with reconfiguration for the terminal device configured by the second network device may be transmitted to the terminal device from the second network device directly or via the first network device.

[0030] As used herein, the singular forms ‘a’ , ‘an’ and ‘the’ are intended to include the  plural forms as well, unless the context clearly indicates otherwise. The term ‘includes’ and its variants are to be read as open terms that mean ‘includes, but is not limited to. ’ The term ‘based on’ is to be read as ‘at least in part based on. ’ The term ‘one embodiment’ and ‘an embodiment’ are to be read as ‘at least one embodiment. ’ The term ‘another embodiment’ is to be read as ‘at least one other embodiment. ’ The terms ‘first, ’ ‘second, ’ and the like may refer to different or same objects. Other definitions, explicit and implicit, may be included below.

[0031] In some examples, values, procedures, or apparatus are referred to as ‘best, ’ ‘lowest, ’ ‘highest, ’ ‘minimum, ’ ‘maximum, ’ or the like. It will be appreciated that such descriptions are intended to indicate that a selection among many used functional alternatives can be made, and such selections need not be better, smaller, higher, or otherwise preferable to other selections.

[0032] Embodiments of the present disclosure provide solutions of communication for model management. In one aspect, a terminal device may evaluate performance of a first model within a first period of time. If a first number of first performance instances of the first model is evaluated within a first time duration, the terminal device may evaluate performance of a candidate of the first model within a second period of time. If a second number of second performance instances of the candidate is evaluated within a second time duration, the terminal device may perform a model management associated with at least one of the first model or the candidate. In this way, model management at a terminal device side may be carried out.

[0033] In another aspect, a terminal device may evaluate performance of a first model within a first period of time. If a first performance instance of the first model is evaluated within the first period of time, the terminal device may transmit, to a network device, a first indication of the first performance instance of the first model. The network device may transmit, to the terminal device, an indication of evaluating performance of a candidate for the first model. The terminal device may evaluate the performance of the candidate within a second period of time. If a second performance instance of the candidate is evaluated within the second period of time, the terminal device may transmit, to the network device, a second indication of the second performance instance of the candidate. The network device may perform a model management associated with at least one of the first model or the candidate. In this way, model management at a network device side may be carried out.

[0034] For convenience, definitions of some terms in the present disclosure may be listed as below.

[0035] · AI / ML Model: a data driven algorithm that applies AI / ML techniques to generate a set of outputs based on a set of inputs.

[0036] · AI / ML model delivery: a generic term referring to delivery of an AI / ML model from one entity to another entity in any manner. An entity may mean a network node / function (e.g., gNB, location management function (LMF) , etc. ) , UE, proprietary server, etc..

[0037] · AI / ML model Inference: a process of using a trained AI / ML model to produce a set of outputs based on a set of inputs.

[0038] · AI / ML model testing: a subprocess of training, to evaluate performance of a final AI / ML model using a dataset different from one used for model training and validation. Differently from AI / ML model validation, testing does not assume subsequent tuning of the model.

[0039] · AI / ML model training: a process to train an AI / ML model (e.g., by learning an input / output relationship) in a data driven manner and obtain the trained AI / ML model for inference.

[0040] · AI / ML model transfer: a delivery of an AI / ML model over an air interface in a manner that is not transparent to the third generation partnership project (3GPP) signalling, either parameters of a model structure known at a receiving end or a new model with parameters. The delivery may contain a full model or a partial model.

[0041] · AI / ML model validation: a sub-process of training, to evaluate quality of an AI / ML model using a dataset different from one used for model training, that helps selecting model parameters that generalize beyond a dataset used for model training.

[0042] · data collection: a process of collecting data by a network node, management entity, or UE for the purpose of AI / ML model training, data analytics and inference.

[0043] · federated learning / federated training: a machine learning technique that trains an AI / ML model across multiple decentralized edge nodes (e.g., UEs, gNBs) each performing local model training using local data samples. The technique requires multiple interactions of the model, but no exchange of local data samples.

[0044] · functionality identification: a process / method of identifying an AI / ML functionality for the common understanding between a network (NW) and UE. It is to be noted that information regarding AI / ML functionality may be shared during functionality identification. Where AI / ML functionality resides depends on the specific use cases and sub use cases.

[0045] · model activation: enable an AI / ML model for a specific AI / ML-enabled feature.

[0046] · model deactivation: disable an AI / ML model for a specific AI / ML-enabled feature.

[0047] · model download: Model transfer from the network to UE.

[0048] · model identification: a process / method of identifying an AI / ML model for the common understanding between the NW and the UE. The process / method of model identification may or may not be applicable. Information regarding the AI / ML model may be shared during model identification.

[0049] · model monitoring: a procedure that monitors inference performance of an AI / ML model.

[0050] · model parameter update: a process of updating model parameters of a model.

[0051] · model selection: a process of selecting an AI / ML model for activation among multiple models for the same AI / ML enabled feature. Model selection may or may not be carried out simultaneously with model activation.

[0052] · model switching: a process of deactivating a currently active AI / ML model and activating a different AI / ML model for a specific AI / ML-enabled feature.

[0053] · model update: a process of updating model parameters and / or model structure of a model.

[0054] · model upload: model transfer from UE to the network.

[0055] · network-side (AI / ML) model: an AI / ML model whose inference is performed entirely at the network.

[0056] · offline field data: data collected from field and used for offline training of an AI / ML model.

[0057] · offline training: an AI / ML training process where the model is trained based on collected dataset, and where the trained model is later used or delivered for inference.

[0058] Note: This definition only serves as a guidance. There may be cases that may not exactly conform to this definition but could still be categorized as offline training by commonly accepted conventions.

[0059] · online field data: data collected from field and used for online training of the AI / ML model.

[0060] · online training: an AI / ML training process where the model being used for inference) is (typically continuously) trained in (near) real-time with the arrival of new training samples. The notion of (near) real-time vs. non real-time is context-dependent and is relative to the inference time-scale. This definition only serves as a guidance. There may be cases that may not exactly conform to this definition but could still be categorized as online training by commonly accepted conventions. Fine-tuning / re-training may be done via online or offline training.

[0061] · reinforcement learning (RL) : a process of training an AI / ML model from an input (also known as a state) and a feedback signal (also known as a reward) resulting from the model’s output (also known as an action) in an environment the model is interacting with.

[0062] · semi-supervised learning: a process of training a model with a mix of labelled data and unlabelled data.

[0063] · supervised learning: a process of training a model from input and its corresponding labels.

[0064] · two-sided (AI / ML) model: a paired AI / ML model (s) over which joint inference is performed, where joint inference comprises AI / ML Inference whose inference is performed jointly across the UE and the network, i.e, the first part of inference is firstly performed by UE and then the remaining part is performed by gNB, or vice versa.

[0065] · UE-side (AI / ML) model: an AI / ML Model whose inference is performed entirely at the UE.

[0066] · unsupervised learning: a process of training a model without labelled data.

[0067] · proprietary-format models: ML models of vendor- / device-specific proprietary format, from 3GPP perspective. They are not mutually recognizable across vendors and hide model design information from other vendors when shared. Note: An example is a device-specific binary executable format.

[0068] · open-format models: ML models of specified format that are mutually recognizable across vendors and allow interoperability, from 3GPP perspective. They are mutually recognizable between vendors and do not hide model design information from other vendors when shared.

[0069] In the context of the present disclosure, the terms ‘model’ , ‘functionality’ and ‘model / functionality’ may be used interchangeably. The terms ‘feature’ and ‘feature group’ may be used interchangeably. The terms ‘model’ and ‘model group’ may be used interchangeably. The terms ‘functionality’ , ‘functionality group’ , ‘functionality set’ may be used interchangeably. The terms ‘ID’ , ‘index’ , ‘indicator’ and ‘identifier’ may be used interchangeably. The term ‘model monitoring’ may be interchangeably used with ‘monitoring’ , ‘performance monitoring’ , ‘performance monitoring for a model / functionality’ , or ‘performance monitoring for an AI / ML enabled feature’ .

[0070] In the context of the present disclosure, the term ‘NW’ herein may refer to ‘operations, administration and maintenance (OAM) ’ , ‘server’ , or ‘advanced mobile location (AML)  / LMF’ . The term ‘in-distribution’ may refer to a fit data distribution, a data distribution with no drift, or a data distribution with a tolerable drift. The term ‘out-of-distribution’ may refer to a non-fit data distribution or a data distribution with a detectable drift.

[0071] In the context of the present disclosure, the term ‘management decision’ , ‘management request’ , ‘management instruction’ or ‘management decision report’ may include details about the model / functionality selection, (de) activation, switching or fallback. The term ‘conditions’ may refer to configurations supported indicated via UE capability reporting, related to model training, model inference, performance monitoring, validation procedure, fallback, of an AI / ML model / functionality or a group of models / functionalities. The term ‘additional conditions’ may refer to, e.g., application conditions, scenarios, datasets, cell identity (ID) , timestamp and signal-to-noise ratio (SNR) , beam shape, etc.. The term ‘UE internal conditions’ may refer to, e.g., memory, battery, computation resource, overheating and other hardware limitations.

[0072] In the context of the present disclosure, for AI / ML model identification and model-ID-based life cycle management (LCM) of UE-side models and / or UE-part of two-sided models, model-ID-based LCM operates based on identified models, where a model may be associated with specific configurations / conditions associated with UE capability of an  AI / ML-enabled feature / feature group and additional conditions (e.g., scenarios, sites, and datasets) as determined / identified between UE-side and NW-side.

[0073] In the context of the present disclosure, the term ‘model monitoring / performance monitoring metrics’ herein may include performance metrics or data needed for performance metric calculation such as:

[0074] · inference accuracy, including metrics related to intermediate key performance indicators (KPIs) ;

[0075] · system performance, including metrics related to system performance KPIs;

[0076] · data distribution,

[0077] input-based: e.g., monitoring the validity of the AI / ML input, e.g., out-of-distribution detection, drift detection of input data, signal-to-noise ratio (SNR) , delay spread, etc.,

[0078] output-based: e.g., drift detection of output data; or

[0079] · applicable condition.

[0080] As used herein, a model may be equivalent to at least one of the following: an AI / ML model, a ML model, an AI model, a data-driven, a data processing model, an algorithm, a functionality, a procedure, a process, an entity, a function, a feature, a feature group, a model ID, an ID, a functionality ID, a configuration ID, a scenario ID, a site ID, or a dataset ID. As a result, the above terms may be used interchangeably.

[0081] In some embodiments, the model may be represented by or associated with a channel, a resource, a resource set, a reference signal (RS) resource, a RS resource set, a RS port, a set of RS ports, a RS port ID, or a set of RS port IDs.

[0082] In some embodiments, the model may comprise a set of weights values that may be learned during training, for example for a specific architecture or configuration, where a set of weights values may also be called a parameter set.

[0083] In some embodiments, the model may be used to predict a target cell, or measurements of a set of beams of a set of candidate cells in future based on at least historical measurements (e.g., layer 1 (L1) -reference signal received power (RSRP) , L1-signal to interference plus noise ratio (SINR) of a set of beams of a set of candidate cells.

[0084] In some embodiments, an input of the ML model (i.e., AI input) may refer to the  input of a model and indicate data inputted into the model, which may be equivalent to data.

[0085] In some embodiments, an output of ML model (i.e., AI output) may refers to the output of a model and indicate result (s) outputted by the model, which is equivalent to label / data.

[0086] In some embodiments, a ground truth label of data (or ground-truth label) for monitoring or training the ML model (i.e., AI output) may refers to the authoritative, accepted data, or true answer or outcome for AI / ML model. In some embodiments, ‘ground truth’ , ‘ground truth label’ , ‘ground truth label of data’ , ‘input label’ , ‘input data’ and ‘data’ can be used interchangeably. In some embodiments, the ground truth can be interpreted as actual / factual (i.e. actual / factual measured) data / values / results / collections / parameters, which can be used as reference, compared to prediction or inference.

[0087] Principles and implementations of the present disclosure will be described in detail below with reference to the figures.

[0088] EXAMPLE OF COMMUNICATION NETWORK

[0089] FIG. 1 illustrates an example communication network 100 in which embodiments of the present disclosure can be implemented. As shown in Fig. 1, the communication network 100 includes a terminal device 110 and a network device 120 served by the terminal device 110.

[0090] As shown in FIG. 1, the terminal device 110 may have a plurality of beams, and the network device 120 may have a plurality of beams. A channel (or called as a sub-channel) may be formed between one of the beams of the terminal device 110 and one of the beams of the network device 120. The terminal device 110 may transmit information to the network device 120 or receive information from the network device 120 via one or more of the sub-channels.

[0091] It is to be understood that the number of devices and beams in FIG. 1 is given for the purpose of illustration without suggesting any limitations to the present disclosure. The communication network 100 may include any suitable number of network devices and / or terminal devices and / or beams adapted for implementing implementations of the present disclosure.

[0092] The communications in the communication network 100 may conform to any suitable standards including, but not limited to, global system for mobile communications  (GSM) , long term evolution (LTE) , LTE-evolution, LTE-advanced (LTE-A) , new radio (NR) , wideband code division multiple access (WCDMA) , code division multiple access (CDMA) , GSM EDGE radio access network (GERAN) , machine type communication (MTC) and the like. The embodiments of the present disclosure may be performed according to any generation communication protocols either currently known or to be developed in the future. Examples of the communication protocols include, but not limited to, the first generation (1G) , the second generation (2G) , 2.5G, 2.75G, the third generation (3G) , the fourth generation (4G) , 4.5G, the fifth generation (5G) communication protocols, 5.5G, 5G-advanced networks, or the sixth generation (6G) networks.

[0093] Communication in a direction from the terminal device 110 towards the network device 120 is referred to as uplink (UL) communication, while communication in a reverse direction from the network device 120 towards the terminal device 110 is referred to as downlink (DL) communication. A wireless communication channel may comprise a physical uplink control channel (PUCCH) , a physical uplink shared channel (PUSCH) , a physical random-access channel (PRACH) , a physical downlink control channel (PDCCH) , a physical downlink shared channel (PDSCH) and a physical broadcast channel (PBCH) .

[0094] Currently, performance monitoring metrics / methods and signaling procedures have been discussed. However, it is still unclear when or how UE can declare that an AI / ML model does not perform well. This may be different based on different performance metrics / methods. Further, it is unclear when or how NW / UE can decide to perform the model / functionality selection, (de) activation, switching or fallback. It may be required to check that performance of a model or method is indeed better than a current AI / ML model.

[0095] Thus, embodiments of the present disclosure provide solutions of communication so as to provide methods to check performance of currently applied models and other AI / ML models or non-AI operations to decide model management. The solutions will be described in detail with reference to FIGs. 2 to 3 below.

[0096] EXAMPLE IMPLEMENTATION OF UE SIDE MODEL MANAGEMENT

[0097] In this embodiment, UE side monitoring and UE side management are considered.

[0098] FIG. 2 illustrates a signaling chart illustrating a process 200 of communication for model management at a terminal device side according to some embodiments of the present disclosure. For the purpose of discussion, the process 200 will be described with reference to FIG. 1. The process 200 may involve the terminal device 110 and the network device  120 as illustrated in FIG. 1. It is to be understood that the steps and the order of the steps in FIG. 2 are merely for illustration, and not for limitation. For example, the order of the steps may be changed. Some of the steps may be omitted or any other suitable additional steps may be added. It is assumed that a first model is a currently applied model.

[0099] As shown in FIG. 2, the terminal device 110 may transmit 210 capability information of the terminal device 110 to the network device 120. In some embodiments, the capability information may be carried in UE assistance information (UAI) .

[0100] In some embodiments, the capability information of the terminal device 110 may comprise information of a method of model management supported by the terminal device 110. In some embodiments, the capability information of the terminal device 110 may comprise information of one or more timers or counters that the terminal device can maintain for the supported method of model management. In some embodiments, the capability information of the terminal device 110 may comprise information of data storage that the terminal device 110 can use for input or output data for monitoring.

[0101] It is to be understood that the capability information of the terminal device 110 may comprise any other suitable capability information or any combination of the above capability information.

[0102] Continuing to refer to FIG. 2, the network device 120 may transmit 220 a configuration for model management to the terminal device 110, e.g., via a radio resource control (RRC) signaling. In some embodiments, the network device 120 may generate the configuration based on the capability information of the terminal device 110. It is to be understood that the configuration may also be generated without the capability information of the terminal device 110.

[0103] In some embodiments, the configuration may comprise a maximum value of a counter in the one or more counters. In some embodiments, the configuration may comprise a timer for monitoring an AI / ML model. In some embodiments, the configuration may comprise a threshold value (also referred to as a first threshold value herein) for a counter for start to evaluate a candidate or a candidate method. In some embodiments, the configuration may comprise a threshold value (also referred to as a second threshold value herein) for a counter for management decision.

[0104] In some embodiments, the configuration may comprise information of one or more candidate AI / ML models, e.g., one or more model IDs. In some embodiments, the  configuration may comprise information of one or more candidate non-AI / ML method, e.g., a default resource / resource configuration / report configuration, or configurations / resources during initial access (like a synchronization signal and physical broadcast channel block (SSB) or physical random access channel (PRACH) ) , or a configuration before applying AI / ML. In some embodiments, the default resource / resource configuration / report configuration associated with an AI / ML model may be provided explicitly, e.g., by NW configurations. In some embodiments, the default resource / resource configuration / report configuration associated with an AI / ML model may be provided implicitly, e.g., a resource / resource configuration / report configuration with a lowest ID.

[0105] In some embodiments, the configuration may comprise time related configurations about an evaluation duration, e.g., a first period of time for evaluation of a currently applied model or a second period of time for evaluation of at least a candidate of the currently applied model. In some embodiments, the configuration may comprise DL / UL resources / report configurations for the terminal device 110 to perform monitoring. In some embodiments, the configuration may comprise a performance monitoring method / metric and a corresponding performance monitoring instance condition. In some embodiments, the configuration may comprise an UL resource to report management decision or to send a management request. In some embodiments, the configuration may comprise a set of parameters for transmit power, a priority, a retransmission or a backoff for the UL resource.

[0106] It is to be understood that the configuration for model management may comprise any other suitable information or any combination of the above information.

[0107] Continuing to refer to FIG. 2, in some embodiments, the terminal device 110 may detect 230 a physical layer problem. In this case, the terminal device 110 may decide to evaluate the performance of the first model.

[0108] In some embodiments, the terminal device may initialize a counter for RLF detection (e.g., N310) and a counter for RLF recovery (e.g., N311) . If a physical layer problem (e.g., performance of the first model is not good) is detected, the PHY layer of the terminal device 110 may transmit an out-of-sync indication to the higher layer of the terminal device 110. Based on the out-of-sync indication, the terminal device 110 may determine that the physical layer problem is detected, and may start to evaluate the performance of the first model.

[0109] In some embodiments, the higher layer may reset N310 upon reception of the out-of-sync indication from the PHY layer while a timer for RLF detection (e.g., timer T310) is  stopped. When N310 reaching a maximum value, the higher layer may start the timer T310. In some embodiments, if the timer T310 is started, the terminal device 110 may determine that the physical layer problem is detected, and may start to evaluate the performance of the first model.

[0110] It is to be understood that any other suitable timers may also be considered. For example, beamFailureRecoveryTimer, timeAlignmentTimer, LTM supervisor timer, Inactivity Timer, FailureDetectionTimer, RetransmissionTimer, configuredGrantTimer, ProhibitTimer, DRX related timer, NES related timer, reducedCap related timer, cell / scell activation / deactivation timer, or power saving related timer. It is also to be understood that any other suitable counters may also be considered. For example, BFI_COUNTER and beamFailureInstanceMaxCount, LBT_COUNTER, or ResourceSelection_COUNTER.

[0111] In some embodiments, if a beam failure instance indication is received, the terminal device 110 may determine that the physical layer problem is detected. In some embodiments, if a beam failure is declared, the terminal device 110 may determine that the physical layer problem is detected. It is to be understood that a physical layer problem in any other suitable procedures may also be considered. For example, a physical layer problem in a cell switch, a handover or a layer 1 or layer 2 triggered mobility (LTM) procedure.

[0112] Upon detection of the physical layer problem, the terminal device 110 may start to evaluate the performance of the first model. In other words, if the first model provides good performance, the first model is not a cause of the physical layer problem. In this case, an RLF detection and recovery procedure may be performed. If the first model does not provide good performance, the first model is one of causes of the physical layer problem. In this case, the terminal device 110 may start to evaluate the performance of the first model. In this way, continuous model monitoring may be avoided, and model monitoring may be performed only when system performance is problematic.

[0113] It is to be understood that a continuous or periodic model monitoring may also be feasible. The present disclosure does not limit this aspect.

[0114] Continuing to refer to FIG. 2, the terminal device 110 may evaluate 240 performance of a first model within the first period of time. In other words, the terminal device 110 may perform a model monitoring on the first model by calculating and evaluating a monitoring metric per the first period of time. In some embodiments, the model monitoring may be  based on inference accuracy. In some embodiments, the model monitoring may be based on system performance. In some embodiments, the model monitoring may be based on data distribution. In some embodiments, the model monitoring may be based on applicable condition. It is to be understood that performance evaluation of the first model may be carried out in any suitable ways existing or to be developed in future.

[0115] In some embodiments, the terminal device 110 may request or recommend resource and / report configurations required for performance monitoring, and the network device 120 may configure resource / report based on the request from the terminal device 110, or based on AI / ML model requirement. In some embodiments, the terminal device 110 may perform one or multiple times of measurements and comparisons to evaluate the performance of the AI / ML model in the first period of time (i.e., one evaluation duration) . In some embodiments, the terminal device 110 may not need to monitor every model inference output.

[0116] In some embodiments, the first period of time may be periodic or semi-persistent. This means that a length of each evaluation duration or a length of each of multiple evaluation durations is the same. In this case, a length of the first period of time may be called as a periodicity (for convenience, also referred to as a first periodicity herein) .

[0117] In some embodiments, the length of the first period of time may be sufficient for the terminal device 110 to perform monitoring. In some embodiments, the length of the first period of time may be sufficient to get at least one evaluation result or judgement of the AI / ML model performance. In some embodiments, the length of the first period of time may be sufficient to satisfy a condition of an ‘event’ or an ‘instance’ related to the AI / ML model performance monitoring. For example, the instance may be that the AI / ML model performance is good or not good during a last evaluation duration. For example, the event may be defined based on one or more performance monitoring metrics. In some embodiments, the length of the first period of time may be sufficient to generate one indication to a higher layer of the terminal device 110. In some embodiments, the length of the first period of time may be sufficient to cover a time required for one or more of the following: requesting a resource, performing a measurement, calculating performance monitoring metrics, etc..

[0118] To have a sufficient length, the first periodicity of the first period of time may be determined based on one or more factors. In some embodiments, the first periodicity of the first period of time may comprise at least one of the following: a maximum value of the first  periodicity; an exact value of the first periodicity; or a minimum value of the first periodicity. The maximum value and / or the minimum value may be used to control how frequent to monitor the AI / ML model performance.

[0119] In some embodiments, the first periodicity may comprise a set of fixed values. In some embodiments, the first periodicity may comprise a set of configured values. In some embodiments, the first periodicity may comprise a set of values reported or suggested by the terminal device 110.

[0120] In some embodiments, the first periodicity may be determined based on a set of requirements of the first model, for example, a requirement in AI / ML model description or a requirement in AI / ML feature or feature group.

[0121] In some embodiments, the first periodicity may be determined based on a method of evaluating the first model. In some embodiments, the first periodicity may be determined based on an intermediate KPI. For example, the first periodicity may be determined based on a periodicity of obtaining ground truth for the first model. In another example, the first periodicity may be determined based on a periodicity or scaled periodicity of a reference signal or a report for monitoring of the first model.

[0122] In some embodiments, the first periodicity may be determined based on a system KPI or eventual KPI. For example, the first periodicity may be determined based on a periodicity of obtaining a KPI or system KPI of the first model.

[0123] In some embodiments, the first periodicity may be determined based on distribution of input or output data. For example, the first periodicity may be determined based on a time required for obtaining input or output data for monitoring of the first model, e.g., M input samples or N output samples. M and N shall be large enough to obtain statistic. It is to be understood that an exact value of M or N may be fixed, configured, suggested by the terminal device 110, or based on the applied AI / ML model (i.e., the first model) .

[0124] In some embodiments, the first periodicity may be determined based on an applicable condition of the first model. For example, the first periodicity may be determined based on a periodicity of checking the applicable condition of the first model.

[0125] In some embodiments, the first periodicity may be determined based on a discontinuous reception (DRX) duration configured for the terminal device 110.

[0126] It is to be understood that the first periodicity may be determined based on any  combination of the above factors or any other suitable factors.

[0127] In some embodiments, the first period of time may be aperiodic. This means that the length of each evaluation duration may be different. For example, the AI / ML performance monitoring may be based on an aperiodic request or aperiodic trigger. In some embodiments, the first period of time may be an interval between two monitoring instances or occasions. In some embodiments, the first period of time may be an interval between two indications.

[0128] As shown in FIG. 2, to monitor the first model, a higher layer of the terminal device 110 may initialize 241 a counter (also referred to as a first counter herein) to 0. The first counter is to count the number of ‘event’ or an ‘instance’ related to monitoring of the first model. In some embodiments, different counters may be initialized and maintained for different AI / ML models. The first model may be the currently applied AI / ML model, or any AI / ML model configured to be monitored or requested to be monitored. In some embodiments, the counter may be initialized when one or more signaling from NW is received. In some embodiments, the counter may be initialized upon activation of the first model.

[0129] As shown in FIG. 2, a physical (PHY) layer of the terminal device 110 may evaluate 242 the performance of the first model within the first period of time. If a first performance instance of the first model is evaluated within the first period of time, the terminal device 110 may transmit 243, to the higher layer, an indication (also referred to as a first indication herein) of the first performance instance of the first model.

[0130] In some embodiments, the first performance instance may indicate that the performance of the first model is not good. In other words, the first indication may be generated only if the performance of the first model is not good. In some alternative embodiments, the first performance instance may indicate that the performance of the first model is good. In other words, the first indication may be generated only if the performance of the first model is good. In some embodiments, the first indication (e.g., 1 bit) may be generated to indicate the performance of the first model is good or not. In some embodiments, the first indication (e.g., multiple bits) may be generated to indicate the performance of each of multiple models is good or not. For illustration, the following description will be given by taking, as an example, the first performance instance indicating that the performance of the first model is not good.

[0131] Continuing to refer to FIG. 2, upon determination that a first number of first performance instances of the first model are evaluated within a first time duration, the terminal device 110 may evaluate 250 performance of a candidate of the first model within a second period of time. In some embodiments, if the first counter reaches the first threshold value (i.e., the first number) , the terminal device 110 may start the evaluation of the candidate.

[0132] In some embodiments, the higher layer of the terminal device 110 may start or restart 251 a timer (also referred to as a first timer herein) upon reception of the first indication from the physical layer for the first time (e.g., initial indication) . In some embodiments, the first timer may be a multiple of evaluation durations, e.g., 4 evaluation durations configured as the value of timer. Alternatively, the value of the first timer may be in any suitable time units, like ms, slots, etc.. In some embodiments, different timers may be initialized and maintained for different AI / ML models.

[0133] While the first timer is running, the higher layer may increase 252 the first counter by 1 upon reception of the first indication from the PHY layer. The higher layer may restart the first timer. In this case, if there is any indication received, the performance is considered as questionable. In some alternative embodiments, the first timer may be designed in a different way, for example, the first timer may be used to provide a time window to count how many first indications received. In this case, there is no need to restart the first timer.

[0134] In some embodiments, if no first indication is received from the PHY layer during the running of the first timer (or if an indication that the performance is good is received) , the higher layer may keep the first counter unchanged, i.e., maintain the first counter. This option considers that one successful model inference does not mean that the first model works well.

[0135] In some alternative embodiments, if no first indication is received from the PHY layer during the running of the first timer (or if an indication that the performance is good is received) , the higher layer may reset the first counter (e.g., set the first counter to 0) . That is, previous “not good” results will not be accumulated. This means that only consecutive first performance instances are considered as that AI / ML model does not work well.

[0136] In some embodiments, if the first timer expires, the first counter may be reset (e.g., set to 0) . That means that the first model is considered as good, because there are no enough “not good” instances during the first time duration to declare that the first model does not work.

[0137] In some embodiments, if the first counter is larger or equal to a threshold (i.e., the first number) during the running of the first timer, the higher layer of the terminal device 110 may make a management decision. Alternatively, if the PHY layer only generates an indication when the performance of the first model is good, the higher layer may start a timer when receives the initial indication, and increase a counter by 1 upon reception of the indication. When the timer expires, if the counter is smaller than or equal to a threshold, the higher layer may make a management decision.

[0138] As shown in FIG. 2, in some embodiments for the management decision, if the first number of first indications of the first performance instances of the first model are received from the PHY layer, the higher layer of the terminal device 110 may indicate 253 the PHY layer to evaluate performance of a candidate of the first model. In some embodiments, the candidate may be another model (also referred to as a second model herein) . In some embodiments, the candidate may be a non-AI operation or method.

[0139] To monitor the candidate, the higher layer of the terminal device 110 may initialize a counter (also referred to as a second counter herein) to 0. The second counter is to count the number of ‘event’ or an ‘instance’ related to monitoring of the candidate. In some embodiments, different counters may be initialized and maintained if more than one AI / ML models are to be evaluated.

[0140] As shown in FIG. 2, the PHY layer of the terminal device 110 may evaluate 254 the performance of the candidate within a second period of time. In some embodiments, if the candidate is inactive, the PHY layer of the terminal device 110 may activate the candidate. In some embodiments, if multiple candidate AI / ML models are available, at least one AI / ML model may be activated as the candidate.

[0141] In some embodiments, the PHY layer of the terminal device 110 may evaluate at least the performance of the candidate within the second period of time. In some embodiments, the terminal device 110 may compare the performance of the candidate with the performance of the first model. If the performance of the candidate is higher than the performance of the first model, the terminal device 110 may determine that a second performance instance of the candidate is evaluated.

[0142] In some embodiments, the second period of time may be periodic or semi-persistent. This means that a length of each of evaluation durations or a length of each of multiple evaluation durations is the same. In this case, a length of the second period of time may be  called as a second periodicity.

[0143] In some embodiments, the second periodicity may be sufficient for the terminal device 110 to perform monitoring and comparison between the first model and the candidate. In some embodiments, the second periodicity may be determined based on at least one of the following: a periodicity required for evaluating the first model (i.e., the first periodicity of the first period of time) ; or a periodicity required for evaluating the candidate.

[0144] In some alternative embodiments, the second period of time may be aperiodic.

[0145] As shown in FIG. 2, if the second performance instance of the candidate is evaluated within the second period of time, the PHY layer of the terminal device 110 may transmit 255, to the higher layer of the terminal device 110, an indication (also referred to as a second indication herein) of the second performance instance of the candidate.

[0146] In some embodiments, the second performance instance may indicate that the performance of the candidate is good. In other words, the second indication may be generated only if the performance of the candidate is good. In some alternative embodiments, the second performance instance may indicate that the performance of the candidate is not good. In other words, the second indication may be generated only if the performance of the candidate is not good. In some embodiments, the PHY layer may generate the second indication (e.g., 1 bit) to indicate the performance of the candidate is good or not. In some embodiments, the PHY layer may generate the second indication (e.g., multiple bits) to indicate the performance of each of multiple models is good or not. For illustration, the following description will be given by taking, as an example, the second performance instance indicating that the performance of the candidate is good.

[0147] Continuing to refer to FIG. 2, upon determination that a second number of second performance instances of the candidate is evaluated within a second time duration, the terminal device 110 may perform 260 a model management associated with at least one of the first model or the candidate. In some embodiments, if the second counter reaches the second threshold value (i.e., the second number) , the terminal device 110 may perform the model management.

[0148] In some embodiments, the higher layer may start a timer (also referred to as a second timer herein) upon reception of the second indication from the PHY layer for the first time. In some embodiments, the second timer may be a multiple of evaluation durations (i.e., the second period of time) . In some embodiments, different timers may be initialized and  maintained for different AI / ML models.

[0149] In some embodiments, upon reception of the second indication from the PHY layer during the running of the second timer, the higher layer may increase the second counter by 1 and restart the second timer.

[0150] In some embodiments, if no second indication is received from the PHY layer within the second period of time, the higher layer may maintain the second counter. In some alternative embodiments, if no second indication is received from the PHY layer within the second period of time, the higher layer may set the second counter to 0.

[0151] In some embodiments, upon reception of the second indication of the second performance instance (i.e., the performance of the candidate is good) , the higher layer may increase the second counter by 1, and start or restart the second timer.

[0152] In some embodiments, upon reception of an indication that the performance of the candidate is not good, the higher layer may set the second counter to 0. Alternatively, the higher layer may take no action on the second counter, e.g., keep the second counter unchanged or maintain the second counter.

[0153] In some embodiments, if the second timer expires, the higher layer may reset the second counter (e.g., set the second counter to 0) .

[0154] In some embodiments, if the second counter is larger than or equal to the second threshold value during the running of the second timer, the higher layer may make a management decision. In some embodiments, if the second number of second indications of the second performance instances of the candidate are received from the PHY layer, the higher layer may perform a model management.

[0155] As shown in FIG. 2, in some embodiments, the terminal device 110 may perform 261 a management decision. For example, the higher layer of the terminal device 110 may perform a model switch from the first model to the second model. In another example, the higher layer of the terminal device 110 may deactivate the first model. In another example, the higher layer of the terminal device 110 may perform a fallback from the first model to a non-AI operation. In another example, the higher layer of the terminal device 110 may perform a fallback from the first model to a default model. In another example, the higher layer may deactivate all the AI / ML models.

[0156] As shown in FIG. 2, in some embodiments, the terminal device 110 may transmit  262, to the network device 120, information of the management decision, e.g., information of model switch, fallback or deactivation.

[0157] Continuing to refer to FIG. 2, in some embodiments, the terminal device 110 may transmit 263, to the network device 120, a request for the model management. The network device 120 may transmit 264 a decision of the model management (e.g., model switch, fallback or deactivation) to the terminal device 110. The terminal device 110 may perform 265 the decision of the model management.

[0158] So far, a solution of model management is described. It is to be understood that the first and second performance instances may be evaluated in any suitable model monitoring methods existing or to be developed in future. For illustration, some implementations of the solution will be described in connection with Embodiments 1 and 2.

[0159] Embodiment 1

[0160] In this embodiment, the candidate is an AI / ML model (i.e., the second model) . The first and second performance instances are evaluated based on data distribution of input and / or output data of AI / ML models.

[0161] For the first model to be monitored, the terminal device 110 may store input data or output data for the first model. In some embodiments, if stored data (also referred to as first data herein) for at least one of an input or an output of the first model is sufficient for determining a data distribution (also referred to as first data distribution herein) , the terminal device 110 may determine the first data distribution based on the stored first data.

[0162] In some embodiments, the terminal device 110 may check the first data distribution of stored first data when number of stored first data is sufficient. For example, a counter may be used to count the number of first data, and the counter is increased by 1 when new first data is stored. When number of the stored first data is higher than or equal to a number threshold, the terminal device 110 may check the first data distribution.

[0163] In some embodiments, the terminal device 110 may check the first data distribution of stored first data when time for data collection of the stored first data is sufficient, e.g., when the time for data collection for the stored first data is higher than or equal to a time threshold. For example, a timer may be used to control a time duration for data storage. The timer may start when the first data is stored. When the timer stops, the terminal device 110 may check the first data distribution. Alternatively, the terminal device 110 may check the first data distribution periodically.

[0164] In some embodiments, the terminal device 110 may check the first data distribution when a storage space for the stored first data is full, e.g., when a buffer or a variable or a log size for the stored first data is full.

[0165] In some embodiments, the terminal device 110 may release all the stored first data (e.g., flush the buffer for the stored first data) after checking the first data distribution. In some embodiments, the terminal device 110 may release all the stored data (e.g., flush the buffer) after sending the first data distribution. In some embodiments, the terminal device 110 may release all the stored data (e.g., flush the buffer) after increasing the first counter by 1. In this example, the first counter is used to count a data distribution problem, i.e., count the first data distribution indicating the first performance instance.

[0166] In some embodiments, if the first data distribution indicates the first performance instance, the terminal device 110 may determine that the first performance instance of the first model is evaluated. In this case, the PHY layer of the terminal device 110 may transmit the first indication to the higher layer of the terminal device 110, and the higher layer may increase the first counter upon reception of the first indication.

[0167] Upon determination that the first number of first performance instances of the first model are evaluated within the first time duration, the terminal device 110 may evaluate the performance of the candidate of the first model within the second period of time. In some embodiments, if stored data (also referred to as second data herein) for at least one of an input or an output of the second model is sufficient for determining a data distribution (also referred to as second data distribution herein) , the terminal device 110 may determine the second data distribution based on the stored second data.

[0168] In some embodiments, the terminal device 110 may check the second data distribution of stored second data when number of stored second data is sufficient. For example, a counter may be used to count the number of second data, and the counter is increased by 1 when new second data is stored. When number of the stored second data is higher than or equal to a number threshold, the terminal device 110 may check the second data distribution.

[0169] In some embodiments, the terminal device 110 may check the second data distribution of stored second data when time for data collection of the stored second data is sufficient, e.g., when the time for data collection for the stored second data is higher than or equal to a time threshold. For example, a timer may be used to control a time duration for  data storage. The timer may start when the second data is stored. When the timer stops, the terminal device 110 may check the second data distribution. Alternatively, the terminal device 110 may check the second data distribution periodically.

[0170] In some embodiments, the terminal device 110 may check the second data distribution when a storage space for the stored second data is full, e.g., when a buffer or a variable or a log size for the stored second data is full.

[0171] In some embodiments, the terminal device 110 may release all the stored second data (e.g., flush the buffer for the stored second data) after checking the second data distribution. In some embodiments, the terminal device 110 may release all the stored second data (e.g., flush the buffer) after sending the second data distribution. In some embodiments, the terminal device 110 may release all the stored second data (e.g., flush the buffer) after increasing the second counter by 1. In this example, the second counter is used to count in-distribution, i.e., count the second data distribution indicating the second performance instance.

[0172] In some embodiments, if the second data distribution indicates the second performance instance, the terminal device 110 may determine that the second performance instance of the second model is evaluated. In this case, the PHY layer of the terminal device 110 may transmit the second indication to the higher layer of the terminal device 110, and the higher layer may increase the second counter upon reception of the second indication.

[0173] Upon determination that the second number of second performance instances of the candidate is evaluated within the second time duration, the terminal device 110 may perform the model management associated with at least one of the first model or the candidate.

[0174] In this way, a method to check input / output data distribution for model monitoring may be provided.

[0175] Embodiment 2

[0176] In this embodiment, the candidate may be an AI / ML model (i.e., the second model) or a non-AI operation. The first and second performance instances are evaluated based on system performance. In this embodiment, the first indication is an out-of-sync indication, and the second indication is an in-sync indication.

[0177] The terminal device 110 may initialize a counter for radio link failure (RLF) detection (e.g., N310) and a counter for RLF recovery (e.g., N311) . If a physical layer  problem (e.g., the performance of the first model is not good) is detected, the PHY layer may transmit an out-of-sync indication to the higher layer as the first indication.

[0178] In some embodiments, the out-of-sync indication may not be periodic. In some embodiments, the higher layer may reset N310 upon reception of ‘out-of-sync’ from the PHY layer while a timer for RLF detection (e.g., T310) is stopped. In some embodiments, the higher layer may start the timer T310 when N310 reaches a maximum value.

[0179] In some embodiments, if the timer T310 is started, the higher layer may indicate the PHY layer to evaluate the performance of the candidate.

[0180] In some embodiments, for the first model to be monitored, the higher layer may initialize a counter to 0. In some embodiments, the higher layer may start a timer (e.g., set for a third period of time) upon reception of the out-of-sync indication for the first time. If the first number of out-of-sync indications are received from the physical layer during running of the timer (e.g., the counter reaches the first number) , the higher layer may indicate the physical layer to evaluate the performance of the candidate.

[0181] In some embodiments, if the candidate provides good performance, the PHY layer may transmit an in-sync indication to the higher layer. In some embodiments, the in-sync indication may not be periodic. In some embodiments, the higher layer may stop the third timer upon reception of the in-sync indication for the first time.

[0182] In some embodiments, the higher layer may reset N311 upon reception of ‘out-of-sync’ from the PHY layer while the timer T310 is running. In some embodiments, when N311 reaches a maximum value, the higher layer may stop the timer T310. In some embodiments, when the timer T310 stops, the higher layer may perform the model management.

[0183] In some embodiments, if the timer T310 is started, the terminal device 110 may deactivate the first model. In some embodiments, if the timer T310 expires, the terminal device 110 may deactivate all the AI / ML models.

[0184] In this way, an out-of-sync indication and an in-sync indication may be utilized for monitoring system performance for an AI / ML model.

[0185] So far, a model management at a UE side is described. It is to be understood that operations described in the process 200 and in Embodiments 1 and 2 may be carried out separately or in any suitable combinations.

[0186] For illustration, an example procedure may be described as below.

[0187] The responsible entity shall:

[0188] 1> if the AI / ML model is configured with performance monitoring:

[0189] 2> if performance monitoring instance indication for the AI / ML model has been received from lower layers:

[0190] 3> start or restart the Monitor Timer of the AI / ML model;

[0191] 3> increment Monitor Counter of the AI / ML model by 1;

[0192] 3> if Monitor Counter of the AI / ML model >= MaxCount:

[0193] 4> trigger an action.

[0194] For illustration, another example procedure may be described as below.

[0195] The responsible entity shall:

[0196] 1> if the performance monitoring procedure determines that at least one action has been triggered and not cancelled:

[0197] 2> if UL-SCH resources are available for a new transmission and if the UL-SCH resources can accommodate the report:

[0198] 3> instruct the Multiplexing and Assembly procedure to generate the report;

[0199] 2> else if UL-SCH resources are not available:

[0200] 3> trigger the request for performance monitoring report.

[0201] In the above example procedures, ‘responsible entity’ may denote a higher layer, and ‘lower layers’ may denote a PHY layer. ‘Monitor Timer’ may denote a timer, ‘Monitor Counter’ may denote a counter, ‘performance monitoring instance indication’ may denote an indication, and ‘MaxCount’ may denote a threshold value. ‘action’ may denote a management decision, management decision report, etc..

[0202] EXAMPLE IMPLEMENTATION OF NW SIDE MODEL MANAGEMENT

[0203] In this embodiment, UE side monitoring and NW side management are considered.

[0204] FIG. 3 illustrates a signaling chart illustrating a process 300 of communication for model management at a network device side according to some embodiments of the present disclosure. For the purpose of discussion, the process 300 will be described with reference to FIG. 1. The process 300 may involve the terminal device 110 and the network device  120 as illustrated in FIG. 1. It is to be understood that the steps and the order of the steps in FIG. 3 are merely for illustration, and not for limitation. For example, the order of the steps may be changed. Some of the steps may be omitted or any other suitable additional steps may be added. It is assumed that a first model is a currently applied model.

[0205] As shown in FIG. 3, the terminal device 110 may transmit 310 capability information of the terminal device 110 to the network device 120. Implementations of the step 310 are the same as that of the step 210 and thus are not repeated here for conciseness.

[0206] With reference to FIG. 3, the network device 120 may transmit 320 a configuration for model management to the terminal device 110. Implementations of the step 320 are the same as that of the step 220 and thus are not repeated here for conciseness.

[0207] Continuing to refer to FIG. 3, the network device 120 may transmit 330 an indication of evaluating performance of a first model. In some embodiments, if a physical layer problem is detected, the network device 120 may transmit the indication of evaluating the performance of the first model. It is to be understood that the transmission of the indication of evaluating the performance of the first model may be triggered by any other suitable ways.

[0208] With reference to FIG. 3, the terminal device 110 may evaluate 340 the performance of the first model within a first period of time. Implementations of the step 340 are the same as that described in connection with the step 240 and Embodiments 1 and 2, and thus are not repeated here for conciseness.

[0209] As shown in FIG. 3, if a first performance instance of the first model is evaluated within the first period of time, the terminal device 110 may transmit 350, to the network device 120, a first indication of the first performance instance of the first model. Other details of the first indication are the same as that described in connection with FIG. 2 and Embodiments 1 and 2.

[0210] As shown in FIG. 3, the network device 120 may transmit 360, to the terminal device 110, an indication of evaluating performance of a candidate for the first model. In some embodiments, the candidate may be a second model or a non-AI operation.

[0211] In some embodiments, the network device 120 may transmit the indication of evaluating the performance of the candidate based on received number of first indications reaching the first threshold value. It is to be understood that the transmission of the indication of evaluating the performance of the candidate may be triggered by any other suitable ways.

[0212] In some embodiments, if no first indication is received from the terminal device 110, the network device 120 may reset a first counter for the first model or maintain the first counter.

[0213] With reference to FIG. 3, the terminal device 110 may evaluate 370 the performance of the candidate within a second period of time. Implementations of the step 370 are the same as that described in connection with the step 250 and Embodiments 1 and 2, and thus are not repeated here for conciseness.

[0214] As shown in FIG. 3, if a second performance instance of the candidate is evaluated within the second period of time, the terminal device 110 may transmit 380, to the network device 120, a second indication of the second performance instance of the candidate. Other details of the second indication are the same as that described in connection with FIG. 2 and Embodiments 1 and 2.

[0215] Continuing to refer to FIG. 3, the network device 120 may perform 390 a model management associated with at least one of the first model or the candidate based on the second indication. In some embodiments, the network device 120 may perform the model management based on received number of second indications reaching the second threshold value.

[0216] In some embodiments, if no second indication is received from the terminal device 110, the network device 120 may reset a second counter for the candidate or maintain the second counter.

[0217] So far, a model management at a NW side is described. It is to be understood that operations described in the process 300 may be carried out separately or in any suitable combinations with that described in the process 200 and in Embodiments 1 and 2.

[0218] EXAMPLE IMPLEMENTATION OF METHODS

[0219] Corresponding to the above processes, embodiments of the present disclosure provide methods of communication implemented at a terminal device and a network device. These methods will be described below with reference to FIGs. 4 to 6.

[0220] FIG. 4 illustrates a flowchart of a method 400 of communication implemented at a terminal device in accordance with some embodiments of the present disclosure. For example, the method 400 may be performed at the terminal device 110 as shown in FIG. 1. For the purpose of discussion, in the following, the method 400 will be described with  reference to FIG. 1. It is to be understood that the method 400 may include additional blocks not shown and / or may omit some blocks as shown, and the scope of the present disclosure is not limited in this regard.

[0221] At block 410, the terminal device 110 evaluates performance of a first model within a first period of time.

[0222] In some embodiments, the terminal device 110 may evaluate, by a PHY layer of the terminal device 110, the performance of the first model within the first period of time. If a first performance instance of the first model is evaluated within the first period of time, the PHY layer may transmit, to a higher layer of the terminal device 110, a first indication of the first performance instance of the first model.

[0223] In some embodiments, if a physical layer problem is detected, the terminal device 110 may evaluate the performance of the first model within the first period of time.

[0224] In some embodiments, the terminal device 110 may determine that the physical layer problem is detected based on at least one of the following: an out-of-sync indication is received; a beam failure instance indication is received; a timer for radio link failure detection is started; or a beam failure is declared.

[0225] In some embodiments, if stored first data for at least one of an input or an output of the first model is sufficient for determining a first data distribution, the terminal device 110 may determine the first data distribution based on the stored data. If the first data distribution indicates the first performance instance, the terminal device 110 may determine that the first performance instance of the first model is evaluated.

[0226] In some embodiments, the terminal device 110 may determine that the stored first data is sufficient for determining the first data distribution based on at least one of the following: number of the stored first data is higher than or equal to a number threshold; time for data collection for the stored first data is higher than or equal to a time threshold; or a storage space for the stored first data is full.

[0227] In some embodiments, if the first data distribution is determined, the terminal device 110 may release the stored first data.

[0228] In some embodiments, the first period of time may have a first periodicity, and the first periodicity may be determined based on at least one of the following: a maximum value of the first periodicity; an exact value of the first periodicity; a minimum value of the first  periodicity; a set of requirements of the first model; a method of evaluating the first model; or a DRX duration configured for the terminal device 110.

[0229] In some embodiments, the method of evaluating the first model may comprise at least one of the following: a periodicity of obtaining ground truth for the first model; a scaled periodicity of a reference signal or a report for monitoring of the first model; a periodicity of obtaining a key performance indicator of the first model; time required for obtaining input or output data for monitoring of the first model; or a periodicity of checking an applicable condition of the first model.

[0230] At block 420, the terminal device 110 evaluates performance of a candidate of the first model within a second period of time if a first number of first performance instances of the first model is evaluated within a first time duration. In some embodiments, the candidate may be a second model or a non-AI operation.

[0231] In some embodiments, if the first number of first indications of the first performance instances of the first model are received from the PHY layer, the higher layer may indicate the PHY layer to evaluate the performance of the candidate.

[0232] In some embodiments, the first indication may be an out-of-sync indication. In some embodiments, if a timer for RLF detection is started, the higher layer may indicate the physical layer to evaluate the performance of the candidate. In some embodiments, if a first number of out-of-sync indications are received from the PHY layer within a third period of time, the higher layer may indicate the physical layer to evaluate the performance of the candidate.

[0233] In some embodiments, if the timer for RLF detection is started, the terminal device 110 may deactivate the first model. In some embodiments, if an in-sync indication is received for the first time, the terminal device 110 may stop a timer set for the third period of time.

[0234] In some embodiments, if no first indication is received from the PHY layer for the evaluation of the first model within the first period of time, the terminal device 110 may reset a first counter for the first model or maintain the first counter.

[0235] In some embodiments, if the candidate is inactive, the terminal device 110 may activate the candidate.

[0236] In some embodiments, the terminal device 110 may evaluate, by the PHY layer, at  least the performance of the candidate within the second period of time. If the second performance instance of the candidate is evaluated within the second period of time, the PHY layer may transmit, to the higher layer, a second indication of the second performance instance of the candidate.

[0237] In some embodiments, the terminal device 110 may compare the performance of the candidate with the performance of the first model. If the performance of the candidate is higher than the performance of the first model, the terminal device 110 may determine that the second performance instance of the candidate is evaluated.

[0238] In some embodiments where the candidate is a second model, if stored second data for at least one of an input or an output of the second model is sufficient for determining a second data distribution, the terminal device 110 may determine the second data distribution based on the stored second data. If the second data distribution indicates the second performance instance, the terminal device 110 may determine that the second performance instance of the second model is evaluated.

[0239] In some embodiments, the terminal device 110 may determine that the stored second data is sufficient for determining the second data distribution based on at least one of the following: number of the stored second data is higher than or equal to a number threshold; time for data collection for the stored second data is higher than or equal to a time threshold; or a storage space for the stored second data is full.

[0240] In some embodiments, the terminal device 110 may release the stored second data if the second data distribution is determined.

[0241] In some embodiments, the second period of time may have a second periodicity, and the second periodicity may be determined based on at least one of the following: a first periodicity of the first period of time; or a periodicity required for evaluating the candidate.

[0242] At block 430, the terminal device 110 performs a model management associated with at least one of the first model or the candidate if a second number of second performance instances of the candidate is evaluated within a second time duration.

[0243] In some embodiments, if the second number of second indications of the second performance instances of the second model are received from the PHY layer, the higher layer may perform the model management.

[0244] In some embodiments, the second indication may be an in-sync indication. In  some embodiments, if a timer for RLF detection is stopped, the terminal device 110 may perform the model management.

[0245] In some embodiments, if the timer for RLF detection expires, the terminal device 110 may deactivate a set of models comprising at least the first model.

[0246] In some embodiments, if no second indication is received from the PHY layer for the evaluation of the candidate within the second period of time, the terminal device 110 may reset a second counter for the candidate or maintain the second counter.

[0247] In some embodiments, the terminal device 110 may transmit, to the network device 120, information of the model management. In some embodiments, the terminal device 110 may transmit, to the network device 120, a request for the model management. In some embodiments, if a decision of the model management is received from the network device 120, the terminal device 110 may perform the decision of the model management.

[0248] With the method 400, a model management at a terminal device side may be carried out. It is to be understood that operations of the method 400 correspond to that described in connection with FIGs. 2 and Embodiments 1 and 2, and other details are omitted here for conciseness.

[0249] FIG. 5 illustrates a flowchart of another method 500 of communication implemented at a terminal device in accordance with some embodiments of the present disclosure. For example, the method 500 may be performed at the terminal device 110 as shown in FIG. 1. For the purpose of discussion, in the following, the method 500 will be described with reference to FIG. 1. It is to be understood that the method 500 may include additional blocks not shown and / or may omit some blocks as shown, and the scope of the present disclosure is not limited in this regard.

[0250] At block 510, the terminal device 110 evaluates performance of a first model within a first period of time.

[0251] In some embodiments, if a physical layer problem is detected, the terminal device 110 may evaluate the performance of the first model within the first period of time.

[0252] In some embodiments, the terminal device 110 may determine that the physical layer problem is detected based on at least one of the following: an out-of-sync indication is received; a beam failure instance indication is received; a timer for radio link failure detection is started; or a beam failure is declared.

[0253] In some embodiments, if stored first data for at least one of an input or an output of the first model is sufficient for determining a first data distribution, the terminal device 110 may determine the first data distribution based on the stored data. If the first data distribution indicates the first performance instance, the terminal device 110 may determine that the first performance instance of the first model is evaluated.

[0254] In some embodiments, the terminal device 110 may determine that the stored first data is sufficient for determining the first data distribution based on at least one of the following: number of the stored first data is higher than or equal to a number threshold; time for data collection for the stored first data is higher than or equal to a time threshold; or a storage space for the stored first data is full.

[0255] In some embodiments, if the first data distribution is determined, the terminal device 110 may release the stored first data.

[0256] In some embodiments, the first period of time may have a first periodicity, and the first periodicity may be determined based on at least one of the following: a maximum value of the first periodicity; an exact value of the first periodicity; a minimum value of the first periodicity; a set of requirements of the first model; a method of evaluating the first model; or a DRX duration configured for the terminal device 110.

[0257] In some embodiments, the method of evaluating the first model may comprise at least one of the following: a periodicity of obtaining ground truth for the first model; a scaled periodicity of a reference signal or a report for monitoring of the first model; a periodicity of obtaining a key performance indicator of the first model; time required for obtaining input or output data for monitoring of the first model; or a periodicity of checking an applicable condition of the first model.

[0258] At block 520, the terminal device 110 transmits, to the network device 120, a first indication of a first performance instance of the first model if the first performance instance of the first model is evaluated within the first period of time.

[0259] In some embodiments, the terminal device 110 may receive, from the network device 120, an indication of evaluating performance of a candidate for the first model. In some embodiments, the candidate may be a second model or a non-AI operation.

[0260] In some embodiments, the terminal device 110 may evaluate at least the performance of the candidate within a second period of time. If a second performance instance of the candidate is evaluated within the second period of time, the terminal device 110 may transmit,  to the network device 120, a second indication of the second performance instance of the candidate.

[0261] In some embodiments, if the candidate is inactive, the terminal device 110 may activate the candidate.

[0262] In some embodiments, the terminal device 110 may compare the performance of the candidate with the performance of the first model. If the performance of the candidate is higher than the performance of the first model, the terminal device 110 may determine that the second performance instance of the candidate is evaluated.

[0263] In some embodiments where the candidate is a second model, if stored second data for at least one of an input or an output of the second model is sufficient for determining a second data distribution, the terminal device 110 may determine the second data distribution based on the stored second data. If the second data distribution indicates the second performance instance, the terminal device 110 may determine that the second performance instance of the second model is evaluated.

[0264] In some embodiments, the terminal device 110 may determine that the stored second data is sufficient for determining the second data distribution based on at least one of the following: number of the stored second data is higher than or equal to a number threshold; time for data collection for the stored second data is higher than or equal to a time threshold; or a storage space for the stored second data is full.

[0265] In some embodiments, the terminal device 110 may release the stored second data if the second data distribution is determined.

[0266] In some embodiments, the second period of time may have a second periodicity, and the second periodicity may be determined based on at least one of the following: a first periodicity of the first period of time; or a periodicity required for evaluating the candidate.

[0267] In some embodiments, the first indication may be an out-of-sync indication, and the second indication may be an in-sync indication.

[0268] With the method 500, a model monitoring at a terminal device side may be carried out and a model management at a network device side may be facilitated.

[0269] FIG. 6 illustrates a flowchart of a method 600 of communication implemented at a network device in accordance with some embodiments of the present disclosure. For example, the method 600 may be performed at the network device 120 as shown in FIG. 1.  For the purpose of discussion, in the following, the method 600 will be described with reference to FIG. 1. It is to be understood that the method 600 may include additional blocks not shown and / or may omit some blocks as shown, and the scope of the present disclosure is not limited in this regard.

[0270] At block 610, the network device 120 receives, from the terminal device 110, a first indication of a first performance instance of a first model.

[0271] In some embodiments, if a physical layer problem is detected, the network device 120 may transmit, to the terminal device 110, an indication of evaluating the performance of the first model.

[0272] In some embodiments, if no first indication is received from the terminal device 110, the network device 120 may reset a first counter for the first model or maintain the first counter.

[0273] At block 620, the network device 120 transmits, to the terminal device 110, an indication of evaluating performance of a candidate for the first model. In some embodiments, the candidate may be a second model or a non-AI operation.

[0274] At block 630, the network device 120 receives, from the terminal device 110, a second indication of a second performance instance of the candidate. In some embodiments, if no second indication is received, the network device 120 may reset a second counter for the candidate or maintain the second counter.

[0275] At block 640, the network device 120 performs a model management associated with at least one of the first model or the candidate.

[0276] With the method 600, a model management at a network device side may be carried out. It is to be understood that operations of the methods 500 and 600 correspond to that described in connection with FIG. 3, and other details are omitted here for conciseness.

[0277] EXAMPLE IMPLEMENTATION OF DEVICES

[0278] FIG. 7 is a simplified block diagram of a device 700 that is suitable for implementing embodiments of the present disclosure. The device 700 can be considered as a further example implementation of the terminal device 70 or the network device 120 as shown in FIG. 1. Accordingly, the device 700 can be implemented at or as at least a part of the terminal device 110 or the network device 120.

[0279] As shown, the device 700 includes a processor 710, a memory 720 coupled to the  processor 710, a suitable transceiver 740 coupled to the processor 710, and a communication interface coupled to the transceiver 740. The memory 710 stores at least a part of a program 730. The transceiver 740 may be for bidirectional communications or a unidirectional communication based on requirements. The transceiver 740 may include at least one of a transmitter 742 or a receiver 744. The transmitter 742 and the receiver 744 may be functional modules or physical entities. The transceiver 740 has at least one antenna to facilitate communication, though in practice an Access Node mentioned in this application may have several ones. The communication interface may represent any interface that is necessary for communication with other network elements, such as X2 / Xn interface for bidirectional communications between eNBs / gNBs, S1 / NG interface for communication between a mobility management entity (MME)  / access and mobility management function (AMF)  / SGW / UPF and the eNB / gNB, Un interface for communication between the eNB / gNB and a relay node (RN) , or Uu interface for communication between the eNB / gNB and a terminal device.

[0280] The program 730 is assumed to include program instructions that, when executed by the associated processor 710, enable the device 700 to operate in accordance with the embodiments of the present disclosure, as discussed herein with reference to FIGs. 1 to 6. The embodiments herein may be implemented by computer software executable by the processor 710 of the device 700, or by hardware, or by a combination of software and hardware. The processor 710 may be configured to implement various embodiments of the present disclosure. Furthermore, a combination of the processor 710 and memory 720 may form processing means 750 adapted to implement various embodiments of the present disclosure.

[0281] The memory 720 may be of any type suitable to the local technical network and may be implemented using any suitable data storage technology, such as a non-transitory computer readable storage medium, semiconductor based memory devices, magnetic memory devices and systems, optical memory devices and systems, fixed memory and removable memory, as non-limiting examples. While only one memory 720 is shown in the device 700, there may be several physically distinct memory modules in the device 700. The processor 710 may be of any type suitable to the local technical network, and may include one or more of general purpose computers, special purpose computers, microprocessors, digital signal processors (DSPs) and processors based on multicore processor architecture, as non-limiting examples. The device 700 may have multiple processors, such as an  application specific integrated circuit chip that is slaved in time to a clock which synchronizes the main processor.

[0282] In some embodiments, a terminal device comprises a circuitry configured to: evaluate performance of a first model within a first period of time; in accordance with a determination that a first number of first performance instances of the first model is evaluated within a first time duration, evaluate performance of a candidate of the first model within a second period of time; and in accordance with a determination that a second number of second performance instances of the candidate is evaluated within a second time duration, perform a model management associated with at least one of the first model or the candidate.

[0283] In some embodiments, a terminal device comprises a circuitry configured to: evaluate performance of a first model within a first period of time; and in accordance with a determination that a first performance instance of the first model is evaluated within the first period of time, transmit, to a network device, a first indication of the first performance instance of the first model.

[0284] In some embodiments, a network device comprises a circuitry configured to: receive, from a terminal device, a first indication of a first performance instance of a first model; transmit, to the terminal device, an indication of evaluating performance of a candidate for the first model; receive, from the terminal device, a second indication of a second performance instance of the candidate; and perform a model management associated with at least one of the first model or the candidate.

[0285] The term ‘circuitry’ used herein may refer to hardware circuits and / or combinations of hardware circuits and software. For example, the circuitry may be a combination of analog and / or digital hardware circuits with software / firmware. As a further example, the circuitry may be any portions of hardware processors with software including digital signal processor (s) , software, and memory (ies) that work together to cause an apparatus, such as a terminal device or a network device, to perform various functions. In a still further example, the circuitry may be hardware circuits and or processors, such as a microprocessor or a portion of a microprocessor, that requires software / firmware for operation, but the software may not be present when it is not needed for operation. As used herein, the term circuitry also covers an implementation of merely a hardware circuit or processor (s) or a portion of a hardware circuit or processor (s) and its (or their) accompanying software and / or firmware.

[0286] In summary, embodiments of the present disclosure may provide the following  solutions.

[0287] In one solution, a terminal device comprises a processor configured to cause the terminal device to: evaluate performance of a first model within a first period of time; in accordance with a determination that a first number of first performance instances of the first model is evaluated within a first time duration, evaluate performance of a candidate of the first model within a second period of time; and in accordance with a determination that a second number of second performance instances of the candidate is evaluated within a second time duration, perform a model management associated with at least one of the first model or the candidate.

[0288] In some embodiments, the terminal device is caused to evaluate the performance of the first model by: evaluating, by a physical layer of the terminal device, the performance of the first model within the first period of time; and in accordance with a determination that a first performance instance of the first model is evaluated within the first period of time, transmitting, to a higher layer of the terminal device, a first indication of the first performance instance of the first model.

[0289] In some embodiments, the terminal device is caused to evaluate the performance of the candidate by: in accordance with a determination that the first number of first indications of the first performance instances of the first model are received from the physical layer, indicating, by the higher layer, the physical layer to evaluate the performance of the candidate.

[0290] In some embodiments, the first indication is an out-of-sync indication, and wherein the terminal device is caused to indicate the physical layer to evaluate the performance of the candidate by: in accordance with a determination that a timer for radio link failure detection is started, indicating, by the higher layer, the physical layer to evaluate the performance of the candidate; or in accordance with a determination that a first number of out-of-sync indications are received from the physical layer within a third period of time, indicating, by the higher layer, the physical layer to evaluate the performance of the candidate.

[0291] In some embodiments, the terminal device is further caused to: in accordance with a determination that the timer for radio link failure detection is started, deactivate the first model; or in accordance with a determination that an in-sync indication is received for the first time, stop a timer set for the third period of time.

[0292] In some embodiments, the terminal device is further caused to: in accordance with a determination that no first indication is received from the physical layer for the evaluation  of the first model within the first period of time, reset a first counter for the first model or maintain the first counter.

[0293] In some embodiments, the terminal device is caused to evaluate the performance of the candidate by: evaluating, by a physical layer of the terminal device, at least the performance of the candidate within the second period of time; and in accordance with a determination that the second performance instance of the candidate is evaluated within the second period of time, transmitting, to a higher layer of the terminal device, a second indication of the second performance instance of the candidate.

[0294] In some embodiments, the terminal device is caused to perform the model management by: in accordance with a determination that the second number of second indications of the second performance instances of the second model are received from the physical layer, performing the model management by the higher layer.

[0295] In some embodiments, the second indication is an in-sync indication, and the terminal device is caused to perform the model management by: in accordance with a determination that a timer for radio link failure detection is stopped, performing the model management.

[0296] In some embodiments, the terminal device is further caused to: in accordance with a determination that the timer for radio link failure detection expires, deactivate a set of models comprising at least the first model.

[0297] In some embodiments, the terminal device is further caused to: in accordance with a determination that no second indication is received from the physical layer for the evaluation of the candidate within the second period of time, reset a second counter for the candidate or maintain the second counter.

[0298] In some embodiments, the terminal device is caused to evaluate the performance of the first model by: in accordance with a determination that a physical layer problem is detected, evaluating the performance of the first model within the first period of time.

[0299] In some embodiments, the terminal device is further caused to: determine that the physical layer problem is detected based on at least one of the following: an out-of-sync indication is received; a beam failure instance indication is received; a timer for radio link failure detection is started; or a beam failure is declared.

[0300] In some embodiments, the terminal device is caused to perform the model  management by at least one of the following: transmitting, to the network device, information of the model management; transmitting, to a network device, a request for the model management; or in accordance with a determination that a decision of the model management is received from the network device, performing the decision of the model management.

[0301] In another solution, a terminal device comprises a processor configured to cause the terminal device to: evaluate performance of a first model within a first period of time; and in accordance with a determination that a first performance instance of the first model is evaluated within the first period of time, transmit, to a network device, a first indication of the first performance instance of the first model.

[0302] In some embodiments, the terminal device is further caused to: receive, from the network device, an indication of evaluating performance of a candidate for the first model; evaluate at least the performance of the candidate within a second period of time; and in accordance with a determination that a second performance instance of the candidate is evaluated within the second period of time, transmit, to the network device, a second indication of the second performance instance of the candidate.

[0303] In some embodiments, the terminal device is caused to evaluate the performance of the candidate by: in accordance with a determination that the candidate is inactive, activating the candidate.

[0304] In some embodiments, the terminal device is caused to evaluate at least the performance of the candidate by: comparing the performance of the candidate with the performance of the first model; and in accordance with a determination that the performance of the candidate is higher than the performance of the first model, determining that the second performance instance of the candidate is evaluated.

[0305] In some embodiments, the terminal device is caused to evaluate the performance of the first model by: in accordance with a determination that stored first data for at least one of an input or an output of the first model is sufficient for determining a first data distribution, determining the first data distribution based on the stored data; and in accordance with a determination that the first data distribution indicates the first performance instance, determine that the first performance instance of the first model is evaluated.

[0306] In some embodiments, the terminal device is further caused to: determine that the stored first data is sufficient for determining the first data distribution based on at least one of the following: number of the stored first data is higher than or equal to a number threshold;  time for data collection for the stored first data is higher than or equal to a time threshold; or a storage space for the stored first data is full.

[0307] In some embodiments, the terminal device is further caused to: in accordance with a determination that the first data distribution is determined, release the stored first data.

[0308] In some embodiments, the candidate is a second model, and the terminal device is caused to evaluate the performance of the candidate by: in accordance with a determination that stored second data for at least one of an input or an output of the second model is sufficient for determining a second data distribution, determining the second data distribution based on the stored second data; and in accordance with a determination that the second data distribution indicates the second performance instance, determine that the second performance instance of the second model is evaluated.

[0309] In some embodiments, the terminal device is further caused to: determine that the stored second data is sufficient for determining the second data distribution based on at least one of the following: number of the stored second data is higher than or equal to a number threshold; time for data collection for the stored second data is higher than or equal to a time threshold; or a storage space for the stored second data is full.

[0310] In some embodiments, the terminal device is further caused to: in accordance with a determination that the second data distribution is determined, release the stored second data.

[0311] In some embodiments, the first indication is an out-of-sync indication, and the second indication is an in-sync indication.

[0312] In some embodiments, the first period of time has a first periodicity, and the first periodicity is determined based on at least one of the following: a maximum value of the first periodicity; an exact value of the first periodicity; a minimum value of the first periodicity; a set of requirements of the first model; a method of evaluating the first model; or a DRX duration configured for the terminal device.

[0313] In some embodiments, the method of evaluating the first model comprises at least one of the following: a periodicity of obtaining ground truth for the first model; a scaled periodicity of a reference signal or a report for monitoring of the first model; a periodicity of obtaining a key performance indicator of the first model; time required for obtaining input or output data for monitoring of the first model; or a periodicity of checking an applicable condition of the first model.

[0314] In some embodiments, the second period of time has a second periodicity, and the second periodicity is determined based on at least one of the following: a first periodicity of the first period of time; or a periodicity required for evaluating the candidate.

[0315] In some embodiments, the candidate is a second model or a non-AI operation.

[0316] In another solution, a network device comprises a processor configured to cause the network device to: receive, from a terminal device, a first indication of a first performance instance of a first model; transmit, to the terminal device, an indication of evaluating performance of a candidate for the first model; receive, from the terminal device, a second indication of a second performance instance of the candidate; and perform a model management associated with at least one of the first model or the candidate.

[0317] In some embodiments, the network device is further caused to at least one of the following: in accordance with a determination that no first indication is received from the terminal device, reset a first counter for the first model or maintain the first counter; in accordance with a determination that no second indication is received, reset a second counter for the candidate or maintain the second counter; or in accordance with a determination that a physical layer problem is detected, transmit, to the terminal device, an indication of evaluating the performance of the first model.

[0318] In some embodiments, the candidate is a second model or a non-AI operation.

[0319] Generally, various embodiments of the present disclosure may be implemented in hardware or special purpose circuits, software, logic or any combination thereof. Some aspects may be implemented in hardware, while other aspects may be implemented in firmware or software which may be executed by a controller, microprocessor or other computing device. While various aspects of embodiments of the present disclosure are illustrated and described as block diagrams, flowcharts, or using some other pictorial representation, it will be appreciated that the blocks, apparatus, systems, techniques or methods described herein may be implemented in, as non-limiting examples, hardware, software, firmware, special purpose circuits or logic, general purpose hardware or controller or other computing devices, or some combination thereof.

[0320] The present disclosure also provides at least one computer program product tangibly stored on a non-transitory computer readable storage medium. The computer program product includes computer-executable instructions, such as those included in program modules, being executed in a device on a target real or virtual processor, to carry out the  process or method as described above with reference to FIGs. 1 to 6. Generally, program modules include routines, programs, libraries, objects, classes, components, data structures, or the like that perform particular tasks or implement particular abstract data types. The functionality of the program modules may be combined or split between program modules as desired in various embodiments. Machine-executable instructions for program modules may be executed within a local or distributed device. In a distributed device, program modules may be located in both local and remote storage media.

[0321] Program code for carrying out methods of the present disclosure may be written in any combination of one or more programming languages. These program codes may be provided to a processor or controller of a general purpose computer, special purpose computer, or other programmable data processing apparatus, such that the program codes, when executed by the processor or controller, cause the functions / operations specified in the flowcharts and / or block diagrams to be implemented. The program code may execute entirely on a machine, partly on the machine, as a stand-alone software package, partly on the machine and partly on a remote machine or entirely on the remote machine or server.

[0322] The above program code may be embodied on a machine readable medium, which may be any tangible medium that may contain, or store a program for use by or in connection with an instruction execution system, apparatus, or device. The machine readable medium may be a machine readable signal medium or a machine readable storage medium. A machine readable medium may include but not limited to an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any suitable combination of the foregoing. More specific examples of the machine readable storage medium would include an electrical connection having one or more wires, a portable computer diskette, a hard disk, a random access memory (RAM) , a read-only memory (ROM) , an erasable programmable read-only memory (EPROM or Flash memory) , an optical fiber, a portable compact disc read-only memory (CD-ROM) , an optical storage device, a magnetic storage device, or any suitable combination of the foregoing.

[0323] Further, while operations are depicted in a particular order, this should not be understood as requiring that such operations be performed in the particular order shown or in sequential order, or that all illustrated operations be performed, to achieve desirable results. In certain circumstances, multitasking and parallel processing may be advantageous. Likewise, while several specific implementation details are contained in the above discussions, these should not be construed as limitations on the scope of the present  disclosure, but rather as descriptions of features that may be specific to particular embodiments. Certain features that are described in the context of separate embodiments may also be implemented in combination in a single embodiment. Conversely, various features that are described in the context of a single embodiment may also be implemented in multiple embodiments separately or in any suitable sub-combination.

[0324] Although the present disclosure has been described in language specific to structural features and / or methodological acts, it is to be understood that the present disclosure defined in the appended claims is not necessarily limited to the specific features or acts described above. Rather, the specific features and acts described above are disclosed as example forms of implementing the claims.

Claims

1.A terminal device, comprising:a processor configured to cause the terminal device to:evaluate performance of a first model within a first period of time;in accordance with a determination that a first number of first performance instances of the first model is evaluated within a first time duration, evaluate performance of a candidate of the first model within a second period of time; andin accordance with a determination that a second number of second performance instances of the candidate is evaluated within a second time duration, perform a model management associated with at least one of the first model or the candidate.2.The terminal device of claim 1, wherein the terminal device is caused to evaluate the performance of the first model by:evaluating, by a physical layer of the terminal device, the performance of the first model within the first period of time; andin accordance with a determination that a first performance instance of the first model is evaluated within the first period of time, transmitting, to a higher layer of the terminal device, a first indication of the first performance instance of the first model.3.The terminal device of claim 2, wherein the terminal device is caused to evaluate the performance of the candidate by:in accordance with a determination that the first number of first indications of the first performance instances of the first model are received from the physical layer, indicating, by the higher layer, the physical layer to evaluate the performance of the candidate.4.The terminal device of claim 3, wherein the first indication is an out-of-sync indication, and wherein the terminal device is caused to indicate the physical layer to evaluate the performance of the candidate by:in accordance with a determination that a timer for radio link failure detection is started, indicating, by the higher layer, the physical layer to evaluate the performance of the candidate; orin accordance with a determination that a first number of out-of-sync indications are received from the physical layer within a third period of time, indicating, by the higher layer, the physical layer to evaluate the performance of the candidate.5.The terminal device of claim 4, wherein the terminal device is further caused to:in accordance with a determination that the timer for radio link failure detection is started, deactivate the first model; orin accordance with a determination that an in-sync indication is received for the first time, stop a timer set for the third period of time.6.The terminal device of claim 1, wherein the terminal device is caused to evaluate the performance of the candidate by:evaluating, by a physical layer of the terminal device, at least the performance of the candidate within the second period of time; andin accordance with a determination that the second performance instance of the candidate is evaluated within the second period of time, transmitting, to a higher layer of the terminal device, a second indication of the second performance instance of the candidate.7.The terminal device of claim 6, wherein the terminal device is caused to perform the model management by:in accordance with a determination that the second number of second indications of the second performance instances of the second model are received from the physical layer, performing the model management by the higher layer.8.The terminal device of claim 6, wherein the second indication is an in-sync indication, and wherein the terminal device is caused to perform the model management by:in accordance with a determination that a timer for radio link failure detection is stopped, performing the model management.9.The terminal device of claim 8, wherein the terminal device is further caused to:in accordance with a determination that the timer for radio link failure detection expires, deactivate a set of models comprising at least the first model.10.The terminal device of claim 6, wherein the terminal device is caused to evaluate the performance of the candidate by:in accordance with a determination that the candidate is inactive, activating the candidate.11.The terminal device of claim 6, wherein the terminal device is caused to evaluate at least the performance of the candidate by:comparing the performance of the candidate with the performance of the first model; andin accordance with a determination that the performance of the candidate is higher than the performance of the first model, determining that the second performance instance of the candidate is evaluated.12.The terminal device of claim 1, wherein the terminal device is caused to evaluate the performance of the first model by:in accordance with a determination that a physical layer problem is detected, evaluating the performance of the first model within the first period of time.13.The terminal device of claim 12, wherein the terminal device is further caused to:determine that the physical layer problem is detected based on at least one of the following:an out-of-sync indication is received;a beam failure instance indication is received;a timer for radio link failure detection is started; ora beam failure is declared.14.The terminal device of claim 1, wherein the terminal device is caused to perform the model management by at least one of the following:transmitting, to the network device, information of the model management;transmitting, to the network device, a request for the model management; orin accordance with a determination that a decision of the model management is received from the network device, performing the decision of the model management.15.A terminal device, comprising:a processor configured to cause the terminal device to:evaluate performance of a first model within a first period of time; andin accordance with a determination that a first performance instance of the first model is evaluated within the first period of time, transmit, to a network device, a first indication of the first performance instance of the first model.16.The terminal device of claim 1 or 15, wherein the terminal device is caused to evaluate the performance of the first model by:in accordance with a determination that stored first data for at least one of an input or an output of the first model is sufficient for determining a first data distribution, determining the first data distribution based on the stored data; andin accordance with a determination that the first data distribution indicates the first performance instance, determine that the first performance instance of the first model is evaluated.17.The terminal device of claim 16, wherein the terminal device is further caused to:determine that the stored first data is sufficient for determining the first data distribution based on at least one of the following:number of the stored first data is higher than or equal to a number threshold;time for data collection for the stored first data is higher than or equal to a time threshold; ora storage space for the stored first data is full.18.The terminal device of claim 1 or 15, wherein the first period of time has a first periodicity, and the first periodicity is determined based on at least one of the following:a maximum value of the first periodicity;an exact value of the first periodicity;a minimum value of the first periodicity;a set of requirements of the first model;a method of evaluating the first model; ora discontinuous reception (DRX) duration configured for the terminal device.19.The terminal device of claim 18, wherein the method of evaluating the first model comprises at least one of the following:a periodicity of obtaining ground truth for the first model;a scaled periodicity of a reference signal or a report for monitoring of the first model;a periodicity of obtaining a key performance indicator of the first model;time required for obtaining input or output data for monitoring of the first model; ora periodicity of checking an applicable condition of the first model.20.A network device, comprising:a processor configured to cause the network device to:receive, from a terminal device, a first indication of a first performance instance of a first model;transmit, to the terminal device, an indication of evaluating performance of a candidate for the first model;receive, from the terminal device, a second indication of a second performance instance of the candidate; andperform a model management associated with at least one of the first model or the candidate.

Images