Methods, devices, and computer readable medium for artificial intelligence (AI) service

Abstract

A method relates to artificial intelligence (AI) service. In the method, a first device receives indication information on monitoring or updating of one or more sub-models of an artificial intelligence / machine learning (AI / ML) model. Based on the indication information, the first device performs the monitoring or the updating of the one or more sub-models. In this way, distributed monitor and update by multiple devices are enabled, and each device may monitor or update partial of the AI model, to improve monitor or update efficiency.

Description

METHODS, DEVICES, AND COMPUTER READABLE MEDIUM FOR ARTIFICIAL INTELLIGENCE (AI) SERVICEFIELD

[0001] Example embodiments of the present disclosure generally relate to the field of communications, and in particular, to methods, devices, and a non-transitory computer readable medium for artificial intelligence (AI) service.BACKGROUND

[0002] With the development of computer and network technologies, the artificial intelligence (AI) , and in particular deep machine learning, has been focused on. Artificial intelligence (AI) makes it possible for machines to learn from experience (for example, historical inputs) , adapt to new inputs and perform human derivation-like tasks. It is expected that the introduction of AI will create a paradigm shift in virtually every sector of the tech industry and AI is expected to play a role in advancement of network technologies. Communication techniques, which rely on classical analytical modeling of channels, have enabled wireless communications to take place at close to the theoretical Shannon limit. To further maximize efficient use of the signal space, conventional techniques may need considerable trial and error costs or unsatisfactory. AI is expected to help address this challenge. Other aspects of wireless communication may benefit from the use of AI, particularly in future generations of wireless technologies, such as technologies in advanced 5G and future communication generations.

[0003] To support the use of AI in a wireless network, an appropriate AI framework is needed. However, the wireless technology mainly considers the AI use cases to improve network performance.SUMMARY

[0004] In general, example embodiments of the present disclosure provide a solution for AI service, especially for monitoring and updating of an AI model.

[0005] It is to be understood that the summary section is not intended to identify key or essential features of embodiments of the present disclosure, nor is it intended to be used to limit the scope of the present disclosure. Other features of the present disclosure will become easily comprehensible through the following description.

[0006] In a first aspect, there is provided a method implemented at a first device. In the method, the first device receives indication information on monitoring or updating of one or more sub-models of an artificial intelligence / machine learning (AI / ML) model. Specifically, a (parent / big) AI model may consist of a plurality of “sub-models” which are distributed over the massive devices. As such, the AI model can be distributed trained over massive devices in a network which have data and computing capability. That is, a device in the network may be configured with one or more “sub-models” of the AI model. As such, in addition to the network performance enhancement, without considerable resource consumption at the network, the devices in the network may be also provided with AI service by means of the AI model distributed over the devices, for example, image recognition, voice recognition and intelligent question and answer. In turn, compared to the AI model which is configured in the centralized manner, the life cycle management of this AI model is a key aspect. With the above indication information, the AI model having the plurality of sub-models can be appropriately managed, for example, monitored and / or updated. The first device performs, based on the indication information, the monitoring or the updating of the one or more sub-models. In this way, designs on the life cycle management for AI as a service, especially on the AI model monitor and update are proposed. As such, distributed monitor and update by multiple devices are enabled, and each device may monitor or update partial of the AI model, to improve monitor or update efficiency.

[0007] In some embodiments, a sub-model of the one or more sub-models is associated with at least one of the following: a portion of a plurality of parameters of the AI / ML model; one or more functionalities of a plurality of functionalities of the AI / ML model; one or more tasks of a plurality of tasks of the AI / ML model; a model size associated with a number of size parameters or a size level; or a neuron network algorithm. In some embodiments, the one or more sub-models comprise a first sub-model and a second sub-model. The first sub-model is associated with a first portion of a plurality of parameters of the AI / ML model. The second sub-model is associated with a second portion of the plurality of parameters. The first portion and the second portion are non-overlapped or partially overlapped. In this way, on the basis that the AI model is consist of the plurality of distributed sub-models, the AI sub-models of the AI model can be divided in a flexible manner.

[0008] In some embodiments, the indication information comprises an index identifying a sub-model; or the indication information comprises a plurality of indexes identifying a plurality of sub-models. In this way, the sub-model (s) to be monitored or updated may be identified by the corresponding index (es) .

[0009] In some embodiments, a terminal device is configured to activate one sub-model for the monitoring or the updating, and performing the monitoring or the updating comprises: performing the monitoring or the updating of a sub-model of the one or more sub-models which is identified by the index. In this way, based on the index, the corresponding one sub-model can be activated for the monitoring or the updating.

[0010] In some embodiments, a terminal device is configured to activate more than one sub-model for the monitoring or the updating, and performing the monitoring or the updating comprises: performing the monitoring or the updating of a plurality sub-models of the one or more sub-models which are identified by the plurality of indexes, simultaneously. In this way, based on the indexes, the corresponding sub-models can be activated and further monitored / updated simultaneously.

[0011] In some embodiments, the index or the plurality of indexes comprised in the indication information indicate at least one sub-model to be activated for the monitoring or the updating, and wherein the method further comprises: determining the at least one sub-model to be activated for the monitoring or the updating; and activate the at least one sub-model for the monitoring or the updating or maintaining the at least one sub-model active. In this way, if the sub-model (s) to be monitored or updated is not activated currently, the device may activate the sub-model (s) at first, i.e., “switch” to the sub-model (s) to be monitored or updated.

[0012] In some embodiments, the AI / ML model is a first AI / ML model for a first AI feature, and the first AI / ML model is a predefined or configured AI / ML model at a terminal device. Moreover, further one or more sub-models of a second AI / ML model is configured at the terminal device for a second AI feature, and the indication information comprises a first indication to perform the monitoring or the updating of one of the first AI service or the second AI service. In some embodiments, performing the monitoring on the one or more sub-models comprises: performing, based on the first indication, the monitoring or the updating on a predefined or configured sub-model of the one or more sub-models or a further predefined sub-model of the further one or more sub-models. In this way, the monitoring or updating for an AI sub-model can be also indicated by indicating the AI feature having this AI sub-model. For example, if an AI feature is activated for the monitoring or the updating, a default sub-model for this AI feature may be monitored or updated.

[0013] In some embodiments, the indication information comprises a second indication of monitoring metric, and wherein the method further comprises: transmitting a monitoring report based on the monitoring metric, wherein the transmission of the monitoring report is periodic or event-triggered. In this way, the first device may perform the monitoring in accordance with the indicated monitoring metric, and report the monitoring result accordingly.

[0014] In some embodiments, the second indication comprises a first monitoring metric for a first sub-model and a second monitoring metric for a second sub-model. In this way, the monitoring metric may be different for different sub-models, such that the monitoring metric may be set on demand.

[0015] In some embodiments, the second indication comprises a common monitoring metric for the one or more sub-models of the AI / ML model. In this way, the monitoring metric may be common to each sub-mode. As such, the indication signaling can be reduced.

[0016] In some embodiments, the indication information comprises an activation indication of the monitoring, and wherein the activation indication is indicative of at least one of the following: the one or more sub-models; the AI / ML model; or at least one condition for enabling the monitoring. In this way, the activation of the monitoring may be indicated in an explicit or an implicit manner. For example, the explicit indication may be the activation indication or the deactivation indication. The implicit indication may include the at least one condition.

[0017] In some embodiments, the at least one condition comprises at least one of the following: a channel quality; a data size; available network resource for transmission; a power of a device performing the method; or a monitoring latency. In this way, if the activation of the monitoring is indicated in an implicit manner, the network may further indicate the specific activation conditions.

[0018] In some embodiments, the first device further transmits a request for a ground-truth for a monitored sub-model. In response to the request, the first device receives the ground truth for performing supervised learning. In this way, the first device may directly evaluate the performance of the monitored sub-model based on the ground truth. As such, the first device may compare the inference result and the label (i.e., the ground truth) to determine the accuracy of the model.

[0019] In some embodiments, the first device further transmits a monitoring report and an inference result of a monitored sub-model. In this way, the network may monitor the performance of the sub-model.

[0020] In some embodiments, the indication information comprises at least one of the following: a reference data distribution and a first threshold; or a reference dataset size and a second threshold. Then, the first device may perform the updating by: determining whether a first difference between a data distribution of a device performing the method and the reference data distribution is below a first threshold; and performing the updating based on determining that the difference is below than the first threshold. In this way, the appropriate devices may be selected to perform the updating on the sub-models. Generally, when the inference data has large difference from the training data, the performance of AI model is likely to be degraded and needs to be updated. So the key issue in monitor update is to select devices which have the updating data set which previously unseen during training, so as to reduce air-interface overhead for update, e.g. overhead for update the sub-model.

[0021] In some embodiments, the first device may perform the updating by determining whether a dataset size of a device performing the method is larger than the reference dataset size and a second difference between the dataset size and the reference dataset size is above a second threshold; and performing the updating based on determining that the dataset size is larger than the reference dataset size and the second difference is above the second threshold. In this way, the sub-models that need to be updated can be appropriately selected based on the data size.

[0022] In some embodiments, the first device may perform the updating by exchanging an updated sub-model with a second device to iteratively perform the updating; or performing the updating of the sub-model using one or more neuron network algorithms. In this way, the AI model may be updated using more than one manner, for example, the federated learning or general distributed learning.

[0023] In some embodiments, the first device may further transmit a report of an updated sub-model. In some embodiments, the first device may further receive an indication of stopping the sub-model updating. In this way, based on the report of the updated sub-model, the network may control the process of the updating.

[0024] In some embodiments, the first device may further receive a configuration of the one or more sub-models. The configuration is transmitted by at least one of the following: unicast signaling; multicast signaling; groupcast signaling; downlink control information (DCI) ; or radio resource control (RRC) signaling. In this way, the network may configure the sub-model (s) on the devices in the network using multiple signaling on demand.

[0025] In some embodiments, a plurality of candidate sub-models is configured by broadcast signaling; and the one or more actually used sub-models are indicated, by RRC signaling, from the plurality of candidate sub-models. In this way, all the sub-models of the AI model may be preconfigured at the devices. Then, the network may indicate respective sub-models for a certain device.

[0026] In some embodiments, the first device may be a terminal device or a network device. In this way, the sub-models may be distributed in a more flexible manner.

[0027] In a second aspect, there is provided a method implemented at a second device. In the method, the second device transmits indication information on monitoring or updating of one or more sub-models of an artificial intelligence / machine learning (AI / ML) model. Specifically, a (parent / big) AI model may consist of a plurality of “sub-models” of the AI model which are distributed over the massive devices. As such, the AI model can be distributed over massive devices in a network which have data and computing capability. A device in the network may be configured with one or more “sub-models” of the AI model. As such, in addition to the network performance enhancement, the devices in the network may be also provided with AI service (which may be also referred to as “AI feature” in some embodiments of this disclosure) by means of the AI model distributed over the devices, for example, image recognition, voice recognition and intelligent question and answer. In turn, compared to the AI model which is configured in the centralized manner, the life cycle management of this AI model is a key aspect. In this way, designs on the life cycle management for AI as a service, especially on the AI model monitor and update are proposed. As such, distributed monitor and update by multiple devices are enabled, and each device may monitor or update partial of the AI model, to improve monitor or update efficiency.

[0028] In some embodiments, a sub-model of the one or more sub-models is associated with at least one of the following: a portion of a plurality of parameters of the AI / ML model; one or more functionalities of a plurality of functionalities of the AI / ML model; one or more tasks of a plurality of tasks of the AI / ML model; a model size associated with a number of size parameters or a size level; or a neuron network algorithm. In some embodiments, the one or more sub-models comprise a first sub-model and a second sub-model. The first sub-model is associated with a first portion of a plurality of parameters of the AI / ML model. The second sub-model is associated with a second portion of the plurality of parameters. The first portion and the second portion are non-overlapped or partially overlapped. In this way, on the basis that the AI model is consist of the plurality of distributed sub-models, the AI sub-models of the AI model can be divided in a flexible manner.

[0029] In some embodiments, the indication information comprises an index identifying a sub-model; or the indication information comprises a plurality of indexes identifying a plurality of sub-models. In this way, the sub-model (s) to be monitored or updated may be identified by the corresponding index (es) .

[0030] In some embodiments, the AI / ML model is a first AI / ML model for a first AI feature, and the first AI / ML model is a predefined or configured AI / ML model at a terminal device. In some embodiments, further one or more sub-models of a second AI / ML model is configured at the terminal device for a second AI feature, and the information comprises a first indication to perform the monitoring or updating of one of the first AI service or the second AI service. In this way, the monitoring or updating for an AI sub-model can be also indicated by indicating the AI feature having this AI sub-model. For example, if an AI feature is activated for the monitoring or the updating, a default sub-model for this AI feature may be monitored or updated.

[0031] In some embodiments, the indication information comprises a second indication of monitoring metric, and wherein the method further comprises: the second device receives, from a first device, a monitoring report based on the monitoring metric, wherein the transmission of the monitoring report is periodic or event-triggered. In this way, the first device may perform the monitoring in accordance with the indicated monitoring metric, and report the monitoring result accordingly.

[0032] In some embodiments, the second indication comprises a first monitoring metric for a first sub-model and a second monitoring metric for a second sub-model. In this way, the monitoring metric may be different for different sub-models, such that the monitoring metric may be set on demand.

[0033] In some embodiments, the second indication comprises a common monitoring metric for the one or more sub-models of the AI / ML model. In this way, the monitoring metric may be different for different sub-models, such that the monitoring metric may be set on demand.

[0034] In some embodiments, the information comprises an activation indication of the monitoring, and wherein the activation indication is indicative of: the one or more sub-models; the AI / ML model; or at least one condition for enabling the monitoring. In this way, the activation of the monitoring may be indicated in an explicit or an implicit manner. For example, the explicit indication may be the activation indication or the deactivation indication. The implicit indication may include the at least one condition.

[0035] In some embodiments, the at least one condition comprises at least one of the following: a channel quality; a data size; available network resource for transmission; a power of a device performing the method; or a monitoring latency. In this way, if the activation of the monitoring is indicated in an implicit manner, the network may further indicate the specific activation conditions.

[0036] In some embodiments, the method further comprises: the second device receives a request for a ground-truth for a monitored sub-model. Then, the second device may transmit the ground truth for performing supervised learning. In this way, the first device may directly evaluate the performance of the monitored sub-model based on the ground truth. As such, the first device may compare the inference result and the label (i.e., the ground truth) to determine the accuracy of the model.

[0037] In some embodiments, the method further comprises: the second device receives a monitoring report and an inference result of a monitored sub-model. In this way, the network may monitor the performance of the sub-model.

[0038] In some embodiments, the information comprises at least one of the following: a reference data distribution and a first threshold; or a reference dataset size and a second threshold. In this way, the appropriate devices may be selected to perform the updating on the sub-models.

[0039] In some embodiments, the method further comprises: the second device exchanges an updated sub-model with a second device to iteratively perform the updating.

[0040] In some embodiments, the method further comprises: the second device receives a report of an updated sub-model. If the second device determines that an updated sub-model fulfills a performance requirement, the second device may transmit an indication of stopping the sub-model updating. In this way, based on the report of the updated sub-model, the network may control the process of the updating.

[0041] In some embodiments, the method further comprises: the second device transmits a configuration of the one or more sub-models. The configuration is transmitted by at least one of the following: a unicast signaling; a multicast signaling; a groupcast signaling; downlink control information (DCI) ; or radio resource control (RRC) signaling. In this way, the network may configure the sub-model (s) on the devices in the network using multiple signaling on demand.

[0042] In some embodiments, a plurality of candidate sub-models is configured to a first device by broadcast signaling; and the one or more sub-models are indicated, by RRC signaling, from the plurality of candidate sub-models. In this way, all the sub-models of the AI model may be preconfigured at the devices. Then, the network may indicate respective sub-models for a certain device. In some embodiments, the method is performed a network device.

[0043] In a third aspect, there is provided a first device. The first device comprises a transceiver and a processor communicatively coupled with the transceiver. The processor is configured to receive indication information on monitoring or updating of one or more sub-models of an artificial intelligence / machine learning (AI / ML) model. Specifically, a (parent / big) AI model may consist of a plurality of “sub-models” of the AI model which are distributed over the massive devices. As such, the AI model can be distributed over massive devices in a network which have data and computing capability. A device in the network may be configured with one or more “sub-models” of the AI model. As such, in addition to the network performance enhancement, the devices in the network may be also provided with AI service (which may be also referred to as “AI feature” in some embodiments of this disclosure) by means of the AI model distributed over the devices, for example, image recognition, voice recognition and intelligent question and answer. In turn, compared to the AI model which is configured in the centralized manner, the life cycle management of this AI model is a key aspect. With the above indication information, the AI model having the plurality of sub-models can be appropriately managed. and perform, based on the indication information, the monitoring or the updating of the one or more sub-models. Then, the processor is configured to perform, based on the indication information, the monitoring or the updating of the one or more sub-models. In this way, designs on the life cycle management for AI as a service, especially on the AI model monitor and update are proposed. As such, distributed monitor and update by multiple devices are enabled, and each device may monitor or update partial of the AI model, to improve monitor or update efficiency.

[0044] In a fourth aspect, there is provided a second device. The second device comprises a transceiver and a processor communicatively coupled with the transceiver. The processor is configured to transmit indication information on monitoring or updating of one or more sub-models of an artificial intelligence / machine learning (AI / ML) model. Specifically, a (parent / big) AI model may consist of a plurality of “sub-models” of the AI model which are distributed over the massive devices. As such, the AI model can be distributed over massive devices in a network which have data and computing capability. A device in the network may be configured with one or more “sub-models” of the AI model. As such, in addition to the network performance enhancement, the devices in the network may be also provided with AI service (which may be also referred to as “AI feature” in some embodiments of this disclosure) by means of the AI model distributed over the devices, for example, image recognition, voice recognition and intelligent question and answer. In turn, compared to the AI model which is configured in the centralized manner, the life cycle management of this AI model is a key aspect. In this way, designs on the life cycle management for AI as a service, especially on the AI model monitor and update are proposed. As such, distributed monitor and update by multiple devices are enabled, and each device may monitor or update partial of the AI model, to improve monitor or update efficiency.

[0045] In a fifth aspect, there is provided a non-transitory computer readable medium comprising computer program stored thereon, the computer program, when executed on at least one processor, causing the at least one processor to perform the method of any one of the first aspect or second aspect.

[0046] In a sixth aspect, there is provided a chip comprising at least one processing circuit configured to perform the method of any one of the first aspect or second aspect.

[0047] In a seventh aspect, there is provided a computer program product tangibly stored on a computer-readable medium and comprising computer-executable instructions which, when executed, cause an apparatus to perform the method of any one of the first aspect or second aspect.BRIEF DESCRIPTION OF THE DRAWINGS

[0048] Some example embodiments will now be described with reference to the accompanying drawings, in which:

[0049] FIG. 1A illustrates an example environment in which some embodiments of the present disclosure can be implemented;

[0050] FIG. 1B illustrates an example communication system in which some embodiments of the present disclosure can be implemented;

[0051] FIG. 1C illustrates example devices in the example environments of FIG. 1A and FIG. 1B;

[0052] FIG. 1D illustrates example modules in the devices of the present disclosure;

[0053] FIG. 1E illustrates an example sensing management function (SMF) of the present disclosure;

[0054] FIGS. 2A to 2D illustrate example sub-models of an AI model according to some embodiments of the present disclosure;

[0055] FIG. 3 illustrates a signaling process for monitoring or updating sub-models of an AI model according to some embodiments of the present disclosure;

[0056] FIG. 4 illustrates a flowchart of an example method implemented at a first device according to some embodiments of the present disclosure;

[0057] FIG. 5 illustrates a flowchart of an example method implemented at a second device according to some embodiments of the present disclosure;

[0058] FIG. 6 is a block diagram of a device that may be used for implementing some embodiments of the present disclosure; and

[0059] FIG. 7 is a schematic diagram of a structure of an apparatus in accordance with some embodiments of the present disclosure.

[0060] Throughout the drawings, the same or similar reference numerals represent the same or similar elements.DETAILED DESCRIPTION

[0061] Principles of the present disclosure will now be described with reference to some example embodiments. It is to be understood that these embodiments are described only for the purpose of illustration and help those skilled in the art to understand and implement the present disclosure, without suggesting any limitation as to the scope of the disclosure. Embodiments of the present disclosure described herein can be implemented in various manners other than the ones specifically described below.

[0062] In the following description and claims, unless defined otherwise, all technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this disclosure belongs.

[0063] References in the present disclosure to “one embodiment” , “an embodiment” , “an example embodiment” , and the like indicate that the embodiment described may include a particular feature, structure, or characteristic, but it is not necessary that every embodiment includes the particular feature, structure, or characteristic. The term “another embodiment” is to be read as “at least one other embodiment. ” Moreover, such phrases are not necessarily referring to the same embodiment. Further, when a particular feature, structure, or characteristic is described in connection with an embodiment, it is within the knowledge of one skilled in the art to adapt or modify such feature, structure, or characteristic in connection with other embodiments, whether or not such adaptations are explicitly described.

[0064] It shall be understood that although the terms “first” and “second” etc. may be used herein to describe various  elements, these elements should not be limited by these terms. These terms are only used to distinguish one element from another. For example, a first element could be termed a second element, and similarly, a second element could be termed a first element, without departing from the scope of example embodiments. As used herein, the term “and / or” includes any and all combinations of one or more of the listed terms. Other definitions, explicit and implicit, may be included below.

[0065] The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of example embodiments. As used herein, the singular forms “a” , “an” and “the” are intended to include the plural forms as well, unless the context clearly indicates otherwise. It will be further understood that the terms “comprises” , “comprising” , “has” , “having” , “includes” and / or “including” , when used herein, specify the presence of stated features, elements, and / or components etc., but do not preclude the presence or addition of one or more other features, elements, components and / or combinations thereof.

[0066] In the following description and claims, unless defined otherwise, all technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this disclosure belongs.

[0067] As used herein, the term “terminal device” refers to any device having wireless or wired communication capabilities. Examples of the terminal device include, but not limited to, user equipment (UE) , personal computers, desktops, mobile phones, cellular phones, smart phones, personal digital assistants (PDAs) , portable computers, tablets, wearable devices, internet of things (IoT) devices, Ultra-reliable and Low Latency Communications (URLLC) devices, Internet of Everything (IoE) devices, machine type communication (MTC) devices, devices for vehicle to everything (V2X) communication, devices for Integrated Access and Backhaul (IAB) , devices for Small Data Transmission (SDT) , devices for mobility, devices for Multicast and Broadcast Services (MBS) , devices for positioning, devices for dynamic / flexible duplexing in commercial networks, reduced capability (RedCap) devices, space-borne vehicles or air-borne vehicles in non-terrestrial networks (NTN) including satellites and High Altitude Platforms (HAPs) encompassed in Unmanned Aircraft Systems (UAS) , eXtended Reality (XR) devices including different types of realities such as Augmented Reality (AR) , Mixed Reality (MR) and Virtual Reality (VR) , an unmanned aerial vehicle (UAV) , a drone, devices on high speed train (HST) , image capture devices such as digital cameras, sensors, gaming devices, music storage and playback devices, Internet-connected appliances, and the like. The terminal device may further include a “multicast / broadcast” feature to support public safety and / or mission critical applications. The terminal device may further include transparent IPv4 / IPv6 multicast delivery such as for IPTV, smart TV, radio services, software delivery over wireless, group communications, and IoT applications. The terminal may be incorporate a Subscriber Identity Module (SIM) or multiple SIMs, also known as Multi-SIM. The term “terminal device” can also be used interchangeably with variations of some of all of the preceding terms, such as a UE, a mobile station, a subscriber station, a mobile terminal, a user terminal, a wireless device, or a reduced capability terminal device.

[0068] As used herein, the term “network device” refers to a device which is capable of providing or hosting a cell or coverage area where terminal devices can communicate. Examples of a network device include, but are not limited to, a Node B (NodeB or NB) , an evolved NodeB (eNodeB or eNB) , a next generation NodeB (gNB) , a transmission reception point (TRP) , a remote radio unit (RRU) , a radio head (RH) , a remote radio head (RRH) , an IAB node, a low power node such as a femto node or a pico node, a reconfigurable intelligent surface (RIS) , network-controlled repeaters, and the like.

[0069] The terminal device or the network device may have artificial intelligence (AI) or machine learning (ML) capability. AI / ML generally refers to a model which has been trained from numerous collected data for a specific function, and can be used to predict some information. The terminal or the network device may function in several frequency ranges, e.g. FR1 (410 MHz –7125 MHz) , FR2 (24.25 GHz to 71 GHz) , 71 GHz to 114 GHz, and ranges of frequencies greater than 100 GHz, including Tera Hertz (THz) frequencies. The terminal or the network device can further function in licensed, unlicensed, or shared spectra. The terminal device may have multiple connections with multiple network devices, such as under a Multi-Radio Dual Connectivity (MR-DC) application scenario. The terminal device or the network device  may be capable of advanced duplexing functions, such as full duplex, flexible duplex, and cross-division duplex (XDD) modes.

[0070] The network device may have functions or capabilities for network energy saving, self-organizing network (SON) automation, or minimization of drive tests (MDT) mechanisms. The terminal may have functions or capabilities for power saving.

[0071] The embodiments of the present disclosure may be performed in test equipment, e.g. a signal generator, a signal analyzer, a spectrum analyzer, a network analyzer, a test terminal device, a test network device, and a channel emulator.

[0072] The embodiments of the present disclosure may be performed according to communication protocols of any generation either currently known or to be developed in the future. Examples of these communication protocols include, but are not limited to, cellular protocols including the first generation (1G) , the second generation (2G, 2.5G, 2.75G) , the third generation (3G) , the fourth generation (4G, sometimes known as “LTE” , 4.5G, sometimes known as “LTE Advanced” and “LTE Advanced Pro” ) , the fifth generation (5G, sometimes known as “NR” , 5.5G, 5G-Advanced) , and the sixth generation (6G) , as well as various generations of Wireless Fidelity (WiFi) , and Ultra Wideband (UWB) .

[0073] In one embodiment, the terminal device may be connected to a first network device and a second network device. One of the first network device and the second network device may be a master node and the other one may be a secondary node. The first network device and the second network device may use different radio access technologies (RATs) . In one embodiment, the first network device may be a first RAT device and the second network device may be a second RAT device. In one embodiment, the first RAT device is eNB and the second RAT device is gNB. In another embodiment, the first RAT device is 5G network device and the second RAT device is a 6G network device. Information related to different RATs may be transmitted to the terminal device from at least one of the first network device and the second network device. In one embodiment, first information may be transmitted to the terminal device from the first network device and second information may be transmitted to the terminal device from the second network device directly or via the first network device. In one embodiment, information related to configuration for the terminal device, and configured by the second network device, may be transmitted from the second network device via the first network device. Information related to reconfiguration for the terminal device, and configured by the second network device, may be transmitted to the terminal device from the second network device directly or via the first network device.

[0074] In some examples, values, procedures, or apparatus may be referred to as “best, ” “lowest, ” “highest, ” “minimum, ” “maximum, ” or the like. It will be appreciated that such descriptions are intended to indicate that a selection among many functional alternatives may be made; however, and such selections may be superlatives in some respects but need not be better, smaller, higher, or otherwise preferable to other selections in other respects.

[0075] In some embodiments of this disclosure, the AI service includes the service provided to the devices (for example, a terminal devices) , and the service is supported by AI capability. In some examples, the AI service may include, but not limited to, image recognition, voice recognition, intelligent question and answer and so on. The AI service may be also referred to the “AI feature” in some embodiments of this disclosure. Moreover, without any limitation, a device can be provided with one or more AI services (AI features) .

[0076] In some embodiments of this disclosure, one AI service / feature may be implemented by means of one or more AI models. As mentioned above, in the case that the AI model is trained in the distribution manner, an AI model of the one or more AI models may consist of a plurality of sub-models. In some embodiments of this disclosure, the sub-models of the AI model may be also referred to as “Model Part (MoP) ” of the AI model. Furthermore, the (whole) AI model may be also referred to as “big model” or “parent model” . In addition, the terms “AI model” and “AI / Machine Learning (ML) model” may be used interchangeably.

[0077] As mentioned above, in communication systems (for example, the 5G wireless technology) , the AI capabilities are utilized to improve network performance in most cases. However, the devices (for example, the terminal device, UE, customer premise equipment CPE, computing node) in the network cannot adequately benefit from the development of AI technology in these cases. Therefore, to support the use of AI in a wireless network, an appropriate AI framework is needed. Considering that there are massive devices in the communication network that have data and computing capability, by distributed training / inference (for example, a whole AI model consists of a plurality of MoPs) , the network could provide AI service to wireless devices without consuming considerable computing and storage resources of the network. However, once the AI model for the AI service is distributed over the massive devices in the “MoP” manner, how to manage the MoPs should be considered.

[0078] In view of the above, example embodiments of the present disclosure propose a solution for the AI service. In this solution, a first device receives indication information on monitoring or updating of one or more sub-models of an artificial intelligence / machine learning (AI / ML) model. Specifically, an (parent / big) AI model may consist of a plurality of “sub-models” of the AI model which are distributed over the massive devices. As such, the AI model can be trained over massive devices in a network which have data and computing capability. A device in the network may be configured with one or more “sub-models” of the AI model. As such, in addition to the network performance enhancement, without considerable resource consumption at the network, the devices in the network may be also provided with AI service by means of the AI model distributed over the devices, for example, image recognition, voice recognition and intelligent question and answer. In turn, compared to the AI model which is configured in the centralized manner, the life cycle management of this AI model is a key aspect. With the above indication information, the AI model having the plurality of sub-models can be appropriately managed, for example, monitored and / or updated. Then, the first device performs, based on the indication information, the monitoring or the updating of the one or more sub-models.

[0079] In this way, designs on the life cycle management for AI as a service, especially on the AI model monitor and update are proposed. As such, distributed monitor and update by multiple devices are enabled, and each device may monitor or update partial of the AI model, to improve monitor or update efficiency.

[0080] For illustrative purposes, principles and example embodiments of the present disclosure will be described below with reference to FIGS. 1A-6. However, it is to be noted that these embodiments are given to enable the person skilled in the art to understand inventive concepts of the present disclosure and implement the solution as proposed herein, and are not intended to limit the scope of the present application in any way to explicitly illustrated structures and combinations of features.

[0081] FIG. 1A illustrates an example environment 100A in which some embodiments of the present disclosure can be implemented.

[0082] Referring to FIG. 1A, as an illustrative example without limitation, a simplified schematic illustration of a communication system is provided. The communication system 100 comprises a radio access network 120. The radio access network 120 may be a next generation (e.g. sixth generation (6G) or later) radio access network, or another generation (e.g. 5G, 4G, 3G or 2G) of radio access network. One or more communication electric device (ED) 110a, 110b, 110c, 110d, 110e, 110f, 110g, 110h, 110i, 110j (generically referred to as 110) may be interconnected to one another or connected to one or more network nodes (170a, 170b, generically referred to as 170) in the radio access network 120. A core network 130 may be a part of the communication system and may be dependent or independent of the radio access technology used in the communication system 100. Also the communication system 100 comprises a public switched telephone network (PSTN) 140, the internet 150, and other networks 160.

[0083] FIG. 1B illustrates an example system 100B in which some embodiments of the present disclosure can be implemented. In general, the communication system 100B enables multiple wireless or wired elements to communicate data and other content. The purpose of the communication system 100B may be to provide content, such as voice, data,  video, signaling and / or text, via broadcast, multicast and unicast, etc. The communication system 100B may operate by sharing resources, such as carrier spectrum bandwidth, between its constituent elements. The communication system 100B may include a terrestrial communication system and / or a non-terrestrial communication system. The communication system 100 may provide a wide range of communication services and applications (such as earth monitoring, remote sensing, passive sensing and positioning, navigation and tracking, autonomous delivery and mobility, etc. ) . The communication system 100 may provide a high degree of availability and robustness through a joint operation of a terrestrial communication system and a non-terrestrial communication system. For example, integrating a non-terrestrial communication system (or components thereof) into a terrestrial communication system can result in what may be considered a heterogeneous network comprising multiple layers. Compared to conventional communication networks, the heterogeneous network may achieve better overall performance through efficient multi-link joint operation, more flexible functionality sharing, and faster physical layer link switching between terrestrial networks and non-terrestrial networks.

[0084] The terrestrial communication system and the non-terrestrial communication system could be considered sub-systems of the communication system. In the example shown in FIG. 1b, the communication system 100 includes electronic devices (ED) 110a, 110b, 110c, 110d (generically referred to as ED 110) , radio access networks (RANs) 120a-120b, a non-terrestrial communication network 120c, a core network 130, a public switched telephone network (PSTN) 140, the Internet 150, and other networks 160. The RANs 120a-120b include respective base stations (BSs) 170a-170b, which may be generically referred to as terrestrial transmit and receive points (T-TRPs) 170a-170b. The non-terrestrial communication network 120c includes an access node 172, which may be generically referred to as a non-terrestrial transmit and receive point (NT-TRP) 172. Without any limitation, the above EDs 110, TRPs 170, RANs 120, core network 130, PSTN 140, Internet 150 and other networks 160 in FIG. 1B may be the corresponding devices, stations, RAN, networks in FIG. 1A. Alternatively, the above EDs 110, TRPs 170, RANs 120, core network 130, PSTN 140, Internet 150 and other networks 160 in FIG. 1B may be the devices, stations, RAN, networks other than FIG. 1A.

[0085] Any ED 110 may be alternatively or additionally configured to interface, access, or communicate with any T-TRP 170a-170b and NT-TRP 172, the Internet 150, the core network 130, the PSTN 140, the other networks 160, or any combination of the preceding. In some examples, ED 110a may communicate an uplink and / or downlink transmission over a terrestrial air interface 190a with T-TRP 170a. In some examples, the EDs 110a, 110b, 110c and 110d may also communicate directly with one another via one or more sidelink air interfaces 190b. In some examples, ED 110d may communicate an uplink and / or downlink transmission over a non-terrestrial air interface 190c with NT-TRP 172.

[0086] The air interfaces 190a and 190b may use similar communication technology, such as any suitable radio access technology. For example, the communication system 100 may implement one or more channel access methods, such as code division multiple access (CDMA) , space division multiple access (SDMA) , time division multiple access (TDMA) , frequency division multiple access (FDMA) , orthogonal FDMA (OFDMA) , Direct Fourier Transform spread OFDMA (DFT-OFDMA) or single-carrier FDMA (SC-FDMA) in the air interfaces 190a and 190b. The air interfaces 190a and 190b may utilize other higher dimension signal spaces, which may involve a combination of orthogonal and / or non-orthogonal dimensions.

[0087] The non-terrestrial air interface 190c can enable communication between the ED 110d and one or multiple NT-TRPs 172 via a wireless link or simply a link. For some examples, the link is a dedicated connection for unicast transmission, a connection for broadcast transmission, or a connection between a group of EDs 110 and one or multiple NT-TRPs 172for multicast transmission.

[0088] The RANs 120a and 120b are in communication with the core network 130 to provide the EDs 110a 110b, and 110c with various services such as voice, data, and other services. The RANs 120a and 120b and / or the core network 130 may be in direct or indirect communication with one or more other RANs (not shown) , which may or may not be directly served by core network 130, and may or may not employ the same radio access technology as RAN 120a, RAN 120b or  both. The core network 130 may also serve as a gateway access between (i) the RANs 120a and 120b or EDs 110a 110b, and 110c or both, and (ii) other networks (such as the PSTN 140, the Internet 150, and the other networks 160) . In addition, some or all of the EDs 110a 110b, and 110c may include functionality for communicating with different wireless networks over different wireless links using different wireless technologies and / or protocols. Instead of wireless communication (or in addition thereto) , the EDs 110a 110b, and 110c may communicate via wired communication channels to a service provider or switch (not shown) , and to the Internet 150. PSTN 140 may include circuit switched telephone networks for providing plain old telephone service (POTS) . Internet 150 may include a network of computers and subnets (intranets) or both, and incorporate protocols, such as Internet Protocol (IP) , Transmission Control Protocol (TCP) , User Datagram Protocol (UDP) . EDs 110a 110b, and 110c may be multimode devices capable of operation according to multiple radio access technologies, and incorporate multiple transceivers necessary to support such.

[0089] FIG. 1C illustrates example devices in the example environments of FIG. 1A and FIG. 1B. Specifically, FIG. 1C illustrates another example of the ED 110 and a base station 170a, 170b and / or 170c according to some embodiments of this disclosure. The ED 110 is used to connect persons, objects, machines, etc. The ED 110 may be widely used in various scenarios, for example, cellular communications, device-to-device (D2D) , vehicle to everything (V2X) , peer-to-peer (P2P) , machine-to-machine (M2M) , machine-type communications (MTC) , Internet of things (IOT) , virtual reality (VR) , augmented reality (AR) , mixed reality (MR) , metaverse, digital twin, industrial control, self-driving, remote medical, smart grid, smart furniture, smart office, smart wearable, smart transportation, smart city, drones, robots, remote sensing, passive sensing, positioning, navigation and tracking, autonomous delivery and mobility, etc.

[0090] Each ED 110 represents any suitable end user device for wireless operation and may include such devices (or may be referred to) as a user equipment / device (UE) , a wireless transmit / receive unit (WTRU) , a mobile station, a fixed or mobile subscriber unit, a cellular telephone, a station (STA) , a machine type communication (MTC) device, a personal digital assistant (PDA) , a smartphone, a laptop, a computer, a tablet, a wireless sensor, a consumer electronics device, a smart book, a vehicle, a car, a truck, a bus, a train, or an IoT device, wearable devices such as a watch, head mounted equipment, a pair of glasses, an industrial device, or apparatus (e.g. communication module, modem, or chip) in the forgoing devices, among other possibilities. Future generation EDs 110 may be referred to using other terms. Each base station 170a and 170b is a T-TRP and will hereafter be referred to as T-TRP 170. Also shown in FIG. 3, a NT-TRP will hereafter be referred to as NT-TRP 172. Each ED 110 connected to T-TRP 170 and / or NT-TRP 172 can be dynamically or semi-statically turned-on (i.e., established, activated, or enabled) , turned-off (i.e., released, deactivated, or disabled) and / or configured in response to one of more of: connection availability and connection necessity.

[0091] The ED 110 includes one or more antennas 104, a transmitter 111 and a receiver 113 coupled to the one or more antennas 104. Only one antenna 104 is illustrated. One, some, or all of the antennas 104 may alternatively be panels. The transmitter 111 and the receiver 113 may be integrated, e.g. as a transceiver. The transceiver is configured to modulate data or other content for transmission by at least one antenna 104 or network interface controller (NIC) . The transceiver is also configured to demodulate data or other content received by the at least one antenna 104. Each transceiver includes any suitable structure for generating signals for wireless or wired transmission and / or processing signals received wirelessly or by wire. Each antenna 104 includes any suitable structure for transmitting and / or receiving wireless or wired signals.

[0092] The ED 110 includes at least one memory 115. The memory 115 stores instructions and data used, generated, or collected by the ED 110. For example, the memory 115 could store software instructions or modules configured to implement some or all of the functionality and / or embodiments described herein and that are executed by one or more processing unit (s) (e.g., a processor 117) . Each memory 115 includes any suitable volatile and / or non-volatile storage and retrieval device (s) . Any suitable type of memory may be used, such as random access memory (RAM) , read only memory (ROM) , hard disk, optical disc, subscriber identity module (SIM) card, memory stick, secure digital (SD) memory card,  on-processor cache, and the like.

[0093] The ED 110 may further include one or more input / output devices (not shown) or interfaces (such as a wired interface to the Internet 150 in FIG. 1A or FIG. 1B) . The input / output devices permit interaction with a user or other devices in the network. Each input / output device includes any suitable structure for providing information to or receiving information from a user, such as through operation as a speaker, a microphone, a keypad, a keyboard, a display, or a touch screen, including network interface communications.

[0094] The ED 110 includes the processor 117 for performing operations including those operations related to preparing a transmission for uplink transmission to the NT-TRP 172 and / or the T-TRP 170, those operations related to processing downlink transmissions received from the NT-TRP 172 and / or the T-TRP 170, and those operations related to processing sidelink transmission to and from another ED 110. Processing operations related to preparing a transmission for uplink transmission may include operations such as encoding, modulating, transmit beamforming, and generating symbols for transmission. Processing operations related to processing downlink transmissions may include operations such as receive beamforming, demodulating and decoding received symbols. Depending upon the embodiment, a downlink transmission may be received by the receiver 113, possibly using receive beamforming, and the processor 117 may extract signaling from the downlink transmission (e.g. by detecting and / or decoding the signaling) . An example of signaling may be a reference signal transmitted by the NT-TRP 172 and / or by the T-TRP 170. In some embodiments, the processor 117 implements the transmit beamforming and / or the receive beamforming based on the indication of beam direction, e.g. beam angle information (BAI) , received from the T-TRP 170. In some embodiments, the processor 117 may perform operations relating to network access (e.g. initial access) and / or downlink synchronization, such as operations relating to detecting a synchronization sequence, decoding and obtaining the system information, etc. In some embodiments, the processor 117 may perform channel estimation, e.g. using a reference signal received from the NT-TRP 172 and / or from the T-TRP 170.

[0095] Although not illustrated, the processor 117 may form part of the transmitter 111 and / or part of the receiver 113. Although not illustrated, the memory 115 may form part of the processor 117.

[0096] The processor 117, the processing components of the transmitter 111 and the processing components of the receiver 113 may each be implemented by the same or different one or more processors that are configured to execute instructions stored in a memory (e.g. in the memory 115) . Alternatively, some or all of the processor 117, the processing components of the transmitter 111 and the processing components of the receiver 113 may each be implemented using dedicated circuitry, such as a programmed field-programmable gate array (FPGA) , a graphical processing unit (GPU) , a Central Processing Unit (CPU) or an application-specific integrated circuit (ASIC) .

[0097] The T-TRP 170 may be known by other names in some implementations, such as a base station, a base transceiver station (BTS) , a radio base station, a network node, a network device, a device on the network side, a transmit / receive node, a Node B, an evolved NodeB (eNodeB or eNB) , a Home eNodeB, a next Generation NodeB (gNB) , a transmission point (TP) , a site controller, an access point (AP) , a wireless router, a relay station, a remote radio head, a terrestrial node, a terrestrial network device, a terrestrial base station, a base band unit (BBU) , a remote radio unit (RRU) , an active antenna unit (AAU) , a remote radio head (RRH) , a central unit (CU) , a distributed unit (DU) , a positioning node, among other possibilities. The T-TRP 170 may be a macro BS, a pico BS, a relay node, a donor node, or the like, or combinations thereof. The T-TRP 170 may refer to the forgoing devices or refer to apparatus (e.g. a communication module, a modem, or a chip) in the forgoing devices.

[0098] In some embodiments, the parts of the T-TRP 170 may be distributed. For example, some of the modules of the T-TRP 170 may be located remote from the equipment that houses the antennas 106 for the T-TRP 170, and may be coupled to the equipment that houses the antennas 106 over a communication link (not shown) sometimes known as front haul, such as common public radio interface (CPRI) . Therefore, in some embodiments, the term T-TRP 170 may also refer  to modules on the network side that perform processing operations, such as determining the location of the ED 110, resource allocation (scheduling) , message generation, and encoding / decoding, and that are not necessarily part of the equipment that houses the antennas 106 of the T-TRP 170. The modules may also be coupled to other T-TRPs. In some embodiments, the T-TRP 170 may actually be a plurality of T-TRPs that are operating together to serve the ED 110, e.g. through the use of coordinated multipoint transmissions.

[0099] The T-TRP 170 includes at least one transmitter 181 and at least one receiver 183 coupled to one or more antennas 106. Only one antenna 106 is illustrated. One, some, or all of the antennas 106 may alternatively be panels. The transmitter 181 and the receiver 183 may be integrated as a transceiver. The T-TRP 170 further includes a processor 182 for performing operations including those related to: preparing a transmission for downlink transmission to the ED 110, processing an uplink transmission received from the ED 110, preparing a transmission for backhaul transmission to the NT-TRP 172, and processing a transmission received over backhaul from the NT-TRP 172. Processing operations related to preparing a transmission for downlink or backhaul transmission may include operations such as encoding, modulating, precoding (e.g. multiple input multiple output (MIMO) precoding) , transmit beamforming, and generating symbols for transmission. Processing operations related to processing received transmissions in the uplink or over backhaul may include operations such as receive beamforming, demodulating received symbols and decoding received symbols. The processor 182 may also perform operations relating to network access (e.g. initial access) and / or downlink synchronization, such as generating the content of synchronization signal blocks (SSBs) , generating the system information, etc. In some embodiments, the processor 182 also generates an indication of beam direction, e.g. BAI, which may be scheduled for transmission by a scheduler 184. The processor 182 performs other network-side processing operations described herein, such as determining the location of the ED 110, determining where to deploy the NT-TRP 172, etc. In some embodiments, the processor 182 may generate signaling, e.g. to configure one or more parameters of the ED 110 and / or one or more parameters of the NT-TRP 172. Any signaling generated by the processor 182 is sent by the transmitter 181. Note that “signaling” , as used herein, may alternatively be called control signaling. Dynamic signaling may be transmitted in a control channel, e.g. a physical downlink control channel (PDCCH) , and static or semi-static higher layer signaling may be included in a packet transmitted in a data channel, e.g. in a physical downlink shared channel (PDSCH) .

[0100] The scheduler 184 may be coupled to the processor 182. The scheduler 184 may be included within or operated separately from the T-TRP 170. The scheduler 184 may schedule uplink, downlink, and / or backhaul transmissions, including issuing scheduling grants and / or configuring scheduling-free ( “configured grant” ) resources. The T-TRP 170 further includes a memory 185 for storing information and data. The memory 185 stores instructions and data used, generated, or collected by the T-TRP 170. For example, the memory 185 could store software instructions or modules configured to implement some or all of the functionality and / or embodiments described herein and that are executed by the processor 182.

[0101] Although not illustrated, the processor 182 may form part of the transmitter 181 and / or part of the receiver 183. Also, although not illustrated, the processor 182 may implement the scheduler 184. Although not illustrated, the memory 185 may form part of the processor 182.

[0102] The processor 182, the scheduler 184, the processing components of the transmitter 181 and the processing components of the receiver 183 may each be implemented by the same or different one or more processors that are configured to execute instructions stored in a memory, e.g. in the memory 185. Alternatively, some or all of the processor 182, the scheduler 184, the processing components of the transmitter 181 and the processing components of the receiver 183 may be implemented using dedicated circuitry, such as a FPGA, a GPU, a CPU, or an ASIC.

[0103] Although the NT-TRP 172 is illustrated as a drone only as an example, the NT-TRP 172 may be implemented in any suitable non-terrestrial form, such as high altitude platforms, satellite, high altitude platform as international mobile  telecommunication base stations and unmanned aerial vehicles, which forms will be discussed hereinafter. Also, the NT-TRP 172 may be known by other names in some implementations, such as a non-terrestrial node, a non-terrestrial network device, or a non-terrestrial base station. The NT-TRP 172 includes a transmitter 186 and a receiver 187 coupled to one or more antennas 108. Only one antenna 108 is illustrated. One, some, or all of the antennas may alternatively be panels. The transmitter 186 and the receiver 187 may be integrated as a transceiver. The NT-TRP 172 further includes a processor 188 for performing operations including those related to: preparing a transmission for downlink transmission to the ED 110, processing an uplink transmission received from the ED 110, preparing a transmission for backhaul transmission to T-TRP 170, and processing a transmission received over backhaul from the T-TRP 170. Processing operations related to preparing a transmission for downlink or backhaul transmission may include operations such as encoding, modulating, precoding (e.g. MIMO precoding) , transmit beamforming, and generating symbols for transmission. Processing operations related to processing received transmissions in the uplink or over backhaul may include operations such as receive beamforming, demodulating received symbols and decoding received symbols. In some embodiments, the processor 188 implements the transmit beamforming and / or receive beamforming based on beam direction information (e.g. BAI) received from the T-TRP 170. In some embodiments, the processor 188 may generate signaling, e.g. to configure one or more parameters of the ED 110. In some embodiments, the NT-TRP 172 implements physical layer processing, but does not implement higher layer functions such as functions at the medium access control (MAC) or radio link control (RLC) layer. As this is only an example, more generally, the NT-TRP 172 may implement higher layer functions in addition to physical layer processing.

[0104] The NT-TRP 172 further includes a memory 189 for storing information and data. Although not illustrated, the processor 188 may form part of the transmitter 186 and / or part of the receiver 187. Although not illustrated, the memory 189 may form part of the processor 188.

[0105] The processor 188, the processing components of the transmitter 186 and the processing components of the receiver 187 may each be implemented by the same or different one or more processors that are configured to execute instructions stored in a memory, e.g. in the memory 189. Alternatively, some or all of the processor 188, the processing components of the transmitter 186 and the processing components of the receiver 187 may be implemented using dedicated circuitry, such as a programmed FPGA, a GPU, a CPU, or an ASIC. In some embodiments, the NT-TRP 172 may actually be a plurality of NT-TRPs that are operating together to serve the ED 110, e.g. through coordinated multipoint transmissions. The T-TRP 170, the NT-TRP 172, and / or the ED 110 may include other components, but these have been omitted for the sake of clarity.

[0106] FIG. 1D illustrates example modules in the devices of the present disclosure. One or more steps of the embodiment methods provided herein may be performed by corresponding units or modules, according to FIG. 1D. FIG. 1D illustrates units or modules in a device, such as in the ED 110, in the T-TRP 170, or in the NT-TRP 172. For example, a signal may be transmitted by a transmitting unit or by a transmitting module. A signal may be received by a receiving unit or by a receiving module. A signal may be processed by a processing unit or a processing module. Other steps may be performed by an AI or ML module. The respective units or modules may be implemented using hardware, one or more components or devices that execute software, or a combination thereof. For instance, one or more of the units or modules may be an integrated circuit, such as a programmed FPGA, a GPU, a CPU, or an ASIC. It will be appreciated that where the modules are implemented using software for execution by a processor for example, the modules may be retrieved by a processor, in whole or part as needed, individually or together for processing, in single or multiple instances, and that the modules themselves may include instructions for further deployment and instantiation.

[0107] Additional details regarding the EDs 110, the T-TRP 170, and the NT-TRP 172 are known to those of skill in the art. As such, these details are omitted here.

[0108] FIG. 1E illustrates an example sensing management function (SMF) of the present disclosure.

[0109] As shown in FIG. 1E, the SMF 176, when implemented as a physically independent entity, includes at least one transmitter 192, at least one processor 194, one or more antennas 195, at least one receiver 196, a scheduler 198, and at least one memory 199. A transceiver, not shown, may be used instead of the transmitter 192 and receiver 196. The scheduler 198 may be coupled to the processor 194. The scheduler 198 may be included within or operated separately from the SMF 176. The processor 194 implements various processing operations of the SMF 176, such as signal coding, data processing, power control, input / output processing, or any other functionality. The processor 194 can also be configured to implement some or all of the functionality and / or embodiments described in more detail above. Each processor 194 includes any suitable processing or computing device configured to perform one or more operations. Each processor 194 could, for example, include a microprocessor, microcontroller, digital signal processor, field programmable gate array, or application specific integrated circuit.

[0110] A reference signal-based pose determination technique belongs to an “active” pose estimation paradigm. In an active pose estimation paradigm, the enquirer of pose information (i.e., the UE) takes part in process of determining the pose of the enquirer. The enquirer may transmit or receive (or both) a signal specific to pose determination process. Positioning techniques based on a global navigation satellite system (GNSS) such as Global Positioning System (GPS) are other examples of the active pose estimation paradigm.

[0111] In contrast, a sensing technique, based on radar for example, may be considered as belonging to a “passive” pose determination paradigm. In a passive pose determination paradigm, the target is oblivious to the pose determination process.

[0112] By integrating sensing and communications in one system, the system need not operate according to only a single paradigm. Thus, the combination of sensing-based techniques and reference signal-based techniques can yield enhanced pose determination.

[0113] The enhanced pose determination may, for example, include obtaining UE channel sub-space information, which is particularly useful for UE channel reconstruction at the sensing node, especially for a beam-based operation and communication. The UE channel sub-space is a subset of the entire algebraic space, defined over the spatial domain, in which the entire channel from the TP to the UE lies. Accordingly, the UE channel sub-space defines the TP-to-UE channel with very high accuracy. The signals transmitted over other sub-spaces result in a negligible contribution to the UE channel. Knowledge of the UE channel sub-space helps to reduce the effort needed for channel measurement at the UE and channel reconstruction at the network-side. Therefore, the combination of sensing-based techniques and reference signal-based techniques may enable the UE channel reconstruction with much less overhead as compared to traditional methods. Sub-space information can also facilitate sub-space based sensing to reduce sensing complexity and improve sensing accuracy.

[0114] In some example embodiments, the methods and devices of this disclosure are described by interaction and processing procedures between the user equipment (UE) and the base station (BS) . Alternatively, the exchange of information and protocol flows in these procedures can also be performed by other network nodes described in FIG. 1A to 1E, for example, between ED 110 and TRP 170, between ED 110 and core network, between ED 110 and ED 110, between TRP 170 and TRP 170. The UE in the procedure described in the present disclosure may be replaced with a sensing node. The BS in the procedure described in the present disclosure may be replaced with a sensing coordinator. Sensing coordinators are nodes in a network that can assist in the sensing operation. These nodes can be stand-alone nodes dedicated to just sensing operations or may be other nodes (for example TRP 170, ED 110, or core network node as discussed above) performing sensing operations in parallel with communication operations.

[0115] The example communication environment, communication system, first device, second device, electronic device, UE, BS, sensing node, etc. of this disclosure have heretofore been discussed with reference to FIGS. 1A to 1E. Methods and procedures in accordance with embodiments of this disclosure are further discussed with reference to FIGS.  2 to 6.

[0116] In some embodiments of this disclosure, to provide the AI service for the wireless devices efficiently, the AI model may be distributed over the massive devices in the network which have data and computing capability. As mentioned above, the sub-model (s) distributed on a wireless device may be also called the “MoP” . In this case, the training of the big AI model which is usually implemented at the network side (within RAN, or outside RAN, e.g., core network, third party) can be implemented based on distributed learning by multiple devices, and each device trains one or more MoPs of the whole AI model. Then, after the training, the performance of the MoPs may be also monitored in a distribution manner. For example, one or multiple MoPs are configured / indicated to be monitored with respect to the performance. Similarly, the AI models may be also updated in the distribution manner based on the MoPs. As such, the AI model can be fine-tuned based on the MoPs, not the whole big model. Without any limitation, the tuning can be performed by the federated learning, or the general distributed learning.

[0117] Only for discussion clarity, an example scenario of this disclosure is described as below. In the example scenario, there may be multiple learning devices in the network, including UE and BS, edge devices. As an example, the UEs can be smartphone, robot, CPE (Customer Premise Equiment) , computing node with capability of communication, etc. The network may manage the training of a big AI / ML model that supports multiple tasks, and provide AI service for UE or the third party. Specifically, to train the big AI / ML model, devices with learning capability may be indicated or configured to train some functionality of the big AI / ML model, e.g. train partial parameter of the big model or train one task of the big AI / ML model. Upon the local training at the device completed, the device may report its trained model (e.g. small sub-model) to an aggregation node to generate the big AI / ML model, the aggregation node can be within RAN (e.g. BS, central processing unit within RAN) or outside RAN (e.g. core network or the third party) . Moreover, even if the big AI / ML model is initially trained already, the sub-models of the AI model may need to be monitored and updated over time during the AI service. In some embodiments of this disclosure, an appropriate AI framework for the AI model, AI model monitoring and AI model updating solutions are proposed for the AI service used by devices.

[0118] Before discussing the monitoring and / or updating on the distributed AI model, for discussion clarity, some example relationships between MoPs and the (whole) AI model are discussed with reference to FIGS. 2A to 2D.

[0119] In some embodiments of this disclosure, a MoP is a part of a specific AI model. The specific AI model can be regarded as parent AI model, and the MoP can be regarded as sub-model. Generally, the parent model is a bigger model (or called larger model) and the sub-model is a smaller model. The large model is characterized by its large size and / or large number of functionalities / tasks, where the large model has a large number of model parameters. Furthermore, the sub-model can have the same or different NN (Neuron Network) structure as the parent model. In an example, the parent AI model is composed by multiple components, and the sub-model (MoP) may consists a partial of the multiple components.

[0120] FIG. 2A illustrates an example sub-model of an AI model according to some embodiments of the present disclosure.

[0121] In some embodiments, a sub-model (MoP) of an AI model may be defined based on the adopted parameters.

[0122] In an example, the AI model may be associated with a plurality of parameters, and a sub-model of this AI model may be associated with a portion of the plurality of parameters. In an example, the sub-model may adopt a portion of the plurality of parameters for the AI model. That is, the parameters used for the sub-model may be a subset of the parameters used for the AI model. In addition, the sub-models of this AI model may be independent with each other or may be dependent with each other in terms of the parameters. For example, the AI model includes a first sub-model and a second sub-model. The first sub-model is associated with a first portion of a plurality of parameters of the AI / ML model, and the second sub-model is associated with a second portion of the plurality of parameters. In some embodiments, the first portion and the second portion are non-overlapped. Alternatively, the first portion and the second  portion are partially overlapped. In some embodiments of this disclosure, the overlapping means that a parameter of the AI model can be in both of two Model Parts, i.e. the two MoPs can train the same parameter. In this way, the AI model can be divided into the sub-models based on the parameters.

[0123] As shown in FIG. 2A, the model in block 210 is the “big AI model” , and the sub-model in the block 211, i.e., the Model Part 0, is a sub-model of the AI model in block 210. In this example, the number of total parameters for the AI model is N, and the number of parameters used for the Model Part 0 is M0 number of parameters from the N number of parameters. Similarly, the number of parameters used for the Model Part 1 is M1 number of parameters from the N number of parameters. In addition, a parameter of the M number of parameters may be different from each parameter of the M1 number of parameters. Alternatively, the M number of parameters may be different from the M1 number of parameters partially, i.e., the M number of parameters and the M1 number of parameters may be have the K number of same parameters, and K< M, K<M1. In this case, the Model Part 0 and the Model Part 1 may train the K number of same parameters.

[0124] FIGS. 2B and 2C illustrate other example sub-models of an AI model according to some embodiments of the present disclosure.

[0125] In addition or alternatively, the MoP of an AI model may be defined based on the supported functionality (ies) . For example, the AI model may support a plurality of functionalities, and a sub-model of the AI model may support one or more functionalities of a plurality of functionalities.

[0126] In an example, a MoP may support one functionality of the functionalities supported by the whole AI model or AI feature. As shown in FIGS. 2B and 2C, for AI positioning service 220, the AI / ML model support to provide 3D coordinate (X, Y, Z) of a location (e.g. UE location) . In the AI positioning service, there may three (3) functionalities, i.e., providing (X, Y) coordinates 221, (X, Z) coordinates, and (Y, Z) coordinates, where (X, Y, Z) is the coordinate in a three-dimensional coordinate system, e.g. there is one-to-one correspondence between a 3D location and a triple (x, y, z) . The values of X, Y and Z are the X dimension-, Y dimension-and Z dimension-coordinates of a location. Only for discussion clarity, in an example of a positioning service, the value of X may represent the longitude of the positioning target, the value of Y may represent the latitude of the positioning target, and the value of Z may represent the altitude of the positioning target. Without any limitation, alternatively, in another example, the value of X may represent a position in a first dimension of another local coordinate system, the value of Y may represent a position in a second dimension of the local coordinate system, and the value of Z may represent a position in a third dimension the local coordinate system.

[0127] Then, the MoP 0 may support (X, Y) coordinate provision. The MoP 1 may support (X, Z) coordinate provision. Moreover, the MoP 2 may support (Y, Z) coordinate provision. That is, a MoP may support partial functionalities of the whole AI model. As such, by combining MoPs of the AI model at a central processing unit, it can obtain the whole big AI model to support the complete functionalities for the AI service. In addition, in the AI object Detection service 230, the MoP 231 may support the functionality-existence judgement 231. In FIG. 2C, the whole AI model 240 supports the functionalities 0, 1, …, N, the MoP 0 241 may support the functionality 0, the MoP 1 may support the functionality 1, and the MoP k may support the functionality k.

[0128] In addition or alternatively, in another example, a MoP may support multiple functionalities of the functionalities supported by the whole AI model or AI feature. For example, multiple AI functionalities can be supported by one MoP. As such, if this one MoP is trained, multiple functionalities can be trained. In this way, the learning latency can be reduced.

[0129] FIG. 2D illustrate a further example sub-model of an AI model according to some embodiments of the present disclosure.

[0130] In addition or alternatively, the MoP of an AI model may be defined based on the assigned tasks. For  example, the whole AI model may be configured with a plurality of tasks. A MoP of this whole AI model may be configured with one task of the plurality of tasks. In an example, the whole AI model may be configured with a plurality of multimedia tasks. In this case, the MoP may be configured with a voice task, a video task or an image task for the multimedia task. As shown in FIG. 2D, the AI model 250 is configured with Task-1, Task-2, …and Task-N. The MoP 0 251 may be configured with the Task-1, the MoP 1 may be configured with the Task-2, and the MoP k may be configured with the Task-k.

[0131] Alternatively, a MoP of this whole AI model may be configured with more than one task of the plurality of tasks. In an example, the whole AI model supports multiple AI tasks, and a MoP may support more than one AI task within the multiple AI tasks. In this way, if the MoP is trained, multiple tasks can be trained, and the learning latency can be reduced accordingly.

[0132] In addition or alternatively, the MoP of an AI model may be defined based on the model size. In some embodiments, the MoP of the whole AI model may be of a model size that is based on the number of size parameters or a size level. That is, the MoP may be associated with a model size. In an example, the model size may include, but limited to, the number of parameters, the number of layers of an AI model, the computational complexity of the model (e.g. float point computations, number of real-value operation) , storage for the model. In a specific example, a MoP may be associated with a certain level of AI model size, e.g. : level 0: 0～10 thousand parameters, level 1: 10 thousand to 1 million parameters, level 2: 1 million to 1 billion parameters, level 3: larger than 1 billion parameters.

[0133] In addition or alternatively, the MoP of an AI model may be defined based on the model structure, for example, the neuron network algorithm. In some embodiments, a MoP of the whole AI model may be associated with a Neuron Network (NN) structure (or NN algorithm) . For example, the whole AI model may include multiple architectures (or called structures) . Example structures may include transformer neural network, DNN (Deep Neural Network) , CNN (Convolution Neural Network) , RNN (Recurrent Neural Network) , LSTM (Long Short Term Memory networks) , and so on. The MoP of the whole AI model may be of one or more of these structures.

[0134] In view of the above, some example relationships between MoP and the whole AI model are described. It is to be understood that the above relationships are only examples, and any other relationships between the MoP acting as the sub-model of the AI model and the whole AI model may be possible, which is not limited in this disclosure. Once the whole AI model is distributed and trained on the massive devices in the network, how to manage the whole AI model having these sub-models is a key aspect. In some embodiments of this disclosure, the life cycle management of the distributed AI model is further discussed, for example, the life cycle management may be performed based on monitoring and updating the sub-models of the AI model.

[0135] FIG. 3 illustrates a signaling process 300 for monitoring or updating sub-models of an AI model according to some embodiments of the present disclosure. For illustrative purposes, the process 300 will be described with reference to FIGS. 1A to 1E. Only as an example and without limitation, as shown in FIG. 3, the first device 110 may be the UE 110, ED 110, or BS 170 as shown in FIGS. 1A and 1B, the second device 170 may be the BS 170 or TRP 170 as shown in FIGS. 1A and 1B. In addition, the second device 170 may include the aggregation node as mentioned above.

[0136] In the signaling process 300, the second device 170 transmits (310) indication information 315 on monitoring or updating of one or more sub-models of an AI / ML model. Then, the first device 110 receives (320) the indication information 315 accordingly. The indication information 315 may be transmitted to the first device 110 in any signaling message. For example, the indication information 315 may be carried in the DCI or higher layer signaling. Without any limitation, the indication information 315 may be carried in other signaling messages.

[0137] Regarding the configuration of the one or more sub-models, in some embodiments, the first device 110 (for example, UE) may report its learning capability to the second device 170 (for example, the aggregation node) . The  capability may include one or multiple of supporting AI service, AI functionalities, AI models, AI model structures, AI model size, and so on. In an example, an AI / ML feature is associated with an index, and therefore the device may report the index of its supporting AI / ML feature. If the AI / ML feature includes one or multiple AI / ML functionalities, the device may also report the index of its supporting functionalities / functionality. Then, the second device 170 (or the network) may configure the one or more sub-models of the AI model (s) for one or more respective AI features on the device based on the device’s learning capability. For example, the aggregation node may transmit the configuration of the sub-model (s) to the device. Then, the first device 110 may perform the learning process of the sub-model (s) based on the configuration, in order to initialize the respective sub-model (s) .

[0138] In some embodiments, after the first device 110 reports its learning capability, the second device 170 may transmit a configuration of the above one or more sub-models to the first device 110. For example, for an AI feature (AI service) , one or more MoPs are configured for the first device 110. Specifically, the configuration for the one or more MoPs may be transmitted by unicast signaling, multicast signaling, group cast signaling, downlink control information (DCI) , and / or radio resource control (RRC) signaling.

[0139] Alternatively, a plurality of sub-models including the one or more sub-models may be preconfigured and the one or more sub-models may be further selected to be used by a further signaling. For example, the second device 170 may configure the plurality of candidate sub-models to the first device 110 by broadcast signaling. Then, the second device 170 may further indicate the one or more sub-models from the plurality of candidate sub-models by the RRC signaling. In an example, N (N is an integer, N>==1) candidate MoPs are configured by broadcast signalling, e.g. by system information. Then, the one or more MoPs are indicated from the N MoPs to the first device 110 by RRC signaling.

[0140] In addition, as mentioned above, the MoP may be configured with a MoP index. In some embodiments, the MoP configurations for different AI features may be separately determined. In an example, the MoP index may be unique among multiple AI features (AI services) . In this case, by indicating the MoP index, the first device 110 may be aware which MoP is configured for an AI feature, and which AI feature the MoP is used to. Alternatively, in another example, the MoP Index is unique within one AI feature, but MoPs for different AI features may have the same index. In this case, the second device 170 may need to indicate the respective AI feature index and the MoP Index to the first device 110. Without any limitation, the MoP and / or the association between the MoP and the AI feature may be identified in any other manners, which is not limited in this disclosure.

[0141] Still referring to FIG. 3, for discussion clarity, the monitoring on the sub-models is discussed at first and the updating of the sub-models is further discussed in the following but not here.

[0142] In some embodiments, the sub-models on the first device can be monitored one by one but not in parallel. As mentioned above, a MoP associated with the AI feature may be configured with a MoP index, and the indication information 315 may comprise an index identifying a sub-model, i.e., the MoP index. In this case, the first device 110 may perform monitoring on the sub-model of the one or more sub-models which is identified by the index, i.e., the MoP index. That is, based on the MoP index, the second device 170 may directly indicate the first device 110 to perform training or monitoring on the respective MoP. In some embodiments, there may be a field called “MoP indicator” indicating the active MoP Index in the signaling message carrying the indication information 315. In some embodiments, if the MoP indicated by the index is different from the currently active MoP for the same AI feature, the MoP switching may be performed by the first device 110. For the MoP switching delay, it can be zero or non-zero, which depends on device capability. In an example, upon receiving the indication information 315, the first device 110 may determine (330) at least one sub-model to be activated for the monitoring. Then, the first device 110 may activate (340) the at least one sub-model for the monitoring, or maintaining the at least one sub-model as active (for example, the currently active MoP is required to be monitored) . In addition, if there are more than one AI features (AI services) , the second device 170 may  indicate the MoP index for each of these AI features.

[0143] In addition or alternatively, in some embodiments, the MoP to be monitored may be predefined or be default for each AI feature. In this way, the second device 170 may also indicate the respective AI feature to be activated for monitoring. If an AI feature is indicated to be activated for the monitoring, the default MoP associated with this AI feature may be activated to be monitored. This default MoP can be pre-defined, e.g. the default active MoP is predefined as MoP 0. In an example, sub-model (s) of first AI / ML model for a first AI feature and sub-model (s) a second AI / ML model for a second AI feature are configured at the first device 110. Moreover, a first MoP is set as the default MoP of the first AI feature, and a second MoP is set as the default MoP of further one or more sub-models for the second AI feature. In this case, if the indication information 315 includes a first indication to perform the monitoring of one of the first AI service or the second AI service, the first device 110 may perform the monitoring on the default sub-model of the one or more sub-models or a further default sub-model of the further one or more sub-models. Without any limitation, alternatively, if the second device 170 indicate to active an AI feature for monitoring, the second device 170 may further indicate the respective MoP of the AI feature to be monitored.

[0144] In addition to monitoring one by one or alternatively, the sub-models on the first device can be monitored in parallel. In some embodiments, the indication information 315 may include a plurality of indexes identifying a plurality of sub-models. In this case, the first device 110 may perform the monitoring of a plurality sub-models of the one or more sub-models which are identified by the plurality of indexes, simultaneously. Similarly, the first device 110 may also active the plurality of sub-models for the monitoring as mentioned above. In an example, the maximum number of active MoPs for monitoring of an AI feature is N, where N is an integer and N>1. The second device 170 may indicate to activates one or multiple MoPs from the configured MoPs for monitoring, and the number of the one or multiple MoPs is smaller than or equal to the N. In this way, multiple MoPs may be monitored simultaneously, so as to reduce the monitoring latency.

[0145] Still referring to FIG. 3, in addition or alternatively, the indication information 315 may also include an activation indication of the monitoring. In some embodiments of this disclosure, the meaning of MoP activation refers to enable a MoP for a AI feature to train, monitor and / or update. In turn, the meaning of MoP deactivation refers to disable a MoP for a AI feature to train, monitor and / or update. In some embodiments, the activation indication may be indicative of the one or more sub-models, the AI model, or both of them. In this way, the second device 170 may explicitly indicate to activate a MoP for training, or monitoring, or updating, or more than one MoP of the AI model for training, monitoring and updating. In some embodiments, the indication information including the activation indication may be broadcast, in order to enable multiple first devices to monitor simultaneously. Alternatively, the indication information including the activation indication may be also unicast or groupcast. In some embodiments, if the second device 170 indicated to activate / deactivate for multiple MoPs, e.g. all the configured MoPs of an AI feature, then all the MoPs associated with the AI feature may be activated / deactivated for performance monitoring.

[0146] In addition or alternatively, the second device 170 may also implicitly indicate to activate / deactivate the MoP(s) . In some embodiments, the activation indication may include at least one condition for enabling the monitoring. The least one condition may include a channel quality, a data size, available network resource for transmission, a power of a device performing the method, a monitoring latency, or any combination thereof. Upon receiving the second indication, the second device 170 may determine whether to enable performance monitoring and / or performance reporting depending on whether the at least one condition is satisfied. For example, when the channel quality is below a threshold, the second device 170 may transmit no performance reporting to BS. When the real-time dataset size is below a threshold, the second device 170 may transmit no performance monitoring.

[0147] Still referring to FIG. 3, the second device 170 may further indicate the monitoring metrics for the sub-models. In some embodiments, the indication information 315 may further include a second indication of monitoring metric. In  some embodiments, the second indication may be specific to the sub-model (MoP) . That is, the monitoring metric indication is individual for each MoP (e.g. each configured MoP) . Generally, the metric is to evaluate the performance of the MoP, e.g. the second device 170 may configure an inference accuracy threshold for a MoP. Then, the first device 110 may transmit (360) a monitoring report 365 based on the monitoring metric. For example, the first device 110 may report the performance of a MoP according to the monitoring metric. The second device 170 may receive (370) the monitoring report 365 accordingly. In some embodiments, the transmission of the monitoring report 365 may be the periodic, a-periodic event-triggered, or semi-persistent reporting. If the monitoring report is the event-triggered, the first device 110 may transmit the monitoring report when the monitoring reporting metric is satisfied, e.g. the performance is below the threshold.

[0148] In addition, as mentioned above, the second indication may be specific to the sub-model (MoP) . For example, the second indication may include a first monitoring metric for a first sub-model and a second monitoring metric for a second sub-model. In this case, considering different MoPs may have different importance to the parent AI model, different monitoring metrics for different MoPs may be configured. For important MoP, a higher performance may be required, e.g. higher accuracy threshold for reporting in the event-triggered configuration. For less important MoP, a lower performance may be acceptable, e.g. lower accuracy threshold for reporting in the event-triggered configuration.

[0149] Alternatively, the second indication may also include one or more common monitoring metrics for the one or more sub-models of the AI / ML model. For example, the second indication may be common to the all MoPs (e.g. configured MoPs) . That is, for all MoPs of an AI feature, the metric indication is same. In this way, the second device 170 can only indicate once for an AI feature, i.e. for all associated MoPs.

[0150] Then, after determining the MoP (s) to be monitored based on the indication information 315, the first device 110 may perform (350) the monitoring on the determined sub-models of the one or more sub-models according to the monitoring metric (s) indicated by the second device 170.

[0151] In some embodiments, in the label based monitoring method, label information (or called ground-truth) may be required for performance monitoring on a MoP, e.g. in the supervised learning. If the accuracy of the sub-model should be determined by the first device 110, the first device 110 may transmit (351) a request 352 for a ground-truth for a monitored sub-model to the second device 170. Upon receiving (353) the request 352, the second device 170 may transmit (355) the ground truth 356 to the first device 110. In an example, the first device 110 may send (360) a monitoring report 365 including the monitoring data to the second device 170, and request ground-truth for a MoP. In some embodiments, the monitoring data may be obtained in accordance with the above monitoring metric (es) . Alternatively, the first device 110 may only transmit the request 352. Then, the second device 170 may send the approximate ground-truth for the MoP to the first device 110. In general, the second device 170 (e.g., the aggregation node) may have the big AI model, and therefore the second device 170 may get more accurate inference result than a MoP at the first device 110. In this case, the second device 170 may provide the approximate ground-truth for a MoP to the first device 110, and the first device 110 may compare the inference result and the label to determine the accuracy of the sub-model.

[0152] Alternatively, the first device 110 may directly transmit (360) the monitoring report 365 including the monitoring data to the second device 170, without requesting the ground truth from the second device 170. Similarly, the monitoring data may be obtained in accordance with the above monitoring metric (es) . For example, the first device 110 may send the monitoring data and inference result of the MoP to the second device 170. Then, the monitoring of the performance of a MoP may be performed by the second device 170. In some embodiments, the inference result reporting from the first device 110 may be soft information (probability of each output) , or the hard information (the inference output) .

[0153] In the above embodiments, the monitoring of sub-models of a parent / big AI model that is configured in a  distributed manner is discussed. In this way, the distributed monitor performed by multiple devices in the network is enabled, and each device monitors partial of the big model, to improve monitor efficiency.

[0154] In the following embodiments, the updating of the one or more sub-models at the first device 110 is further discussed. In some embodiments of this disclosure, the monitoring and the updating of the one or more sub-models may be performed separately or together, without any limitation. In some embodiments, according to the performance monitoring results (for example, the results determined based on the monitoring report 365) , the second device 170 may indicate the first device 110 to update / fine-tune the sub-model (s) (i.e., MoPs) . Alternatively, the second device 170 may indicate the first device 110 to update / fine-tune the sub-model (s) (i.e., MoPs) on demand, without any monitoring results.

[0155] Still referring to FIG. 3, to update / fine-tune the MoPs, the second device 170 may transmit (301) the indication information 315 on updating of one or more sub-models of an AI / ML model. Similarly, in some embodiments, the sub-models on the first device can be updated one by one but not in parallel. That is, only one MoP for an AI feature is active for update at a given time. In this case, the indication information 315 may indicate the MoPs to be updated in the same way as indicating the MoPs to be monitored as mentioned above. For example, the indication information 315 may comprise an index identifying a sub-model, i.e., the MoP index. The first device 110 may perform updating on the sub-model of the one or more sub-models which is identified by the index, i.e., the MoP index. That is, for a MoP, the second device 170 may indicate the first device 110 to perform training or updating on the MoP. In some embodiments, there may be a field called “MoP indicator” indicating the active MoP Index in the signaling message carrying the indication information 315. In some embodiments, if the MoP indicated by the index is different from the currently active MoP for the same AI feature, the MoP switching may be performed by the first device 110. For the MoP switching delay, it can be zero or non-zero, which depends on device capability. In an example, upon receiving the indication information 315, the first device 110 may determine (330) at least one sub-model to be activated for the updating. Then, the first device 110 may activate (340) the at least one sub-model for the updating, or maintaining the at least one sub-model active (for example, the currently active MoP is required to be updated) . In addition, if there are more than one AI features (AI services) , the second device 170 may indicate the MoP index for each of these AI features.

[0156] In addition, in some embodiments, the MoP to be updated may be predefined or be default for each AI feature. In this way, the respective AI feature may also be activated or deactivated for monitoring. If an AI feature is activated, a first active MoP associated with this AI feature may be updated, and this first active MoP can be pre-defined, e.g. the first active MoP is predefined MoP 0. In an example, sub-models for first AI / ML model for a first AI feature and a second AI / ML model for a second AI feature may be configured at the first device 110. Moreover, a first MoP is the default MoP of the first AI feature, and a second MoP may be the default MoP of further one or more sub-models for the second AI feature. In this case, if the indication information 315 includes a first indication to perform the updating of one of the first AI service or the second AI service, the first device 110 may perform the updating on the default sub-model of the one or more sub-models or a further default sub-model of the further one or more sub-models. Without any limitation, alternatively, if the second device 170 indicate to active an AI feature for updating, the second device 170 may further indicate the respective MoP to be monitored.

[0157] Alternatively, the sub-models on the first device can be monitored in parallel. Similarly, the indication information 315 may include a plurality of indexes identifying a plurality of sub-models. In this case, the first device 110 may perform the updating of a plurality sub-models of the one or more sub-models which are identified by the plurality of indexes, simultaneously. Similarly, the first device 110 may also active the plurality of sub-models for the updating as mentioned above. In an example, the maximum number of active MoPs for updating of an AI feature is N, where N is an integer and N>1. The second device 170 may indicate to activates one or multiple MoPs from the configured MoPs for updating, and the number of the one or multiple MoPs is smaller than or equal to the N. In this way, multiple MoPs may be updating simultaneously, so as to reduce the updating latency.

[0158] In addition, the devices that are required to update the MoPs may be selected based on predefined selection conditions (e.g., the selection criterion) . Generally, when the difference between the inference data and the corresponding training data is large (for example, the difference is above or equal to a difference threshold) , the performance of an AI model is likely to be considered degraded and needs to be updated. Therefore, the key issue in the updating is to select the devices which have the updating data set which previously unseen during training, so as to reduce air-interface overhead for update, e.g. overhead for update MoP transmission. For example, the second device 170 may indicate the selection metric to the first device 110 configured with the MoP (s) . Then, the first device 110 may determine whether the selection metric is satisfied. The selection metric can be data distribution and / or dataset size metric. In some embodiments, the indication information 315 may include a reference data distribution and a first threshold, or the indication information 315 may include a reference dataset size and a second threshold.

[0159] If the second device 170 indicates the reference data distribution and the first threshold, then the first device 110 may determine whether a first difference between a data distribution of data owned by the first device 110 and the reference data distribution is below, equal to or above a first threshold. If the difference is below, equal to or above the first threshold, the first device 110 may perform (350) the updating. In an example, the first device 110 compares its data distribution and the reference data distribution. If the difference is below the threshold, then the selection metric is determined as satisfied.

[0160] Alternatively, if the second device 170 indicates reference dataset size and the second threshold, then the first device 110 may determine whether a dataset size of the first device 110 is larger than the reference dataset size and a second difference between the dataset size and the reference dataset size is above a second threshold. If the dataset size is larger than the reference dataset size and the second difference is above, below or equal to the second threshold, the first device 110 may perform (350) the updating. In an example, if the first device’s dataset size is larger than the reference dataset size and the difference is larger than the threshold, the selection metric is satisfied. It is to be understood that the updating / training / tuning performance of an AI / ML model is associated with the size of the training data. In general, the larger size of the training data, the updating / training / tuning performance is better. Therefore, if the devices having the larger dataset size are selected to perform the updating, the respective MoPs may be updated with a better performance. In this way, the updating on each device associated with the whole AI mode can be avoided. Thereby, the uploads from each terminal device can be avoided, so that the overhead on the radio interfaces can be reduced.

[0161] In addition, the first device 110 may further report the response of the selection metric, e.g. whether the metric is met. If the metric is met, the first device 110 may report ACK to BS, else reports NACK. In turn, for the devices (for example, the first device 110) reporting ACK, the second device 170 may indicate those devices to activate or start the updating for the MoP, e.g. by UE-specific signaling, or group common signaling.

[0162] In some embodiments, the first device 110 may perform the updating on the sub-model (s) indicated from the one or more sub-models using any machine learning algorithm. For example, the first device 110 may perform the updating on the sub-model (s) using the federated leaning manner. In this case, the first device 110 may exchange an updated sub-model with the second device 170 to iteratively perform the updating. In an example, if the MoPs having the same index are of the same Neuron Network (NN) structure, the federated leaning manner may be used. During the updating procedure, the second device 170 and the first device 110 may exchange its updated MoP several times. For example, using federated learning for the MoP. In wireless federated learning (FL) , the second device 170 may initialize the MoP I, samples a group of devices configured with MoP I, and group-cast the parameters of the MoP i to the selected devices. Each device of the selected devices, for example, the first device 110, may initialize its local MoP using the received model parameters, and updates (trains) its local MoP using its own data. Then each device reports the updated local MoP’s parameters to the second device 170. The second device 170 then aggregates the updated parameters reported from devices and updates the MoP i. It is to be understood that the aforementioned procedure is one iteration of  AI training procedure. Without any limitation, the second device 170 and first device 110 may perform multiple iterations until finalized the MoP i.

[0163] Alternatively, the first device 110 may perform the updating using the general distributed learning, for example, in the case that the MoPs having the same index may be of different model structures. In some embodiments, the first device 110 may perform the updating of the sub-model using one or more neuron network algorithms. In an example, to update the indicated MoP (s) , different devices may use different algorithms and / or different NN structure for updating. Then, at the second device 170, it may aggregate the heterogeneous models reported from these devices and get the combined model.

[0164] Then, after updating the indicated MoP (s) , the first device 110 may transmit (380) a report 385 of an updated sub-model to the second device 170. In an example, the report 385 may include parameters of the whole updated MoP. Alternatively, the report 385 may be a differential report which is based on the original MoP (s) . For the differential report, the first device 110 reports the difference parameter value from the previous value of the MoP. Then, the second device 170 may receive (390) the report 385 accordingly.

[0165] In some embodiments, based on the report 385, the second device 170 may indicate to stop the updating procedure. For example, the second device 170 may observe that the performance of the updated MoP (s) is satisfied. Then, the second device 170 may indicate the first device 110 to stop updating procedure. For example, the second device 170 may transmit an indication of stopping the sub-model updating to the first device 110. The indication of stopping may be UE-specific, group-common, broadcast, DCI or higher layer signalling. For example, the second device 170 may use a broadcast signaling to indicate the first device 110 to stop the updating procedure for the MoP (s) or stop the updating procedure for all MoPs associated to an AI feature. The first device 110 may receive the indication of stopping accordingly. In addition, after training of big AI model (or parent AI model) , the second device 170 may further send the updated MoPs of the big AI model to the related devices.

[0166] In the above embodiments, the updating of sub-models of a parent / big AI model that is configured in a distributed manner is discussed. In this way, the distributed updating performed by multiple devices in the network is enabled, and each device updates partial of the big model, to improve monitor efficiency.

[0167] FIG. 4 illustrates a flowchart of a method 400 of communication implemented at a first device in accordance with some embodiments of the present disclosure. The method 400 can be implemented at the first device 110 shown in FIG. 1A. For the purpose of discussion, the method 400 will be described with reference to FIG. 1A. It is to be understood that the method 400 may include additional acts not shown and / or may omit some shown acts, and the scope of the present disclosure is not limited in this regard.

[0168] At 410, the first device 110 receives indication information on monitoring or updating of one or more sub-models of an artificial intelligence / machine learning (AI / ML) model. At 420, the first device 110 performs, based on the indication information, the monitoring or the updating of the one or more sub-models. It should be noted that the method 400 may include various other operations which may be performed by the first device 110 as described above with reference to the signaling process 300 of FIG. 3.

[0169] FIG. 5 illustrates a flowchart of a method 500 of communication implemented at a second device in accordance with some embodiments of the present disclosure. The method 500 can be implemented at the second device 170 shown in FIG. 1A. For the purpose of discussion, the method 500 will be described with reference to FIG. 1A. It is to be understood that the method 500 may include additional acts not shown and / or may omit some shown acts, and the scope of the present disclosure is not limited in this regard.

[0170] At 510, the second device 170 transmits indication information on monitoring or updating of one or more sub-models of an artificial intelligence / machine learning (AI / ML) model. It should be noted that the method 500 may  include various other operations which may be performed by the second device 170 as described above with reference to the signaling process 300 of FIG. 3.

[0171] FIG. 6 is a block diagram of a device 600 that may be used for implementing some embodiments of the present disclosure. In some embodiments, the device 600 may be an element of communications network infrastructure, such as a base station (for example, a NodeB, an evolved Node B (eNodeB, or eNB) , a next generation NodeB (sometimes referred to as a gNodeB or gNB) , a home subscriber server (HSS) , a gateway (GW) such as a packet gateway (PGW) or a serving gateway (SGW) or various other nodes or functions within a core network (CN) or a Public Land Mobility Network (PLMN) . In other embodiments, the device 600 may be a device that connects to the network infrastructure over a radio interface, such as a mobile phone, smart phone or other such device that may be classified as a User Equipment (UE) . In some embodiments, the device 600 may be a Machine Type Communications (MTC) device (also referred to as a machine-to-machine (M2M) device) , or another such device that may be categorized as a UE despite not providing a direct service to a user. In some embodiments, the device 600 may be a road side unit (RSU) , a vehicle UE (V-UE) , pedestrian UE (P-UE) or an infrastructure UE (I-UE) . In some scenarios, the device 600 may also be referred to as a mobile device, a term intended to reflect devices that connect to mobile network, regardless of whether the device itself is designed for, or capable of, mobility. Specific devices may utilize all of the components shown or only a subset of the components, and levels of integration may vary from device to device. Furthermore, the device 600 may contain multiple instances of a component, such as multiple processors, memories, transmitters, receivers, etc.

[0172] The device 600 typically includes a processor 602, such as a Central Processing Unit (CPU) , and may further include specialized processors such as a Graphics Processing Unit (GPU) or other such processor, a memory 604, a network interface 606 and a bus 608 to connect the components of the device 600. The device 600 may optionally also include components such as a mass storage device 610, a video adapter 612, and an I / O interface 616 (shown in dashed lines) .

[0173] The memory 604 may comprise any type of non-transitory system memory, readable by the processor 602, such as static random access memory (SRAM) , dynamic random access memory (DRAM) , synchronous DRAM (SDRAM) , read-only memory (ROM) , or a combination thereof. In an embodiment, the memory 604 may include more than one type of memory, such as ROM for use at boot-up, and DRAM for program and data storage for use while executing programs. The bus 608 may be one or more of any type of several bus architectures including a memory bus or memory controller, a peripheral bus, or a video bus.

[0174] The device 600 may also include one or more network interfaces 606, which may include at least one of a wired network interface and a wireless network interface. As illustrated in FIG. X, network interface 606 may include a wired network interface to connect to a network 622, and also may include a radio access network interface 620 for connecting to other devices over a radio link. When the device 600 is a network infrastructure element, the radio access network interface 620 may be omitted for nodes or functions acting as elements of the PLMN other than those at the radio edge (e.g., an eNB) . When the device 600 is infrastructure at the radio edge of a network, both wired and wireless network interfaces may be included. When the device 600 is a wirelessly connected device, such as a User Equipment, radio access network interface 620 may be present and it may be supplemented by other wireless interfaces such as WiFi network interfaces. The network interfaces 606 allow the device 600 to communicate with remote entities such as those connected to network 622.

[0175] The mass storage 610 may comprise any type of non-transitory storage device configured to store data, programs, and other information and to make the data, programs, and other information accessible via the bus 608. The mass storage 610 may comprise, for example, one or more of a solid state drive, hard disk drive, a magnetic disk drive, or an optical disk drive. In some embodiments, the mass storage 610 may be remote to the device 600 and accessible through use of a network interface such as interface 606. In the illustrated embodiment, the mass storage 610 is distinct  from memory 604 where it is included, and may generally perform storage tasks compatible with higher latency, but may generally provide lesser or no volatility. In some embodiments, the mass storage 610 may be integrated with a heterogeneous memory 604.

[0176] The optional video adapter 612 and the I / O interface 616 (shown in dashed lines) provide interfaces to couple the device 600 to external input and output devices. Examples of input and output devices include a display 614 coupled to the video adapter 612 and an I / O device 618 such as a touch-screen coupled to the I / O interface 616. Other devices may be coupled to the device 600, and additional or fewer interfaces may be utilized. For example, a serial interface such as Universal Serial Bus (USB) (not shown) may be used to provide an interface for an external device. Those skilled in the art will appreciate that in embodiments in which the device 600 is part of a data center, I / O interface 616 and Video Adapter 612 may be virtualized and provided through network interface 606.

[0177] FIG. 7 is a schematic diagram of a structure of an apparatus 700 in accordance with some embodiments of the present disclosure. As shown in FIG. 7, the apparatus 700 includes a receiving unit 702 and a performing unit 704. The apparatus 700 may be applied to the communication system as shown in FIGS. 1A to 1E, and may implement any of the methods provided in the foregoing embodiments. Optionally, a physical representation form of the apparatus 700 may be a communication device, for example, a network device or UE. Alternatively, the apparatus 700 may be another apparatus that can implement a function of a communication device, for example, a processor or a chip inside the communication device. Specifically, the apparatus 700 may be some programmable chips such as a field-programmable gate array (field-programmable gate array, FPGA) , a complex programmable logic device (complex programmable logic device, CPLD) , an application-specific integrated circuit (application-specific integrated circuits, ASIC) , or a system on a chip (System on a chip, SOC) .

[0178] In some embodiments, the receiving unit 702 may be configured to receive indication information on monitoring or updating of one or more sub-models of an artificial intelligence / machine learning (AI / ML) model.

[0179] In some embodiments, the performing unit 704 may be configured to perform, based on the indication information, the monitoring or the updating of the one or more sub-models.

[0180] In some other embodiments, the apparatus 700 can include various other units or modules which may be configured to perform various operations or functions as described in connection with the foregoing method embodiments. The details can be obtained referring to the detailed description of the foregoing method embodiments and are not described herein again.

[0181] It should be noted that division into the units or modules in the foregoing embodiments of the present disclosure is an example, and is merely logical function division. In actual implementation, there may be another division manner. In addition, function units in embodiments of the present disclosure may be integrated into one processing unit, or may exist alone physically, or two or more units may be integrated into one unit. The integrated unit may be implemented in a form of hardware, or may be implemented in a form of a software function unit.

[0182] When the integrated unit is implemented in a form of a software function unit and sold or used as an independent product, the integrated unit may be stored in a computer-readable storage medium. Based on such an understanding, the technical solutions of the present disclosure essentially, or all or some of the technical solutions may be implemented in a form of a software product. The computer software product is stored in a storage medium and includes several instructions for instructing a computer device (which may be a personal computer, a server, or a network device) or a processor (processor) to perform all or some of the steps of the methods described in embodiments of the present disclosure. The foregoing storage medium includes any medium that can store program code, such as a USB flash drive, a removable hard disk, a read-only memory (Read-Only Memory, ROM) , a random access memory (Random Access Memory, RAM) , a magnetic disk, or an optical disc.

[0183] FIG. 8 is a schematic diagram of a structure of an apparatus 800 in accordance with some embodiments of the present disclosure. As shown in FIG. 8, the apparatus 800 includes a performing unit 802. The apparatus 800 may be applied to the communication system as shown in FIGS. 1A to 1E, and may implement any of the methods provided in the foregoing embodiments. Optionally, a physical representation form of the apparatus 800 may be a communication device, for example, a network device. Alternatively, the apparatus 800 may be another apparatus that can implement a function of a communication device, for example, a processor or a chip inside the communication device. Specifically, the apparatus 800 may be some programmable chips such as a field-programmable gate array (field-programmable gate array, FPGA) , a complex programmable logic device (complex programmable logic device, CPLD) , an application-specific integrated circuit (application-specific integrated circuits, ASIC) , or a system on a chip (System on a chip, SOC) .

[0184] In some embodiments, the transmitting unit 802 may be configured to transmit indication information on monitoring or updating of one or more sub-models of an artificial intelligence / machine learning (AI / ML) model.

[0185] In some other embodiments, the apparatus 800 can include various other units or modules which may be configured to perform various operations or functions as described in connection with the foregoing method embodiments. The details can be obtained referring to the detailed description of the foregoing method embodiments and are not described herein again.

[0186] It should be noted that division into the units or modules in the foregoing embodiments of the present disclosure is an example, and is merely logical function division. In actual implementation, there may be another division manner. In addition, function units in embodiments of the present disclosure may be integrated into one processing unit, or may exist alone physically, or two or more units may be integrated into one unit. The integrated unit may be implemented in a form of hardware, or may be implemented in a form of a software function unit.

[0187] When the integrated unit is implemented in a form of a software function unit and sold or used as an independent product, the integrated unit may be stored in a computer-readable storage medium. Based on such an understanding, the technical solutions of the present disclosure essentially, or all or some of the technical solutions may be implemented in a form of a software product. The computer software product is stored in a storage medium and includes several instructions for instructing a computer device (which may be a personal computer, a server, or a network device) or a processor (processor) to perform all or some of the steps of the methods described in embodiments of the present disclosure. The foregoing storage medium includes any medium that can store program code, such as a USB flash drive, a removable hard disk, a read-only memory (Read-Only Memory, ROM) , a random access memory (Random Access Memory, RAM) , a magnetic disk, or an optical disc.

Claims

1.A method comprising:receiving indication information on monitoring or updating of one or more sub-models of an artificial intelligence / machine learning (AI / ML) model; andperforming, based on the indication information, the monitoring or the updating of the one or more sub-models.2.The method of claim 1, wherein a sub-model of the one or more sub-models is associated with at least one of the following:a portion of a plurality of parameters of the AI / ML model;one or more functionalities of a plurality of functionalities of the AI / ML model;one or more tasks of a plurality of tasks of the AI / ML model;a model size associated with a number of size parameters or a size level; ora neuron network algorithm.3.The method of claim 1 or 2, wherein the one or more sub-models comprise a first sub-model and a second sub-model, and wherein:the first sub-model is associated with a first portion of a plurality of parameters of the AI / ML model;the second sub-model is associated with a second portion of the plurality of parameters; andthe first portion and the second portion are non-overlapped or partially overlapped.4.The method of claims 1 to 3, wherein:the indication information comprises an index identifying a sub-model; orthe indication information comprises a plurality of indexes identifying a plurality of sub-models.5.The method of claim 4, wherein a terminal device is configured to activate one sub-model for the monitoring or the updating, and performing the monitoring or the updating comprises:performing the monitoring or the updating of a sub-model of the one or more sub-models which is identified by the index.6.The method of claim 4, wherein a terminal device is configured to activate more than one sub-model for the monitoring or the updating, and performing the monitoring or the updating comprises:performing the monitoring or the updating of a plurality sub-models of the one or more sub-models which are identified by the plurality of indexes, simultaneously.7.The method of any of claims 4 to 6, wherein the index or the plurality of indexes comprised in the indication information indicate at least one sub-model to be activated for the monitoring or the updating, and wherein the method further comprises:determining the at least one sub-model to be activated for the monitoring or the updating; andactivate the at least one sub-model for the monitoring or the updating or maintaining the at least one sub-model active.8.The method of claims 1 to 3, wherein the AI / ML model is a first AI / ML model for a first AI feature, and the first AI / ML model is a predefined or configured AI / ML model at a terminal device.9.The method of claim 8, wherein:further one or more sub-models of a second AI / ML model is configured at the terminal device for a second AI feature, andthe indication information comprises a first indication to perform the monitoring or the updating of one of the first AI service or the second AI service.10.The method of claim 9, wherein performing the monitoring on the one or more sub-models comprises:performing, based on the first indication, the monitoring or the updating on a predefined or configured sub-model of the one or more sub-models or a further predefined sub-model of the further one or more sub-models.11.The method of any of claims 1 to 10, wherein the indication information comprises a second indication of monitoring metric, and wherein the method further comprises:transmitting a monitoring report based on the monitoring metric, wherein the transmission of the monitoring report is periodic or event-triggered.12.The method of claim 10 or 11, wherein the second indication comprises a first monitoring metric for a first sub-model and a second monitoring metric for a second sub-model.13.The method of claim 10 or 11, wherein the second indication comprises a common monitoring metric for the one or more sub-models of the AI / ML model.14.The method of any of claims 1 to 3, wherein the indication information comprises an activation indication of the monitoring, and wherein the activation indication is indicative of at least one of the following:the one or more sub-models;the AI / ML model; orat least one condition for enabling the monitoring.15.The method of claim 13, wherein the at least one condition comprises at least one of the following:a channel quality;a data size;available network resource for transmission;a power of a device performing the method; ora monitoring latency.16.The method of any of claims 1 to 15, further comprising:transmitting a request for a ground-truth for a monitored sub-model.17.The method of claim 16, further comprising:receiving the ground truth for performing supervised learning.18.The method of any of claims 1 to 17, further comprising:transmitting a monitoring report and an inference result of a monitored sub-model.19.The method of any of claims 1 to 18, wherein the indication information comprises at least one of the following:a reference data distribution and a first threshold; ora reference dataset size and a second threshold.20.The method of claim 19, wherein performing the updating comprises:determining whether a first difference between a data distribution of a device performing the method and the reference data distribution is below a first threshold; andperforming the updating based on determining that the difference is below than the first threshold.21.The method of claim 19, wherein performing the updating comprises:determining whether a dataset size of a device performing the method is larger than the reference dataset size and a second difference between the dataset size and the reference dataset size is above a second threshold; andperforming the updating based on determining that the dataset size is larger than the reference dataset size and the second difference is above the second threshold.22.The method of any of claims 1 to 21, wherein the method is performed by a first device, and performing the updating comprises:exchanging an updated sub-model with a second device to iteratively perform the updating; orperforming, at the first device, the updating of the sub-model using one or more neuron network algorithms.23.The method of any of claims 1 to 22, further comprising:transmitting a report of an updated sub-model.24.The method of any of claims 1 to 23, further comprising:receiving an indication of stopping the sub-model updating.25.The method of any of claims 1 to 24, further comprising:receiving a configuration of the one or more sub-models, and wherein the configuration is transmitted by at least one of the following:unicast signaling;multicast signaling;groupcast signaling;downlink control information (DCI) ; orradio resource control (RRC) signaling.26.The method of any of claims 1 to 25, wherein:a plurality of candidate sub-models is configured by broadcast signaling; andthe one or more sub-models are indicated, by RRC signaling, from the plurality of candidate sub-models.27.The method of claims 1 to 26, wherein the method is performed by a terminal device or a network device.28.A method comprising:transmitting indication information on monitoring or updating of one or more sub-models of an artificial intelligence / machine learning (AI / ML) model.29.The method of claim 28, wherein a sub-model of the one or more sub-models is associated with at least one of the following:a portion of a plurality of parameters of the AI / ML model;one or more functionalities of a plurality of functionalities of the AI / ML model;one or more tasks of a plurality of tasks of the AI / ML model;a model size associated with a number of size parameters or a size level; ora neuron network algorithm.30.The method of claim 28 or 29, wherein the one or more sub-models comprise a first sub-model and a second sub-model, and wherein:the first sub-model is associated with a first portion of a plurality of parameters of the AI / ML model;the second sub-model is associated with a second portion of the plurality of parameters; andthe first portion and the second portion are non-overlapped or partially overlapped.31.The method of claims 28 to 30, wherein:the information comprises an index identifying a sub-model; orthe information comprises a plurality of indexes identifying a plurality of sub-models.32.The method of claims 28 to 31, wherein the AI / ML model is a first AI / ML model for a first AI feature, and the first AI / ML model is a predefined or configured AI / ML model at a terminal device.33.The method of claim 32, wherein further one or more sub-models of a second AI / ML model are configured at the terminal device for a second AI feature, andthe information comprises a first indication to perform the monitoring or updating of one of the first AI service or the second AI service.34.The method of any of claims 28 to 33, wherein the indication information comprises a second indication of monitoring metric, and wherein the method further comprises:receiving, from a first device, a monitoring report based on the monitoring metric, wherein the transmission of the monitoring report is periodic or event-triggered.35.The method of claim34, wherein the second indication comprises a first monitoring metric for a first sub-model and a second monitoring metric for a second sub-model.36.The method of claim 34, wherein the second indication comprises a common monitoring metric for the one or more sub-models of the AI / ML model.37.The method of any of claims 26 to 28, wherein the information comprises an activation indication of the monitoring, and wherein the activation indication is indicative of:the one or more sub-models;the AI / ML model; orat least one condition for enabling the monitoring.38.The method of claim 37, wherein the at least one condition comprises at least one of the following:a channel quality;a data size;available network resource for transmission;a power of a device performing the method; ora monitoring latency.39.The method of any of claims 28 to 38, further comprising:receiving a request for a ground-truth for a monitored sub-model.40.The method of claim 39, further comprising:transmitting the ground truth for performing supervised learning.41.The method of any of claims 28 to 40, further comprising:receiving a monitoring report and an inference result of a monitored sub-model.42.The method of any of claims 28 to 41, wherein the information comprises at least one of the following:a reference data distribution and a first threshold; ora reference dataset size and a second threshold.43.The method of any of claims 28 to 42, further comprising:exchanging an updated sub-model with a second device to iteratively perform the updating.44.The method of any of claims 28 to 43, further comprising:receiving a report of an updated sub-model.45.The method of any of claims 28 to 44, further comprising:determining that an updated sub-model fulfills a performance requirement; andtransmitting an indication of stopping the sub-model updating.45.The method of any of claims 28 to 45, further comprising:transmitting a configuration of the one or more sub-models, and wherein the configuration is transmitted by at least one of the following:an unicast signaling;a multicast signaling;a groupcast signaling;downlink control information (DCI) ; orradio resource control (RRC) signaling.46.The method of any of claims 28 to 45, wherein:a plurality of candidate sub-models is configured to a first device by broadcast signaling; andthe one or more sub-models are indicated, by RRC signaling, from the plurality of candidate sub-models.47.The method of claims 28 to 46, wherein the method is performed a network device.48.A first device comprising:a transceiver; anda processor communicatively coupled with the transceiver,wherein the processor is configured to:receive indication information on monitoring or updating of one or more sub-models of an artificial intelligence / machine learning (AI / ML) model; andperform, based on the indication information, the monitoring or the updating of the one or more sub-models.49.A second device comprising:a transceiver; anda processor communicatively coupled with the transceiver,wherein the processor is configured to:transmit indication information on monitoring or updating of one or more sub-models of an artificial intelligence / machine learning (AI / ML) model.50.A non-transitory computer readable medium comprising a computer program stored thereon, the computer program, when executed on at least one processor, causing the at least one processor to perform the method of any of claims 1-45.51.An apparatus comprising at least one processor configured to cause the apparatus to perform the method of any of claims 1-45.52.A computer program product comprising computer-executable instructions which, when executed, cause an apparatus to perform the method of any of claims 1-45.

Images