Retrieval augmented generation leveraging network analytics

Abstract

Example embodiments of the disclosure relate to methods, apparatuses, and computer readable storage medium for retrieval augmented generation (RAG) leveraging network analytics. In a method, a first apparatus receives, from a second apparatus, first prompt information associated with a machine learning (ML) model. The first apparatus determines at least one network analytics based on the first prompt information, the at least one network analytics indicating analytics across at least one communication network. The first apparatus determines second prompt information associated with the ML model based on the at least one network analytics. In this way, the efficiency and accuracy of the ML model may be improved.The communication network may be more controllable.

Description

RETRIEVAL AUGMENTED GENERATION LEVERAGING NETWORK ANALYTICSFIELD

[0001] Various example embodiments of the present disclosure generally relate to the field of telecommunication and in particular, to methods, devices, apparatuses and computer readable storage medium for retrieval augmented generation (RAG) leveraging network analytics.BACKGROUND

[0002] Machine learning (ML) focuses on enabling machines to learn from data and make decisions or predictions without being explicitly programmed. Machine learning plays a pivotal role in enhancing the efficiency, performance, and scalability of communication networks, for example, the fifth generation (5G) network and so on. With the ability to analyze and process large volumes of data, ML is applied to optimize various aspects of 5G technology, from network management to user experience. Machine learning is essential for addressing challenges such as high network complexity, dynamic demands, and performance requirements.SUMMARY

[0003] In a first aspect of the present disclosure, there is provided a first apparatus. The first apparatus comprises at least one processor; and at least one memory storing instructions that, when executed by the at least one processor, cause the first apparatus to: receive, from a second apparatus, first prompt information associated with a machine learning (ML) model; determine at least one network analytics based on the first prompt information, the at least one network analytics indicating analytics across at least one communication network; and determine second prompt information associated with the ML model based on the at least one network analytics.

[0004] In a second aspect of the present disclosure, there is provided a second apparatus. The second apparatus comprises at least one processor; and at least one memory storing instructions that, when executed by the at least one processor, cause the second apparatus to: transmit, to a first apparatus, first prompt information associated with a machine learning (ML) model; and receive, from the first apparatus, a message comprising at least one of: second prompt information associated with the ML model, an analytics output of the at least one network analytics, or an output of the ML model obtained based on the second prompt information, wherein the second prompt information is determined based on at least one network analytics, the at least one network analytics is determined based on the first prompt information, and the at least one network analytics indicates analytics across at least one communication network.

[0005] In a third aspect of the present disclosure, there is provided a third apparatus. The third apparatus comprises at least one processor; and at least one memory storing instructions that, when executed by the at least one processor, cause the third apparatus to: receive, from a first apparatus, information of at least one network analytics, the at least one network analytics indicating analytics across at least one communication network; and transmit, to the first apparatus, an analytics output of the at least one network analytics.

[0006] In a fourth aspect of the present disclosure, there is provided a method. The method comprises: receiving, from a second apparatus, first prompt information associated with a machine learning (ML) model; determining at least one network analytics based on the first prompt information, the at least one network analytics indicating analytics across at least one communication network; and determining second prompt information associated with the ML model based on the at least one network analytics.

[0007] In a fifth aspect of the present disclosure, there is provided a method. The method comprises: transmitting, to a first apparatus, first prompt information associated with a machine learning (ML) model; and receiving, from the first apparatus, a message comprising at least one of: second prompt information associated with the ML model, an analytics output of the at least one network analytics, or an output of the ML model obtained based on the second prompt information, wherein the second prompt information is determined based on at least one network analytics, the at least one network analytics is determined based on the first prompt information, and the at least one network analytics indicates analytics across at least one communication network.

[0008] In a sixth aspect of the present disclosure, there is provided a method. The method comprises: receiving, from a first apparatus, information of at least one network analytics, the at least one network analytics indicating analytics across at least one communication network; and transmitting, to the first apparatus, an analytics output of the at least one network analytics.

[0009] In a seventh aspect of the present disclosure, there is provided a first apparatus. The first apparatus comprises means for receiving, from a second apparatus, first prompt information associated with a machine learning (ML) model; means for determining at least one network analytics based on the first prompt information, the at least one network analytics indicating analytics across at least one communication network; and means for determining second prompt information associated with the ML model based on the at least one network analytics.

[0010] In an eighth aspect of the present disclosure, there is provided a second apparatus. The second apparatus comprises means for transmitting, to a first apparatus, first prompt information associated with a machine learning (ML) model; and means for receiving, from the first apparatus, a message comprising at least one of: second prompt information associated with the ML model, an analytics output of the at least one network analytics, or an output of the ML model obtained based on the second prompt information, wherein the second prompt information is determined based on at least one network analytics, the at least one network analytics is determined based on the first prompt information, and the at least one network analytics indicates analytics across at least one communication network.

[0011] In a ninth aspect of the present disclosure, there is provided a third apparatus. The third apparatus comprises means for receiving, from a first apparatus, information of at least one network analytics, the at least one network analytics indicating analytics across at least one communication network; and means for transmitting, to the first apparatus, an analytics output of the at least one network analytics.

[0012] In a tenth aspect of the present disclosure, there is provided a computer readable medium. The computer readable medium comprises instructions stored thereon for causing an apparatus to perform at least the method according to the fourth aspect.

[0013] In an eleventh aspect of the present disclosure, there is provided a computer readable medium. The computer readable medium comprises instructions stored thereon for causing an apparatus to perform at least the method according to the fifth aspect.

[0014] In a twelfth aspect of the present disclosure, there is provided a computer readable medium. The computer readable medium comprises instructions stored thereon for causing an apparatus to perform at least the method according to the sixth aspect.

[0015] It is to be understood that the Summary section is not intended to identify key or essential features of embodiments of the present disclosure, nor is it intended to be used to limit the scope of the present disclosure. Other features of the present disclosure will become easily comprehensible through the following description.BRIEF DESCRIPTION OF THE DRAWINGS

[0016] Some example embodiments will now be described with reference to the accompanying drawings, where:

[0017] FIG. 1 illustrates an example communication environment in which example embodiments of the present disclosure can be implemented;

[0018] FIG. 2 illustrates a schematic diagram of an example process of retrieval augmented generation (RAG) ;

[0019] FIG. 3 illustrates a schematic diagram of an example process of retrieval augmented generation (RAG) ;

[0020] FIG. 4 illustrates an example signaling flow for retrieval augmented generation (RAG) leveraging network analytics in accordance with some example embodiments of the present disclosure;

[0021] FIG. 5 illustrates a schematic diagram of an example of retrieval augmented generation (RAG) leveraging network analytics in accordance with some example embodiments of the present disclosure;

[0022] FIG. 6 illustrates an example signaling flow for retrieval augmented generation (RAG) leveraging network analytics in accordance with some example embodiments of the present disclosure;

[0023] FIG. 7 illustrates an example signaling flow for retrieval augmented generation (RAG) leveraging network analytics in accordance with some example embodiments of the present disclosure;

[0024] FIG. 8 illustrates an example signaling flow for retrieval augmented generation (RAG) leveraging network analytics in accordance with some example embodiments of the present disclosure;

[0025] FIG. 9 illustrates a flowchart of retrieval augmented generation (RAG) leveraging network analytics in accordance with some example embodiments of the present disclosure;

[0026] FIG. 10 illustrates a flowchart of a method implemented at a first apparatus in accordance with some example embodiments of the present disclosure;

[0027] FIG. 11 illustrates a flowchart of a method implemented at a second apparatus in accordance with some example embodiments of the present disclosure;

[0028] FIG. 12 illustrates a flowchart of a method implemented at a third apparatus in accordance with some example embodiments of the present disclosure;

[0029] FIG. 13 illustrates a simplified block diagram of a device that is suitable for implementing example embodiments of the present disclosure; and

[0030] FIG. 14 illustrates a block diagram of an example computer readable medium in accordance with some example embodiments of the present disclosure.

[0031] Throughout the drawings, the same or similar reference numerals represent the same or similar element.DETAILED DESCRIPTION

[0032] Principle of the present disclosure will now be described with reference to some example embodiments. It is to be understood that these embodiments are described only for the purpose of illustration and help those skilled in the art to understand and implement the present disclosure, without suggesting any limitation as to the scope of the disclosure. Embodiments described herein can be implemented in various manners other than the ones described below.

[0033] In the following description and claims, unless defined otherwise, all technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skills in the art to which this disclosure belongs.

[0034] References in the present disclosure to “one embodiment, ” “an embodiment, ” “an example embodiment, ” and the like indicate that the embodiment described may include a particular feature, structure, or characteristic, but it is not necessary that every embodiment includes the particular feature, structure, or characteristic. Moreover, such phrases are not necessarily referring to the same embodiment. Further, when a particular feature, structure, or characteristic is described in connection with an embodiment, it is submitted that it is within the knowledge of one skilled in the art to affect such feature, structure, or characteristic in connection with other embodiments whether or not explicitly described.

[0035] It shall be understood that although the terms “first, ” “second, ” …, etc. in front of noun (s) and the like may be used herein to describe various elements, these elements should not be limited by these terms. These terms are only used to distinguish one element from another and they do not limit the order of the noun (s) . For example, a first element could be termed a second element, and similarly, a second element could be termed a first element, without departing from the scope of example embodiments. As used herein, the term “and / or” includes any and all combinations of one or more of the listed terms.

[0036] As used herein, “at least one of the following: <a list of two or more elements>” and “at least one of <a list of two or more elements>” and similar wording, where the list of two or more elements are joined by “and” or “or” , mean at least any one of the elements, or at least any two or more of the elements, or at least all the elements.

[0037] As used herein, unless stated explicitly, performing a step “in response to A” does not indicate that the step is performed immediately after “A” occurs and one or more intervening steps may be included.

[0038] The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of example embodiments. As used herein, the singular forms “a” , “an” and “the” are intended to include the plural forms as well, unless the context clearly indicates otherwise. It will be further understood that the terms “comprises” , “comprising” , “has” , “having” , “includes” and / or “including” , when used herein, specify the presence of stated features, elements, and / or components etc., but do not preclude the presence or addition of one or more other features, elements, components and / or combinations thereof.

[0039] As used in this application, the term “circuitry” may refer to one or more or all of the following: (a) hardware-only circuit implementations (such as implementations in only  analog and / or digital circuitry) and (b) combinations of hardware circuits and software, such as (as applicable) : (i) a combination of analog and / or digital hardware circuit (s) with  software / firmware and (ii) any portions of hardware processor (s) with software (including digital  signal processor (s) ) , software, and memory (ies) that work together to cause an apparatus, such as a mobile phone or server, to perform various functions) and (c) hardware circuit (s) and or processor (s) , such as a microprocessor (s) or a  portion of a microprocessor (s) , that requires software (e.g., firmware) for operation, but the software may not be present when it is not needed for operation.

[0040] This definition of circuitry applies to all uses of this term in this application, including in any claims. As a further example, as used in this application, the term circuitry also covers an implementation of merely a hardware circuit or processor (or multiple processors) or portion of a hardware circuit or processor and its (or their) accompanying software and / or firmware. The term circuitry also covers, for example and if applicable to the particular claim element, a baseband integrated circuit or processor integrated circuit for a mobile device or a similar integrated circuit in server, a cellular network device, or other computing or network device.

[0041] As used herein, the term “communication network” refers to a network following any suitable communication standards, such as New Radio (NR) , Long Term Evolution (LTE) , LTE-Advanced (LTE-A) , Wideband Code Division Multiple Access (WCDMA) , High-Speed Packet Access (HSPA) , Narrow Band Internet of Things (NB-IoT) and so on. Furthermore, the communications between a terminal device and a network device in the communication network may be performed according to any suitable generation communication protocols, including, but not limited to, the first generation (1G) , the second generation (2G) , 2.5G, 2.75G, the third generation (3G) , the fourth generation (4G) , 4.5G, the fifth generation (5G) , 5.5G, the sixth generation (6G) communication protocols, and / or any other protocols either currently known or to be developed in the future. Embodiments of the present disclosure may be applied in various communication systems. Given the rapid development in communications, there will of course also be future type communication technologies and systems with which the present disclosure may be embodied. It should not be seen as limiting the scope of the present disclosure to only the aforementioned system.

[0042] As used herein, the term “network device” refers to a node in a communication network via which a terminal device accesses the network and receives services therefrom. The network device may refer to a base station (BS) or an access point (AP) , for example, a node B (NodeB or NB) , an evolved NodeB (eNodeB or eNB) , an NR NB (also referred to as a gNB) , a Remote Radio Unit (RRU) , a radio header (RH) , a remote radio head (RRH) , a relay, an Integrated Access and Backhaul (IAB) node, a low power node such as a femto, a pico, a non-terrestrial network (NTN) or non-ground network device such as a satellite network device, a low earth orbit (LEO) satellite and a geosynchronous earth orbit (GEO) satellite, an aircraft network device, and so forth, depending on the applied terminology and technology. In some example embodiments, radio access network (RAN) split architecture comprises a Centralized Unit (CU) and a Distributed Unit (DU) at an IAB donor node. An IAB node comprises a Mobile Terminal (IAB-MT) part that behaves like a UE toward the parent node, and a DU part of an IAB node behaves like a base station toward the next-hop IAB node.

[0043] The term “terminal device” refers to any end device that may be capable of wireless communication. By way of example rather than limitation, a terminal device may also be referred to as a communication device, user equipment (UE) , a Subscriber Station (SS) , a Portable Subscriber Station, a Mobile Station (MS) , or an Access Terminal (AT) . The terminal device may include, but not limited to, a mobile phone, a cellular phone, a smart phone, voice over IP (VoIP) phones, wireless local loop phones, a tablet, a wearable terminal device, a personal digital assistant (PDA) , portable computers, desktop computer, image capture terminal devices such as digital cameras, gaming terminal devices, music storage and playback appliances, vehicle-mounted wireless terminal devices, wireless endpoints, mobile stations, laptop-embedded equipment (LEE) , laptop-mounted equipment (LME) , USB dongles, smart devices, wireless customer-premises equipment (CPE) , an Internet of Things (IoT) device, a watch or other wearable, a head-mounted display (HMD) , a vehicle, a drone, a medical device and applications (e.g., remote surgery) , an industrial device and applications (e.g., a robot and / or other wireless devices operating in an industrial and / or an automated processing chain contexts) , a consumer electronics device, a device operating on commercial and / or industrial wireless networks, and the like. The terminal device may also correspond to a Mobile Termination (MT) part of an IAB node (e.g., a relay node) . In the following description, the terms “terminal device” , “communication device” , “terminal” , “user equipment” and “UE” may be used interchangeably.

[0044] As used herein, the term “resource, ” “transmission resource, ” “resource block, ” “physical resource block” (PRB) , “uplink resource, ” or “downlink resource” may refer to any resource for performing a communication, for example, a communication between a terminal device and a network device, such as a resource in time domain, a resource in frequency domain, a resource in space domain, a resource in code domain, or any other combination of the time, frequency, space and / or code domain resource enabling a communication, and the like. In the following, unless explicitly stated, a resource in both frequency domain and time domain will be used as an example of a transmission resource for describing some example embodiments of the present disclosure. It is noted that example embodiments of the present disclosure are equally applicable to other resources in other domains.

[0045] FIG. 1 illustrates an example communication environment 100 in which example embodiments of the present disclosure can be implemented. The communication environment 100 involves a first apparatus 110, a second apparatus 120, and a third apparatus 130. The first apparatus 110 may communicate with the second apparatus 120 and the third apparatus 130 bidirectionally. In the example of FIG. 1, the first apparatus 110 may include a network device or a terminal device. The second apparatus 120 may include a terminal device (e.g., a UE, an application at the UE, or a third party application at the UE) , a network device, or a third party application or device. The third apparatus 130 may include a network device or a terminal device. The terminal device may be implemented as a UE, and the network device may be implemented as a base station.

[0046] It is to be understood that the number of devices and their connections shown in FIG. 1 are only for the purpose of illustration without suggesting any limitation. The communication environment 100 may include any suitable number of devices configured to implementing example embodiments of the present disclosure.

[0047] Communications in the communication environment 100 may be implemented according to any proper communication protocol (s) , comprising, but not limited to, cellular communication protocols, wireless local network communication protocols such as Institute for Electrical and Electronics Engineers (IEEE) 802.11 and the like, and / or any other protocols currently known or to be developed in the future. Moreover, the communication may utilize any proper wireless communication technology, comprising but not limited to: Code Division Multiple Access (CDMA) , Frequency Division Multiple Access (FDMA) , Time Division Multiple Access (TDMA) , Frequency Division Duplex (FDD) , Time Division Duplex (TDD) , Multiple-Input Multiple-Output (MIMO) , Orthogonal Frequency Division Multiple (OFDM) , Discrete Fourier Transform spread OFDM (DFT-s-OFDM) and / or any other technologies currently known or to be developed in the future.

[0048] Generative AI is an approach to create a new content of different types following the characteristics of the training data. One of the approaches of generative AI is large language models (LLMs) used to generate plausible text / language based on the input query. There are currently numerous examples of proprietary and open-source models available and used in different applications. The generic LLMs (foundation models) may be obtained by extensive training using huge amount of data in order to capture the relations between the words and obtain generic capabilities for text understanding, processing, and generation. The process of obtaining the LLMs is called pre-training.

[0049] The fine-tuning is a process of adapting generic model towards domain specific tasks, such as understanding technical text and recommending management actions in telco domains. This may be done by selectively adjusting / training a subset of model parameters or a set of newly added parameters.

[0050] Retrieval-augmented generation (RAG) is a type of information retrieval and generation process for improving the quality of LLM-generated responses by grounding the model on external sources of knowledge (giving access to information beyond training data) to supplement the LLM’s internal representation of information. The RAG may include, for example, a retrieval phase and a generation phase.

[0051] Reference is made to FIG. 2, which illustrates a schematic diagram 200 of an example process of RAG. The schematic diagram 200 involves a retrieval phase and a generation phase.

[0052] In the retrieval phase, at 201, the user prompt may be obtained based on, for example, the user input. For example, algorithms (e.g., similarity scoring with cosine calculation of user input and external information) may be used to search for and retrieve snippets of information most relevant to the user prompt or question. At 203, the external information may be appended to the user prompt and passed to an LLM. At 202, the user prompt may be enriched with retrieved information.

[0053] In the generation phase, the enriched prompt may be passed to the LLM at 204. The LLM may provide an output or answer based on the enriched prompt. For example, the LLM may rely on the enriched prompt and the internal representation of the training data of the LLM to generate the answer. The final response may be a combination of the retrieved information and the model’s own generative capabilities.

[0054] The RAG may ensure that the LLM has access to the most current, reliable facts that are of the most relevance, thereby offering improved accuracy and reduced hallucinations. In the context of LLM, hallucination is the phenomena where LLMs generate content that is nonsensical or unfaithful to the source content. In addition, the RAG may approach lowers the costs of updating the LLM model (e.g., with respect to re-training / fine-tuning) .

[0055] The LLMs may use one input and output data modality, for example, natural language. Large multimodal models (LMM) may combine various data modalities, e.g. text, audio, visual, sensor data etc. capturing the correlations between different modalities. Such approach may be applicable to any kind of data, including network data. Small language models (SLM) may be less compute intense than LLMs, both in training and inference, with good performance especially if trained and used for specific problem. Therefore, besides LLMs and LMMs, SLMs may have also high relevance in telco applications.

[0056] There is a need for studying about the AI / ML management and operation capabilities to support different types of AI / ML technologies as needed to support the AI / ML in 5G system, such as federated learning, reinforcement learning, online and offline training, distributed learning, and generative AI.

[0057] The data collected from the network operations, planning, maintenance etc. is valuable source of information that may be used for training ML models, for example, generative AI models and LLM / SLM / LMMs. Additionally, the network data may be used during inference on top of an LLM user prompt for providing richer knowledge, thus improving the model output and reducing hallucinations. However, raw network data collected (e.g., reference signal received power (RSRP) , reference signal received quality (RSRQ) measurements) may not be immediately applicable or useful as input data to the LLM during inference if the model was not trained based on the network data.

[0058] For example, the LLM may not be able to associate specific values of RSRP and RSRQ to specific meaning, e.g. coverage problems, especially if this data was not available during training. Such raw network data may need to be further processed and understood in order to build a comprehensive information that can be used by the LLM / SLM / LMMs inference, e.g. as part of RAG.

[0059] The network may have capability to derive such comprehensive information through analytics, e.g. by core network devices implementing network data analytics function (NWDAF) and management data analytics (MDA) . However, different analytics may be suitable for different ML models, different prompts, and under different conditions or different context. Depending on the model used and the user prompt, the useful knowledge to address that prompt may be retrieved from the network analytics, but the prompt understanding and translating to available analytics is currently missing. The analytics may generate the most relevant knowledge / information to augment the raw user prompt.

[0060] Reference is made to FIG. 3, which illustrates a schematic diagram 300 of an example process of retrieval augmented generation (RAG) . The schematic diagram 200 involves a retrieval phase and a generation phase.

[0061] In the retrieval phase, at 301, the user prompt may include, for example, RSRP / RSRQ measurements. As illustrated, there are no means for prompt-tailored analytics generation as knowledge source (represented by the cross 311 between the block 301 and the block 303) , which may be used for obtaining data related to the user prompt at 303. For example, the network may be considered as rich data and knowledge source including raw data measurements, metrics, key performance indicator (KPI) , fault, configuration, accounting, performance (FCAP) , logs, analytic in a core network device or a network device implementing operation, administration, and maintenance (OAM) function (also referred to as “OAM” for discussion) , etc.

[0062] At 302, the user prompt may be used for prompt enrichment. As shown, there are no means to utilize network analytics as knowledge source (represented by the cross 310 between the block 303 and the block 302) .

[0063] In the generation phase, the enriched user prompt may be passed to the LLM at 304. Then the LLM may generate the output / answer based on the enriched prompt.

[0064] In other words, there are no means to identify which network / management analytics identifications (ID) available in the network are relevant for activated LLM / SLM / LMM and specific user prompt. The “relevant” means that specific network / management analytics output for specific analytics ID, may be used by the model (e.g., LLM / SLM / LMM, etc. ) to generate outputs / answers to user prompts. That is, the model may issue answer to the user prompt leveraging on the network / management data analytics output.

[0065] Additionally, there are no means to request or subscribe to specific network / management data analytics based on user prompt including the prompt that contains raw network data. For instance, there are no means to derive request or subscription attributes such as expiration of analytics, area of interest, etc. based on the prompt. The process for the consumed network / management data analytics output (e.g., statistics or predictions) associated with the user prompt may need to be studied.

[0066] In addition, there are no means to make a common interface towards analytics available in the network potentially realized by different analytics entities, for example, a connection between different analytics available by different network entities (e.g. defined in network devices implementing NWDAF and MDA) .

[0067] In accordance with some example embodiments of the present disclosure, there is provided a solution for network analytics based prompt augmentation. In a solution, at least one network analytics is determined based on the user prompt associated with a ML model. The at least one network analytics indicates analytics across at least one communication network. The at least one network analytics is used to determine a further prompt associated with the ML model. In this way, the user prompt may be augmented based on the at least one network analytics. The at least one network analytics may be used for analytics across the communication network. Thus, the accuracy and the efficiency of the ML model are improved.

[0068] Example embodiments of the present disclosure will be described in detail below with reference to the accompanying drawings.

[0069] Reference is made to FIG. 4, which illustrates an example signaling flow 400 for retrieval augmented generation (RAG) leveraging network analytics in accordance with some example embodiments of the present disclosure. For the purpose of discussion, the signaling flow 400 will be discussed with reference to FIG. 1. As shown in FIG. 4, the signaling flow 400 involves the first apparatus 110, the second apparatus 120, and the third apparatus 130.

[0070] In some example embodiments, the first apparatus 110 may include a network device or a terminal device. The second apparatus 120 may include a terminal device (e.g., a UE) , a network device, or a third party application or device. It is to be understood that when the UE is discussed, a 3rd party application at UE or an application at UE may also be included. The third apparatus 130 may include a network device or a terminal device. For example, the first apparatus 110 may be implemented as a core network device implementing OAM function. The first apparatus 110 may be implemented as a network device implementing prompt to analytics mapping (PAM) function. The second apparatus 120 may be implemented as a gNB or a UE. Additionally, the second apparatus 120 may be implemented at an application or a third party application at a UE. The third apparatus 130 may be implemented as a network analytics producer. For example, the third apparatus 130 may be implemented as a core network device implementing NWDAF or MDA function.

[0071] In the signaling flow 400, the second apparatus 120 transmits (4010) , to the first apparatus 110, prompt information (also referred to as “first prompt information” for discussion) associated with a machine learning (ML) model. The first prompt information may include the prompt to be augmented for the RAG. The ML model may include, for example, but not limited to, the LLM model, the LMM model, or the SLM model.

[0072] Correspondingly, the first apparatus 110 receives (4020) , the first prompt information from the second apparatus 120. Additionally, the first prompt information may include a user prompt of the second apparatus 120, which may be a consumer of the AI / ML related service.

[0073] In some example embodiments, before receiving the first prompt information, the first apparatus 110 may transmit, to the second apparatus 120, a report indicating a capability for prompt augmentation associated with network analytics. For example, the capability may include a support of network analytics based prompt augmentation. Correspondingly, the second apparatus 120 may receive the report from the first apparatus 110. In this case, upon receiving the report, the second apparatus 120 may know that the first apparatus 110 supports network analytics based prompt augmentation and transmit the first prompt information to the first apparatus 110.

[0074] In some example implementations, the first prompt information may be included in a service request including. The first apparatus 110 may receive the service request from the second apparatus 120. The service request may include, for example, but not limited to, the first prompt information, a policy for controlling of an analytics output of the at least one network analytics, or configuration information of the ML model. In some example embodiments, the policy may be determined based on the capability for prompt augmentation.

[0075] For example, the policy may be used to control how many of different type of network analytics to be utilized. Additionally, the configuration information of the ML model may include details of the LLM / SLM / LMM for which the network analytics may be used.

[0076] After receiving the first prompt information, the first apparatus 110 determines (4030) at least one network analytics based on the first prompt information. The at least one network analytics indicates analytics across at least one communication network. For instance, the at least one communication network may include a core network, a radio access network, a management network, or a transport network.

[0077] In some example embodiments, the first apparatus 110 may determine at least one category of network analytics based on the first prompt information. The first apparatus 110 may determine the at least one network analytics based on the at least one category. For example, the first apparatus 110 may determine the category as “energy efficiency” based on the first prompt information. In this case, the first apparatus 110 may determine at least one network analytics associated with the category “energy efficiency” .

[0078] Additionally, after determining the at least one network analytics, the first apparatus 110 may transmit (4040) , to the third apparatus 130, information of the at least one network analytics. The third apparatus 130 includes a network device or a terminal device. Correspondingly, the third apparatus 130 receives (4050) the information from the first apparatus 110. In some example implementations, the information of the at least one network analytics may be determined by the first apparatus 110 based on the policy for controlling of an analytics output of the at least one network analytics.

[0079] Then, the third apparatus 130 transmits (4060) , to the first apparatus 110, an analytics output of the at least one network analytics. The analytics output of the at least one network analytics may be used for augmenting the first prompt information. For example, the analytics output may be generated by using the at least one network analytics on the network. Correspondingly, the first apparatus 110 may receive (4070) the analytics output from the third apparatus 130.

[0080] After receiving the analytics output, the first apparatus 110 determines (4080) second prompt information associated with the ML model based on the at least one network analytics. For example, the first apparatus 110 may determine the second prompt information by augmenting the first prompt information based on the analytics output of the at least one network analytics. For example, the second prompt information may be the result of the augmentation of the first prompt information.

[0081] Alternatively, or in addition, the second apparatus 120 may augment the first prompt information based on measurement data of the second apparatus 120. The measurement data may include minimization of drive tests (MDT) data in an MDT report. For example, the second apparatus 120 may include a UE, and the measurement data may be the MDT data in the MDT report of the UE.

[0082] In this case, the second apparatus 120 may transmit, to the first apparatus 110, the measurement data of the second apparatus 120 for augmenting the first prompt information. Correspondingly, the first apparatus 110 may receive the measurement data from the second apparatus 120. Then, the first apparatus 110 may update the first prompt information by augmenting the first prompt information based on the measurement data. The first apparatus 110 may determine the at least one network analytics based on the updated first prompt information. Additionally, the second prompt information may include an indicator pointing to a minimization of drive tests (MDT) report.

[0083] Subsequently, the first apparatus 110 may transmit (4090) , to the second apparatus 120, a message including, for example, but not limited to, the second prompt information, an analytics output of the at least one network analytics, or an output of the ML model obtained based on the second prompt information. Correspondingly, the second apparatus 120 receives (4100) the message from the first apparatus 110.

[0084] In this way, the first apparatus 110 may map the prompt information of the second apparatus 120 and the network analytics by determining the at least one network analytics indicating analytics across at least one communication network. The prompt information of the second apparatus 120 associated with the ML model may be augmented based on the at least one network analytics. Thus, the accuracy and efficiency of the ML model may be improved. Additionally, the management of the at least one communication network may be more flexible.

[0085] Reference is made to FIG. 5, which illustrates a schematic diagram 500 of an example of RAG leveraging network analytics in accordance with some example embodiments of the present disclosure. The schematic diagram 500 involves a retrieval phase and a generation phase.

[0086] In the retrieval phase, the user prompt 501 may be obtained based on the user input. At 505, at least one network analytics may be mapped to the user prompt 501. For example, a device implementing prompt to analytics mapping (PAM) function (referred to as “PAM” ) producing a PAM service may be used. The PAM may perform user prompt understanding, classification and derivation of the information needed for calling available analytics for the purpose of prompt augmentation. The analytics outputs may be used as part of RAG, enriching the user input to the LLM / SLM / LMM model and improving the quality of the model output.

[0087] There may be no existing knowledge available, but only the capability to create tailored knowledge which may be available and may need to be invoked in proper way in order to create knowledge useful for prompt augmentation. Thus, the available network capability to create analytics may be fully leveraged to create needed knowledge.

[0088] Then, the at least one network analytics may be requested based on the user prompt. At 503, available network analytics may be used to retrieve network analytics output. At 502, the user prompt may be enriched with the retrieved network analytics output. Then, in the generation phase, at 504, the enriched prompt may be inputted into the LLM. The LLM may generate the output / answer based on the enriched prompt. It is noted the LLM mentioned herein are only for the purpose of illustration, without suggesting any limitation. Embodiments of the present disclosure are not limited here. For example, LMM or SLM model may also be used to generate the output / answer.

[0089] Additionally, the embodiment of FIG. 5 may involve leveraging of available analytics across entire network (e.g. from different domains) , requesting the available network analytics based on the LLM / SLM / LMM model or based on specific prompt and further constraints or preferences defined by the consumer of the proposed service.

[0090] For example, the prompt may initial an analytics subscription, in the case where addressing the prompt requires regular / periodic network monitoring. In some example implementations, the prompt may trigger an analytics request, in the case where addressing the prompt requires a single network prediction or a single reporting of statistical network information.

[0091] In addition, the parameters of analytics subscription or request may be also derived based on the prompt as well as available analytics. The parameters needed for calling analytics may be different based on the analytics provider. For example, a network device implementing NWDAF may require specifying parameters in analytic subscription / request, for example, analytics ID, target of analytics reporting, analytics target period, time window for historical analytics, etc. On the other hand, a network device implementing the MDA parameters may include, for example, but not limited to, requestedMDAOutputs, reportingMethod, reportingTarget, analyticsScope, startTime, or stopTime.

[0092] The prompt-to-analytics mapping service may generate an input information for the LLM / SLM / LMM model. The prompt of a consumer (potentially including raw network data) as well as constraints or preferences provided by the service consumer.

[0093] In some example embodiments, the consumer may derive information needed for analytics request / subscription (e.g. analytics parameters) . The information needed for analytics request / subscription (e.g. analytics parameters) may be derived. Additionally, exposure of matching analytics towards the consumer, e.g., if the list of best matching analytics may be exposed, and in which order the analytics may be listed. Analytics invoking the request / subscription to the analytics matching the policy conditions. The analytics selection in case of multiple analytics (of the same type or different types) matching the prompt.

[0094] Such preferences / policies may include condition that need to be satisfied for analytics exposure towards consumer, invocation or selection, e.g. time or geographical location aspects, preferred level of accuracy that analytics need to fulfill, etc.

[0095] If the user prompt includes raw network data the semantics of “raw” network data, e.g., RSRP / RSRQ / signal to interference plus noise ratio (SINR) values provided by a consumer (e.g., the UE may send the MDT reports) . It is needed to identify which available network analytics include such network data as needed input data to produce analytics output. The analytics output may then be consumed to address the user prompt.

[0096] In some example implementations, the output the PAM service producer may provide the list of analytics that are relevant for the given LLM / SLM / LMM model and user prompt. The list may contain the analytics of the same type given in specific order as defined by user policy (e.g. based on accuracy, scope, cost of using the analytics, trained data from timing  / geographic aspects in a way to reflect the model’s attributes, etc. ) or by the user prompt (e.g., per a prompt including a time / space progression of the UE, thereby calling for analytics each time produced considering a different area / time of interest) .

[0097] Additionally, the list of analytics may contain the analytics of different types that may be used together in order to retrieve complete knowledge in case different type of analytics outcome may be needed from special prompts. An example is a prompt that may be decomposed into smaller parts, each part being more relevant to a different analytics ID.

[0098] The output the PAM service producer may provide a recommendation if the subscription or request to analytics in the list may be done. Additionally, the output the PAM service producer may provide the parameters that need to be specified when invoking the analytics (e.g. area of interest) . The PAM service producer may improve recommendations for subscriptions or requests by keeping the history of prompts and derived subscriptions or requests along with the status of such subscriptions and requests.

[0099] For instance, in the case that extensive number of requests cause significant signaling the PAM service producer may recommend rather subscriptions to analytics. If the subscriptions history shows that many of such subscription resulted in inactive subscriptions, the PAM service producer may recommend utilizing analytics requests.

[0100] There may be different analytics of the same analytics type relevant and the PAM service producer may provide the list of best matching analytics based on the policy provided by the consumer in terms of analytics types, trained data from timing  / geographic aspects, the prompt itself etc. There may be different analytics with different analytics types relevant, and the PAM service producer may provide a list of such analytics. Policy may be used to control how many of different type of analytics to be invoked, with order or not, and other conditions to invoke related analytics.

[0101] In this way, the PAM service provider may be a bridge between different available analytics in the network, the means to request them and on the other side analytics consumers that may not be aware of all such details. Additionally, the analytics complexity may be hided from the consumers by enabling requesting the analytics in natural language. The best matching analytics may be used in the case that multiple network analytics may be relevant for the consumer prompt or the LLM / SLM / LMM in general. Thus, the flexibility of the ML model may be improved, and the network may be more controllable.

[0102] Reference is made to FIG. 6, which illustrates an example signaling flow 600 for RAG leveraging network analytics in accordance with some example embodiments of the present disclosure. For the purpose of discussion, the signaling flow 400 will be discussed with reference to FIG. 1. The example embodiments discussed with respect to FIG. 6 may be an implementation of the example embodiments discussed with reference to FIG. 4.

[0103] As shown in FIG. 6, the signaling flow 600 involves an inference / ML model management service (MnS) consumer 602 (also referred to as “MnS consumer 602” for discussion) , an inference / ML model MnS producer 601 (also referred to as “MnS producer 601” for discussion) , and a network analytics producer 603. In the embodiment of FIG. 6, a ML model may be involved, for example, the ML model may be an LLM model, an LMM model, or a SLM model.

[0104] For example, the consumer 602 may include a terminal device, a network device, or a third party application or device. The producer 602 may include a network device implementing prompt to analytics mapping (PAM) function, such as an analytics mapping MnS service producer. The network analytics producer 603 may be implemented as a network device implementing NWDAF or MDA function.

[0105] In the signaling flow 600, at 6010, the MnS producer 601 may include the proposed apparatus PAM capability and expose the information on the capability to support prompt augmentation based on the network analytics towards the MnS consumer 602. Additionally, in some example implementations, the MnS producer 601 may also expose the capability to other devices in the network. As part of the exposure, details on supported network analytics may be provided. For example, information related to network domains (e.g. RAN, core network, or OAM) , or the cost of using the network analytics, etc. may be provided.

[0106] At 6020, the MnS consumer 602 may request the service based on exposed capabilities. In the request, the MnS consumer 602 may specify the details of the LLM / SLM / LMM model for which the network analytics may be used, for example, a description of the task that the model addresses. Furthermore, the MnS consumer 602 may specify in the service request the actual prompt, e.g., related to network operations “reduce network energy consumption by 5%” , or related to human interface with LLM agent “needed assistant for city sightseeing” .

[0107] Along with the prompt, the MnS consumer 602 may specify the policies, for example, the network analytics may be called (requested / subscribed) and network analytics outputs may be used for augmented generation of the answer. The network analytics may be called in the case that multiple network analytics relevant to the prompt are available. The policy may indicate analytics output accuracy or criteria specified by the MnS consumer 602.

[0108] Subsequently, at 6030, the MnS producer 601 may analyze the service request (including the prompt) of the MnS consumer 602. The MnS producer 601 may classify the service request and determine all relevant and available network analytics that may be requested (or be subscribed to) , and which analytics output may be used for prompt augmentation.

[0109] For example, in case of “reduce network energy consumption by 5%” , the prompt may be classified into “network intent, energy efficiency” category and related network analytics may be energyEfficiencyProblematicObject, energyEfficiencyProblemType, trafficLoadTrends, rAN (CN) energySavingRecommendations, NF load analytics etc. In the case of “needed assistant for city sightseeing” , the prompt may be classified into “end user intent, information on specific objects on specific location” category and related network analytics may be UE mobility analytics / UE location, movement behavior statistics.

[0110] The MnS producer 601 may derive the attributes needed for requesting the analytics, e.g. exact “AnalyticsID” , “Target of analytics reporting” , “Analytics target period” , “Time window for historical analytics” , “requestedMDAOutputs” , “reportingMethod” , “reportingTarget” , “analyticsScope” , “startTime” , or “stopTime” .

[0111] At 6040, the MnS producer 601 may call the network analytics based on the policy. For example, based on attributes derived at 6030, as well as the policy for calling network analytics available at 6020, the MnS producer 601 may request or subscribe to identify the network analytics. In some example implementations, specifically, the MnS producer 601 may send the request or subscription information to the network analytics producer 603.

[0112] Then, at 6050, after receiving the request or subscription information, the network analytics producer 603 may provide analytics output as requested at 6040. In the case of previously issues subscription, the analytics output may be already available.

[0113] The MnS producer 601, at 6060, leverages on the output provided by network analytics. Additionally, the MnS producer 601 may generate the answer to the prompt based on retrieved network analytics information. In some example embodiments, the ML model may be included in the MnS producer 601 or in a further device.

[0114] At 6070, the MnS producer 601 may provide the generated response to the MnS consumer 602. The generated response may include, for example, but not limited to, the augmented prompt, the analytics output of the network analytics, or an output of the ML model obtained based on the augmented prompt.

[0115] In this way, the first apparatus 110 may map the prompt of the MnS consumer 602 with the network analytics. The network analytics producer 130 may generate the output of the network analytics. The prompt may be augmented based on the output of the network analytics. Thus, the efficiency of the ML model and the flexibility of the network may be improved.

[0116] The examples for RAG leveraging network analytics may be applied to network domains, for example, RAN, core network, or OAM function of the network. In some example implementations, the model (e.g., LLM / LMM / SLM model) may be deployed at the OAM side, a UE (e.g., a vehicular UE) may provide a prompt to the model (e.g., “When to activate an autonomous driving feature during the journey? ” ) . The natural language (NL) -based prompt may be augmented by the UE by means of, for example, standardized measurements, such as RSRP / RSRQ / SINR etc. or even non-standardized measurements, such as measurements of sensor / radar / light detection and ranging (LiDAR) .

[0117] The UE may provide the augmented prompt (i.e., natural language-based prompt, enhanced with these measurements) with control plane (CP) -based augmented prompt transferred to the model. In this case, the UE may transfer the augmented prompt via non-access stratum (NAS) to OAM, which may include some processing internal to the UE (i.e., tailor the needed UE measurements to the natural language-based prompt) as well as need for an enhanced MDT report that may include the natural language-based prompt.

[0118] In this case, the prompt may be augmented either via a single enhanced MDT report or via a series of MDT reports sent by the UE, for example, in a consecutive fashion.

[0119] Reference is made to FIG. 7, which illustrates an example signaling flow 700 for RAG leveraging network analytics in accordance with some example embodiments of the present disclosure. For the purpose of discussion, the signaling flow 700 will be discussed with reference to FIG. 1. The example embodiments discussed with respect to FIG. 7 may be an implementation of the example embodiments discussed with reference to FIG. 4.

[0120] As shown in FIG. 7, the signaling flow 400 involves a UE 702, a gNB 704, a network device implementing access and mobility management function 705 (also referred to as “AMF 705” for discussion) , the OAM 701, a network device implementing management data analytics function 706 (also referred to as “MDAF 706” for discussion) , the network device implementing NWDAF 703 (also referred to as “NWDAF 703” for discussion) , the network device implementing network repository function 707 (also referred to as “NRF 707” for discussion) . In some example embodiment, the OAM 701 may include a ML model or a network device implementing PAM function. The ML model may include a LLM model, a LMM model, or a SLM model.

[0121] For example, the UE 702 may be an implementation of the second apparatus 120 in FIG. 1, the OAM 701 may be an implementation of the first apparatus 110 in FIG. 1, and the NWDAF 703 may be an implementation of the third apparatus 130 in FIG. 1.

[0122] At 7010, the UE 702 may transmit MDT report to the OAM 701. The MDT report may include measurement data of the UE 702. Additionally, the MDT report may be transmitted via the gNB 704 and the AMF 705. At 7020, the UE 702 may generate NL-based prompt, for example, “When to activate an automated driving feature during the journey? ” . At 7030, the UE 702 may transmit MDT report to the OAM 701. For example, the MDT report at 7030 and the MDT report at 7010 may be different. For instance, the MDT report at 7030 may include the NL-based prompt. The UE 702 may augment the prompt based on the measurement (e.g., MDT data) of the UE 702. Additionally, the MDT report may be transmitted via the gNB 704 and the AMF 705.

[0123] At 7040, the UE 702 may append the prompt to one of the relevant MDT reports of the UE. At 7050, the UE 702 may transmit the enhanced MDT report / augmented prompt. Then, at 7060, the OAM 701 may process the augmented prompt and select relevant network analytics or management data analytics. At 7070, the OAM 701 may determine the relevant analytics to the NWDAF 703 which supports the analytics. For example, the analytics ID and criteria of the analytics (e.g., area of interest) may be transmitted from the OAM 701 to the NWDAF 703. Additionally, the MDAF 706 and the NRF 707 may determine the analytics ID and the criteria.

[0124] Subsequently, at 7080 and 7082, the OAM 701 may request for or subscribe to output of the relevant analytics. For example, at 7080, the OAM 701 may transmit the request to the MDAF 706, and the MDAF 706 may transmit the request to the NWDAF 703 at 7082. Then, at 7090, the NWDAF 701 may respond to or notify the OAM 701 with the output of the relevant analytics. Alternatively or in addition, the MDAF 706 may respond to or notify the OAM 701 with the output of the relevant analytics.

[0125] Then, at 7110, the OAM 701 may input the output of the analytics and the augmented prompt at 7060 to the ML model. The ML model may generate a response to the prompt. At 7120, the OAM 701 may transmit the response to the UE 702 (e.g., “activate automated driving feature after toll station” ) . In some example implementations, the response to the prompt may include the output of the analytics and the augmented prompt at 7060.

[0126] In this way, the UE 702 may augment the prompt based on the MDT data of the UE 702. The OAM 701 may determine the relevant analytics of the communication network based on the prompt. The OAM 701 may use the ML model to generate the response to the prompt based on the output of the analytics. Thus, the accuracy and efficiency of the ML model may be improved. The communication network may be more controllable.

[0127] As an alternative to the example embodiments shown in FIG, 7, the UE may provide the augmented prompt by transferring CP and User Plane (UP) -based augmented prompt to model. In this case, UE may transfer MDT reports to the OAM via NAS and, at the same time, the natural language-based prompt to a network device implementing an application function (referred to as “AF” for discussion) . The AF (as a “proxy” MnS consumer) may transfer the natural language-based prompt to the OAM where the model is deployed.

[0128] Additionally, a mapping between the UE ID, the MDT report ID and the UE application ID may be performed at the OAM, so the prompt augmentation may be performed at the OAM through aggregating the natural language-based prompt with the MDT data. As the UP may accommodate larger data payloads, the UP may be used for prompt response sharing to the prompt provider (UE) , in case the response is rich in data (e.g., it may be a map or another data-rich structure) .

[0129] Reference is made to FIG. 8, which illustrates an example signaling flow 800 for retrieval augmented generation (RAG) leveraging network analytics in accordance with some example embodiments of the present disclosure. For the purpose of discussion, the signaling flow 800 will be discussed with reference to FIG. 1. The example embodiments discussed with respect to FIG. 8 may be an implementation of the example embodiments discussed with reference to FIG. 4.

[0130] As shown in FIG. 8, the signaling flow 400 involves a UE 802, a gNB 804, a network device implementing access and mobility management function 805 (also referred to as “AMF 805” for discussion) , a network device implementing user plane function 806 (also referred to as “UPF 806” for discussion) , the OAM 801, a network device implementing management data analytics function 807 (also referred to as “MDAF 807” for discussion) , the network device implementing NWDAF 803 (also referred to as “NWDAF 803” for discussion) , a network device implementing network repository function 808 (also referred to as “NRF 808” for discussion) , a network device implementing network element function 809 (also referred to as “NEF 809” for discussion) , a network device implementing application function 810 (also referred to as “AF 810” for discussion) . In some example embodiment, the OAM 801 may include a ML model or a network device implementing PAM function. The ML model may include a LLM model, a LMM model, or a SLM model.

[0131] For example, the UE 802 may be an implementation of the second apparatus 120 in FIG. 1, the OAM 801 may be an implementation of the first apparatus 110 in FIG. 1, and the NWDAF 803 may be an implementation of the third apparatus 130 in FIG. 1.

[0132] At 8002, the capability for network analytics RAG of the OAM 801 may be exposed to the devices in the network, for example, the AF 810. Then, at 8010, the UE 802 may transmit the MDT report to the OAM 801 via CP. At 8020, the UE 802 may generate the NL-based prompt, e.g., “When to activate an automated driving feature during the journey? ” . The UE 802, at 8030, may transmit the MDET report with the prompt to the OAM 801 via CP.

[0133] Subsequently, at 8040, the UE 802 may transmit the NL-based prompt to the gNB 804. Then the gNB 804 may transmit the NL-based prompt to the UPF 806 via the AMF 805. The UPF 806 may transmit the NL-based prompt to the AF 810 via UP. Then, the AF 810 may transmit the NL-based prompt to the OAM 801.

[0134] The OAM 801, at 8060, may correlate MDT reports of the UE 802 with the NL-based prompt to augment the prompt. Additionally, the OAM 801 may map the UE application instance and the UE ID. At 8070, the PAM function implemented in the OAM 801 may be used to process the augmented prompt via the correlation and aggregation of the MDT reports. In addition, the OAM 801 may select relevant network analytics and management data analytics. At 8080, the OAM 801 may determine the relevant analytics to the NWDAF 803 which supports the analytics. For example, the analytics ID and criteria of the analytics (e.g., area of interest) may be determined by the OAM 801. Additionally, the MDAF 807, NEF 809, AF 810 and the NRF 808 may determine the analytics ID and the criteria.

[0135] At 8090, the OAM 801 may request for  / subscribe to an output of the relevant analytics. For example, at 8090, the OAM 801 may transmit the request to the MDAF 803. At 8092, the MDAF 803 transmit the request to the NWDAF 803. At 8100, after receiving the request, the NWDAF 803 may respond or notify the OAM 801 with the output of the analytics network. Alternatively or in addition, at 8110, the MDAF 807 may respond or notify the OAM 801 with the output of the analytics network.

[0136] Then, at 8120, the OAM 801 may input the output of the analytics and the augmented prompt at 8070 to the ML model. The ML model may generate a response to the prompt. At 8130, the OAM 801 may transmit the response to the AF 810 (e.g., “activate automated driving feature after toll station” ) . In some example implementations, the response to the prompt may include the output of the analytics and the augmented prompt at 8070. Subsequently, at 8140, the AF 810 may transmit the response to the UPF 806. At, 8042, the UPF transmit the response to the gNB 804. At, 8044 the gNB transmit the response to the UE 802.

[0137] In this way, the OAM 801 may augment the prompt based on the MDT data of the UE 802. The OAM 801 may determine the relevant analytics of the communication network based on the prompt. The OAM 801 may use the ML model to generate the response to the prompt based on the output of the analytics. Thus, the accuracy and efficiency of the ML model may be improved. The communication network may be more controllable.

[0138] In some example embodiments, for augmentation of the prompt, the prompt (e.g., NL-based prompt) may be appended by the UE to a single MDT report (e.g., the one produced right after the prompt is generated) , if the number of MDT data is sufficient to augment the prompt. Alternatively, in cases where multiple MDT reports may be needed as part of network context creation to augment the prompt. The MDT reports may include UE measurements recorded over time which may be useful for beam prediction, as needed to support the UE application and address the prompt. The prompt may be aggregated with the first MDT report after prompt generation. Then, an indicator pointing to the last MDT report to be considered by the model as part of the augmented prompt may be needed to provide the needed network context boundary.

[0139] Reference is made to FIG. 9, which illustrates a flowchart 900 of retrieval augmented generation (RAG) leveraging network analytics in accordance with some example embodiments of the present disclosure. The example embodiments discussed with respect to FIG. 9 may be an implementation of the example embodiments discussed with reference to FIG. 4.

[0140] In the embodiment of FIG. 9, at 901, the flowchart 900 starts. At 902, the user or the UE may generate a prompt (also referred to as “initial prompt” for discussion) . At, 903, the UE may enhance the initial prompt with UE measurements (e.g., MDT data) . In this case, an augmented prompt (also referred as “first augmented prompt” for discussion) may be generated based on the initial prompt. At 904, the UE may transmit the first augmented prompt to the network, for example, to a network device implementing the PAM function (also referred to as “PAM” for discussion) .

[0141] At 905, the first augmented prompt may be sent to the PAM. The PAM may discover and select the analytics associated with the first augmented prompt. The PAM may request or subscribe to network management data analytics with filtering criteria relevant to the first augmented prompt. At 906, the network device implementing NWDAF or MDAF may respond with or notify the PAM about the requested / subscribed analytics. For example, the PAM may receive the output of the network analytics.

[0142] At 907, the PAM may augment the first augmented prompt by replacing the UE measurement by the received output of analytics. The PAM may generate the second augmented prompt as an input to the ML (e.g., LLM, LMM, or SLM) model. At 908, the model may process the second augmented prompt and issue a prompt response. At 909, the prompt response may be sent to the UE or the user that generated the initial prompt. Additionally, the prompt response may include the output of the analytics. Then, at 910, the flowchart 900 ends.

[0143] In this way, the prompt may be augmented by the measurement of the UE and the network analytics relevant to the prompt. The network analytics may be determined based on the prompt augmented based on the measurement of the UE. The ML model may generate the response by using the augmented prompt as an input. Thus, the accuracy and efficiency of the ML model may be improved. The network may be more flexible.

[0144] FIG. 10 shows a flowchart of an example method 1000 implemented at a first apparatus in accordance with some example embodiments of the present disclosure. For the purpose of discussion, the method 1000 will be described from the perspective of the first apparatus 110 in FIG. 4.

[0145] At block 1010, the first apparatus 110 receives, from a second apparatus, first prompt information associated with a machine learning (ML) model.

[0146] At block 1020, the first apparatus 110 determines at least one network analytics based on the first prompt information, the at least one network analytics indicating analytics across at least one communication network.

[0147] At block 1030, the first apparatus 110 determines second prompt information associated with the ML model based on the at least one network analytics.

[0148] In some example embodiments, the first apparatus 110 may determine at least one category of network analytics based on the first prompt information. The first apparatus 110 may determine the at least one network analytics based on the at least one category.

[0149] In some example embodiments, the first apparatus 110 may transmit, to the second apparatus, a report indicating a capability for prompt augmentation associated with network analytics.

[0150] In some example embodiments, the first apparatus 110 may receive, from the second apparatus, a service request including at least one of: the first prompt information, a policy for controlling of an analytics output of the at least one network analytics, or configuration information of the ML model.

[0151] In some example embodiments, the first apparatus 110 may transmit, to the second apparatus, a message including at least one of: the second prompt information, an analytics output of the at least one network analytics, or an output of the ML model obtained based on the second prompt information.

[0152] In some example embodiments, the first apparatus 110 may transmit, to a third apparatus, information of the at least one network analytics. The third apparatus may include a network device or a terminal device. The first apparatus 110 may receive, from the third apparatus, an analytics output of the at least one network analytics.

[0153] In some example embodiments, the information of the at least one network analytics may be determined based on a policy for controlling of an analytics output of the at least one network analytics.

[0154] In some example embodiments, the first apparatus 110 may determine the second prompt information by augmenting the first prompt information based on the analytics output of the at least one network analytics.

[0155] In some example embodiments, the third apparatus may include a network analytics producer.

[0156] In some example embodiments, the at least one communication network may include at least one of: a core network, a radio access network, a management network, or a transport network.

[0157] In some example embodiments, the first prompt information received from the second apparatus has been augmented based on measurement data of the second apparatus.

[0158] In some example embodiments, the first apparatus 110 may receive, from the second apparatus, measurement data of the second apparatus. The first apparatus 110 may update the first prompt information by augmenting the first prompt information based on the measurement data. The first apparatus 110 may determine the at least one network analytics based on the updated first prompt information.

[0159] In some example embodiments, the measurement data may include minimization of drive tests (MDT) data in an MDT report.

[0160] In some example embodiments, the first prompt information may be included in a minimization of drive tests (MDT) report.

[0161] In some example embodiments, the second prompt information may include an indicator pointing to a minimization of drive tests (MDT) report.

[0162] In some example embodiments, the first apparatus may include a network device or a terminal device, and the second apparatus may include a terminal device, a network device, or a third party application or device.

[0163] In some example embodiments, the first apparatus may include a network device implementing prompt to analytics mapping (PAM) function.

[0164] FIG. 11 shows a flowchart of an example method 1100 implemented at a second apparatus in accordance with some example embodiments of the present disclosure. For the purpose of discussion, the method 1100 will be described from the perspective of the second apparatus 120 in FIG. 4.

[0165] At block 1110, the second apparatus 120 transmits, to a first apparatus, first prompt information associated with a machine learning (ML) model.

[0166] At block 1120, the second apparatus 120 receives, from the first apparatus, a message comprising at least one of: second prompt information associated with the ML model, an analytics output of the at least one network analytics, or an output of the ML model obtained based on the second prompt information.

[0167] The second prompt information is determined based on at least one network analytics. The at least one network analytics is determined based on the first prompt information. The at least one network analytics indicates analytics across at least one communication network.

[0168] In some example embodiments, the second apparatus 120 may receive, from the first apparatus, a report indicating a capability for prompt augmentation associated with network analytics.

[0169] In some example embodiments, the second apparatus 120 may transmit, to the first apparatus, a service request comprising the first prompt information and a policy for controlling of an analytics output of the at least one network analytics.

[0170] In some example embodiments, the policy may be determined based on the capability for prompt augmentation.

[0171] In some example embodiments, the second prompt information may be determined by augmenting the first prompt information based on an analytics output of the at least one network analytics.

[0172] In some example embodiments, the at least one communication network may include at least one of: a core network, a radio access network, a management network, or a transport network.

[0173] In some example embodiments, the second apparatus 120 may augment the first prompt information based on measurement data of the second apparatus.

[0174] In some example embodiments, the second apparatus 120 may transmit, to the first apparatus, measurement data of the second apparatus for augmenting the first prompt information.

[0175] In some example embodiments, the measurement data may include minimization of drive tests (MDT) data in an MDT report.

[0176] In some example embodiments, the first prompt information may be included in a minimization of drive tests (MDT) report.

[0177] In some example embodiments, the second prompt information may include an indicator pointing to a minimization of drive tests (MDT) report.

[0178] In some example embodiments, the first apparatus may include a network device or a terminal device, and the second apparatus may include a terminal device, a network device, or a third party application or device.

[0179] In some example embodiments, the first apparatus may include a network device implementing prompt to analytics mapping (PAM) function.

[0180] FIG. 12 shows a flowchart of an example method 1200 implemented at a third apparatus in accordance with some example embodiments of the present disclosure. For the purpose of discussion, the method 1200 will be described from the perspective of the third apparatus 130 in FIG. 4.

[0181] At block 1210, the third apparatus 130 receives, from a first apparatus, information of at least one network analytics, the at least one network analytics indicating analytics across at least one communication network.

[0182] At block 1220, the third apparatus 130 transmits, to the first apparatus, an analytics output of the at least one network analytics.

[0183] In some example embodiments, the information of the at least one network analytics may be determined based on a policy for controlling of an analytics output of the at least one network analytics.

[0184] In some example embodiments, the at least one communication network may include at least one of: a core network, a radio access network, a management network, or a transport network.

[0185] In some example embodiments, the at least network analytics may be determined based on first prompt information associated with a machine learning (ML) model. The analytics output of the at least one network analytics may be used for augmenting the first prompt information.

[0186] In some example embodiments, the first apparatus may include a network device or a terminal device, and the third apparatus may include a network device or a terminal device.

[0187] In some example embodiments, the first apparatus may include a network device implementing prompt to analytics mapping (PAM) function, and the third may include comprises a network analytics producer.

[0188] In some example embodiments, a first apparatus capable of performing any of the method 1000 (for example, the first apparatus 110 in FIG. 4) may comprise means for performing the respective operations of the method 1000. The means may be implemented in any suitable form. For example, the means may be implemented in a circuitry or software module. The first apparatus may be implemented as or included in the first apparatus 110 in FIG. 4.

[0189] In some example embodiments, the first apparatus may include means for receiving, from a second apparatus, first prompt information associated with a machine learning (ML) model; means for determining at least one network analytics based on the first prompt information, the at least one network analytics indicating analytics across at least one communication network; and means for determining second prompt information associated with the ML model based on the at least one network analytics.

[0190] In some example embodiments, the first apparatus may further include: means for determining at least one category of network analytics based on the first prompt information; and means for determining the at least one network analytics based on the at least one category.

[0191] In some example embodiments, the first apparatus may further include: means for transmitting, to the second apparatus, a report indicating a capability for prompt augmentation associated with network analytics.

[0192] In some example embodiments, the first apparatus may further include: means for receiving, from the second apparatus, a service request comprising at least one of: the first prompt information, a policy for controlling of an analytics output of the at least one network analytics, or configuration information of the ML model.

[0193] In some example embodiments, the first apparatus may further include: means for transmitting, to the second apparatus, a message comprising at least one of: the second prompt information, an analytics output of the at least one network analytics, or an output of the ML model obtained based on the second prompt information.

[0194] In some example embodiments, the first apparatus may further include: means for transmitting, to a third apparatus, information of the at least one network analytics. The third apparatus may include a network device or a terminal device. The first apparatus may further include: means for receiving, from the third apparatus, an analytics output of the at least one network analytics.

[0195] In some example embodiments, the information of the at least one network analytics may be determined based on a policy for controlling of an analytics output of the at least one network analytics.

[0196] In some example embodiments, the first apparatus may further include: means for determining the second prompt information by augmenting the first prompt information based on the analytics output of the at least one network analytics.

[0197] In some example embodiments, the third apparatus may include a network analytics producer.

[0198] In some example embodiments, the at least one communication network may include at least one of: a core network, a radio access network, a management network, or a transport network.

[0199] In some example embodiments, the first prompt information received from the second apparatus has been augmented based on measurement data of the second apparatus.

[0200] In some example embodiments, the first apparatus may further include: means for receiving, from the second apparatus, measurement data of the second apparatus; means for updating the first prompt information by augmenting the first prompt information based on the measurement data; and means for determining the at least one network analytics based on the updated first prompt information.

[0201] In some example embodiments, the measurement data may include minimization of drive tests (MDT) data in an MDT report.

[0202] In some example embodiments, the first prompt information may be included in a minimization of drive tests (MDT) report.

[0203] In some example embodiments, the second prompt information may include an indicator pointing to a minimization of drive tests (MDT) report.

[0204] In some example embodiments, the first apparatus may include a network device or a terminal device, and the second apparatus may include a terminal device, a network device, or a third party application or device.

[0205] In some example embodiments, the first apparatus may include a network device implementing prompt to analytics mapping (PAM) function.

[0206] In some example embodiments, a second apparatus capable of performing any of the method 1100 (for example, the second apparatus 120 in FIG. 4) may comprise means for performing the respective operations of the method 1100. The means may be implemented in any suitable form. For example, the means may be implemented in a circuitry or software module. The second apparatus may be implemented as or included in the second apparatus 120 in FIG. 4.

[0207] In some example embodiments, the second apparatus may include means for transmitting, to a first apparatus, first prompt information associated with a machine learning (ML) model; and means for receiving, from the first apparatus, a message comprising at least one of: second prompt information associated with the ML model, an analytics output of the at least one network analytics, or an output of the ML model obtained based on the second prompt information. The second prompt information is determined based on at least one network analytics, the at least one network analytics is determined based on the first prompt information, and the at least one network analytics indicates analytics across at least one communication network.

[0208] In some example embodiments, the second apparatus may further include: means for receiving, from the first apparatus, a report indicating a capability for prompt augmentation associated with network analytics.

[0209] In some example embodiments, the second apparatus may further include: means for transmitting, to the first apparatus, a service request comprising the first prompt information and a policy for controlling of an analytics output of the at least one network analytics.

[0210] In some example embodiments, the policy may be determined based on the capability for prompt augmentation.

[0211] In some example embodiments, the second prompt information may be determined by augmenting the first prompt information based on an analytics output of the at least one network analytics.

[0212] In some example embodiments, the at least one communication network may include at least one of: a core network, a radio access network, a management network, or a transport network.

[0213] In some example embodiments, the second apparatus may further include: means for augmenting the first prompt information based on measurement data of the second apparatus.

[0214] In some example embodiments, the second apparatus may further include: means for transmitting, to the first apparatus, measurement data of the second apparatus for augmenting the first prompt information.

[0215] In some example embodiments, the measurement data may include minimization of drive tests (MDT) data in an MDT report.

[0216] In some example embodiments, the first prompt information may be included in a minimization of drive tests (MDT) report.

[0217] In some example embodiments, the second prompt information may include an indicator pointing to a minimization of drive tests (MDT) report.

[0218] In some example embodiments, the first apparatus may include a network device or a terminal device, and the second apparatus may include a terminal device, a network device, or a third party application or device.

[0219] In some example embodiments, the first apparatus may include a network device implementing prompt to analytics mapping (PAM) function.

[0220] In some example embodiments, a third apparatus capable of performing any of the method 1200 (for example, the third apparatus 130 in FIG. 4) may comprise means for performing the respective operations of the method 1200. The means may be implemented in any suitable form. For example, the means may be implemented in a circuitry or software module. The third apparatus may be implemented as or included in the third apparatus 130 in FIG. 4.

[0221] In some example embodiments, the third apparatus may include means for receiving, from a first apparatus, information of at least one network analytics, the at least one network analytics indicating analytics across at least one communication network; and means for transmitting, to the first apparatus, an analytics output of the at least one network analytics.

[0222] In some example embodiments, the information of the at least one network analytics may be determined based on a policy for controlling of an analytics output of the at least one network analytics.

[0223] In some example embodiments, the at least one communication network may include at least one of: a core network, a radio access network, a management network, or a transport network.

[0224] In some example embodiments, the at least network analytics may be determined based on first prompt information associated with a machine learning (ML) model. The analytics output of the at least one network analytics may be used for augmenting the first prompt information.

[0225] In some example embodiments, the first apparatus may include a network device or a terminal device, and the third apparatus may include a network device or a terminal device.

[0226] In some example embodiments, the first apparatus may include a network device implementing prompt to analytics mapping (PAM) function, and the third apparatus may include a network analytics producer.

[0227] FIG. 13 is a simplified block diagram of a device 1300 that is suitable for implementing example embodiments of the present disclosure. The device 1300 may be provided to implement a communication device, for example, the terminal device 110 or the network device 120 as shown in FIG. 1. As shown, the device 1300 includes one or more processors 1310, one or more memories 1320 coupled to the processor 1310, and one or more communication modules 1340 coupled to the processor 1310.

[0228] The communication module 1340 is for bidirectional communications. The communication module 1340 has one or more communication interfaces to facilitate communication with one or more other modules or devices. The communication interfaces may represent any interface that is necessary for communication with other network elements. In some example embodiments, the communication module 1340 may include at least one antenna.

[0229] The processor 1310 may be of any type suitable to the local technical network and may include one or more of the following: general purpose computers, special purpose computers, microprocessors, digital signal processors (DSPs) and processors based on multicore processor architecture, as non-limiting examples. The device 1300 may have multiple processors, such as an application specific integrated circuit chip that is slaved in time to a clock which synchronizes the main processor.

[0230] The memory 1320 may include one or more non-volatile memories and one or more volatile memories. Examples of the non-volatile memories include, but are not limited to, a Read Only Memory (ROM) 1324, an electrically programmable read only memory (EPROM) , a flash memory, a hard disk, a compact disc (CD) , a digital video disk (DVD) , an optical disk, a laser disk, and other magnetic storage and / or optical storage. Examples of the volatile memories include, but are not limited to, a random-access memory (RAM) 1322 and other volatile memories that will not last in the power-down duration.

[0231] A computer program 1330 includes computer executable instructions that are executed by the associated processor 1310. The instructions of the program 1330 may include instructions for performing operations / acts of some example embodiments of the present disclosure. The program 1330 may be stored in the memory, e.g., the ROM 1324. The processor 1310 may perform any suitable actions and processing by loading the program 1330 into the RAM 1322.

[0232] The example embodiments of the present disclosure may be implemented by means of the program 1330 so that the device 1300 may perform any process of the disclosure as discussed with reference to FIG. 2 to FIG. 12. The example embodiments of the present disclosure may also be implemented by hardware or by a combination of software and hardware.

[0233] In some example embodiments, the program 1330 may be tangibly contained in a computer readable medium which may be included in the device 1300 (such as in the memory 1320) or other storage devices that are accessible by the device 1300. The device 1300 may load the program 1330 from the computer readable medium to the RAM 1322 for execution. In some example embodiments, the computer readable medium may include any types of non-transitory storage medium, such as ROM, EPROM, a flash memory, a hard disk, CD, DVD, and the like. The term “non-transitory, ” as used herein, is a limitation of the medium itself (i.e., tangible, not a signal) as opposed to a limitation on data storage persistency (e.g., RAM vs. ROM) .

[0234] FIG. 14 shows an example of the computer readable medium 1400 which may be in form of CD, DVD or other optical storage disk. The computer readable medium 1400 has the program 1330 stored thereon.

[0235] Generally, various embodiments of the present disclosure may be implemented in hardware or special purpose circuits, software, logic or any combination thereof. Some aspects may be implemented in hardware, and other aspects may be implemented in firmware or software which may be executed by a controller, microprocessor or other computing device. Although various aspects of embodiments of the present disclosure are illustrated and described as block diagrams, flowcharts, or using some other pictorial representations, it is to be understood that the block, apparatus, system, technique or method described herein may be implemented in, as non-limiting examples, hardware, software, firmware, special purpose circuits or logic, general purpose hardware or controller or other computing devices, or some combination thereof.

[0236] Some example embodiments of the present disclosure also provide at least one computer program product tangibly stored on a computer readable medium, such as a non-transitory computer readable medium. The computer program product includes computer-executable instructions, such as those included in program modules, being executed in a device on a target physical or virtual processor, to carry out any of the methods as described above. Generally, program modules include routines, programs, libraries, objects, classes, components, data structures, or the like that perform particular tasks or implement particular abstract data types. The functionality of the program modules may be combined or split between program modules as desired in various embodiments. Machine-executable instructions for program modules may be executed within a local or distributed device. In a distributed device, program modules may be located in both local and remote storage media.

[0237] Program code for carrying out methods of the present disclosure may be written in any combination of one or more programming languages. The program code may be provided to a processor or controller of a general-purpose computer, special purpose computer, or other programmable data processing apparatus, such that the program code, when executed by the processor or controller, cause the functions / operations specified in the flowcharts and / or block diagrams to be implemented. The program code may execute entirely on a machine, partly on the machine, as a stand-alone software package, partly on the machine and partly on a remote machine or entirely on the remote machine or server.

[0238] In the context of the present disclosure, the computer program code or related data may be carried by any suitable carrier to enable the device, apparatus or processor to perform various processes and operations as described above. Examples of the carrier include a signal, computer readable medium, and the like.

[0239] The computer readable medium may be a computer readable signal medium or a computer readable storage medium. A computer readable medium may include but not limited to an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any suitable combination of the foregoing. More specific examples of the computer readable storage medium would include an electrical connection having one or more wires, a portable computer diskette, a hard disk, a random-access memory (RAM) , a read-only memory (ROM) , an erasable programmable read-only memory (EPROM or Flash memory) , an optical fiber, a portable compact disc read-only memory (CD-ROM) , an optical storage device, a magnetic storage device, or any suitable combination of the foregoing.

[0240] Further, although operations are depicted in a particular order, this should not be understood as requiring that such operations be performed in the particular order shown or in sequential order, or that all illustrated operations be performed, to achieve desirable results. In certain circumstances, multitasking and parallel processing may be advantageous. Likewise, although several specific implementation details are contained in the above discussions, these should not be construed as limitations on the scope of the present disclosure, but rather as descriptions of features that may be specific to particular embodiments. Unless explicitly stated, certain features that are described in the context of separate embodiments may also be implemented in combination in a single embodiment. Conversely, unless explicitly stated, various features that are described in the context of a single embodiment may also be implemented in a plurality of embodiments separately or in any suitable sub-combination.

[0241] Although the present disclosure has been described in languages specific to structural features and / or methodological acts, it is to be understood that the present disclosure defined in the appended claims is not necessarily limited to the specific features or acts described above. Rather, the specific features and acts described above are disclosed as example forms of implementing the claims.

Claims

A first apparatus comprising:at least one processor; andat least one memory storing instructions that, when executed by the at least one processor, cause the first apparatus to:receive, from a second apparatus, first prompt information associated with a machine learning (ML) model;determine at least one network analytics based on the first prompt information, the at least one network analytics indicating analytics across at least one communication network; anddetermine second prompt information associated with the ML model based on the at least one network analytics.The first apparatus of claim 1, wherein the first apparatus is caused to:determine at least one category of network analytics based on the first prompt information; anddetermine the at least one network analytics based on the at least one category.The first apparatus of claim 1 or claim 2, wherein the first apparatus is caused to:transmit, to the second apparatus, a report indicating a capability for prompt augmentation associated with network analytics.The first apparatus of any of claims 1 to 3, wherein the first apparatus is caused to:receive, from the second apparatus, a service request comprising at least one of: the first prompt information, a policy for controlling of an analytics output of the at least one network analytics, or configuration information of the ML model.The first apparatus of any of claims 1 to 4, wherein the first apparatus is caused to:transmit, to the second apparatus, a message comprising at least one of: the second prompt information, an analytics output of the at least one network analytics, or an output of the ML model obtained based on the second prompt information.The first apparatus of any of claims 1 to 5, wherein the first apparatus is caused to:transmit, to a third apparatus, information of the at least one network analytics, wherein the third apparatus comprises a network device or a terminal device; andreceive, from the third apparatus, an analytics output of the at least one network analytics.The first apparatus of claim 6, wherein the information of the at least one network analytics is determined based on a policy for controlling of an analytics output of the at least one network analytics.The first apparatus of claim 6, wherein the first apparatus is caused to:determine the second prompt information by augmenting the first prompt information based on the analytics output of the at least one network analytics.The first apparatus of any of claims 6 to 8, wherein the third apparatus comprises a network analytics producer.The first apparatus of any of claims 1 to 9, wherein the at least one communication network comprises at least one of: a core network, a radio access network, a management network, or a transport network.The first apparatus of any of claims 1 to 10, wherein the first prompt information received from the second apparatus has been augmented based on measurement data of the second apparatus.The first apparatus of any of claims 1 to 10, wherein the first apparatus is caused to:receive, from the second apparatus, measurement data of the second apparatus;update the first prompt information by augmenting the first prompt information based on the measurement data; anddetermine the at least one network analytics based on the updated first prompt information.The first apparatus of claim 11 or claim 12, wherein the measurement data comprises minimization of drive tests (MDT) data in an MDT report.The first apparatus of any of claims 1 to 13, wherein the first prompt information is comprised in a minimization of drive tests (MDT) report.The first apparatus of any of claims 1 to 14, wherein the second prompt information comprises an indicator pointing to a minimization of drive tests (MDT) report.The first apparatus of any of claims 1 to 15, wherein the first apparatus comprises a network device or a terminal device, and the second apparatus comprises a terminal device, a network device, or a third party application or device.The first apparatus of claim 16, wherein the first apparatus comprises a network device implementing prompt to analytics mapping (PAM) function.A second apparatus comprising:at least one processor; andat least one memory storing instructions that, when executed by the at least one processor, cause the second apparatus to:transmit, to a first apparatus, first prompt information associated with a machine learning (ML) model; andreceive, from the first apparatus, a message comprising at least one of: second prompt information associated with the ML model, an analytics output of the at least one network analytics, or an output of the ML model obtained based on the second prompt information,wherein the second prompt information is determined based on at least one network analytics, the at least one network analytics is determined based on the first prompt information, and the at least one network analytics indicates analytics across at least one communication network.The second apparatus of claim 18, wherein the second apparatus is caused to:receive, from the first apparatus, a report indicating a capability for prompt augmentation associated with network analytics.The second apparatus of claim 19, wherein the second apparatus is caused to:transmit, to the first apparatus, a service request comprising the first prompt information and a policy for controlling of an analytics output of the at least one network analytics.The second apparatus of claim 20, wherein the policy is determined based on the capability for prompt augmentation.The second apparatus of any of claims 18 to 21, wherein the second prompt information is determined by augmenting the first prompt information based on an analytics output of the at least one network analytics.The second apparatus of any of claims 18 to 22, wherein the at least one communication network comprises at least one of: a core network, a radio access network, a management network, or a transport network.The second apparatus of any of claims 18 to 23, wherein the second apparatus is caused to:augment the first prompt information based on measurement data of the second apparatus.The second apparatus of any of claims 18 to 23, wherein the second apparatus is caused to:transmit, to the first apparatus, measurement data of the second apparatus for augmenting the first prompt information.The second apparatus of claim 24 or claim 25, wherein the measurement data comprises minimization of drive tests (MDT) data in an MDT report.The second apparatus of any of claims 18 to 26, wherein the first prompt information is comprised in a minimization of drive tests (MDT) report.The second apparatus of any of claims 18 to 27, wherein the second prompt information comprises an indicator pointing to a minimization of drive tests (MDT) report.The second apparatus of any of claims 18 to 28, wherein the first apparatus comprises a network device or a terminal device, and the second apparatus comprises a terminal device, a network device, or a third party application or device.The second apparatus of claim 29, wherein the first apparatus comprises a network device implementing prompt to analytics mapping (PAM) function.A third apparatus comprising:at least one processor; andat least one memory storing instructions that, when executed by the at least one processor, cause the third apparatus to:receive, from a first apparatus, information of at least one network analytics, the at least one network analytics indicating analytics across at least one communication network; andtransmit, to the first apparatus, an analytics output of the at least one network analytics.The third apparatus of claim 31, wherein the information of the at least one network analytics is determined based on a policy for controlling of an analytics output of the at least one network analytics.The third apparatus of claim 31 or claim 32, wherein the at least one communication network comprises at least one of: a core network, a radio access network, a management network, or a transport network.The third apparatus of any of claims 31 to 33, wherein the at least network analytics is determined based on first prompt information associated with a machine learning (ML) model, and / orwherein the analytics output of the at least one network analytics is used for augmenting the first prompt information.The third apparatus of any of claims 31 to 34, wherein the first apparatus comprises a network device or a terminal device, and the third apparatus comprises a network device or a terminal device.The third apparatus of claim 35, wherein the first apparatus comprises a network device implementing prompt to analytics mapping (PAM) function, and the third apparatus comprises a network analytics producer.A method comprising:receiving, from a second apparatus, first prompt information associated with a machine learning (ML) model;determining at least one network analytics based on the first prompt information, the at least one network analytics indicating analytics across at least one communication network; anddetermining second prompt information associated with the ML model based on the at least one network analytics.A method comprising:transmitting, to a first apparatus, first prompt information associated with a machine learning (ML) model; andreceiving, from the first apparatus, a message comprising at least one of: second prompt information associated with the ML model, an analytics output of the at least one network analytics, or an output of the ML model obtained based on the second prompt information,wherein the second prompt information is determined based on at least one network analytics, the at least one network analytics is determined based on the first prompt information, and the at least one network analytics indicates analytics across at least one communication network.A method comprising:receiving, from a first apparatus, information of at least one network analytics, the at least one network analytics indicating analytics across at least one communication network; andtransmitting, to the first apparatus, an analytics output of the at least one network analytics.A first apparatus comprising:means for receiving, from a second apparatus, first prompt information associated with a machine learning (ML) model;means for determining at least one network analytics based on the first prompt information, the at least one network analytics indicating analytics across at least one communication network; andmeans for determining second prompt information associated with the ML model based on the at least one network analytics.A second apparatus comprising:means for transmitting, to a first apparatus, first prompt information associated with a machine learning (ML) model; andmeans for receiving, from the first apparatus, a message comprising at least one of: second prompt information associated with the ML model, an analytics output of the at least one network analytics, or an output of the ML model obtained based on the second prompt information,wherein the second prompt information is determined based on at least one network analytics, the at least one network analytics is determined based on the first prompt information, and the at least one network analytics indicates analytics across at least one communication network.A third apparatus comprising:means for receiving, from a first apparatus, information of at least one network analytics, the at least one network analytics indicating analytics across at least one communication network; andmeans for transmitting, to the first apparatus, an analytics output of the at least one network analytics.A computer readable medium comprising instructions stored thereon for causing an apparatus at least to perform the method of any of claims 37 to 39.

Images