Usage of external knowledge

Abstract

Example embodiments of the present disclosure are directed to usage of external knowledge. A method at a first apparatus includes sending, to a second apparatus, information related to usage of external knowledge for a communication network service, where the external knowledge is stored outside of a communication network function, and the communication network function is configured to operate the communication network service; sending, to the second apparatus, a request for the communication network service; and in response to sending the request, receiving from the second apparatus, a response for the communication network service, where the response is based on at least one of internal knowledge of the communication network function, or the external knowledge.

Description

USAGE OF EXTERNAL KNOWLEDGE

[0001] FIELDS

[0002] Various example embodiments of the present disclosure generally relate to the field of telecommunication and in particular, to apparatuses, methods, and computer readable storage medium for usage of external knowledge.BACKGROUND

[0003] Generative Artificial Intelligence (AI) is an approach to create a content of different types following characteristics of training data. One application of generative AI is to use large language models (LLMs) to generate plausible text or language based on an input query. There are currently numerous examples of proprietary and open-source models available and used in different applications. The generic LLMs (as an example foundation model) may be obtained by extensive training using huge amount of data in order to capture relations between words and obtain generic capabilities for text understanding, processing, and generation. Such a process is called pre-training. Fine-tuning is a process of adapting a generic model towards domain specific tasks, such as understanding technical text and recommending management actions in telecommunication domains. This may be done by selectively adjusting or training a subset of model parameters or a set of added parameters.SUMMARY

[0004] In a first aspect of the present disclosure, there is provided a first apparatus. The first apparatus comprises at least one processor; and at least one memory storing instructions that, when executed by the at least one processor, cause the first apparatus at least to: send, to a second apparatus, information related to usage of external knowledge for a communication network service, where the external knowledge is stored outside of a communication network function, and the communication network function is configured to operate the communication network service; send, to the second apparatus, a request for the communication network service; and in response to sending the request, receive, from the second apparatus, a response for the communication network service, where the response is based on at least one of internal knowledge of the communication network function, or the external knowledge.

[0005] In a second aspect of the present disclosure, there is provided a second apparatus. The second apparatus comprises at least one processor; and at least one memory storing instructions that, when executed by the at least one processor, cause the second apparatus at least to: receive, from a first apparatus, information related to usage of external knowledge for a communication network service, where the external knowledge is stored outside of a communication network function, and the communication network function is configured to operate the communication network service; receive, from the first apparatus, a request for the communication network service; and in response to receiving the request, send, to the first apparatus, a response for the communication network service, where the response is based on at least one internal knowledge of the communication network function, or the external knowledge.

[0006] In a third aspect of the present disclosure, there is provided a method. The method comprises: sending, to a second apparatus, information related to usage of external knowledge for a communication network service, where the external knowledge is stored outside of a communication network function, and the communication network function is configured to operate the communication network service; sending, to the second apparatus, a request for the communication network service; and in response to sending the request, receiving from the second apparatus, a response for the communication network service, where the response is based on at least one of internal knowledge of the communication network function, or the external knowledge.

[0007] In a fourth aspect of the present disclosure, there is provided a method. The method comprises: receiving, from a first apparatus, information related to usage of external knowledge for a communication network service, where the external knowledge is stored outside of a communication network function, and the communication network function is configured to operate the communication network service; receiving, from the first apparatus, a request for the communication network service; and in response to receiving the request, sending to the first apparatus, a response for the communication network service, where the response is based on at least one of internal knowledge of the communication network function, or the external knowledge.

[0008] In a fifth aspect of the present disclosure, there is provided a first apparatus. The first apparatus comprises means for sending, to a second apparatus, information related to usage of external knowledge for a communication network service, where the external knowledge is stored outside of a communication network function, and the communication  network function is configured to operate the communication network service; means for sending, to the second apparatus, a request for the communication network service; and means for in response to sending the request, receiving from the second apparatus, a response for the communication network service, where the response is based on at least one of internal knowledge of the communication network function, or the external knowledge.

[0009] In a sixth aspect of the present disclosure, there is provided a second apparatus. The second apparatus comprises means for receiving, from a first apparatus, information related to usage of external knowledge for a communication network service, where the external knowledge is stored outside of a communication network function, and the communication network function is configured to operate the communication network service; means for receiving, from the first apparatus, a request for the communication network service; and means for in response to receiving the request, sending to the first apparatus, a response for the communication network service, where the response is based on at least one of internal knowledge of the communication network function, or the external knowledge.

[0010] In a seventh aspect of the present disclosure, there is provided a computer readable medium. The computer readable medium comprises instructions stored thereon for causing an apparatus to perform at least the method according to the third aspect.

[0011] In an eighth aspect of the present disclosure, there is provided a computer readable medium. The computer readable medium comprises instructions stored thereon for causing an apparatus to perform at least the method according to the fourth aspect.

[0012] It is to be understood that the Summary section is not intended to identify key or essential features of embodiments of the present disclosure, nor is it intended to be used to limit the scope of the present disclosure. Other features of the present disclosure will become easily comprehensible through the following description.BRIEF DESCRIPTION OF THE DRAWINGS

[0013] Some example embodiments will now be described with reference to the accompanying drawings, where:

[0014] FIG. 1 illustrates an example communication environment in which example embodiments of the present disclosure can be implemented;

[0015] FIG. 2 illustrates an example process for Retrieval-Augmented Generation (RAG) according to some example embodiments of the present disclosure;

[0016] FIG. 3 illustrates a signaling diagram of an example process for configuring usage of external knowledge according to some example embodiments of the present disclosure;

[0017] FIG. 4 illustrates a signaling diagram of an example process for RAG configuration and reporting according to some example embodiments of the present disclosure;

[0018] FIGS. 5A and 5B illustrate example use cases on intent based management according to some example embodiments of the present disclosure;

[0019] FIGS. 6A and 6B illustrate example use cases on performing user equipment specific task according to some example embodiments of the present disclosure;

[0020] FIG. 7 illustrates a flowchart of an example method implemented at a first apparatus in accordance with some example embodiments of the present disclosure;

[0021] FIG. 8 illustrates a flowchart of an example method implemented at a second apparatus in accordance with some example embodiments of the present disclosure;

[0022] FIG. 9 is a simplified block diagram of a device that is suitable for implementing example embodiments of the present disclosure; and

[0023] FIG. 10 illustrates a block diagram of an example computer readable medium in accordance with some example embodiments of the present disclosure.

[0024] Throughout the drawings, the same or similar reference numerals represent the same or similar element.DETAILED DESCRIPTION

[0025] Principle of the present disclosure will now be described with reference to some example embodiments. It is to be understood that these embodiments are described only for the purpose of illustration and help those skilled in the art to understand and implement the present disclosure, without suggesting any limitation as to the scope of the disclosure. Embodiments described herein can be implemented in various manners other than the ones described below.

[0026] In the following description and claims, unless defined otherwise, all technical and scientific terms used herein have the same meaning as commonly understood by one of  ordinary skills in the art to which this disclosure belongs.

[0027] References in the present disclosure to “one embodiment, ” “an embodiment, ” “an example embodiment, ” and the like indicate that the embodiment described may include a particular feature, structure, or characteristic, but it is not necessary that every embodiment includes the particular feature, structure, or characteristic. Moreover, such phrases are not necessarily referring to the same embodiment. Further, when a particular feature, structure, or characteristic is described in connection with an embodiment, it is submitted that it is within the knowledge of one skilled in the art to affect such feature, structure, or characteristic in connection with other embodiments whether or not explicitly described.

[0028] It shall be understood that although the terms “first, ” “second, ” …, etc. in front of noun (s) and the like may be used herein to describe various elements, these elements should not be limited by these terms. These terms are only used to distinguish one element from another and they do not limit the order of the noun (s) . For example, a first element could be termed a second element, and similarly, a second element could be termed a first element, without departing from the scope of example embodiments. As used herein, the term “and / or” includes any and all combinations of one or more of the listed terms.

[0029] As used herein, “at least one of the following: <a list of two or more elements>” and “at least one of <a list of two or more elements>” and similar wording, where the list of two or more elements are joined by “and” or “or” , mean at least any one of the elements, or at least any two or more of the elements, or at least all the elements.

[0030] As used herein, unless stated explicitly, performing a step “in response to A” does not indicate that the step is performed immediately after “A” occurs and one or more intervening steps may be included.

[0031] The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of example embodiments. As used herein, the singular forms “a” , “an” and “the” are intended to include the plural forms as well, unless the context clearly indicates otherwise. It will be further understood that the terms “comprises” , “comprising” , “has” , “having” , “includes” and / or “including” , when used herein, specify the presence of stated features, elements, and / or components etc., but do not preclude the presence or addition of one or more other features, elements, components and / or combinations thereof.

[0032] As used in this application, the term “circuitry” may refer to one or more or all of the following:

[0033] (a) hardware-only circuit implementations (such as implementations in only analog and / or digital circuitry) and

[0034] (b) combinations of hardware circuits and software, such as (as applicable) :

[0035] (i) a combination of analog and / or digital hardware circuit (s) with software / firmware and

[0036] (ii) any portions of hardware processor (s) with software (including digital signal processor (s) ) , software, and memory (ies) that work together to cause an apparatus, such as a mobile phone or server, to perform various functions) and

[0037] (c) hardware circuit (s) and or processor (s) , such as a microprocessor (s) or a portion of a microprocessor (s) , that requires software (e.g., firmware) for operation, but the software may not be present when it is not needed for operation.

[0038] This definition of circuitry applies to all uses of this term in this application, including in any claims. As a further example, as used in this application, the term circuitry also covers an implementation of merely a hardware circuit or processor (or multiple processors) or portion of a hardware circuit or processor and its (or their) accompanying software and / or firmware. The term circuitry also covers, for example and if applicable to the particular claim element, a baseband integrated circuit or processor integrated circuit for a mobile device or a similar integrated circuit in server, a cellular network device, or other computing or network device.

[0039] As used herein, the term “communication network” refers to a network following any suitable communication standards, such as New Radio (NR) , Long Term Evolution (LTE) , LTE-Advanced (LTE-A) , Wideband Code Division Multiple Access (WCDMA) , High-Speed Packet Access (HSPA) , Narrow Band Internet of Things (NB-IoT) and so on. Furthermore, the communications between a terminal device and a network device in the communication network may be performed according to any suitable generation communication protocols either currently known or to be developed in the future. Embodiments of the present disclosure may be applied in various communication systems.  Given the rapid development in communications, there will of course also be future type communication technologies and systems with which the present disclosure may be embodied. It should not be seen as limiting the scope of the present disclosure to only the aforementioned system.

[0040] As used herein, the term “network device” refers to a node in a communication network via which a terminal device accesses the network and receives services therefrom. The network device may refer to a base station (BS) or an access point (AP) , for example, a node B (NodeB or NB) , an evolved NodeB (eNodeB or eNB) , an NR NB (also referred to as a gNB) , a Remote Radio Unit (RRU) , a radio header (RH) , a remote radio head (RRH) , a relay, an Integrated Access and Backhaul (IAB) node, a low power node such as a femto, a pico, a non-terrestrial network (NTN) or non-ground network device such as a satellite network device, a low earth orbit (LEO) satellite and a geosynchronous earth orbit (GEO) satellite, an aircraft network device, and so forth, depending on the applied terminology and technology. In some example embodiments, radio access network (RAN) split architecture comprises a Centralized Unit (CU) and a Distributed Unit (DU) at an IAB donor node. An IAB node comprises a Mobile Terminal (IAB-MT) part that behaves like a UE toward the parent node, and a DU part of an IAB node behaves like a base station toward the next-hop IAB node.

[0041] The term “terminal device” refers to any end device that may be capable of wireless communication. By way of example rather than limitation, a terminal device may also be referred to as a communication device, user equipment (UE) , a Subscriber Station (SS) , a Portable Subscriber Station, a Mobile Station (MS) , or an Access Terminal (AT) . The terminal device may include, but not limited to, a mobile phone, a cellular phone, a smart phone, voice over IP (VoIP) phones, wireless local loop phones, a tablet, a wearable terminal device, a personal digital assistant (PDA) , portable computers, desktop computer, image capture terminal devices such as digital cameras, gaming terminal devices, music storage and playback appliances, vehicle-mounted wireless terminal devices, wireless endpoints, mobile stations, laptop-embedded equipment (LEE) , laptop-mounted equipment (LME) , USB dongles, smart devices, wireless customer-premises equipment (CPE) , an Internet of Things (IoT) device, a watch or other wearable, a head-mounted display (HMD) , a vehicle, a drone, a medical device and applications (e.g., remote surgery) , an industrial device and applications (e.g., a robot and / or other wireless devices operating in an industrial and / or an automated processing chain contexts) , a consumer  electronics device, a device operating on commercial and / or industrial wireless networks, and the like. The terminal device may also correspond to a Mobile Termination (MT) part of an IAB node (e.g., a relay node) . In the following description, the terms “terminal device” , “communication device” , “terminal” , “user equipment” and “UE” may be used interchangeably.

[0042] As used herein, the term “resource, ” “transmission resource, ” “resource block, ” “physical resource block” (PRB) , “uplink resource, ” or “downlink resource” may refer to any resource for performing a communication, for example, a communication between a terminal device and a network device, such as a resource in time domain, a resource in frequency domain, a resource in space domain, a resource in code domain, or any other combination of the time, frequency, space and / or code domain resource enabling a communication, and the like. In the following, unless explicitly stated, a resource in both frequency domain and time domain will be used as an example of a transmission resource for describing some example embodiments of the present disclosure. It is noted that example embodiments of the present disclosure are equally applicable to other resources in other domains.

[0043] Retrieval-Augmented Generation (RAG) is an AI framework for improving quality of LLM-generated responses by grounding the LLM on external sources of knowledge (allowing access to information beyond training data) to supplement the internal representation of information of the LLM. It may include two phases. One phase is a retrieval phase. In this phase, algorithms, such as similarity scoring with cosine calculation of a user input and external information, are used to search for and to retrieve snippets of information that is relevant to a prompt or question of a user. This external information is appended to the prompt of the user and passed to the LLM. The other phase is a generation phase. In the generation phase, the LLM relies on an augmented prompt and its internal representation of its training data to generate the answer; and a final response is a combination of the retrieved information and own generative capabilities of the model.

[0044] RAG may ensure that the LLM model has access to current and reliable facts that are of relevance, thereby offering improved accuracy and reduced hallucinations. LLM hallucination is a phenomenon where LLMs generate content that is nonsensical or unfaithful to source content. In addition, RAG may lower costs of updating the LLM model, such as those incurred during re-training or fine-tuning processes.

[0045] LLMs may use one input and output data modality that is related to language. LMMs may combine various data modalities, such as text, audio, visual, sensor data, and capture correlations between different modalities. LLMs may be applicable to any type of data, including network data.

[0046] In addition, Small Language Models (SLMs) are less compute intense than LLMs, both in training and inference, with good performance especially if it is trained and used for a specific issue. Therefore, besides LLMs and LMMs, SLMs also have high relevance in telecommunication applications.

[0047] Currently, in the third-generation partnership project (3GPP) Release 19, there are discussions on Artificial Intelligence Machine Learning (AIML or AI / ML) Management. These discussions include, as part of their objectives, discussions related to Generative AI.For example, it is studied that the AI / ML management and operation capabilities may support different types of AI / ML technologies as needed to support the AI / ML in a 5G system (5GS) , such as Federated Learning, Reinforcement Learning, Online and Offline training, Distributed Learning, and Generative AI.

[0048] Furthermore, the solution enabled by LLMs, LMMs or SLM provides answers to questions or prompts of consumers during an inference phase through two approaches, including Approach 1 using internal knowledge and Approach 2 using external knowledge. For example, Approach 1 may use internal representation of the information built into model parameters and may be learned during model pre-training and fine-tuning processes. The advantage of this approach is rapid generation of responses and reduced costs, as the answer generation relies merely on model internal information without a need for external sources. However, a disadvantage of this approach is an increased risk for hallucination, as the model internal information representation may be outdated as used training data may not correspond to current states, or the model internal information representation maybe not capture all the information needed to generate the answer.

[0049] Approach 2 may employ RAG to ground the outputs on the information sources external to the model. Such information sources are not used during the training and are not captured in the model parameters. Thus, the external information sources may serve as additional information with respect to model internal representations. Such information sources may include different data bases, residing inside or outside of certain scopes, e.g. operator premises, trusted domains. The advantage of this approach is improved answer  quality and a reduced risk of hallucinations, as the model relies on the most recent and additional information that was not seen during training. However, this approach may come with disadvantages such as constraints in terms of access rights, privacy concerns, increased costs, and latency issues associated with retrieving information from external sources.

[0050] Thus, during the inference phase, there is a challenge in deciding whether to use internal or external knowledge considering aforementioned advantages and disadvantages. However, during a training phase, a challenge is to determine how to partition available information, and store the information as model internal knowledge or as external knowledge to be retrieved during inference. The more common part of information is built (e.g., via pre-training or fine tuning) into ML models as internal knowledge, the more domain specific and regularly updated information are to be stored outside of the ML models as external knowledge. One consideration is the cost of knowledge partitioning, as it is well understood that the pre-training and fine-tuning of the large model are very expensive. As the knowledge is changing and updating all the time, it is not cost effective and practical to make all knowledge built into a large model as internal knowledge.

[0051] Therefore, there may be a need for approaches to manage partitioning of knowledge into internal and external knowledge. Moreover, there may be a need for approaches to access both internal knowledge and external knowledge.

[0052] Example embodiments of the present disclosure provide a solution for usage of external knowledge. In the solution, an apparatus (referred to as a first apparatus) , such as a Management Service (MnS) consumer, sends, to another apparatus (referred to as a second apparatus) , such as a MnS producer, information related to usage of external knowledge for a communication network service. In the context of the present disclosure, the external knowledge is stored outside of a communication network function that is configured to operate the communication network service. Then, after the first apparatus sends, to the second apparatus, a request for the communication network service, the second apparatus sends, to the first apparatus, a response for the communication network service where the response is based on at least one of internal knowledge of the communication network function, or external knowledge.

[0053] This solution enables an MnS consumer to configurate how to use the external knowledge by an MnS producer. In this way, the external knowledge may be used more  efficiently, and efficiency of the communication network service may be improved.

[0054] FIG. 1 illustrates an example communication environment 100 in which example embodiments of the present disclosure can be implemented. The communication environment 100, which may be a part of a communication network, includes a first apparatus 110 and a second apparatus 120. In some example embodiments, the first apparatus 110 may operate as a terminal device such as a UE, and the second apparatus 120 may operate as a network device such as a gNB.

[0055] It is to be understood that the numbers and types of apparatuses are illustrated in FIG. 1 only for the purpose of illustration without suggesting any limitations. The communication environment 100 may include any suitable numbers and types of apparatuses for implementing embodiments of the present disclosure.

[0056] In the example embodiments where the first apparatus 110 operates as a terminal device and the second apparatus 120 operates a network device, a transmission direction from the second apparatus 120 to the first apparatus 110 may be referred to as a downlink (DL) , and a transmission direction from the first apparatus 110 to the second apparatus 120 may be referred to as an uplink (UL) . In DL, the second apparatus 120 is a transmitting (TX) device (or a transmitter) and the first apparatus 110 is a receiving (RX) device (or a receiver) . In UL, the first apparatus 110 is a TX device and the second apparatus 120 is an RX device. In the example embodiments where both the first apparatus 110 and the second apparatus 120 operates as terminal devices, a link between the first apparatus 110 and the second apparatus 120 may be referred to as a sidelink (SL) . In SL, one of the first apparatus 110 and the second apparatus 120 is a Tx device, and the other of the first apparatus 110 and the second apparatus 120 is a Rx device.

[0057] In the following, for the purpose of illustration, some example embodiments are described with the first apparatus 110 operating as a terminal device and the second apparatus 120 operating as a network device. However, in some example embodiments, operations described with respect to a terminal device may be implemented at a network device or other devices, and operations described with respect to a network device may be implemented at a terminal device or other devices.

[0058] Communications in the communication environment 100 may be implemented according to any proper communication protocol (s) , including, but not limited to, cellular communication protocols of the first generation (1G) , the second generation (2G) , the  third generation (3G) , the fourth generation (4G) , the fifth generation (5G) , the sixth generation (6G) , and the like, wireless local network communication protocols such as Institute for Electrical and Electronics Engineers (IEEE) 802.11 and the like, and / or any other protocols currently known or to be developed in the future. Moreover, the communication may utilize any proper wireless communication technology, including but not limited to: Code Division Multiple Access (CDMA) , Frequency Division Multiple Access (FDMA) , Time Division Multiple Access (TDMA) , Frequency Division Duplex (FDD) , Time Division Duplex (TDD) , Multiple-Input Multiple-Output (MIMO) , Orthogonal Frequency Division Multiple (OFDM) , Discrete Fourier Transform spread OFDM (DFT-s-OFDM) and / or any other technologies currently known or to be developed in the future.

[0059] In the environment 100, the first apparatus 110 and the second apparatus 120 may communicate with each other to provide various communication network services. In an example, the second apparatus 120 may operate as a MnS producer which may be a network device deployed in an access network such as a radio access network (RAN) or in a core network such as 5G core (5GC) . The first apparatus 110 may operate as a MnS consumer which may be a terminal device.

[0060] To support the communication network services, the second apparatus 120 may provide a communication network function which is configured to operate communication network service. In some example embodiments, the communication network function may be implemented using a machine learning (ML) model which may include a language-based model, or a model based on other modalities such as nested logit, images, codes etc. In an example, the ML model may be an LLM, an LMM and an SLM. The communication network function provided by the second apparatus 120 may include a Retrieval Augmented Generation-management function (RAG-MF) , and the RAG-MF may offer a RAG management service. The RAG-MF may use external knowledge for RAG.

[0061] FIG. 2 illustrates an example RAG process 200 according to some example embodiments of the present disclosure. As shown in FIG. 2, for example, the RAG framework includes two phases: a retrieval phase 205 and a generation phase 210. During the retrieval phase 205, information 212 relevant to a user prompt 214 may be retrieved from external knowledge 216 to enrich the use prompt 214. The external knowledge 216 may be sourced from databases, the internet, or other repositories of knowledge, which are not part of internal knowledge of an LLM 218. Then, the user prompt enriched with  the retrieved information 220 is inputted to the LLM 218. During the generation phase 210, the LLM 218 uses the enriched user prompt and its internal knowledge to generate an output or answer 222. Thus, the output or answer 222 is based on both the external knowledge and the internal knowledge of the LLM 218.

[0062] Some example embodiments provide management capabilities for the communication network function. For example, partitioning of knowledge into internal knowledge and external knowledge may be managed. Usage of external knowledge during a model inference phase may be activated or deactivated. There may be provided a configuration capability to control what extent the external knowledge is to be used, for example, which amount of data is to be retrieved and used for output generation or how much similarity to select the relevant information. For example, similarity of 80%may cause more amount of information to be retrieved than similarity of 90%, while the similarity of 90%may indicate less amount of more relevant information to be used. There may also be provided a further configuration capability to control how the external knowledge is to be used, including context or cost considerations. In addition, the usage of external knowledge may be reported.

[0063] Furthermore, some example embodiments provide a mechanism that allows a MnS producer of an LLM / LMM / SLM-enabled service (as an example of the communication network service) to expose various information for generating outputs in response to prompts of MnS consumers. This information may include utilization of internal knowledge or external knowledge or different knowledge sources, the associated implications like costs, and / or the like. There may also be provided a mechanism that allows the MnS producer to report if internal knowledge or external knowledge was used when generating the outputs.

[0064] Moreover, some example embodiments provide a mechanism that allows the MnS producer to enable authorized consumers to activate or deactivate the usage of external knowledge, and to enable authorized consumers to configure how external knowledge and internal knowledge may be used, including the amount of data to be retrieved, when generating the outputs. Additionally, there is provided mechanism that allows the MnS producer to enable authorized consumers to configure how the available knowledge may be partitioned into internal knowledge and external knowledge during pre-training and fine-tuning processes. This partition may enable automation of LLM / LMM / SLM fine-tuning or retraining process when new information generated or collected.

[0065] Some example implementations will be described below with reference to FIGS. 3 to 6.

[0066] FIG. 3 illustrates a signaling diagram for communications between the first apparatus 110 and the second apparatus 120 for configuring usage of external knowledge according to some example embodiments of the present disclosure.

[0067] As shown in FIG. 3, the first apparatus 110 (such as a MnS consumer) sends (302) , to the second apparatus 120 (such as a MnS producer) , information related to usage of external knowledge for a communication network service. The communication network service may include any service related to a communication network. Correspondingly, the second apparatus 120 receives (304) this information from the first apparatus 110. The external knowledge is stored outside of a communication network function that is configured to operate the communication network service. In some example embodiments, the communication network function may be implemented using a machine learning model, such as an LLM, an LMM or an SLM.

[0068] Then, the first apparatus 110 sends (306) , to the second apparatus 120, a request related to the communication network service. After the second apparatus 120 receives (308) the request, the second apparatus 120 sends (310) , to the first apparatus 110, a response for the communication network service. Correspondingly, the first apparatus 110 receives (312) the response for the communication network service. The response is based on at least one of internal knowledge of the communication network function, or the external knowledge. For example, user prompt or question may be sent by the first apparatus 110 as a request for a communication network service to the second apparatus 120. After the second apparatus 120 receives the use prompt or question, based on the information related to the usage of the external knowledge, the second apparatus 120 may use only its internal knowledge, or use only the external knowledge, or use both the internal knowledge and the external knowledge to generate an answer or output.

[0069] In some example embodiments, the information related to the usage of the external knowledge sent (302) by the first apparatus 110 to the second apparatus 120 may include a request for activation or deactivation of the usage of the external knowledge. For example, the first apparatus 110 may be enabled to configure the second apparatus 120 to use an RAG-MF (which uses the external knowledge) for generating the answer for a user prompt or request though enabling the activation or deactivation of the RAG-MF and thus  the usage of the external knowledge.

[0070] In some example embodiments, the activation or deactivation of the usage of the external knowledge may be requested at different granularities. In an example, the activation or deactivation may be requested for the communication network function. For example, the RAG activation may be requested for a ML model that is used to implement the communication network function. In another example, the activation or deactivation may be requested for a session or interaction between a customer of the communication network service and the communication network function. For example, the RAG activation may be requested for an ongoing session / interaction between the consumer and the model. In yet another example, the activation or deactivation may be requested for an individual request inputted to the communication network function. For example, the RAG activation may be requested for each individual request or prompt given to the model.

[0071] In some example embodiments, the information related to the usage of the external knowledge may include information related to at least one external knowledge resource to be used to retrieve the external knowledge. In some example embodiments, the information related to the at least one external knowledge source may include an address, a name, a uniform resource locator (URL) and / or a location of the at least one external knowledge source. For example, the first apparatus 110 may be enabled to specify the desired external source to be used for augmenting the answer generation, including specifying an address, a name, a URL or a location of the at least one external knowledge source, such as specific country.

[0072] In some example embodiments, the information related to the usage of the external knowledge may include information related to amount of external knowledge to be retrieved for the communication network service. In some example embodiments, the information related to the amount of external knowledge may include the amount of external knowledge. In an example, the first apparatus 110 may be enabled to configure the second apparatus 120 with the information on the target and maximum amount of data that may be retrieved for generating the answer. For example, the first apparatus 110 may set amount of data to be retrieved. In some example embodiments, the information related to the amount of external knowledge may include at least one criterion to control the amount of external knowledge. For example, the first apparatus 110 may set one criterion such as a similarity score to control the amount of external knowledge.

[0073] In some example embodiments, the information related to the usage of the external knowledge may include at least one policy for the usage of the external knowledge. In some example embodiments, the at least one policy for the usage of the external knowledge may include a constrain and / or a condition for activation or deactivation of the usage of the external knowledge. For example, the first apparatus 110 may be enabled to define, for the second apparatus 120, policies containing constraints or conditions for activation or deactivation of the usage of the external knowledge under which the RAG and the external knowledge usage are be activated. In some example embodiments, the at least one policy for the usage of the external knowledge may include a constrain and / or a condition for switch between different external knowledge sources. For example, the first apparatus 110 may be enabled to define, for the second apparatus 120, policies containing the constraint or condition when one external knowledge source should be switched with another one.

[0074] In some example embodiments, the constraint or the condition may be related to a type of the communication network service and or a network slice type associated with the communication network service, such as such as an impacted service / slice type. Alternatively, or in addition, the constraint or the condition may be related to a location of the first apparatus 110 and / or a type of the first apparatus 110. For example, in the embodiments where the first apparatus 110 operates as a UE, the conditions and constraints can be related to a UE location and / or a UE type.

[0075] In some example embodiments, the at least one policy for the usage of the external knowledge may be given per different granularities. For example, the at least one policy may be associated with the communication network function such as a ML model for implementing the communication network function. Alternatively, or in addition, the at least one policy may be associated with a session or interaction between a customer of the communication network service and the communication network function such as an ongoing session / interaction between the consumer and the model Alternatively, or in addition, the at least one policy may be associated with an individual request inputted to the communication network function. For example, the at least one policy may be provided for each individual request / prompt given to the model.

[0076] In some example embodiments, the at least one policy for the usage of the external knowledge may be based on different aspects. In an example, the at least one policy may be based on at least one performance metric measured for the usage of the external  knowledge. For example, a latency, monetary and / or energy cost, and other performance metrics may be estimated or measured by the second apparatus 120 (e.g. the MnS producer) when the external knowledge is used. The performance metric may be provided by the second apparatus 120 to the first apparatus 110. Then, the first apparatus 110 may determine at least one polity for the usage of the external knowledge based on the performance metric.

[0077] Alternatively, or in addition, the at least one policy may be based on a confidence level of the external knowledge. The confidence level may be measured by experience reviews and / or rating by other consumers that had previously used this external knowledge source. Alternatively, or in addition, the at least one policy may be based on an availability level, a reliability level, and / or a dependability level of the external knowledge. Alternatively, or in addition, the at least one policy may be based on a task of the communication network service such as context of the task that the MnS consumer addresses. Alternatively, or in addition, the at least one policy may be based on a type of requests inputted to the communication network function, such as a prompt type, for example, a highly confidential prompt, or an open prompt.

[0078] In some example embodiments, the second apparatus 120 may expose information related to a capability of the communication network function to support the usage of the external knowledge. For example, the second apparatus 120 may be enabled to expose information on capability to support the RAG-MF to provide outputs or answers using the external knowledge. Correspondingly, the first apparatus 110 may obtain this information from the second apparatus 120. Then, based on the obtained information, the first apparatus 110 may determine the information related to the usage of the external knowledge for transmission to the second apparatus 120.

[0079] In some example embodiments, the information related to the capability of the communication network function may include an indication that the usage of the external knowledge is unsupported by the communication network function. For example, if the second apparatus 120 does not support the RAG-MF to use the external knowledge but relies on the internal knowledge only, the second apparatus 120 may send an indication with a flag “RAG-MF support” which may be set as FALSE.

[0080] In some example embodiments, the information related to the capability of the communication network function may include an indication that the usage of the external  knowledge is supported by the communication network function. For example, if the second apparatus 120 supports the RAG-MF and relies on external knowledge, the second apparatus 120 may send an indication with a flag “RAG-MF support” which may be set as TRUE.

[0081] In some example embodiments, the information related to the capability of the communication network function may include a form of the external knowledge. For example, this information may include descriptions of the external knowledge which may indicate a type of the external knowledge, for example, whether the external knowledge is sourced from a vector database, a knowledge graph, a relation database, a normal database, or structure dataset. Alternatively, or in addition, the information related to the capability of the communication network function may include an application of the external knowledge such as a domain of the external knowledge, like mobility optimization, coverage optimization, network tracing, etc. Alternatively, or in addition, the information related to the capability of the communication network function may include a stored address or area of the external knowledge, e.g., an address or area where the information is stored. Alternatively, or in addition, the information related to the capability of the communication network function may include a description of restrictions or recommendations of using an external knowledge source of the at least one external knowledge source, for example, descriptions on restrictions or recommendations of using certain knowledge sources.

[0082] In some example embodiments, the information related to the capability of the communication network function may include at least one entity owing the external knowledge. For example, entity of owning the external knowledge may be the same operator or the third party.

[0083] In some example embodiments, the information related to the capability of the communication network function may include at least one performance metric measured for the usage of the external knowledge. For example, the performance metric may include energy and / or monetary costs for example due to charging policies for calling external Application Programming Interfaces (APIs) , or the delay caused by the usage of the external knowledge.

[0084] In some example embodiments, the second apparatus 120 may send, to the first apparatus 110, a report on the usage of the external knowledge. Then, the first apparatus  110 may receive the report on the usage of the external knowledge. This report may include any information related to using the external knowledge by the second apparatus 120.

[0085] In some example embodiments, the report on the usage of the external knowledge may include an indication whether the external knowledge was used for the communication network service. For example, the second apparatus 120 may be enabled to report whether the RAG-MF and external knowledge was used or not when generating the response to request or prompt. Alternatively, or in addition, the report on the usage of the external knowledge may include at least one performance metric (such as a delay and / or a cost) measured for the usage of the external knowledge, for example, which delay or energy or monetary cost has been encountered when the external knowledge is used.

[0086] Alternatively, or in addition, the report on the usage of the external knowledge may include at least one external knowledge source having been used for the communication network service. For example, the first apparatus 110, which may operate as the MnS consumer, may receive only information regarding external knowledge sources used in the past as part of this usage report. Alternatively, or in addition, the report on the usage of the external knowledge may include at least one external knowledge source to be used for the communication network service. For example, the second apparatus 120, which may operate as the MnS producer, may have the capability to discover new external knowledge sources even amidst a session between the customer and the model and report upon usage of these external sources as well. In some example embodiments, the first apparatus 110 may indicate as part of its configurations for the external knowledge that a fraction of a session may be addressed based on new external knowledge sources if the new external knowledge sources adhering to the limitations of costs, delay and / or the like have been discovered by the second apparatus 120. The remaining fraction of the session may be required to be addressed by the already used or discovered external knowledge sources.

[0087] In some example embodiments, the report on the usage of the external knowledge may be provided at different granularities. For example, the report may be associated with the communication network function such as the ML model for implementing the communication network function. Alternatively, or in addition, the report may be associated with a session or interaction between a customer of the communication network service and the communication network function such as an ongoing session / interaction  between the consumer and the model. Alternatively, or in addition, an individual request inputted to the communication network function. For example, the report may be provided for each individual request / prompt given to the model.

[0088] In some example embodiments, the first apparatus 110 may send, to the second apparatus 120, a preference for partitioning of internal knowledge and external knowledge of the communication network function. The preference for the partitioning may be based on the report on the usage of the external knowledge that is received from the second apparatus 120. For example, to enable pre-training or fine-tuning models, the first apparatus 110 may indicate a preference for knowledge partitioning. That is, the first apparatus 110 may indicate which part of the knowledge may be built in the model parameters as internal knowledge, and which part of the knowledge may be stored outside of the model as external knowledge.

[0089] In some example embodiments, the preference for the partitioning may include characteristic of the internal knowledge to be built in the communication network function. For example, during the pre-training or fine-tuning process, the first apparatus 110 may specify the characteristic of the internal knowledge to be obtained or characteristics of the data to be used for building internal knowledge, e.g. data type, data amount, data scope such as a geographic area, network functions from which data should be collected, time period in which the data should be collected, etc. The specified characteristics may be given as a parameter named “in-build knowledge” with different values such as “common” or “common and specialized” .

[0090] In some example embodiments, the first apparatus 110 may send, to the second apparatus 120, a preference for further partitioning of the internal knowledge and / or further partitioning of the external knowledge. Thus, the first apparatus 110 (for example, as a MnS consumer) may only experience prompt augmentation based on smaller internal / external knowledge bases. The tradeoff between the performance and costs may be achieved.

[0091] In some example embodiments, the second apparatus 120 may generate a recommendation for partitioning of internal knowledge and external knowledge of the communication network function. The communication network function (e.g., the ML model) may be pre-trained or fine-tuned based on the recommendation. This recommendation may be generated based on analytics on a relation between the use of the  external knowledge and at least one performance metric of the communication network service. The at least one performance metric of the communication network service may include statistical and / or predicted performance metrics of the communication network service in the case that the external knowledge is used. In some example embodiments, the second apparatus 120 may send such analytics to the first apparatus 110. The analytics may be also included in the report on the usage of the external knowledge.

[0092] For example, the second apparatus 120 may collect the reports on RAG-MF and external knowledge usage and correlate them with other performance metrics of the ML model, such as response quality, delay in generating the response as well as the energy or monetary cost. Based on such information, the second apparatus 120 may provide statistics and predictions of the relation between the RAG-MF usage and the answer quality, delay, and cost. Based on the statistics and predictions, the second apparatus 120 may generate the recommendation for the partitioning of the internal knowledge and the external knowledge. The statistics and predictions may also be exposed to the first apparatus 110 as additional information to configure RAG-MF.

[0093] In some example embodiments, the second apparatus 120 may register, with a third apparatus (which may be an ML model repository) , the communication network function along with information related to a capability of the communication network function to support the use of the external knowledge. For example, the second apparatus 120 may register the ML model along with the capability to support RAG-MF and the details about the retrieval process, such as available knowledge sources and if available information on RAG analytics. In some example embodiments, the first apparatus 110 may obtain, from the third apparatus, information related to a capability of the communication network function to support the usage of the external knowledge.

[0094] An example process for RAG configuration and reporting will be described below with reference to FIG. 4. In this example, a MnS consumer 410 is an example of the first apparatus 110, a MnS producer 420 is an example of the second apparatus 120, and a ML model repository 430 is an example of the third apparatus.

[0095] As shown in FIG. 4, at 401, the MnS producer 420 may expose the capability to support RAG-MF and usage of external knowledge to generate the output or answer to consumer’s request or prompt. For example, if the MnS producer 420 does not support RAG-MF but only relies on internal knowledge captured in model parameters, the MnS  producer 420 may send, to the MnS consumer 410, an indication that the RAG-MF and the usage of the external knowledge is unsupported by the MnS producer 420. This indication may be a dedicated flag named “RAG support” that may be marked FALSE. In another example, if the MnS producer 420 supports RAG and relies on external knowledge, the MnS producer 420 may send, to the MnS consumer 410, an indication that the RAG-MF and the usage of the external knowledge is supported by the MnS producer 420. This indication may be a dedicated flag named “RAG support” that may be marked TRUE.

[0096] Alternatively, or in addition, if the MnS producer 420 supports RAG-MF, the MnS producer 420 may expose further information related to the capability on the RAG at 401. This may include: description of external knowledge that may be retrieved during RAG process, for example, type of external knowledge such as knowledge graph, vector database, normal database; information related to the knowledge source that may be used during RAG process, such as address or area where the information is stored, entity owning the knowledge source; information on the related cost, in terms of energy consuming, monetary expenditure or delay, when using RAG-MF; information on the restrictions or recommendations of using certain knowledge sources, for example, in which contexts (service or UE location or type) the restrictions or recommendations may apply.

[0097] At 403, after the MnS consumer 410 receives the information related to the capability to support RAG-MF and usage of external knowledge, the MnS consumer 410 may configure the MnS producer such that RAG-MF and external knowledge is used in desired way when generating the answer. For example, the MnS consumer 410 may configure the flag “RAG activation” to TRUE if it is desired to use RAG-MF when generating the answer. Alternatively, the MnS consumer 410 may request RAG-MF to be activated and specify further details such as information on the knowledge source to be used, such as address, name of the entity, or the target and maximal amount of data to be retrieved. The RAG activation may be requested at different granularities, including the ML model, a session or interaction between a customer of the communication network service and the ML model, or an individual request inputted to the ML model.

[0098] At 405, alternatively, or in addition to step 403, the MnS consumer may provide policies defining under which conditions RAG-MF may be activated or deactivated, or when there may be a switch between different knowledge sources. For example, depending on the expected cost (such as in terms of energy consuming, monetary  expenditure or delay) in generating the answer the RAG-MF may be activated or deactivated, or switching between different knowledge sources (e.g. closer source belonging to the same operator, or cheaper source from 3rd party provider, etc. ) may be done. The policy may be provided at different granularities, including the ML model, a session or interaction between a customer of the communication network service and the ML model, or an individual request inputted to the ML model.

[0099] At 407, the MnS producer 420 may report on the RAG-MF usage for generating the answer, including whether RAG-MF was used or not, which sources of knowledge where applied, which delay or energy or monetary cost has been encountered. Alternatively, or in addition, the MnS consumer 410 may read this information from the ML Model managed object. The report may be provided at different granularities, including the ML model, a session or interaction between a customer of the communication network service and the ML model, or an individual request inputted to the ML model.

[0100] At 409, the MnS producer 420 may be capable of collecting all the information on the RAG usage and correlate with the other ML model related metrics related to performance, such as delay in generating the response and an energy or monetary cost, and provide analytics or statistics or predictions on the relation between RAG-MF usage and model performance (such as a cost) in generating responses.

[0101] At 411, the information derived in Step 405 may be used to enhance the reported or exposed information towards the MnS consumer 410 enabling the consumer to optimally configure RAG-MF usage.

[0102] At 413, The MnS producer 420 may register the ML model along with the capability to support RAG and the details about the retrieval process, such as available knowledge sources and if available information on RAG-MF analytics. Furthermore, based on the RAG-MF analytics done in Step 409, the most useful external knowledge sources or RAGs tailored to the usage of the LLM may be identified and stored in the ML Model Repository 430 as the metadata of the given LLM / LMM / SLM version.

[0103] Next, some use cases of the communication network service will be described below with reference to FIGS. 5A to 6B. FIG. 5A and 5B illustrate example use cases on intent based management with and without RAG activation according to some example embodiments of the present disclosure. In a scenario 500A as shown in FIG. 5A, a UE 502 (as an example of the first apparatus 110) may provide a network intent to a model  504, such as an LLM, an SLM or an LMM, to improve network reliability, for example, by minimizing the downtime of Network Functions (NFs) , which are components of the network infrastructure. The UE 502 may be a MnS consumer of the service, and may activate or deactivate RAG support. The model 504 may provide as an output the recommendations on the actions that need to be taken in order to prevent failures and to recover from occurred failures.

[0104] As shown in FIG. 5A, the UE 502 activates the RAG support, and thus the model 504 may utility an external knowledge base that may contain up-to-date information such as customer documentation on NFs deployed in the network along with the knowledge on ticket resolutions from a customer support team. This knowledge base may be used as external knowledge during a RAG process. The external knowledge retrieved may include troubleshooting tickets and customer documentation, which are enriched with the latest information on NFs and ticket resolutions. This enriched knowledge is then used to inform the recommendations. Based on the enriched knowledge and the analysis performed by the model 504 such as the LLM / SLM / LMM, the model 504 outputs a set of actions. These actions may be specifically tailored to minimize NF failures and to provide guidance on how to recover from any failures that have already occurred.

[0105] Furthermore, the UE 502 may evaluate the recommendations and decide on the course of actions. The UE 502 may also provide feedback to the model 504, which may be used to further refine the recommendations and improve the performance of the model 504 over time. The model 504 may be designed to learn from the most recent ticket resolutions and updates in the customer documentation, ensuring that the recommendations it provides are as reliable and up-to-date as possible.

[0106] On the contrary, in a scenario 500B as shown in FIG. 5B, the UE 502 deactivates the RAG support, and thus the model 504 may generate a set of actions only based on the network intent and the internal knowledge of the model.

[0107] FIG. 6A and 6B illustrate example use cases on performing UE specific task with and without RAG activation according to some example embodiments of the present disclosure. In a scenario 600A as shown in FIG. 6A, the UE 502 may initiate the process by submitting a prompt to the model 504 such as an LLM or an SLM. In this case, the prompt is a request for the voice guidance on the best route to be best taken for sightseeing a city. In the case of the LLM as the model 504, the UE 504 may send the prompt to the  LLM deployed in the cloud. In the case of the SLM as the model 504, the model 504 may be deployed directly at the UE 502, and the UE 502 may interact with the model 504 on the device. In both cases, the UE 502 is an MnS consumer of the service.

[0108] Depending on the level of satisfaction with the provided answer, the UE 502 may decide whether RAG may be activated or deactivated. For example, in order to minimize the cost, the UE 502 may at first choose to deactivate RAG. If the proposed route for sightseeing is not up-to-date with the newest landmarks or events in the city, the UE 502 may activate RAG and get the most up-to-date outputs.

[0109] As shown in FIG. 6A, the UE 502 activates the RAG support, and thus the model 504 such as the LLM or SLM has access to external knowledge sources, which are updated in real-time. For example, the external knowledge sources may include updated web pages, news internet sights for City A guide, City B tourist guide updates during a sports game, updates in traffic schedule, and road closure due to the sports game. The model 504 such as the LLM or the SLM may retrieve, from these external knowledge sources, information that is relevant to the user request. The model 504 may enrich the output with the most up-to-date information, such as avoiding road closures and crowded areas due to events like the sports game. The UE 502 may evaluate the output and decide whether the information is satisfactory. If the route provided is not current with the newest landmarks or events, the UE 502 may activate RAG to receive more accurate and updated guidance.

[0110] In a scenario 600B as shown in FIG. 6B, the UE 502 deactivates the RAG support, which means the model 504 may not use external knowledge to generate the response. This may be a decision made by the UE 502 to minimize costs or due to other considerations. The model 504 may provide an output, which is the suggested sightseeing route for City A. However, since RAG is deactivated, this route may not consider recent changes, such as those caused by the sports game.

[0111] In another example use case, the ML MnS consumer may be a UE, for example, hosting an SLM, and the ML MnS producer may be at network Operations, Administration and Management (OAM) side. Purpose of consuming the ML MnS service may be for the UE to be able to access a trusted RAG containing relevant domain-specific data, for example, relevant to vehicular UE navigation or local landmarks, when the UE is traversing a specific geographical area. The ML MnS producer may then assist with discovering such a RAG and exposing it to the UE. In other words, this RAG discovery  procedure may also be triggered when the UE is tailored to another slice each time. Therefore, the SLM may adapt to the network slice or application needs by being augmented with appropriate external data by the RAG for the respective network slice. From the perspective of a RAG instance deployment, these network slice or domain-specific RAGs may be deployed at edge servers or in the cloud.

[0112] An example implementation of RAG configuration and reporting will be discussed below by taking 3GPP SA5 as an example.

[0113] FIG. 7 shows a flowchart of an example method 700 implemented at a first apparatus in accordance with some example embodiments of the present disclosure. For the purpose of discussion, the method 700 will be described from the perspective of the first apparatus 110 in FIG. 1.

[0114] At block 710, the first apparatus 110 sends, to a second apparatus, information related to usage of external knowledge for a communication network service. The external knowledge is stored outside of a communication network function, and the communication network function is configured to operate the communication network service.

[0115] At block 720, the first apparatus 110 sends, to the second apparatus, a request for the communication network service.

[0116] At block 730, in response to sending the request, the first apparatus 110 receives from the second apparatus, a response for the communication network service. The response is based on at least one of internal knowledge of the communication network function, or the external knowledge.

[0117] In some example embodiments, the first apparatus 110 may obtain, from the second apparatus or a third apparatus, information related to a capability of the communication network function to support the usage of the external knowledge.

[0118] In some example embodiments, the information related to the capability of the communication network function may include: an indication that the usage of the external knowledge is unsupported by the communication network function; or an indication that the usage of the external knowledge is supported by the communication network function.

[0119] In some example embodiments, the information related to the capability of the communication network function may include at least one of: a form of the external knowledge, an application of the external knowledge, a stored address or area of the external knowledge, at least one entity owing the external knowledge, a description of restrictions or recommendations of using an external knowledge source of the at least one external knowledge source, at least one performance metric measured for the usage of the external knowledge.

[0120] In some example embodiments, the information related to the usage of the external knowledge may include at least one of: a request for activation or deactivation of the usage of the external knowledge; information related to at least one external knowledge resource to be used to retrieve the external knowledge; information related to amount of external knowledge to be retrieved for the communication network service; or at least one policy for the usage of the external knowledge.

[0121] In some example embodiments, the activation or deactivation of the usage of the external knowledge may be requested for at least one of: the communication network function, a session or interaction between a customer of the communication network service and the communication network function, or an individual request inputted to the communication network function.

[0122] In some example embodiments, the information related to the at least one external knowledge source may include at least one of an address, a name, a uniform resource  locator or a location of the at least one external knowledge source.

[0123] In some example embodiments, the information related to the amount of external knowledge may include at least one of: the amount of external knowledge, or at least one criterion to control the amount of external knowledge.

[0124] In some example embodiments, the at least one policy for the usage of the external knowledge may include at least one of a constrain or a condition for at least one of: activation or deactivation of the usage of the external knowledge; or switch between different external knowledge sources.

[0125] In some example embodiments, the at least one of the constrain or the condition may be related to at least one of: a type of the communication network service, a network slice type associated with the communication network service, a location of the first apparatus, or a type of the first apparatus.

[0126] In some example embodiments, the at least one policy for the usage of the external knowledge may be associated with at least one of: the communication network function, a session or interaction between a customer of the communication network service and the communication network function, or an individual request inputted to the communication network function.

[0127] In some example embodiments, the at least one policy for the usage of the external knowledge may be based on at least one of: at least one performance metric measured for the usage of the external knowledge; at least one of a confidence level, an availability level, a reliability level or a dependability level of the external knowledge; a task of the communication network service; or a type of requests inputted to the communication network function.

[0128] In some example embodiments, the first apparatus 110 may receive, from the second apparatus, a report on the usage of the external knowledge.

[0129] In some example embodiments, the report on the usage of the external knowledge may include at least one of: an indication whether the external knowledge was used for the communication network service; at least one external knowledge source having been used for the communication network service; at least one external knowledge source to be used for the communication network service; or at least one performance metric measured for the usage of the external knowledge.

[0130] In some example embodiments, the report on the usage of the external knowledge may be associated with at least one of: the communication network function, a session or interaction between a customer of the communication network service and the communication network function, or an individual request inputted to the communication network function.

[0131] In some example embodiments, the first apparatus may send, to the second apparatus, a preference for partitioning of internal knowledge and external knowledge of the communication network function, where the preference for the partitioning is based on the received report on the usage of the external knowledge.

[0132] In some example embodiments, the preference for the partitioning may include characteristic of the internal knowledge to be built in the communication network function.

[0133] In some example embodiments, the first apparatus may receive, from the second apparatus, analytics on a relation between the use of the external knowledge and at least one performance metric of the communication network service.

[0134] In some example embodiments, the communication network function may be implemented using a machine learning model.

[0135] In some example embodiments, the machine learning model may include a language-based model.

[0136] FIG. 8 shows a flowchart of an example method 800 implemented at a second apparatus in accordance with some example embodiments of the present disclosure. For the purpose of discussion, the method 800 will be described from the perspective of the second apparatus 120 in FIG. 1.

[0137] At block 810, the second apparatus 120 receives, from a first apparatus, information related to usage of external knowledge for a communication network service. The external knowledge is stored outside of a communication network function, and the communication network function is configured to operate the communication network service.

[0138] At block 820, the second apparatus 120 receives, from the first apparatus, a request for the communication network service.

[0139] At block 830, in response to receiving the request, the second apparatus 120 sends to the first apparatus, a response for the communication network service. The response is  based on at least one of internal knowledge of the communication network function, or the external knowledge.

[0140] In some example embodiments, the second apparatus 120 may expose information related to a capability of the communication network function to support the usage of the external knowledge.

[0141] In some example embodiments, the information related to the capability of the communication network function to support the usage of the external knowledge may include: an indication that the usage of the external knowledge is unsupported by the communication network function; or an indication that the usage of the external knowledge is supported by the network function.

[0142] In some example embodiments, the information related to the capability of the communication network function to support the usage of the external knowledge may include at least one of: a form of the external knowledge, an application of the external knowledge, a stored address or area of the external knowledge, at least one entity owning the external knowledge, a description of restrictions or recommendations of using an external knowledge source of the at least one external knowledge source, at least one performance metric measured for the usage of the external knowledge.

[0143] In some example embodiments, the information related to the usage of the external knowledge may include at least one of: a request for activation or deactivation of the usage of the external knowledge; information related to at least one external knowledge resource to be used to retrieve the external knowledge; information related to amount of external knowledge to be retrieved for the communication network service; or at least one policy for the usage of the external knowledge.

[0144] In some example embodiments, the activation or deactivation of the usage of the external knowledge may be requested for at least one of: the communication network function, a session or interaction between a customer of the communication network service and the network function, or an individual request inputted to the network function.

[0145] In some example embodiments, the information related to the at least one external knowledge source may include at least one of an address, a name, a uniform resource locator or a location of the at least one external knowledge source.

[0146] In some example embodiments, the information related to the amount of external  knowledge may include at least one of: the amount of external knowledge, or at least one criterion to control the amount of external knowledge.

[0147] In some example embodiments, the at least one policy for the usage of the external knowledge may include at least one of a constrain or a condition for at least one of: activation or deactivation of the usage of the external knowledge; or switch between different external knowledge sources.

[0148] In some example embodiments, the at least one of the constrain or the condition may be related to at least one of: a type of the communication network service, a network slice type associated with the communication network service, a location of the first apparatus, or a type of the first apparatus.

[0149] In some example embodiments, the at least one policy for the usage of the external knowledge may be associated with at least one of: the communication network function, a session or interaction between a customer of the communication network service and the communication network function, or an individual request inputted to the communication network function.

[0150] In some example embodiments, the at least one policy for the usage of the external knowledge may be based on at least one of: at least one performance metric measured for the usage of the external knowledge; at least one of a confidence level, an availability level, a reliability level or a dependability level of the external knowledge; a task of the communication network service; or a type of requests inputted to the communication network function.

[0151] In some example embodiments, the second apparatus 120 may send, to the first apparatus, a report on the usage of the external knowledge.

[0152] In some example embodiments, the report on the usage of the external knowledge may include at least one of: an indication whether the external knowledge was used for the communication network service; at least one external knowledge source used for the communication network service; at least one external knowledge source to be used for the communication network service; or at least one performance metric measured for the usage of the external knowledge.

[0153] In some example embodiments, the report on the usage of the external knowledge may be associated with at least one of: the communication network function, a session or  interaction between a customer of the communication network service and the communication network function, or an individual request inputted to the communication network function.

[0154] In some example embodiments, the second apparatus 120 may receive, from the first apparatus, a preference for partitioning of internal knowledge and external knowledge of the communication network function, after sending the report on the usage of the external knowledge.

[0155] In some example embodiments, the preference for the partitioning may include characteristic of the internal knowledge to be built in the communication network function.

[0156] In some example embodiments, the second apparatus 120 may generate a recommendation for partitioning of internal knowledge and external knowledge of the communication network function; and pre-train or fine-tune the communication network function based on the recommendation.

[0157] In some example embodiments, the second apparatus 120 may send, to the first apparatus, analytics on a relation between the use of the external knowledge and at least one performance metric of the communication network service.

[0158] In some example embodiments, the second apparatus 120 may register, with a third apparatus, the communication network function along with information related to a capability of the communication network function to support the use of the external knowledge.

[0159] In some example embodiments, the communication network function may be implemented using a machine learning model.

[0160] In some example embodiments, a first apparatus capable of performing any of the method 700 (for example, the first apparatus 110 in FIG. 1) may comprise means for performing the respective operations of the method 700. The means may be implemented in any suitable form. For example, the means may be implemented in a circuitry or software module. The first apparatus may be implemented as or included in the first apparatus 110 in FIG. 1.

[0161] In some example embodiments, the first apparatus comprises means for sending, to a second apparatus, information related to usage of external knowledge for a communication network service, where the external knowledge is stored outside of a  communication network function, and the communication network function is configured to operate the communication network service; means for sending, to the second apparatus, a request for the communication network service; and means for in response to sending the request, receiving from the second apparatus, a response for the communication network service, where the response is based on at least one of internal knowledge of the communication network function, or the external knowledge.

[0162] In some example embodiments, the first apparatus further comprises: means for obtaining, from the second apparatus or a third apparatus, information related to a capability of the communication network function to support the usage of the external knowledge.

[0163] In some example embodiments, the information related to the capability of the communication network function includes: an indication that the usage of the external knowledge is unsupported by the communication network function; or an indication that the usage of the external knowledge is supported by the communication network function.

[0164] In some example embodiments, the information related to the capability of the communication network function includes at least one of: a form of the external knowledge, an application of the external knowledge, a stored address or area of the external knowledge, at least one entity owing the external knowledge, a description of restrictions or recommendations of using an external knowledge source of the at least one external knowledge source, at least one performance metric measured for the usage of the external knowledge.

[0165] In some example embodiments, the information related to the usage of the external knowledge includes at least one of: a request for activation or deactivation of the usage of the external knowledge; information related to at least one external knowledge resource to be used to retrieve the external knowledge; information related to amount of external knowledge to be retrieved for the communication network service; or at least one policy for the usage of the external knowledge.

[0166] In some example embodiments, the activation or deactivation of the usage of the external knowledge is requested for at least one of: the communication network function, a session or interaction between a customer of the communication network service and the communication network function, or an individual request inputted to the communication network function.

[0167] In some example embodiments, the information related to the at least one external knowledge source includes at least one of an address, a name, a uniform resource locator or a location of the at least one external knowledge source.

[0168] In some example embodiments, the information related to the amount of external knowledge includes at least one of: the amount of external knowledge, or at least one criterion to control the amount of external knowledge.

[0169] In some example embodiments, the at least one policy for the usage of the external knowledge includes at least one of a constrain or a condition for at least one of: activation or deactivation of the usage of the external knowledge; or switch between different external knowledge sources.

[0170] In some example embodiments, the at least one of the constrain or the condition is related to at least one of: a type of the communication network service, a network slice type associated with the communication network service, a location of the first apparatus, or a type of the first apparatus.

[0171] In some example embodiments, the at least one policy for the usage of the external knowledge is associated with at least one of: the communication network function, a session or interaction between a customer of the communication network service and the communication network function, or an individual request inputted to the communication network function.

[0172] In some example embodiments, the at least one policy for the usage of the external knowledge is based on at least one of: at least one performance metric measured for the usage of the external knowledge; at least one of a confidence level, an availability level, a reliability level or a dependability level of the external knowledge; a task of the communication network service; or a type of requests inputted to the communication network function.

[0173] In some example embodiments, the first apparatus further comprises: means for receiving, from the second apparatus, a report on the usage of the external knowledge.

[0174] In some example embodiments, the report on the usage of the external knowledge includes at least one of: an indication whether the external knowledge was used for the communication network service; at least one external knowledge source having been used for the communication network service; at least one external knowledge source to be used  for the communication network service; or at least one performance metric measured for the usage of the external knowledge.

[0175] In some example embodiments, the report on the usage of the external knowledge is associated with at least one of: the communication network function, a session or interaction between a customer of the communication network service and the communication network function, or an individual request inputted to the communication network function.

[0176] In some example embodiments, the first apparatus further comprises: means for sending, to the second apparatus, a preference for partitioning of internal knowledge and external knowledge of the communication network function, where the preference for the partitioning is based on the received report on the usage of the external knowledge.

[0177] In some example embodiments, the preference for the partitioning includes characteristic of the internal knowledge to be built in the communication network function.

[0178] In some example embodiments, the first apparatus further comprises: means for receiving, from the second apparatus, analytics on a relation between the use of the external knowledge and at least one performance metric of the communication network service.

[0179] In some example embodiments, the communication network function is implemented using a machine learning model.

[0180] In some example embodiments, the machine learning model comprises a language-based model.

[0181] In some example embodiments, a second apparatus capable of performing any of the method 800 (for example, the second apparatus 120 in FIG. 1) may comprise means for performing the respective operations of the method 800. The means may be implemented in any suitable form. For example, the means may be implemented in a circuitry or software module. The second apparatus may be implemented as or included in the second apparatus 120 in FIG. 1.

[0182] In some example embodiments, the second apparatus comprises means for receiving, from a first apparatus, information related to usage of external knowledge for a communication network service, where the external knowledge is stored outside of a communication network function, and the communication network function is configured  to operate the communication network service; means for receiving, from the first apparatus, a request for the communication network service; and means for in response to receiving the request, sending to the first apparatus, a response for the communication network service, where the response is based on at least one of internal knowledge of the communication network function, or the external knowledge.

[0183] In some example embodiments, the second apparatus further comprises: means for exposing information related to a capability of the communication network function to support the usage of the external knowledge.

[0184] In some example embodiments, the information related to the capability of the communication network function to support the usage of the external knowledge includes: an indication that the usage of the external knowledge is unsupported by the communication network function; or an indication that the usage of the external knowledge is supported by the network function.

[0185] In some example embodiments, the information related to the capability of the communication network function to support the usage of the external knowledge includes at least one of: a form of the external knowledge, an application of the external knowledge, a stored address or area of the external knowledge, at least one entity owning the external knowledge, a description of restrictions or recommendations of using an external knowledge source of the at least one external knowledge source, at least one performance metric measured for the usage of the external knowledge.

[0186] In some example embodiments, the information related to the usage of the external knowledge includes at least one of: a request for activation or deactivation of the usage of the external knowledge; information related to at least one external knowledge resource to be used to retrieve the external knowledge; information related to amount of external knowledge to be retrieved for the communication network service; or at least one policy for the usage of the external knowledge.

[0187] In some example embodiments, the activation or deactivation of the usage of the external knowledge is requested for at least one of: the communication network function, a session or interaction between a customer of the communication network service and the network function, or an individual request inputted to the network function.

[0188] In some example embodiments, the information related to the at least one external  knowledge source includes at least one of an address, a name, a uniform resource locator or a location of the at least one external knowledge source.

[0189] In some example embodiments, the information related to the amount of external knowledge includes at least one of: the amount of external knowledge, or at least one criterion to control the amount of external knowledge.

[0190] In some example embodiments, the at least one policy for the usage of the external knowledge includes at least one of a constrain or a condition for at least one of: activation or deactivation of the usage of the external knowledge; or switch between different external knowledge sources.

[0191] In some example embodiments, the at least one of the constrain or the condition is related to at least one of: a type of the communication network service, a network slice type associated with the communication network service, a location of the first apparatus, or a type of the first apparatus.

[0192] In some example embodiments, the at least one policy for the usage of the external knowledge is associated with at least one of: the communication network function, a session or interaction between a customer of the communication network service and the communication network function, or an individual request inputted to the communication network function.

[0193] In some example embodiments, the at least one policy for the usage of the external knowledge is based on at least one of: at least one performance metric measured for the usage of the external knowledge; at least one of a confidence level, an availability level, a reliability level or a dependability level of the external knowledge; a task of the communication network service; or a type of requests inputted to the communication network function.

[0194] In some example embodiments, the second apparatus further comprises: means for sending, to the first apparatus, a report on the usage of the external knowledge.

[0195] In some example embodiments, the report on the usage of the external knowledge includes at least one of: an indication whether the external knowledge was used for the communication network service; at least one external knowledge source used for the communication network service; at least one external knowledge source to be used for the communication network service; or at least one performance metric caused by the usage  of the external knowledge.

[0196] In some example embodiments, the report on the usage of the external knowledge is associated with at least one of: the communication network function, a session or interaction between a customer of the communication network service and the communication network function, or an individual request inputted to the communication network function.

[0197] In some example embodiments, the second apparatus further comprises: means for receiving, from the first apparatus, a preference for partitioning of internal knowledge and external knowledge of the communication network function, after sending the report on the usage of the external knowledge.

[0198] In some example embodiments, the preference for the partitioning includes characteristic of the internal knowledge to be built in the communication network function.

[0199] In some example embodiments, the second apparatus further comprises: means for generating a recommendation for partitioning of internal knowledge and external knowledge of the communication network function; and means for pre-training or fine-tuning the communication network function based on the recommendation.

[0200] In some example embodiments, the second apparatus further comprises: means for sending, to the first apparatus, analytics on a relation between the use of the external knowledge and at least one performance metric of the communication network service.

[0201] In some example embodiments, the second apparatus further comprises: means for registering, with a third apparatus, the communication network function along with information related to a capability of the communication network function to support the use of the external knowledge.

[0202] In some example embodiments, the communication network function is implemented using a machine learning model.

[0203] FIG. 9 is a simplified block diagram of a device 900 that is suitable for implementing example embodiments of the present disclosure. The device 900 may be provided to implement a communication device, for example, the first apparatus 110 or the second apparatus 120 as shown in FIG. 1. As shown, the device 900 includes one or more processors 910, one or more memories 920 coupled to the processor 910, and one or more communication modules 940 coupled to the processor 910.

[0204] The communication module 940 is for bidirectional communications. The communication module 940 has one or more communication interfaces to facilitate communication with one or more other modules or devices. The communication interfaces may represent any interface that is necessary for communication with other network elements. In some example embodiments, the communication module 940 may include at least one antenna.

[0205] The processor 910 may be of any type suitable to the local technical network and may include one or more of the following: general purpose computers, special purpose computers, microprocessors, digital signal processors (DSPs) and processors based on multicore processor architecture, as non-limiting examples. The device 900 may have multiple processors, such as an application specific integrated circuit chip that is slaved in time to a clock which synchronizes the main processor.

[0206] The memory 920 may include one or more non-volatile memories and one or more volatile memories. Examples of the non-volatile memories include, but are not limited to, a Read Only Memory (ROM) 924, an electrically programmable read only memory (EPROM) , a flash memory, a hard disk, a compact disc (CD) , a digital video disk (DVD) , an optical disk, a laser disk, and other magnetic storage and / or optical storage. Examples of the volatile memories include, but are not limited to, a random-access memory (RAM) 922 and other volatile memories that will not last in the power-down duration.

[0207] A computer program 930 includes computer executable instructions that are executed by the associated processor 910. The instructions of the program 930 may include instructions for performing operations / acts of some example embodiments of the present disclosure. The program 930 may be stored in the memory, e.g., the ROM 924. The processor 910 may perform any suitable actions and processing by loading the program 930 into the RAM 922.

[0208] The example embodiments of the present disclosure may be implemented by means of the program 930 so that the device 900 may perform any process of the disclosure as discussed with reference to FIG. 1 to FIG. 8. The example embodiments of the present disclosure may also be implemented by hardware or by a combination of software and hardware.

[0209] In some example embodiments, the program 930 may be tangibly contained in a computer readable medium which may be included in the device 900 (such as in the  memory 920) or other storage devices that are accessible by the device 900. The device 900 may load the program 930 from the computer readable medium to the RAM 922 for execution. In some example embodiments, the computer readable medium may include any types of non-transitory storage medium, such as ROM, EPROM, a flash memory, a hard disk, CD, DVD, and the like. The term “non-transitory, ” as used herein, is a limitation of the medium itself (i.e., tangible, not a signal) as opposed to a limitation on data storage persistency (e.g., RAM vs. ROM) .

[0210] FIG. 10 shows an example of the computer readable medium 1000 which may be in form of CD, DVD or other optical storage disk. The computer readable medium 1000 has the program 930 stored thereon.

[0211] Generally, various embodiments of the present disclosure may be implemented in hardware or special purpose circuits, software, logic or any combination thereof. Some aspects may be implemented in hardware, and other aspects may be implemented in firmware or software which may be executed by a controller, microprocessor or other computing device. Although various aspects of embodiments of the present disclosure are illustrated and described as block diagrams, flowcharts, or using some other pictorial representations, it is to be understood that the block, apparatus, system, technique or method described herein may be implemented in, as non-limiting examples, hardware, software, firmware, special purpose circuits or logic, general purpose hardware or controller or other computing devices, or some combination thereof.

[0212] Some example embodiments of the present disclosure also provide at least one computer program product tangibly stored on a computer readable medium, such as a non-transitory computer readable medium. The computer program product includes computer-executable instructions, such as those included in program modules, being executed in a device on a target physical or virtual processor, to carry out any of the methods as described above. Generally, program modules include routines, programs, libraries, objects, classes, components, data structures, or the like that perform particular tasks or implement particular abstract data types. The functionality of the program modules may be combined or split between program modules as desired in various embodiments. Machine-executable instructions for program modules may be executed within a local or distributed device. In a distributed device, program modules may be located in both local and remote storage media.

[0213] Program code for carrying out methods of the present disclosure may be written in any combination of one or more programming languages. The program code may be provided to a processor or controller of a general-purpose computer, special purpose computer, or other programmable data processing apparatus, such that the program code, when executed by the processor or controller, cause the functions / operations specified in the flowcharts and / or block diagrams to be implemented. The program code may execute entirely on a machine, partly on the machine, as a stand-alone software package, partly on the machine and partly on a remote machine or entirely on the remote machine or server.

[0214] In the context of the present disclosure, the computer program code or related data may be carried by any suitable carrier to enable the device, apparatus or processor to perform various processes and operations as described above. Examples of the carrier include a signal, computer readable medium, and the like.

[0215] The computer readable medium may be a computer readable signal medium or a computer readable storage medium. A computer readable medium may include but not limited to an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any suitable combination of the foregoing. More specific examples of the computer readable storage medium would include an electrical connection having one or more wires, a portable computer diskette, a hard disk, a random-access memory (RAM) , a read-only memory (ROM) , an erasable programmable read-only memory (EPROM or Flash memory) , an optical fiber, a portable compact disc read-only memory (CD-ROM) , an optical storage device, a magnetic storage device, or any suitable combination of the foregoing.

[0216] Further, although operations are depicted in a particular order, this should not be understood as requiring that such operations be performed in the particular order shown or in sequential order, or that all illustrated operations be performed, to achieve desirable results. In certain circumstances, multitasking and parallel processing may be advantageous. Likewise, although several specific implementation details are contained in the above discussions, these should not be construed as limitations on the scope of the present disclosure, but rather as descriptions of features that may be specific to particular embodiments. Unless explicitly stated, certain features that are described in the context of separate embodiments may also be implemented in combination in a single embodiment. Conversely, unless explicitly stated, various features that are described in the context of a single embodiment may also be implemented in a plurality of embodiments separately  or in any suitable sub-combination.

[0217] Although the present disclosure has been described in languages specific to structural features and / or methodological acts, it is to be understood that the present disclosure defined in the appended claims is not necessarily limited to the specific features or acts described above. Rather, the specific features and acts described above are disclosed as example forms of implementing the claims.

Claims

1.A first apparatus comprising:at least one processor; andat least one memory storing instructions that, when executed by the at least one processor, cause the first apparatus at least to:send, to a second apparatus, information related to usage of external knowledge for a communication network service, wherein the external knowledge is stored outside of a communication network function, and the communication network function is configured to operate the communication network service;send, to the second apparatus, a request for the communication network service; andin response to sending the request, receive, from the second apparatus, a response for the communication network service,wherein the response is based on at least one of internal knowledge of the communication network function, or the external knowledge.2.The first apparatus of claim 1, wherein the at least one memory and the at least one processor further cause the first apparatus to:obtain, from the second apparatus or a third apparatus, information related to a capability of the communication network function to support the usage of the external knowledge.3.The first apparatus of claim 2, wherein the information related to the capability of the communication network function includes:an indication that the usage of the external knowledge is unsupported by the communication network function; oran indication that the usage of the external knowledge is supported by the communication network function.4.The first apparatus of claim 2 or 3, wherein the information related to the capability of the communication network function includes at least one of:a form of the external knowledge,an application of the external knowledge,a stored address or area of the external knowledge,at least one entity owing the external knowledge,a description of restrictions or recommendations of using an external knowledge source of the at least one external knowledge source,at least one performance metric measured for the usage of the external knowledge.5.The first apparatus of any of claims 1 to 4, wherein the information related to the usage of the external knowledge includes at least one of:a request for activation or deactivation of the usage of the external knowledge;information related to at least one external knowledge resource to be used to retrieve the external knowledge;information related to amount of external knowledge to be retrieved for the communication network service; orat least one policy for the usage of the external knowledge.6.The first apparatus of claim 5, wherein the activation or deactivation of the usage of the external knowledge is requested for at least one of:the communication network function,a session or interaction between a customer of the communication network service and the communication network function, oran individual request inputted to the communication network function.7.The first apparatus of claim 5 or 6, wherein the information related to the at least one external knowledge source includes at least one of an address, a name, a uniform  resource locator or a location of the at least one external knowledge source.8.The first apparatus of any of claims 5 to 7, wherein the information related to the amount of external knowledge includes at least one of:the amount of external knowledge, orat least one criterion to control the amount of external knowledge.9.The first apparatus of any of claims 5 to 8, wherein the at least one policy for the usage of the external knowledge includes at least one of a constrain or a condition for at least one of:activation or deactivation of the usage of the external knowledge; orswitch between different external knowledge sources.10.The first apparatus of claim 9, wherein the at least one of the constrain or the condition is related to at least one of:a type of the communication network service,a network slice type associated with the communication network service,a location of the first apparatus, ora type of the first apparatus.11.The first apparatus of any of claims 5 to 10, wherein the at least one policy for the usage of the external knowledge is associated with at least one of:the communication network function,a session or interaction between a customer of the communication network service and the communication network function, oran individual request inputted to the communication network function.12.The first apparatus of any of claims 5 to 11, wherein the at least one policy for the usage of the external knowledge is based on at least one of:at least one performance metric measured for the usage of the external knowledge;at least one of a confidence level, an availability level, a reliability level or a dependability level of the external knowledge;a task of the communication network service; ora type of requests inputted to the communication network function.13.The first apparatus of any of claims 1 to 12, wherein the at least one memory and the at least one processor further cause the first apparatus to:receive, from the second apparatus, a report on the usage of the external knowledge.14.The first apparatus of claim 13, wherein the report on the usage of the external knowledge includes at least one of:an indication whether the external knowledge was used for the communication network service;at least one external knowledge source having been used for the communication network service;at least one external knowledge source to be used for the communication network service; orat least one performance metric measured for the usage of the external knowledge.15.The first apparatus of claim 13 or 14, wherein the report on the usage of the external knowledge is associated with at least one of:the communication network function,a session or interaction between a customer of the communication network service and the communication network function, oran individual request inputted to the communication network function.16.The first apparatus of any of claims 13 to 15, wherein the at least one memory and the at least one processor further cause the first apparatus to:send, to the second apparatus, a preference for partitioning of internal knowledge and external knowledge of the communication network function,wherein the preference for the partitioning is based on the received report on the usage of the external knowledge.17.The first apparatus of claim 16, wherein the preference for the partitioning includes characteristic of the internal knowledge to be built in the communication network function.18.The first apparatus of any of claims 1 to 17, wherein the at least one memory and the at least one processor further cause the first apparatus to:receive, from the second apparatus, analytics on a relation between the use of the external knowledge and at least one performance metric of the communication network service.19.The first apparatus of any of claims 1 to 18, wherein the communication network function is implemented using a machine learning model.20.The first apparatus of claim 19, wherein the machine learning model comprises a language-based model.21.A second apparatus comprising:at least one processor; andat least one memory storing instructions that, when executed by the at least one processor, cause the second apparatus at least to:receive, from a first apparatus, information related to usage of external knowledge for a communication network service, wherein the external knowledge is stored outside of a communication network function, and the communication network function is configured to operate the communication network service;receive, from the first apparatus, a request for the communication network service; andin response to receiving the request, send, to the first apparatus, a response for the communication network service,wherein the response is based on at least one of internal knowledge of the communication network function, or the external knowledge.22.The second apparatus of claim 21, wherein the at least one memory and the at least one processor further cause the second apparatus to:expose information related to a capability of the communication network function to support the usage of the external knowledge.23.The second apparatus of claim 22, wherein the information related to the capability of the communication network function to support the usage of the external knowledge includes:an indication that the usage of the external knowledge is unsupported by the communication network function; oran indication that the usage of the external knowledge is supported by the network function.24.The second apparatus of claim 22 or 23, wherein the information related to the capability of the communication network function to support the usage of the external knowledge includes at least one of:a form of the external knowledge,an application of the external knowledge,a stored address or area of the external knowledge,at least one entity owning the external knowledge,a description of restrictions or recommendations of using an external knowledge source of the at least one external knowledge source,at least one performance metric measured for the usage of the external knowledge.25.The second apparatus of any of claims 21 to 24, wherein the information related to the usage of the external knowledge includes at least one of:a request for activation or deactivation of the usage of the external knowledge;information related to at least one external knowledge resource to be used to retrieve the external knowledge;information related to amount of external knowledge to be retrieved for the communication network service; orat least one policy for the usage of the external knowledge.26.The second apparatus of claim 25, wherein the activation or deactivation of the usage of the external knowledge is requested for at least one of:the communication network function,a session or interaction between a customer of the communication network service and the network function, oran individual request inputted to the network function.27.The second apparatus of claim 25 or 26, wherein the information related to the at least one external knowledge source includes at least one of an address, a name, a uniform resource locator or a location of the at least one external knowledge source.28.The second apparatus of any of claims 25 to 27, wherein the information related to the amount of external knowledge includes at least one of:the amount of external knowledge, orat least one criterion to control the amount of external knowledge.29.The second apparatus of any of claims 25 to 28, wherein the at least one policy for the usage of the external knowledge includes at least one of a constrain or a condition  for at least one of:activation or deactivation of the usage of the external knowledge; orswitch between different external knowledge sources.30.The second apparatus of claim 29, wherein the at least one of the constrain or the condition is related to at least one of:a type of the communication network service,a network slice type associated with the communication network service,a location of the first apparatus, ora type of the first apparatus.31.The second apparatus of any of claims 25 to 30, wherein the at least one policy for the usage of the external knowledge is associated with at least one of:the communication network function,a session or interaction between a customer of the communication network service and the communication network function, oran individual request inputted to the communication network function.32.The second apparatus of any of claims 25 to 31, wherein the at least one policy for the usage of the external knowledge is based on at least one of:at least one performance metric measured for the usage of the external knowledge;at least one of confidence, availability, reliability or dependability of the external knowledge;a task of the communication network service; ora type of requests inputted to the communication network function.33.The second apparatus of any of claims 21 to 32, wherein the at least one memory and the at least one processor further cause the second apparatus to:send, to the first apparatus, a report on the usage of the external knowledge.34.The second apparatus of claim 33, wherein the report on the usage of the external knowledge includes at least one of:an indication whether the external knowledge was used for the communication network service;at least one external knowledge source used for the communication network service;at least one external knowledge source to be used for the communication network service; orat least one performance metric measured for the usage of the external knowledge.35.The second apparatus of claim 33 or 34, wherein the report on the usage of the external knowledge is associated with at least one of:the communication network function,a session or interaction between a customer of the communication network service and the communication network function, oran individual request inputted to the communication network function.36.The second apparatus of any of claims 33 to 35, wherein the at least one memory and the at least one processor further cause the second apparatus to:receive, from the first apparatus, a preference for partitioning of internal knowledge and external knowledge of the communication network function, after sending the report on the usage of the external knowledge.37.The second apparatus of claim 36, wherein the preference for the partitioning includes characteristic of the internal knowledge to be built in the communication network function.38.The second apparatus of any of claims 21 to 37, wherein the at least one memory and the at least one processor further cause the second apparatus to:generate a recommendation for partitioning of internal knowledge and external knowledge of the communication network function; andpre-train or fine-tune the communication network function based on the recommendation.39.The second apparatus of any of claims 21 to 38, wherein the at least one memory and the at least one processor further cause the second apparatus to:send, to the first apparatus, analytics on a relation between the use of the external knowledge and at least one performance metric of the communication network service.40.The second apparatus of any of claims 21 to 39, wherein the at least one memory and the at least one processor further cause the second apparatus to:register, with a third apparatus, the communication network function along with information related to a capability of the communication network function to support the use of the external knowledge.41.A method comprising:at a first apparatus,sending, to a second apparatus, information related to usage of external knowledge for a communication network service, wherein the external knowledge is stored outside of a communication network function, and the communication network function is configured to operate the communication network service.sending, to the second apparatus, a request for the communication network service. andin response to sending the request, receiving from the second apparatus, a response for the communication network service,wherein the response is based on at least one of internal knowledge of the communication network function, or the external knowledge.42.A method comprising:at a second apparatus,receiving, from a first apparatus, information related to usage of external knowledge for a communication network service, wherein the external knowledge is stored outside of a communication network function, and the communication network function is configured to operate the communication network service.receiving, from the first apparatus, a request for the communication network service. andin response to receiving the request, sending to the first apparatus, a response for the communication network service,wherein the response is based on at least one of internal knowledge of the communication network function, or the external knowledge.43.A first apparatus comprising:means for sending, to a second apparatus, information related to usage of external knowledge for a communication network service, wherein the external knowledge is stored outside of a communication network function, and the communication network function is configured to operate the communication network service;means for sending, to the second apparatus, a request for the communication network service; andmeans for in response to sending the request, receiving from the second apparatus, a response for the communication network service,wherein the response is based on at least one of internal knowledge of the communication network function, or the external knowledge.44.A second apparatus comprising:means for receiving, from a first apparatus, information related to usage of external knowledge for a communication network service, wherein the external knowledge is stored outside of a communication network function, and the communication network function is configured to operate the communication network service;means for receiving, from the first apparatus, a request for the communication network service; andmeans for in response to receiving the request, sending to the first apparatus, a response for the communication network service,wherein the response is based on at least one of internal knowledge of the communication network function, or the external knowledge.45.A computer readable medium comprising instructions stored thereon for causing an apparatus at least to perform the method of claim 41 or the method of claim 42.

Images