Cooperation of machine learning enabled capabilities on demand

Abstract

Embodiments of the present disclosure relate to devices, methods, apparatuses and computer readable storage media for cooperation of machine learning enabled capabilities on demand. A first device transmits, at a cooperation management service (MnS) consumer and to a cooperation MnS producer, a request for a cooperation plan of a plurality of machine learning capabilities for fulfilling a goal, the request comprising at least one attribute associated with the cooperation plan. The first device receives, from the cooperation MnS producer, a response for the cooperation plan indicating at least one candidate option of the cooperation plan available for fulfilling the goal. The first device evaluates the at least one candidate option for determining a target option of the cooperation plan. In this way, the MnS consumer can search, select, and deploy a cooperation plan defined by the MnS producer. This enables a task-oriented coordination of AI / ML capabilities from training to inference.

Description

COOPERATION OF MACHINE LEARNING ENABLED CAPABILITIES ON DEMAND

[0001] FIELDS

[0002] Various example embodiments of the present disclosure generally relate to the field of telecommunication and in particular, to methods, devices, apparatuses and computer readable storage medium for cooperation of machine learning (ML) enabled capabilities on demand.BACKGROUND

[0003] Various function instances, whether ML-based or not, have been widely applied at radio access network (RAN) , core network (CN) , or operation, administration and maintenance (OAM) . Different function instances may vary from focus scopes, such as, per network areas and times. In addition, they usually have different granularities, for example, on the data they need as input and / or produce as output. For example, a RAN function instance may focus only on a specific cell / gNB and operate with its data in a time interval of 100 ms, while an OAM function instance may focus on the entire RAN and operate with its data in a time interval of 15 minutes. Furthermore, some function instances can be in different states, such as, “deactivated” , “ideal” , “active” , and so on. Moreover, new function instances of the existing functions or new functions may be deployed and operate in the network and OAM anytime.

[0004] This makes it hard for an existing function instance to know what are those other function instances that could work alone or together to bring a needed or better analytics result (e.g., a prediction) for this existing function instance, in advance. On the other hand, OAM side has the information of all the function instances deployed to the network and OAM, including their states. Therefore, two or more such function instances need to get cooperated to achieve the objective of an ML job together, e.g., to provide needed analytics result together, to align their analytics results, or to avoid the conflict between their analytics results.SUMMARY

[0005] In a first aspect of the present disclosure, there is provided an apparatus. The apparatus comprises at least one processor; and at least one memory storing instructions that, when executed by the at least one processor, cause the apparatus at least to: transmit,  at a cooperation management service consumer and to a cooperation management service producer, a request for a cooperation plan of a plurality of machine learning capabilities for fulfilling a goal, the request comprising at least one attribute associated with the cooperation plan; receive, from the cooperation management service producer, a response for the cooperation plan indicating at least one candidate option of the cooperation plan available for fulfilling the goal; and evaluate the at least one candidate option for determining a target option of the cooperation plan.

[0006] In a second aspect of the present disclosure, there is provided an apparatus. The apparatus comprises at least one processor; and at least one memory storing instructions that, when executed by the at least one processor, cause the apparatus at least to: receive, at a cooperation management service producer and from a cooperation management service consumer, a request for a cooperation plan of a plurality of machine learning capabilities for fulfilling a goal, the request comprising at least one attribute associated with the cooperation plan; obtain, based on the at least one attribute associated with the cooperation plan, at least one candidate option of the cooperation plan available for fulfilling the goal; and transmit, to the cooperation management service consumer, a response for the cooperation plan indicating the at least one candidate option of the cooperation plan.

[0007] In a third aspect of the present disclosure, there is provided a method. The method comprises: transmitting, at a cooperation management service consumer and to a cooperation management service producer, a request for a cooperation plan of a plurality of machine learning capabilities for fulfilling a goal, the request comprising at least one attribute associated with the cooperation plan; receiving, from the cooperation management service producer, a response for the cooperation plan indicating at least one candidate option of the cooperation plan available for fulfilling the goal; and evaluating the at least one candidate option for determining a target option of the cooperation plan.

[0008] In a fourth aspect of the present disclosure, there is provided a method. The method comprises: receiving, at a cooperation management service producer and from a cooperation management service consumer, a request for a cooperation plan of a plurality of machine learning capabilities for fulfilling a goal, the request comprising at least one attribute associated with the cooperation plan; obtaining, based on the at least one attribute associated with the cooperation plan, at least one candidate option of the cooperation plan available for fulfilling the goal; and transmitting, to the cooperation management service  consumer, a response for the cooperation plan indicating the at least one candidate option of the cooperation plan.

[0009] In a fifth aspect of the present disclosure, there is provided a first apparatus. The first apparatus comprises: means for transmitting, to a cooperation management service producer, a request for a cooperation plan of a plurality of machine learning capabilities for fulfilling a goal, the request comprising at least one attribute associated with the cooperation plan; means for receiving, from the cooperation management service producer, a response for the cooperation plan indicating at least one candidate option of the cooperation plan available for fulfilling the goal; and means for evaluating the at least one candidate option for determining a target option of the cooperation plan.

[0010] In a sixth aspect of the present disclosure, there is provided a second apparatus. The second apparatus comprises: means for receiving, from a cooperation management service consumer, a request for a cooperation plan of a plurality of machine learning capabilities for fulfilling a goal, the request comprising at least one attribute associated with the cooperation plan; means for obtaining, based on the at least one attribute associated with the cooperation plan, at least one candidate option of the cooperation plan available for fulfilling the goal; and means for transmitting, to the cooperation management service consumer, a response for the cooperation plan indicating the at least one candidate option of the cooperation plan.

[0011] In a seventh aspect of the present disclosure, there is provided a computer readable medium. The computer readable medium comprises instructions stored thereon for causing an apparatus to perform at least the method according to the third aspect.

[0012] In an eighth aspect of the present disclosure, there is provided a computer readable medium. The computer readable medium comprises instructions stored thereon for causing an apparatus to perform at least the method according to the fourth aspect.

[0013] It is to be understood that the Summary section is not intended to identify key or essential features of embodiments of the present disclosure, nor is it intended to be used to limit the scope of the present disclosure. Other features of the present disclosure will become easily comprehensible through the following description.BRIEF DESCRIPTION OF THE DRAWINGS

[0014] Some example embodiments will now be described with reference to the  accompanying drawings, where:

[0015] FIG. 1 illustrates an example communication environment in which example embodiments of the present disclosure can be implemented;

[0016] FIG. 2 illustrates a signaling chart for a search and selection process of cooperation plan according to some example embodiments of the present disclosure;

[0017] FIG. 3 illustrates a schematic diagram of an example composition plan according to some example embodiments of the present disclosure;

[0018] FIG. 4 illustrates a signaling chart for mapping a composition according to some example embodiments of the present disclosure;

[0019] FIG. 5 illustrates a flowchart of a method implemented at a first device according to some example embodiments of the present disclosure;

[0020] FIG. 6 illustrates a flowchart of a method implemented at a second device according to some example embodiments of the present disclosure;

[0021] FIG. 7 illustrates a simplified block diagram of a device that is suitable for implementing example embodiments of the present disclosure; and

[0022] FIG. 8 illustrates a block diagram of an example computer readable medium in accordance with some example embodiments of the present disclosure.

[0023] Throughout the drawings, the same or similar reference numerals represent the same or similar element.DETAILED DESCRIPTION

[0024] Principle of the present disclosure will now be described with reference to some example embodiments. It is to be understood that these embodiments are described only for the purpose of illustration and help those skilled in the art to understand and implement the present disclosure, without suggesting any limitation as to the scope of the disclosure. Embodiments described herein can be implemented in various manners other than the ones described below.

[0025] In the following description and claims, unless defined otherwise, all technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skills in the art to which this disclosure belongs.

[0026] References in the present disclosure to “one embodiment, ” “an embodiment, ” “an example embodiment, ” and the like indicate that the embodiment described may include a particular feature, structure, or characteristic, but it is not necessary that every embodiment includes the particular feature, structure, or characteristic. Moreover, such phrases are not necessarily referring to the same embodiment. Further, when a particular feature, structure, or characteristic is described in connection with an embodiment, it is submitted that it is within the knowledge of one skilled in the art to affect such feature, structure, or characteristic in connection with other embodiments whether or not explicitly described.

[0027] It shall be understood that although the terms “first, ” “second, ” …, etc. in front of noun (s) and the like may be used herein to describe various elements, these elements should not be limited by these terms. These terms are only used to distinguish one element from another and they do not limit the order of the noun (s) . For example, a first element could be termed a second element, and similarly, a second element could be termed a first element, without departing from the scope of example embodiments. As used herein, the term “and / or” includes any and all combinations of one or more of the listed terms.

[0028] As used herein, “at least one of the following: <a list of two or more elements>” and “at least one of <a list of two or more elements>” and similar wording, where the list of two or more elements are joined by “and” or “or” , mean at least any one of the elements, or at least any two or more of the elements, or at least all the elements.

[0029] As used herein, unless stated explicitly, performing a step “in response to A” does not indicate that the step is performed immediately after “A” occurs and one or more intervening steps may be included.

[0030] The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of example embodiments. As used herein, the singular forms “a” , “an” and “the” are intended to include the plural forms as well, unless the context clearly indicates otherwise. It will be further understood that the terms “comprises” , “comprising” , “has” , “having” , “includes” and / or “including” , when used herein, specify the presence of stated features, elements, and / or components etc., but do not preclude the presence or addition of one or more other features, elements, components and / or combinations thereof.

[0031] As used in this application, the term “circuitry” may refer to one or more or all  of the following:

[0032] (a) hardware-only circuit implementations (such as implementations in only analog and / or digital circuitry) and

[0033] (b) combinations of hardware circuits and software, such as (as applicable) :

[0034] (i) a combination of analog and / or digital hardware circuit (s) with software / firmware and

[0035] (ii) any portions of hardware processor (s) with software (including digital signal processor (s) ) , software, and memory (ies) that work together to cause an apparatus, such as a mobile phone or server, to perform various functions) and

[0036] (c) hardware circuit (s) and or processor (s) , such as a microprocessor (s) or a portion of a microprocessor (s) , that requires software (e.g., firmware) for operation, but the software may not be present when it is not needed for operation.

[0037] This definition of circuitry applies to all uses of this term in this application, including in any claims. As a further example, as used in this application, the term circuitry also covers an implementation of merely a hardware circuit or processor (or multiple processors) or portion of a hardware circuit or processor and its (or their) accompanying software and / or firmware. The term circuitry also covers, for example and if applicable to the particular claim element, a baseband integrated circuit or processor integrated circuit for a mobile device or a similar integrated circuit in server, a cellular network device, or other computing or network device.

[0038] As used herein, the term “communication network” refers to a network following any suitable communication standards, such as New Radio (NR) , Long Term Evolution (LTE) , LTE-Advanced (LTE-A) , Wideband Code Division Multiple Access (WCDMA) , High-Speed Packet Access (HSPA) , Narrow Band Internet of Things (NB-IoT) and so on. Furthermore, the communications between a terminal device and a network device in the communication network may be performed according to any suitable generation communication protocols, including, but not limited to, the first generation (1G) , the second generation (2G) , 2.5G, 2.75G, the third generation (3G) , the fourth generation (4G) , 4.5G, the fifth generation (5G) , the sixth generation (6G) communication protocols, and / or  any other protocols either currently known or to be developed in the future. Embodiments of the present disclosure may be applied in various communication systems. Given the rapid development in communications, there will of course also be future type communication technologies and systems with which the present disclosure may be embodied. It should not be seen as limiting the scope of the present disclosure to only the aforementioned system.

[0039] As used herein, the term “network device” refers to a node in a communication network via which a terminal device accesses the network and receives services therefrom. The network device may refer to a base station (BS) or an access point (AP) , for example, a node B (NodeB or NB) , an evolved NodeB (eNodeB or eNB) , an NR NB (also referred to as a gNB) , a Remote Radio Unit (RRU) , a radio header (RH) , a remote radio head (RRH) , a relay, an Integrated Access and Backhaul (IAB) node, a low power node such as a femto, a pico, a non-terrestrial network (NTN) or non-ground network device such as a satellite network device, a low earth orbit (LEO) satellite and a geosynchronous earth orbit (GEO) satellite, an aircraft network device, and so forth, depending on the applied terminology and technology. In some example embodiments, radio access network (RAN) split architecture comprises a Centralized Unit (CU) and a Distributed Unit (DU) at an IAB donor node. An IAB node comprises a Mobile Terminal (IAB-MT) part that behaves like a UE toward the parent node, and a DU part of an IAB node behaves like a base station toward the next-hop IAB node.

[0040] The term “terminal device” refers to any end device that may be capable of wireless communication. By way of example rather than limitation, a terminal device may also be referred to as a communication device, user equipment (UE) , a Subscriber Station (SS) , a Portable Subscriber Station, a Mobile Station (MS) , or an Access Terminal (AT) . The terminal device may include, but not limited to, a mobile phone, a cellular phone, a smart phone, voice over IP (VoIP) phones, wireless local loop phones, a tablet, a wearable terminal device, a personal digital assistant (PDA) , portable computers, desktop computer, image capture terminal devices such as digital cameras, gaming terminal devices, music storage and playback appliances, vehicle-mounted wireless terminal devices, wireless endpoints, mobile stations, laptop-embedded equipment (LEE) , laptop-mounted equipment (LME) , USB dongles, smart devices, wireless customer-premises equipment (CPE) , an Internet of Things (IoT) device, a watch or other wearable, a head-mounted display (HMD) , a vehicle, a drone, a medical device and applications (e.g., remote  surgery) , an industrial device and applications (e.g., a robot and / or other wireless devices operating in an industrial and / or an automated processing chain contexts) , a consumer electronics device, a device operating on commercial and / or industrial wireless networks, and the like. The terminal device may also correspond to a Mobile Termination (MT) part of an IAB node (e.g., a relay node) . In the following description, the terms “terminal device” , “communication device” , “terminal” , “user equipment” and “UE” may be used interchangeably.

[0041] As used herein, the term “resource, ” “transmission resource, ” “resource block, ” “physical resource block” (PRB) , “uplink resource, ” or “downlink resource” may refer to any resource for performing a communication, for example, a communication between a terminal device and a network device, such as a resource in time domain, a resource in frequency domain, a resource in space domain, a resource in code domain, or any other combination of the time, frequency, space and / or code domain resource enabling a communication, and the like. In the following, unless explicitly stated, a resource in both frequency domain and time domain will be used as an example of a transmission resource for describing some example embodiments of the present disclosure. It is noted that example embodiments of the present disclosure are equally applicable to other resources in other domains.

[0042] As used herein, a machine learning (ML) entity or a ML instance may be an ML model or may contain an ML model and ML model related metadata. The ML entity may be managed as a single composite entity. In some example embodiments, the ML entity may be implemented as a MLApp.

[0043] Artificial intelligence (AI) or ML (AI / ML) models may be deployed in network entities for many use cases, including but not limited to, data analytics, prediction, recommendation derivation, performance optimization, energy consumption minimization and so on. Different AI / ML models may vary from AI / ML capabilities and algorithms.

[0044] AI / ML technologies can provide powerful learning, inferencing, and planning capabilities, thus which are widely used in a variety of fields to execute various tasks and functionalities. In addition to the group of use cases previously mentioned, as a wider group of use cases, there are instances of individual capabilities (e.g., functions, Apps, AI / ML models, and so on) existing in the RAN, CN, or OAM. Except their usually different own focus scopes and granularities, they usually share a part of their goals, their  input data, or / and their output implicitly or explicitly. Thus, it is often possible and preferred to cooperate multiple ML-enabled capabilities to achieve a given objective together, which would provide much better performance than each of them could otherwise achieve individually.

[0045] The cooperation may be a coordination between the otherwise independently behaving ML-enabled capabilities, so as to make them to achieve a job / objective together. The cooperation may also be a composition of two or more individual ML-enabled capabilities into one specific ML-capability to solve a specific task.

[0046] In an example scenario, an ML management service (MnS) consumer may request an ML MnS producer to configure triggers for prediction coordination between two or more ML capabilities. The triggers may be, such as, a threshold for their analytics deviation, the requested analytics and their output values, target network element, and interested area (e.g., geo or tracking TA) . The ML MnS producer may inform the ML MnS consumer with analytics outputs when triggered, while how to align those capabilities to remit the unpreferred derivation has not been given.

[0047] In both groups of the use cases, the AI / ML MnS consumer cannot provide its preference on how the two or more ML function instances should cooperate to achieve the needed result together.

[0048] To improve the cooperation among 5GC, RAN intelligence, OAM, the example embodiments of the present disclosure propose a solution for providing a cooperation plan and its execution with regards to the corresponding objective automatically. The MnS consumer provides an output and / or a goal to be fulfilled with multiple ML capabilities, and search for a valid cooperation plan defined by the MnS producer.

[0049] Example embodiments of the present disclosure will be described in detail below with reference to the accompanying drawings.

[0050] Example Environment

[0051] FIG. 1 illustrates an example network environment 100 in which example embodiments of the present disclosure can be implemented. The network environment 100 may comprise a cooperation MnS consumer 110, a cooperation MnS producer 120 and a repository 130. The cooperation MnS consumer 110 and the cooperation MnS producer 120 may communicate with each other.

[0052] The cooperation MnS consumer 110 may request a cooperation MnS function for a cooperation between independently behaving ML-enabled capabilities or ML entities to achieve a job / objective together. The cooperation may be a coordination between two or more individual ML-enabled capabilities and / or a coordination between two or more individual ML entities. Additionally, or alternatively, the cooperation may be a composition of two or more individual ML-enabled capabilities or ML entities into one specific ML-capability or one specific ML entity to solve a specific task or fulfil a certain goal.

[0053] The cooperation MnS function may be, for example, the cooperation MnS producer 120. In some example embodiments, the cooperation MnS consumer 110 may request the cooperation MnS consumer 120 for one or more cooperation plan option where the request includes at least one attribute indicating conditions and / or preference of the needed cooperation plan option.

[0054] The cooperation MnS producer 120 may determine at least one cooperation plan option that matches the request from the cooperation MnS consumer 110. In some example embodiments, the repository 130 may store a plurality of ML models or functions with different capabilities. The repository 130 may also store information or descriptions on individual ML models, relations among these ML models, information on ML model constructs, and so on. Alternatively, or additionally, the model internal details may not be stored on the repository 130.

[0055] The cooperation MnS producer 120 may access the repository 130 and retrieve needed information on ML models and their relations, and build at least one cooperation plan option based on the retrieved information. The cooperation MnS producer 120 may then provide the cooperation MnS consumer 110 with the at least one cooperation plan option.

[0056] The cooperation MnS consumer 110 may evaluate the cooperation plan option (s) . If not satisfying with any of them, the cooperation MnS consumer 110 may adjust the request, for example, by adjusting the attributes / values contained in the request, and make another round of search.

[0057] Otherwise, the cooperation MnS consumer 110 may select the most suitable cooperation plan option as the cooperation plan, and request the cooperation MnS producer 120 for instantiation, deployment and execution of the selected cooperation plan.  In this way, the cooperation MnS consumer 110 is able to search, select and deploy a cooperation plan defined by the cooperation MnS consumer 120.

[0058] In the context of the present disclosure, a cooperation plan may define a cooperation between multiple ML models, ML capabilities, or ML entities for fulfilling a certain goal. For example, the goal may include, but not limited to, data analytics, prediction, deriving recommendations for performing certain actions (e.g., reconfigurations) , performance optimization, energy consumption minimization, and so on.

[0059] It should be noted that the term “cooperation MnS” and "cooperation plan" may be differently named in any suitable standards. For example, the “cooperation MnS” may be also called “coordination MnS” , "cooperation plan" may be also called "coordination plan" . In the following embodiments, the terms “cooperation MnS consumer” and “coordination MnS consumer” and the terms “cooperation MnS producer” and “coordination MnS producer” may be used interchangeably.

[0060] It should be understood that additional entities or network functions may also be deployed in the network environment 100. For example, there may be one or more MnS consumers in the network environment 100 that request the cooperation MnS consumer 110 for a specific task or objective. Moreover, in some other embodiments, the repository 130 may not be provided as a discrete component, for example, the repository may be a part of the cooperation MnS consumer 120, and in this case, information retrieval is local to the cooperation MnS consumer 120. Thus, the present disclosure is not limited in this regard.

[0061] Communications in the communication environment 100 may be implemented according to any proper communication protocol (s) , comprising, but not limited to, cellular communication protocols of the first generation (1G) , the second generation (2G) , the third generation (3G) , the fourth generation (4G) , the fifth generation (5G) , the sixth generation (6G) , and the like, wireless local network communication protocols such as Institute for Electrical and Electronics Engineers (IEEE) 802.11 and the like, and / or any other protocols currently known or to be developed in the future. Moreover, the communication may utilize any proper wireless communication technology, comprising but not limited to: Code Division Multiple Access (CDMA) , Frequency Division Multiple Access (FDMA) , Time Division Multiple Access (TDMA) , Frequency Division Duplex  (FDD) , Time Division Duplex (TDD) , Multiple-Input Multiple-Output (MIMO) , Orthogonal Frequency Division Multiple (OFDM) , Discrete Fourier Transform spread OFDM (DFT-s-OFDM) and / or any other technologies currently known or to be developed in the future.

[0062] Work Principle and Example Signaling for Communication

[0063] FIG. 2 illustrates an example signaling diagram of a search and selection process 200 of cooperation plan according to some example embodiments of the present disclosure. For the purposes of discussion, the process 200 will be described with reference to FIG. 1, for example, by using the cooperation MnS consumer 110, the cooperation MnS producer 120, and the repository 130. However, as previously mentioned, the repository 130 may not be necessary for implementation of the example embodiments, and the proposed solution can be implemented without the repository 130.

[0064] It should be understood that in some embodiments, the terms “ML capability” and “ML entity” may be used interchangeably.

[0065] In the process 200, the cooperation MnS consumer 110 transmits (205) , to the cooperation MnS producer 120, a request for a cooperation plan of a plurality of ML capabilities or ML entities for fulfilling a goal. The request may comprise at least one attribute associated with the cooperation plan.

[0066] The plurality of ML capabilities or ML entities may vary from focus scopes and granularities, while share a part of their goals, their input data, or / and their output implicitly or explicitly. In the context of the present disclosure, the goal to be fulfilled may include, but not limited to, data analytics, prediction, deriving recommendations for performing certain actions (e.g., reconfigurations) , performance optimization, energy consumption minimization, and so on.

[0067] The at least one attribute associated with the cooperation plan may indicate conditions and preferences of the needed cooperation plan. In some example embodiments, the at least one attribute may include, but not limited to:

[0068] · an objective attribute: objective (output, input, or goal of the needed cooperation) , which indicates what is expected from the cooperation, i.e., the objective to be achieved by the cooperation plan. Here, the attribute and value of either the output or goal associated with the cooperation plan are mandatory to be provided, while the  attribute input associated with the cooperation plan is optional;

[0069] · an inclusion attribute: inclusion (model, env (module / package / library) , function) which tells what are those ML capabilities that the cooperation needs to use. In other words, the inclusion attribute indicates at least one ML capability to be included by the cooperation plan, and may include the following parameters: a ML model parameter, an environment parameter or a function parameter. Here, the attributes are optional;

[0070] · an exclusion attribute: exclusion (model, env (module / package / library) , function) which tells what are those ML capabilities that the cooperation must not use. In other words, the exclusion attribute indicates at least one ML capability not included by the cooperation plan, and may include the following parameters: the IDs of AI / ML models / algorithms / functions, an environment for execution of a ML model (e.g., the IDs of the modules, package, and library) . Here, the attributes are optional;

[0071] · a resource limit attribute: resourceLimit, which indicates at least one of a specific set of resources where their usages are limited by specific amount or manners. Energy consumption requirements may be used for resourceLimit as well. The resource limits can be given for the entire cooperation or specific components of the cooperation. Here, the attributes are optional;

[0072] · a performance attribute: performance (metrics (bestPossible, atLeast) ) which indicates a set of specific metrics where their performance value should be the best possible among the available cooperation plan option (s) or its component (s) , or above certain given values at least. The metrics can be given for the entire cooperation or specific components of the cooperation. Here, the attributes are optional.

[0073] In the following, several examples of resourceLimit are provided for illustrative purpose.

[0074] · resource. RLIMIT_CORE

[0075] The maximum size (in bytes) of a core file that the current process can create. This may result in the creation of a partial core file if a larger core would be required to contain the entire process image.

[0076] · resource. RLIMIT_CPU

[0077] The maximum amount of processor time (in seconds) that a process can use. If this limit is exceeded, a SIGXCPU signal is sent to the process. (See the signal module documentation for information about how to catch this signal and do something useful, e.g., flush open files to disk) .

[0078] · resource. RLIMIT_DATA

[0079] The maximum size (in bytes) of the process’s heap.

[0080] · resource. RLIMIT_STACK

[0081] The maximum size (in bytes) of the call stack for the current process. This only affects the stack of the main thread of a multi-threaded process.

[0082] Table 1 shows specific definitions of the above attributes and parameters for the cooperation request.

[0083] Table . 1 Definitions of the attributes and parameters for a request for a cooperation plan

[0084] In some example embodiments, the request for the cooperation plan may further indicate a cooperation type, e.g., an attribute “cooperationOperation” . For example, by setting the “cooperationOperation” to be “coordinationOption” , it maps to a request for a coordination plan between the ML capabilities. Similarly, by setting the “cooperationOperation” to be “compositionOption” , it maps to a request for a composition plan associated with a composition of the ML capabilities for fulfilling the goal.

[0085] An example of the request for composition plan is shown below:

[0086] In the above example, the construct is a machine-readable table containing the information as shown in FIG. 3, which illustrate a schematic diagram of an example composition plan according to some example embodiments of the present disclosure. As  shown in FIG. 3, the output of this construct is param10 that is generated by Model1. Model1 takes param1, param2, param3, param14, and the param11 output by Model2 as its input to produce the param10. Model2 takes param1, param2, and param4 as its input to produce its output param11. Model1 and Model2 must work together to produce the output param10.

[0087] Referring back to FIG. 2, the cooperation MnS producer 120 obtains (210) , based on the at least one attribute associated with the cooperation plan, at least one candidate option of the cooperation plan available for fulfilling the goal. In other words, the cooperation MnS producer 120 may find any option of the cooperation plan that matches the cooperation MnS consumer 110’s request.

[0088] To this end, in some example embodiments, upon receipt of the cooperation request from the cooperation MnS consumer 110, the cooperation MnS producer 120 may define a query and access the repository 130 for AI / ML model, App, function information and descriptions and / or their relations. The candidate option of the cooperation plan available for fulfilling the goal is built based on the retrieved information.

[0089] As shown in FIG. 2, in these embodiments, the cooperation MnS producer 120 may transmit (215) , to the repository 130, a query of information on a plurality of ML models or ML entities that match the at least one attribute.

[0090] The cooperation MnS producer 120 may retrieve (220) , from the repository 130, the information on the plurality of ML models or ML entities. The cooperation MnS producer 120 may then determine at least one candidate option of the cooperation plan based on the retrieved information.

[0091] Alternatively, in some other embodiments, the cooperation MnS producer 120 may determine at least one candidate option of the cooperation plan locally. For example, the cooperation MnS producer 120 may determine information on a plurality of ML models or ML entities that match the at least one attribute. The cooperation MnS producer 120 may then determine at least one candidate option of the cooperation plan based on the information on the plurality of ML models or ML entities.

[0092] The cooperation MnS producer 120 may transmit (225) , to the cooperation MnS consumer 110, a response for the cooperation plan indicating the at least one candidate option of the cooperation plan.

[0093] In some example embodiments, the response for the cooperation plan may include the cooperation type and the respective candidate option (s) each identified by an ID, a corresponding construct and performance, as defined in Table 1.

[0094] In some cases, the candidate option of the cooperation plan may not provide the cooperation MnS consumer 110 with internal details of related ML models or capabilities.

[0095] The cooperation MnS consumer 110 evaluates (230) the at least one candidate option for determining a target option of the cooperation plan.

[0096] The evaluation may be based on one or more predetermined criteria, e.g., the best performing options or the least energy consuming option out of all available candidate options. The evaluation may further include checking the single model solutions against predefined criteria, e.g., performance or energy consumption requirements.

[0097] In some example embodiments, if the cooperation MnS consumer 110 determines that at least a part of the plurality of candidate options meets a first criterion, the cooperation MnS consumer 110 may select the target option from at least the part of the plurality of candidate options based on a second criterion. The second criterion may indicate, for example, at least one of a performance requirement or an energy consumption requirement.

[0098] In this case, the cooperation MnS consumer 110 may then transmit (235) a request for execution of the selected option to the cooperation MnS producer 120.

[0099] Upon receipt of the request from the cooperation MnS consumer 110, the cooperation MnS producer 120 may execute (240) the selected option of the cooperation plan for fulfilling the goal. The execution of a cooperation plan may include, for example, instantiation and deployment of the cooperation plan.

[0100] Otherwise, if none of the at least one candidate option meets the first criteria, the cooperation MnS consumer 110 may perform another round of search and selection of the cooperation plan with the cooperation MnS producer 120. For example, the cooperation MnS consumer 110 may adjust at least a part of attributes associated with the cooperation plan, and transmit a further request for the cooperation plan that comprises at least the part of the attributes associated with the cooperation plan.

[0101] According to the example embodiments of the present disclosure, there is provided a solution for improving cooperation between ML capabilities. With this  solution, the consumer can search, select, and deploy a cooperation plan defined by the CooperationMnS Producer. This enables task-oriented coordination of different ML capabilities from training to inference.

[0102] FIG. 4 illustrates a signaling chart for mapping a composition of a plurality of ML capabilities according to some example embodiments of the present disclosure. The mapping process 400 involves at least a MnS consumer 402, a Network Data Analytics Function (NWDAF) containing analytics logic function (AnLF) 404, a NWDAF containing Model Training Logical Function (MTLF) 406 and a repository 408. Moreover, the mapping of the composition as shown in FIG. 4 may be regarded as a potential Rel-19 extension for the NWDAF framework.

[0103] In the example of FIG. 4, the MnS consumer 402 may be, for example, an analytics consumer that requests a specific analytic. The NWDAF containing AnLF 404 and the NWDAF containing MTLF 406 may be, for example, the cooperation MnS consumer 110 and the cooperation MnS product 120 as shown in FIG. 1. The NWDAF containing AnLF 404 may subscribe / unsubscribe at the NWDAF containing MTLF 406.

[0104] In the process 400, the MnS consumer 402 transmits (405) a request for fulfilling a goal to the NWDAF containing AnLF 404. For example, the analytics consumer may request a specific analytic that comprises an analytics ID, e.g., related to UE behaviour analytics.

[0105] The NWDAF containing AnLF 404 determines, based on the analytics ID, a cooperation between the plurality of ML capabilities for fulfilling the goal. For example, the NWDAF containing AnLF 404 may determine to use a composition of ML models in order to provide requested analytics. This may be due to a fact that ML composition provides a better performance than existing single ML model. Accordingly, the NWDAF may need to explore different options of ML model composition, evaluate such options (e.g., against the single model approach) , and select an option that is above a predetermined threshold, or the most suitable option.

[0106] In order to do so, the NWDAF containing AnLF 404 generates (410) a request for the cooperation plan of the plurality of ML capabilities for fulfilling the goal. In particular, the NWDAF containing AnLF 404 needs to define a compositionOption request that describes the objective and goal of the request and provides requirements and constraints, e.g., in terms of inclusion / exclusion of ML models, performance requirements,  energy consumption requirements of the composition or individual components.

[0107] The NWDAF containing AnLF 404 subscribes (415) at the NWDAF containing MTLF 406 to be notified when ML model composition information on the related analytics becomes available, using the extension of existing Nnwdaf_MLModelProvision services and which is able to handle request for ML composition options, namely Nnwdaf_MLModelCompositionProvision_Subscribe, specifying all the constrains and requirements that the ML composition should fulfil.

[0108] The NWDAF containing MTLF 406 defines (420) corresponding queries towards the repository 408. The repository 408 may be a database that contains ML models, information on individual ML models as well as relations among these models, or information on ML constructs. In the context of 3GPP SA2, such a database may be realized by means of Analytics Data Repository Function (ADRF) . The NWDAF containing MTLF 406 retrieves (425) the needed information on ML models and their relations and builds (430) composition options based on retrieved information.

[0109] The NWDAF containing MTLF 406 then notifies (435) the NWDAF containing AnLF 404 on different composition options that satisfy required criteria.

[0110] The NWDAF containing AnLF 404 evaluates (440) the available composition options, and selects one composition option based on some predefined criteria, e.g., a threshold, the best performing options, or the least energy consuming option out of all available composition options. The evaluation may further include checking the single model solutions against predefined criteria, e.g., performance or energy consumption requirements.

[0111] The NWDAF containing AnLF 404 requests (445) the selected ML composition option using the extension of existing Nnwdaf_MLModelInfo_Request service which is able to handle request for selected ML composition option, namely Nnwdaf_MLModelCompositionInfo_Request, specifying the ID of the selected ML composition option.

[0112] Upon receipt of the request from the NWDAF containing AnLF 404, the NWDAF containing MTLF 406 may execute the selected ML composition option. The NWDAF containing MTLF 406 then provides (450) a corresponding response using the Nnwdaf_MLModelCompositionInfo_Request response, e.g., an extension of existing  Nnwdaf_MLModelInfo_Request response.

[0113] After receipt of the response from the NWDAF containing MTLF 406, the NWDAF containing AnLF 404 provides (455) the requested analytics using the best matching composition option to the MnS consumer 402.

[0114] Example Methods

[0115] FIG. 5 shows a flowchart of an example method 500 implemented at an apparatus in accordance with some example embodiments of the present disclosure. For the purpose of discussion, the method 500 will be described from the perspective of the cooperation MnS consumer 110 in FIG. 1.

[0116] At block 510, the apparatus transmits, to a cooperation MnS producer, a request for a cooperation plan of a plurality of machine learning capabilities for fulfilling a goal. The request comprises at least one attribute associated with the cooperation plan.

[0117] At block 520, the apparatus receives, from the cooperation MnS producer, a response for the cooperation plan indicating at least one candidate option of the cooperation plan available for fulfilling the goal.

[0118] At block 530, the apparatus evaluates the at least one candidate option for determining a target option of the cooperation plan.

[0119] In some example embodiments, the at least one attribute may comprise at least one of the following: an objective attribute indicating an objective to be achieved by the cooperation plan, and comprising at least one of the following: an output, an input or the goal associated with the cooperation plan, an inclusion attribute indicating at least one capability to be included by the cooperation plan, and comprising at least one of the following parameters: a machine learning model parameter, an environment parameter, or a function parameter, an exclusion attribute indicating at least one capability not included by the cooperation plan, and comprising at least one of an identity of an artificial intelligence or machine learning algorithm, an environment for execution of a machine learning model, or an identity of a function, a resource limit attribute indicating at least one of a set of resources limited for the cooperation plan or an energy consumption requirement, or a performance attribute indicating at least one metric, and a manner criterion for achieving a performance requirement on the at least one metric, wherein a performance value of the at least one metric exceeds a predetermined value among a  plurality of available cooperation plan options.

[0120] In some example embodiments, the request for the cooperation plan may further indicate a cooperation type comprising one of the following: a coordination between the plurality of machine learning capabilities, or a composition of the plurality of machine learning capabilities for fulfilling the goal.

[0121] In some example embodiments, the response for the cooperation plan may comprise a cooperation option attribute associated with the at least one candidate option, and the cooperation option attribute is identified by an ID attribute, a construct attribute, and a performance attribute, wherein the construct attribute indicates a plurality of components of the cooperation plan and a relation between the plurality of components, and the performance attribute indicates at least one metric, a performance value of the at least one metric exceeds a predetermined value among a plurality of available cooperation plan options.

[0122] In some example embodiments, the method 500 may further comprise: in accordance with a determination that none of the at least one candidate option meets a first criteria, adjusting at least a part of attributes associated with the cooperation plan; and transmitting a further request for the cooperation plan of the plurality of machine learning capabilities for fulfilling the goal, the further request comprising at least the part of the attributes associated with the cooperation plan.

[0123] In some example embodiments, the at least one candidate option may comprise a plurality of candidate options, and the method 500 may further comprise: in accordance with a determination that at least a part of the plurality of candidate options meets a first criterion, selecting the target option from at least the part of the plurality of candidate options based on a second criterion.

[0124] In some example embodiments, the second criterion may indicate at least one of a performance requirement or an energy consumption requirement.

[0125] In some example embodiments, the method 500 may further comprise: receiving, from a MnS consumer, a request for fulfilling the goal comprising an analytics identity; determining, based on the analytics identity, a cooperation between the plurality of machine learning capabilities for fulfilling the goal; and generating the request for the cooperation plan of the plurality of machine learning capabilities for fulfilling the goal.

[0126] In some example embodiments, the goal to be fulfilled may comprise one of the following: data analytics, prediction, recommendation derivation, performance optimization, or energy consumption minimization.

[0127] FIG. 6 shows a flowchart of an example method 600 implemented at an apparatus in accordance with some example embodiments of the present disclosure. For the purpose of discussion, the method 600 will be described from the perspective of the cooperation MnS producer 120 in FIG. 1.

[0128] At block 610, the apparatus receives, from a cooperation MnS consumer, a request for a cooperation plan of a plurality of machine learning capabilities for fulfilling a goal. The request comprises at least one attribute associated with the cooperation plan.

[0129] At block 620, the apparatus obtains, based on the at least one attribute associated with the cooperation plan, at least one candidate option of the cooperation plan available for fulfilling the goal.

[0130] At block 630, the apparatus transmits, to the cooperation MnS consumer 110, a response for the cooperation plan indicating the at least one candidate option of the cooperation plan.

[0131] In some example embodiments, the at least one attribute may comprise at least one of the following: an objective attribute indicating an objective to be achieved by the cooperation plan, and comprising at least one of the following: an output, an input or the goal associated with the cooperation plan, an inclusion attribute indicating at least one capability to be included by the cooperation plan, and comprising at least one of the following parameters: a machine learning model parameter, an environment parameter, or a function parameter, an exclusion attribute indicating at least one capability not included by the cooperation plan, and comprising at least one of an identity of an artificial intelligence or machine learning algorithm, an environment for execution of a machine learning model, or an identity of a function, a resource limit attribute indicating a set of resources limited for the cooperation plan, or a performance attribute indicating at least one metric, wherein a performance value of the at least one metric is the best possible among a plurality of available cooperation plan options.

[0132] In some example embodiments, the request for the cooperation plan may further indicate a cooperation type comprising one of the following: a coordination between the  plurality of machine learning capabilities, or a composition of the plurality of machine learning capabilities for fulfilling the goal.

[0133] In some example embodiments, the response for the cooperation plan may comprise a cooperation option attribute associated with the at least one candidate option, and the cooperation option attribute is identified by an ID attribute, a construct attribute, and a performance attribute, wherein the construct attribute indicates a plurality of components of the cooperation plan and a relation between the plurality of components, and the performance attribute indicates at least one metric, a performance value of the at least one metric is the best possible among a plurality of available cooperation plan options.

[0134] In some example embodiments, the apparatus may obtain the at least one candidate option of the cooperation plan by: determining information on a plurality of machine learning models that match the at least one attribute; and determining, based on the information on the plurality of machine learning models, the at least one candidate option of the cooperation plan.

[0135] In some example embodiments, the apparatus may obtain the at least one candidate option of the cooperation plan by: transmitting, to a repository, a query of information on a plurality of machine learning models that match the at least one attribute; retrieving, from the repository, the information on the plurality of machine learning models; and determining, based on the retrieved information, the at least one candidate option of the cooperation plan.

[0136] In some example embodiments, the information on the plurality of machine learning models may comprise at least one of the following: information on individual machine learning models, at least one relation among the plurality of machine learning models, machine learning model construct information, or at least one available cooperation plan of the plurality of machine learning models.

[0137] In some example embodiments, the method 600 may further comprise: receiving, a further request for the cooperation plan of the plurality of machine learning capabilities for fulfilling the goal, the further request comprising at least one adjusted attribute associated with the cooperation plan; obtaining, based on the at least one adjusted attribute, at least one candidate option of the cooperation plan available for fulfilling the goal; and transmitting, to the cooperation management service consumer, a further response for the  cooperation plan indicating the at least one candidate option of the cooperation plan.

[0138] Example Apparatus, Device and Medium

[0139] In some example embodiments, a first apparatus capable of performing any of the method 500 (for example, the cooperation MnS consumer 110 in FIG. 1) may comprise means for performing the respective operations of the method 500. The means may be implemented in any suitable form. For example, the means may be implemented in a circuitry or software module. The first apparatus may be implemented as or included in the cooperation MnS consumer 110 in FIG. 1.

[0140] In some example embodiments, the first apparatus comprises means for transmitting, to a cooperation MnS producer, a request for a cooperation plan of a plurality of machine learning capabilities for fulfilling a goal, the request comprising at least one attribute associated with the cooperation plan; means for receiving, from the cooperation management service producer, a response for the cooperation plan indicating at least one candidate option of the cooperation plan available for fulfilling the goal; and means for evaluating the at least one candidate option for determining a target option of the cooperation plan.

[0141] In some example embodiments, the at least one attribute comprises at least one of the following: an objective attribute indicating an objective to be achieved by the cooperation plan, and comprising at least one of the following: an output, an input or the goal associated with the cooperation plan, an inclusion attribute indicating at least one capability to be included by the cooperation plan, and comprising at least one of the following parameters: a machine learning model parameter, an environment parameter, or a function parameter, an exclusion attribute indicating at least one capability not included by the cooperation plan, and comprising at least one of an identity of an artificial intelligence or machine learning algorithm, an environment for execution of a machine learning model, or an identity of a function, a resource limit attribute indicating at least one of a set of resources limited for the cooperation plan or an energy consumption requirement, or a performance attribute indicating at least one metric, and a manner criterion for achieving a performance requirement on the at least one metric, wherein a performance value of the at least one metric exceeds a predetermined value among a plurality of available cooperation plan options.

[0142] In some example embodiments, the request for the cooperation plan further  indicates a cooperation type comprising one of the following: a coordination between the plurality of machine learning capabilities, or a composition of the plurality of machine learning capabilities for fulfilling the goal.

[0143] In some example embodiments, the response for the cooperation plan comprises a cooperation option attribute associated with the at least one candidate option, and the cooperation option attribute is identified by an ID attribute, a construct attribute, and a performance attribute, wherein the construct attribute indicates a plurality of components of the cooperation plan and a relation between the plurality of components, and the performance attribute indicates at least one metric, a performance value of the at least one metric exceeds a predetermined value among a plurality of available cooperation plan options.

[0144] In some example embodiments, the first apparatus further comprises: means for in accordance with a determination that none of the at least one candidate option meets a first criteria, adjusting at least a part of attributes associated with the cooperation plan; and means for transmitting a further request for the cooperation plan of the plurality of machine learning capabilities for fulfilling the goal, the further request comprising at least the part of the attributes associated with the cooperation plan.

[0145] In some example embodiments, the at least one candidate option comprises a plurality of candidate options, and wherein the first apparatus further comprises: means for in accordance with a determination that at least a part of the plurality of candidate options meets a first criterion, selecting the target option from at least the part of the plurality of candidate options based on a second criterion.

[0146] In some example embodiments, the second criterion indicates at least one of a performance requirement or an energy consumption requirement.

[0147] In some example embodiments, the first apparatus further comprises: means for receiving, from a management service consumer, a request for fulfilling the goal comprising an analytics identity; means for determining, based on the analytics identity, a cooperation between the plurality of machine learning capabilities for fulfilling the goal; and generating the request for the cooperation plan of the plurality of machine learning capabilities for fulfilling the goal.

[0148] In some example embodiments, the goal to be fulfilled comprises one of the  following: data analytics, prediction, recommendation derivation, performance optimization, or energy consumption minimization .

[0149] In some example embodiments, a second apparatus capable of performing any of the method 600 (for example, the cooperation MnS producer 120 in FIG. 1) may comprise means for performing the respective operations of the method 600. The means may be implemented in any suitable form. For example, the means may be implemented in a circuitry or software module. The second apparatus may be implemented as or included in the cooperation MnS producer 120 in FIG. 1.

[0150] In some example embodiments, the second apparatus comprises means for receiving, at a cooperation MnS producer and from a cooperation management service consumer, a request for a cooperation plan of a plurality of machine learning capabilities for fulfilling a goal, the request comprising at least one attribute associated with the cooperation plan; means for obtaining, based on the at least one attribute associated with the cooperation plan, at least one candidate option of the cooperation plan available for fulfilling the goal; and means for transmitting, to the cooperation management service consumer, a response for the cooperation plan indicating the at least one candidate option of the cooperation plan.

[0151] In some example embodiments, the at least one attribute comprises at least one of the following: an objective attribute indicating an objective to be achieved by the cooperation plan, and comprising at least one of the following: an output, an input or the goal associated with the cooperation plan, an inclusion attribute indicating at least one capability to be included by the cooperation plan, and comprising at least one of the following parameters: a machine learning model parameter, an environment parameter, or a function parameter, an exclusion attribute indicating at least one capability not included by the cooperation plan, and comprising at least one of an identity of an artificial intelligence or machine learning algorithm, an environment for execution of a machine learning model, or an identity of a function, a resource limit attribute indicating a set of resources limited for the cooperation plan, or a performance attribute indicating at least one metric, wherein a performance value of the at least one metric is the best possible among a plurality of available cooperation plan options.

[0152] In some example embodiments, the request for the cooperation plan further indicates a cooperation type comprising one of the following: a coordination between the  plurality of machine learning capabilities, or a composition of the plurality of machine learning capabilities for fulfilling the goal.

[0153] In some example embodiments, the response for the cooperation plan comprises a cooperation option attribute associated with the at least one candidate option, and the cooperation option attribute is identified by an ID attribute, a construct attribute, and a performance attribute, wherein the construct attribute indicates a plurality of components of the cooperation plan and a relation between the plurality of components, and the performance attribute indicates at least one metric, a performance value of the at least one metric is the best possible among a plurality of available cooperation plan options.

[0154] In some example embodiments, the means for obtaining the at least one candidate option of the cooperation plan comprises: means for determining information on a plurality of machine learning models that match the at least one attribute; and means for determining, based on the information on the plurality of machine learning models, the at least one candidate option of the cooperation plan.

[0155] In some example embodiments, the means for obtaining the at least one candidate option of the cooperation plan comprises: means for transmitting, to a repository, a query of information on a plurality of machine learning models that match the at least one attribute; means for retrieving, from the repository, the information on the plurality of machine learning models; and means for determining, based on the retrieved information, the at least one candidate option of the cooperation plan.

[0156] In some example embodiments, the information on the plurality of machine learning models comprises at least one of the following: information on individual machine learning models, at least one relation among the plurality of machine learning models, machine learning model construct information, or at least one available cooperation plan of the plurality of machine learning models.

[0157] In some example embodiments, the second apparatus further comprises: means for receiving, a further request for the cooperation plan of the plurality of machine learning capabilities for fulfilling the goal, the further request comprising at least one adjusted attribute associated with the cooperation plan; means for obtaining, based on the at least one adjusted attribute, at least one candidate option of the cooperation plan available for fulfilling the goal; and means for transmitting, to the cooperation management service consumer, a further response for the cooperation plan indicating the  at least one candidate option of the cooperation plan.

[0158] FIG. 7 is a simplified block diagram of a device 700 that is suitable for implementing example embodiments of the present disclosure. The device 700 may be provided to implement a network entity, for example, the cooperation MnS consumer 110 or the cooperation MnS producer 120 as shown in FIG. 1. As shown, the device 700 includes one or more processors 710, one or more memories 720 coupled to the processor 710, and one or more communication modules 740 coupled to the processor 710.

[0159] The communication module 740 is for bidirectional communications. The communication module 740 has one or more communication interfaces to facilitate communication with one or more other modules or devices. The communication interfaces may represent any interface that is necessary for communication with other network elements. In some example embodiments, the communication module 740 may include at least one antenna.

[0160] The processor 710 may be of any type suitable to the local technical network and may include one or more of the following: general purpose computers, special purpose computers, microprocessors, digital signal processors (DSPs) and processors based on multicore processor architecture, as non-limiting examples. The device 700 may have multiple processors, such as an application specific integrated circuit chip that is slaved in time to a clock which synchronizes the main processor.

[0161] The memory 720 may include one or more non-volatile memories and one or more volatile memories. Examples of the non-volatile memories include, but are not limited to, a Read Only Memory (ROM) 724, an electrically programmable read only memory (EPROM) , a flash memory, a hard disk, a compact disc (CD) , a digital video disk (DVD) , an optical disk, a laser disk, and other magnetic storage and / or optical storage. Examples of the volatile memories include, but are not limited to, a random access memory (RAM) 722 and other volatile memories that will not last in the power-down duration.

[0162] A computer program 730 includes computer executable instructions that are executed by the associated processor 710. The instructions of the program 730 may include instructions for performing operations / acts of some example embodiments of the present disclosure. The program 730 may be stored in the memory, e.g., the ROM 724. The processor 710 may perform any suitable actions and processing by loading the  program 730 into the RAM 722.

[0163] The example embodiments of the present disclosure may be implemented by means of the program 730 so that the device 700 may perform any process of the disclosure as discussed with reference to FIG. 2 to FIG. 6. The example embodiments of the present disclosure may also be implemented by hardware or by a combination of software and hardware.

[0164] In some example embodiments, the program 730 may be tangibly contained in a computer readable medium which may be included in the device 700 (such as in the memory 720) or other storage devices that are accessible by the device 700. The device 700 may load the program 730 from the computer readable medium to the RAM 722 for execution. In some example embodiments, the computer readable medium may include any types of non-transitory storage medium, such as ROM, EPROM, a flash memory, a hard disk, CD, DVD, and the like. The term “non-transitory, ” as used herein, is a limitation of the medium itself (i.e., tangible, not a signal) as opposed to a limitation on data storage persistency (e.g., RAM vs. ROM) .

[0165] FIG. 8 shows an example of the computer readable medium 800 which may be in form of CD, DVD or other optical storage disk. The computer readable medium 800 has the program 730 stored thereon.

[0166] Generally, various embodiments of the present disclosure may be implemented in hardware or special purpose circuits, software, logic or any combination thereof. Some aspects may be implemented in hardware, and other aspects may be implemented in firmware or software which may be executed by a controller, microprocessor or other computing device. Although various aspects of embodiments of the present disclosure are illustrated and described as block diagrams, flowcharts, or using some other pictorial representations, it is to be understood that the block, apparatus, system, technique or method described herein may be implemented in, as non-limiting examples, hardware, software, firmware, special purpose circuits or logic, general purpose hardware or controller or other computing devices, or some combination thereof.

[0167] Some example embodiments of the present disclosure also provide at least one computer program product tangibly stored on a computer readable medium, such as a non-transitory computer readable medium. The computer program product includes computer-executable instructions, such as those included in program modules, being executed in a  device on a target physical or virtual processor, to carry out any of the methods as described above. Generally, program modules include routines, programs, libraries, objects, classes, components, data structures, or the like that perform particular tasks or implement particular abstract data types. The functionality of the program modules may be combined or split between program modules as desired in various embodiments. Machine-executable instructions for program modules may be executed within a local or distributed device. In a distributed device, program modules may be located in both local and remote storage media.

[0168] Program code for carrying out methods of the present disclosure may be written in any combination of one or more programming languages. The program code may be provided to a processor or controller of a general purpose computer, special purpose computer, or other programmable data processing apparatus, such that the program code, when executed by the processor or controller, cause the functions / operations specified in the flowcharts and / or block diagrams to be implemented. The program code may execute entirely on a machine, partly on the machine, as a stand-alone software package, partly on the machine and partly on a remote machine or entirely on the remote machine or server.

[0169] In the context of the present disclosure, the computer program code or related data may be carried by any suitable carrier to enable the device, apparatus or processor to perform various processes and operations as described above. Examples of the carrier include a signal, computer readable medium, and the like.

[0170] The computer readable medium may be a computer readable signal medium or a computer readable storage medium. A computer readable medium may include but not limited to an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any suitable combination of the foregoing. More specific examples of the computer readable storage medium would include an electrical connection having one or more wires, a portable computer diskette, a hard disk, a random access memory (RAM) , a read-only memory (ROM) , an erasable programmable read-only memory (EPROM or Flash memory) , an optical fiber, a portable compact disc read-only memory (CD-ROM) , an optical storage device, a magnetic storage device, or any suitable combination of the foregoing.

[0171] Further, although operations are depicted in a particular order, this should not be understood as requiring that such operations be performed in the particular order shown  or in sequential order, or that all illustrated operations be performed, to achieve desirable results. In certain circumstances, multitasking and parallel processing may be advantageous. Likewise, although several specific implementation details are contained in the above discussions, these should not be construed as limitations on the scope of the present disclosure, but rather as descriptions of features that may be specific to particular embodiments. Unless explicitly stated, certain features that are described in the context of separate embodiments may also be implemented in combination in a single embodiment. Conversely, unless explicitly stated, various features that are described in the context of a single embodiment may also be implemented in a plurality of embodiments separately or in any suitable sub-combination.

[0172] Although the present disclosure has been described in languages specific to structural features and / or methodological acts, it is to be understood that the present disclosure defined in the appended claims is not necessarily limited to the specific features or acts described above. Rather, the specific features and acts described above are disclosed as example forms of implementing the claims.

Claims

1.An apparatus comprising:at least one processor; andat least one memory storing instructions that, when executed by the at least one processor, cause the apparatus at least to:transmit, at a cooperation management service consumer and to a cooperation management service producer, a request for a cooperation plan of a plurality of machine learning capabilities for fulfilling a goal, the request comprising at least one attribute associated with the cooperation plan;receive, from the cooperation management service producer, a response for the cooperation plan indicating at least one candidate option of the cooperation plan available for fulfilling the goal; andevaluate the at least one candidate option for determining a target option of the cooperation plan.2.The apparatus of claim 1, wherein the at least one attribute comprises at least one of the following:an objective attribute indicating an objective to be achieved by the cooperation plan, and comprising at least one of the following: an output, an input or the goal associated with the cooperation plan,an inclusion attribute indicating at least one capability to be included by the cooperation plan, and comprising at least one of the following parameters: a machine learning model parameter, an environment parameter, or a function parameter,an exclusion attribute indicating at least one capability not included by the cooperation plan, and comprising at least one of an identity of an artificial intelligence or machine learning algorithm, an environment for execution of a machine learning model, or an identity of a function,a resource limit attribute indicating at least one of a set of resources limited for the cooperation plan or an energy consumption requirement, ora performance attribute indicating at least one metric, and a manner criterion for achieving a performance requirement on the at least one metric, wherein a performance value of the at least one metric exceeds a predetermined value among a plurality of available cooperation plan options.3.The apparatus of claim 1 or 2, wherein the request for the cooperation plan further indicates a cooperation type comprising one of the following:a coordination between the plurality of machine learning capabilities, ora composition of the plurality of machine learning capabilities for fulfilling the goal.4.The apparatus of claim 1, wherein the response for the cooperation plan comprises a cooperation option attribute associated with the at least one candidate option, and the cooperation option attribute is identified by an ID attribute, a construct attribute, and a performance attribute, wherein the construct attribute indicates a plurality of components of the cooperation plan and a relation between the plurality of components, and the performance attribute indicates at least one metric, a performance value of the at least one metric exceeds a predetermined value among a plurality of available cooperation plan options.5.The apparatus of claim 1, wherein the apparatus is further caused to:in accordance with a determination that none of the at least one candidate option meets a first criteria, adjust at least a part of attributes associated with the cooperation plan; andtransmit a further request for the cooperation plan of the plurality of machine learning capabilities for fulfilling the goal, the further request comprising at least the part of the attributes associated with the cooperation plan.6.The apparatus of claim 1 or 5, wherein the at least one candidate option comprises a plurality of candidate options, and wherein apparatus is further caused to:in accordance with a determination that at least a part of the plurality of candidate options meets a first criterion, select the target option from at least the part of the plurality of candidate options based on a second criterion.7.The apparatus of claim 6, wherein the second criterion indicates at least one of a performance requirement or an energy consumption requirement.8.The apparatus of claim 1, wherein apparatus is further caused to:receive, from a management service consumer, a request for fulfilling the goal comprising an analytics identity;determine, based on the analytics identity, a cooperation between the plurality of machine learning capabilities for fulfilling the goal; andgenerate the request for the cooperation plan of the plurality of machine learning capabilities for fulfilling the goal.9.The apparatus of claim 1, wherein the goal to be fulfilled comprises one of the following: data analytics, prediction, recommendation derivation, performance optimization, or energy consumption minimization.10.An apparatus comprising:at least one processor; andat least one memory storing instructions that, when executed by the at least one processor, cause the apparatus at least to:receive, at a cooperation management service producer and from a cooperation management service consumer, a request for a cooperation plan of a plurality of machine learning capabilities for fulfilling a goal, the request comprising at least one attribute associated with the cooperation plan;obtain, based on the at least one attribute associated with the cooperation plan, at least one candidate option of the cooperation plan available for fulfilling the goal; andtransmit, to the cooperation management service consumer, a response for the cooperation plan indicating the at least one candidate option of the cooperation plan.11.The apparatus of claim 10, wherein the at least one attribute comprises at least one of the following:an objective attribute indicating an objective to be achieved by the cooperation plan, and comprising at least one of the following: an output, an input or the goal associated with the cooperation plan,an inclusion attribute indicating at least one capability to be included by the cooperation plan, and comprising at least one of the following parameters: a machine learning model parameter, an environment parameter, or a function parameter,an exclusion attribute indicating at least one capability not included by the cooperation plan, and comprising at least one of an identity of an artificial intelligence or machine learning algorithm, an environment for execution of a machine learning model, or an identity of a function,a resource limit attribute indicating a set of resources limited for the cooperation plan, ora performance attribute indicating at least one metric, wherein a performance value of the at least one metric is the best possible among a plurality of available cooperation plan options.12.The apparatus of claim 10 or 11, wherein the request for the cooperation plan further indicates a cooperation type comprising one of the following:a coordination between the plurality of machine learning capabilities, ora composition of the plurality of machine learning capabilities for fulfilling the goal.13.The apparatus of claim 10, wherein the response for the cooperation plan comprises a cooperation option attribute associated with the at least one candidate option, and the cooperation option attribute is identified by an ID attribute, a construct attribute, and a performance attribute, wherein the construct attribute indicates a plurality of components of the cooperation plan and a relation between the plurality of components, and the performance attribute indicates at least one metric, a performance value of the at least one metric is the best possible among a plurality of available cooperation plan options.14.The apparatus of claim 10, wherein the apparatus is caused to obtain the at least one candidate option of the cooperation plan by:determining information on a plurality of machine learning models that match the at least one attribute; anddetermining, based on the information on the plurality of machine learning models, the at least one candidate option of the cooperation plan.15.The apparatus of claim 10, wherein the apparatus is caused to obtain the at least one candidate option of the cooperation plan by:transmitting, to a repository, a query of information on a plurality of machine learning models that match the at least one attribute;retrieving, from the repository, the information on the plurality of machine learning models; anddetermining, based on the retrieved information, the at least one candidate option of the cooperation plan.16.The apparatus of claim 15, wherein the information on the plurality of machine learning models comprises at least one of the following:information on individual machine learning models,at least one relation among the plurality of machine learning models,machine learning model construct information, orat least one available cooperation plan of the plurality of machine learning models.17.The apparatus of claim 10, wherein the apparatus is further caused to:receive, a further request for the cooperation plan of the plurality of machine learning capabilities for fulfilling the goal, the further request comprising at least one adjusted attribute associated with the cooperation plan;obtain, based on the at least one adjusted attribute, at least one candidate option of the cooperation plan available for fulfilling the goal; andtransmit, to the cooperation management service consumer, a further response for the cooperation plan indicating the at least one candidate option of the cooperation plan.18.A method comprising:transmitting, at a cooperation management service consumer and to a cooperation management service producer, a request for a cooperation plan of a plurality of machine learning capabilities for fulfilling a goal, the request comprising at least one attribute associated with the cooperation plan;receiving, from the cooperation management service producer, a response for the cooperation plan indicating at least one candidate option of the cooperation plan available for fulfilling the goal; andevaluating the at least one candidate option for determining a target option of the cooperation plan.19.A method comprising:receiving, at a cooperation management service producer and from a cooperation management service consumer, a request for a cooperation plan of a plurality of machine learning capabilities for fulfilling a goal, the request comprising at least one attribute associated with the cooperation plan;obtaining, based on the at least one attribute associated with the cooperation plan, at least one candidate option of the cooperation plan available for fulfilling the goal; andtransmitting, to the cooperation management service consumer, a response for the cooperation plan indicating the at least one candidate option of the cooperation plan.20.A first apparatus comprising:means for transmitting, to a cooperation management service producer, a request for a cooperation plan of a plurality of machine learning capabilities for fulfilling a goal, the request comprising at least one attribute associated with the cooperation plan;means for receiving, from the cooperation management service producer, a response for the cooperation plan indicating at least one candidate option of the cooperation plan available for fulfilling the goal; andmeans for evaluating the at least one candidate option for determining a target option of the cooperation plan.21.A second apparatus comprising:means for receiving, from a cooperation management service consumer, a request for a cooperation plan of a plurality of machine learning capabilities for fulfilling a goal, the request comprising at least one attribute associated with the cooperation plan;means for obtaining, based on the at least one attribute associated with the cooperation plan, at least one candidate option of the cooperation plan available for fulfilling the goal; andmeans for transmitting, to the cooperation management service consumer, a response for the cooperation plan indicating the at least one candidate option of the cooperation plan.22.A computer readable medium comprising instructions stored thereon for causing an apparatus at least to perform the method of claim 18 or claim 19.

Images