Network performance optimaztion

Abstract

Embodiments of the present disclosure relate to network performance optimization, especially for a gNB performance optimization based on a reinforcement learning (RL) operation. The method comprises: obtaining current state information of a network environment and a reward associated with a reinforcement learning operation and related to a performance of the network environment; determining a predicted future state of the network environment based on the current state information; and generating, by using the reinforcement learning operation, a target configuration parameter set for the network environment based at least on the predicted future state of the network environment; and configuring the network environment using the target configuration parameter set.

Description

NETWORK PERFORMANCE OPTIMAZTION

[0001] FIELDS

[0002] Various example embodiments of the present disclosure generally relate to the field of telecommunication and in particular, to methods, devices, apparatuses and computer readable storage medium for the network performance optimization, especially for a gNB performance optimization based on a reinforcement learning (RL) operation.BACKGROUND

[0003] There are more than one hundred configuration parameters of the network device (e.g., a gNB) can be adjusted in field to cope with the time varying character of wireless network. However, the system performance is still sub-optimal because the different network environments may change time by time.SUMMARY

[0004] In a first aspect of the present disclosure, there is provided a first apparatus. The first apparatus comprises at least one processor; and at least one memory storing instructions that, when executed by the at least one processor, cause the first apparatus at least to: obtain current state information of a network environment and a reward associated with a reinforcement learning operation and related to a performance of the network environment; determine a predicted future state of the network environment based on the current state information; and generate, by using the reinforcement learning operation, a target configuration parameter set for the network environment based at least on the predicted future state of the network environment; and configure the network environment using the target configuration parameter set.

[0005] In a second aspect of the present disclosure, there is provided a method. The method comprises: obtaining current state information of a network environment and a reward associated with a reinforcement learning operation and related to a performance of the network environment; determining a predicted future state of the network environment based on the current state information; and generating, by using the  reinforcement learning operation, a target configuration parameter set for the network environment based at least on the predicted future state of the network environment; and configuring the network environment using the target configuration parameter set.

[0006] In a third aspect of the present disclosure, there is provided a first apparatus. The first apparatus comprises means for obtaining current state information of a network environment and a reward associated with a reinforcement learning operation and related to a performance of the network environment; means for determining a predicted future state of the network environment based on the current state information; and means for generating, by using the reinforcement learning operation, a target configuration parameter set for the network environment based at least on the predicted future state of the network environment; and means for configuring the network environment using the target configuration parameter set.

[0007] In a fourth aspect of the present disclosure, there is provided a computer readable medium. The computer readable medium comprises instructions stored thereon for causing an apparatus to perform at least the method according to the second aspect.

[0008] It is to be understood that the Summary section is not intended to identify key or essential features of embodiments of the present disclosure, nor is it intended to be used to limit the scope of the present disclosure. Other features of the present disclosure will become easily comprehensible through the following description.BRIEF DESCRIPTION OF THE DRAWINGS

[0009] Some example embodiments will now be described with reference to the accompanying drawings, where:

[0010] FIG. 1 illustrates an example communication environment in which example embodiments of the present disclosure can be implemented;

[0011] FIG. 2 illustrates a schematic diagram of a process of a RL based performance optimization according to some example embodiments of the present disclosure;

[0012] FIG. 3A-3C illustrates examples of UE distribution according to some example embodiments of the present disclosure;

[0013] FIG. 4 illustrates an example of state prediction module according to the  embodiments of the present disclosure;

[0014] FIG. 5 illustrates a flowchart of a method implemented at a first apparatus according to some example embodiments of the present disclosure;

[0015] FIG. 6 illustrates a simplified block diagram of a device that is suitable for implementing example embodiments of the present disclosure; and

[0016] FIG. 7 illustrates a block diagram of an example computer readable medium in accordance with some example embodiments of the present disclosure.

[0017] Throughout the drawings, the same or similar reference numerals represent the same or similar element.DETAILED DESCRIPTION

[0018] Principle of the present disclosure will now be described with reference to some example embodiments. It is to be understood that these embodiments are described only for the purpose of illustration and help those skilled in the art to understand and implement the present disclosure, without suggesting any limitation as to the scope of the disclosure. Embodiments described herein can be implemented in various manners other than the ones described below.

[0019] In the following description and claims, unless defined otherwise, all technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skills in the art to which this disclosure belongs.

[0020] References in the present disclosure to “one embodiment, ” “an embodiment, ” “an example embodiment, ” and the like indicate that the embodiment described may include a particular feature, structure, or characteristic, but it is not necessary that every embodiment includes the particular feature, structure, or characteristic. Moreover, such phrases are not necessarily referring to the same embodiment. Further, when a particular feature, structure, or characteristic is described in connection with an embodiment, it is submitted that it is within the knowledge of one skilled in the art to affect such feature, structure, or characteristic in connection with other embodiments whether or not explicitly described.

[0021] It shall be understood that although the terms “first, ” “second, ” …, etc. in front  of noun (s) and the like may be used herein to describe various elements, these elements should not be limited by these terms. These terms are only used to distinguish one element from another and they do not limit the order of the noun (s) . For example, a first element could be termed a second element, and similarly, a second element could be termed a first element, without departing from the scope of example embodiments. As used herein, the term “and / or” includes any and all combinations of one or more of the listed terms.

[0022] As used herein, “at least one of the following: <a list of two or more elements>” and “at least one of <a list of two or more elements>” and similar wording, where the list of two or more elements are joined by “and” or “or” , mean at least any one of the elements, or at least any two or more of the elements, or at least all the elements.

[0023] As used herein, unless stated explicitly, performing a step “in response to A” does not indicate that the step is performed immediately after “A” occurs and one or more intervening steps may be included.

[0024] The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of example embodiments. As used herein, the singular forms “a” , “an” and “the” are intended to include the plural forms as well, unless the context clearly indicates otherwise. It will be further understood that the terms “comprises” , “comprising” , “has” , “having” , “includes” and / or “including” , when used herein, specify the presence of stated features, elements, and / or components etc., but do not preclude the presence or addition of one or more other features, elements, components and / or combinations thereof.

[0025] As used in this application, the term “circuitry” may refer to one or more or all of the following:

[0026] (a) hardware-only circuit implementations (such as implementations in only analog and / or digital circuitry) and

[0027] (b) combinations of hardware circuits and software, such as (as applicable) :

[0028] (i) a combination of analog and / or digital hardware circuit (s) with software / firmware and

[0029] (ii) any portions of hardware processor (s) with software (including digital signal processor (s) ) , software, and memory (ies) that work together to cause an apparatus, such as a mobile phone or server, to perform various  functions) and

[0030] (c) hardware circuit (s) and or processor (s) , such as a microprocessor (s) or a portion of a microprocessor (s) , that requires software (e.g., firmware) for operation, but the software may not be present when it is not needed for operation.

[0031] This definition of circuitry applies to all uses of this term in this application, including in any claims. As a further example, as used in this application, the term circuitry also covers an implementation of merely a hardware circuit or processor (or multiple processors) or portion of a hardware circuit or processor and its (or their) accompanying software and / or firmware. The term circuitry also covers, for example and if applicable to the particular claim element, a baseband integrated circuit or processor integrated circuit for a mobile device or a similar integrated circuit in server, a cellular network device, or other computing or network device.

[0032] As used herein, the term “communication network” refers to a network following any suitable communication standards, such as New Radio (NR) , Long Term Evolution (LTE) , LTE-Advanced (LTE-A) , Wideband Code Division Multiple Access (WCDMA) , High-Speed Packet Access (HSPA) , Narrow Band Internet of Things (NB-IoT) and so on. Furthermore, the communications between a terminal device and a network device in the communication network may be performed according to any suitable generation communication protocols, including, but not limited to, the first generation (1G) , the second generation (2G) , 2.5G, 2.75G, the third generation (3G) , the fourth generation (4G) , 4.5G, the fifth generation (5G) , the sixth generation (6G) communication protocols, and / or any other protocols either currently known or to be developed in the future. Embodiments of the present disclosure may be applied in various communication systems. Given the rapid development in communications, there will of course also be future type communication technologies and systems with which the present disclosure may be embodied. It should not be seen as limiting the scope of the present disclosure to only the aforementioned system.

[0033] As used herein, the term “network device” refers to a node in a communication network via which a terminal device accesses the network and receives services therefrom. The network device may refer to a base station (BS) or an access point (AP) , for example, a node B (NodeB or NB) , an evolved NodeB (eNodeB or eNB) , an NR NB (also referred  to as a gNB) , a Remote Radio Unit (RRU) , a radio header (RH) , a remote radio head (RRH) , a relay, an Integrated Access and Backhaul (IAB) node, a low power node such as a femto, a pico, a non-terrestrial network (NTN) or non-ground network device such as a satellite network device, a low earth orbit (LEO) satellite and a geosynchronous earth orbit (GEO) satellite, an aircraft network device, and so forth, depending on the applied terminology and technology. In some example embodiments, radio access network (RAN) split architecture comprises a Centralized Unit (CU) and a Distributed Unit (DU) at an IAB donor node. An IAB node comprises a Mobile Terminal (IAB-MT) part that behaves like a UE toward the parent node, and a DU part of an IAB node behaves like a base station toward the next-hop IAB node.

[0034] The term “terminal device” refers to any end device that may be capable of wireless communication. By way of example rather than limitation, a terminal device may also be referred to as a communication device, user equipment (UE) , a Subscriber Station (SS) , a Portable Subscriber Station, a Mobile Station (MS) , or an Access Terminal (AT) . The terminal device may include, but not limited to, a mobile phone, a cellular phone, a smart phone, voice over IP (VoIP) phones, wireless local loop phones, a tablet, a wearable terminal device, a personal digital assistant (PDA) , portable computers, desktop computer, image capture terminal devices such as digital cameras, gaming terminal devices, music storage and playback appliances, vehicle-mounted wireless terminal devices, wireless endpoints, mobile stations, laptop-embedded equipment (LEE) , laptop-mounted equipment (LME) , USB dongles, smart devices, wireless customer-premises equipment (CPE) , an Internet of Things (IoT) device, a watch or other wearable, a head-mounted display (HMD) , a vehicle, a drone, a medical device and applications (e.g., remote surgery) , an industrial device and applications (e.g., a robot and / or other wireless devices operating in an industrial and / or an automated processing chain contexts) , a consumer electronics device, a device operating on commercial and / or industrial wireless networks, and the like. The terminal device may also correspond to a Mobile Termination (MT) part of an IAB node (e.g., a relay node) . In the following description, the terms “terminal device” , “communication device” , “terminal” , “user equipment” and “UE” may be used interchangeably.

[0035] As used herein, the term “resource, ” “transmission resource, ” “resource block, ” “physical resource block” (PRB) , “uplink resource, ” or “downlink resource” may refer to any resource for performing a communication, for example, a communication between a  terminal device and a network device, such as a resource in time domain, a resource in frequency domain, a resource in space domain, a resource in code domain, or any other combination of the time, frequency, space and / or code domain resource enabling a communication, and the like. In the following, unless explicitly stated, a resource in both frequency domain and time domain will be used as an example of a transmission resource for describing some example embodiments of the present disclosure. It is noted that example embodiments of the present disclosure are equally applicable to other resources in other domains.

[0036] As described above, the system performance in wireless environments is still sub-optimal. The challenge of the system performance optimization may refer to the following aspects:

[0037] 1) Wireless environments (e.g., the number of UE, UE distribution and radio condition, interference) always change time by time, but almost all these parameters for the network environment are fixed, even there is better settings under difference scenario.

[0038] 2) Wireless environments may be also different for each site and cell, and there is no approach to apply special optimization for each site or cell.

[0039] 3) There are many parameters and parameter combinations need to be tried in field, but only small part of them can be verified before delivery, as the restrictions of time and resource.

[0040] It is difficult to optimize these parameters jointly and dynamically. The parameter configurations may be optimized before the actual network deployment. However, they are not robust enough to perform well under all wireless circumstances (traffic load, user distribution, interference level, channel quality, etc. ) .

[0041] Hundreds of parameters optimized issues happened in real field per year. Large amount of resource is spent in dealing with those issues due to the overflowed log information and mass parameters to be optimized. And it is impossible to manually adapt the parameters jointly to find the optimal parameter configurations of the certain network.

[0042] Wireless networks are expected to move towards self-sustaining networks in 6G. Machine learning plays a critical role in maintaining high performance in a dynamically changing environment. Therefore, embodiments of the present disclosure propose a solution of RL based gNB parameter optimization. By using the natural theoretical  framework for closed-loop control of the parameters, the RL based gNB parameter optimization may improve the network performance.

[0043] FIG. 1 illustrates an example communication environment 100 in which example embodiments of the present disclosure can be implemented. The communication environment 100 comprises a first apparatus 110, which may operate as a network device (e.g., a gNB) and second apparatuses 120-1, 120-2 and 120-3, which may be referred to as a second apparatus 120 collectively hereinafter. In some scenarios, the second apparatus 120 may operate a terminal device (e.g., a UE, such as the second apparatuses 120-1 and 120-2. In some other scenarios, the second apparatus may also operate a network node (e.g., an access point 120-3) .

[0044] The first apparatus 110 may be capable of a RL operation. For example, an RL model may be deployed at the first apparatus 110. A distributed RL-based performance optimization may be performed for each cell, for example, managed by the first apparatus 110, e.g., the cell 101. It is also possible that the RL-based performance optimization may also be performed for all cells within a determined network coverage.

[0045] In the following, for the purpose of illustration, an RL-based performance optimization performed by the first apparatus 110 and / or by an RL model deployed at the first apparatus 110 may be referred to as a distributed RL operation for optimizing the performance of a network environment within a cell.

[0046] It is to be understood that the number of network devices and terminal devices shown in FIG. 1 is given for the purpose of illustration without suggesting any limitations. The communication environment 100 may include any suitable number of network devices and terminal devices.

[0047] Communications in the communication environment 100 may be implemented according to any proper communication protocol (s) , comprising, but not limited to, cellular communication protocols of the first generation (1G) , the second generation (2G) , the third generation (3G) , the fourth generation (4G) , the fifth generation (5G) , the sixth generation (6G) , and the like, wireless local network communication protocols such as Institute for Electrical and Electronics Engineers (IEEE) 802.11 and the like, and / or any other protocols currently known or to be developed in the future. Moreover, the communication may utilize any proper wireless communication technology, comprising but not limited to: Code Division Multiple Access (CDMA) , Frequency Division Multiple  Access (FDMA) , Time Division Multiple Access (TDMA) , Frequency Division Duplex (FDD) , Time Division Duplex (TDD) , Multiple-Input Multiple-Output (MIMO) , Orthogonal Frequency Division Multiple (OFDM) , Discrete Fourier Transform spread OFDM (DFT-s-OFDM) and / or any other technologies currently known or to be developed in the future.

[0048] Example embodiments of the present disclosure will be described in detail below with reference to the accompanying drawings.

[0049] Reference is now made to FIG. 2, which shows a schematic diagram 200 of a process of a RL based performance optimization according to some example embodiments of the present disclosure.

[0050] As shown in FIG. 2, the RL agent / model 210 may be deployed at the first apparatus 110 as shown in FIG. 1. The RL agent / model 210 may perform the RL based performance optimization for the network environment 220.

[0051] As an example, the RL agent / model 210 may be deployed at a RAN device, such as an eNB or a gNB. It is to be understood that the RL agent / model 210 may also be deployed at a network node / element / entity associated with the network management.

[0052] The network environment 220 may refer to a cell within which the first apparatus 110 and at least one second apparatus 120 are located. In the following, for the purpose of illustration, a distributed performance optimization for a cell managed by the first apparatus 110 (e.g., gNB) will be described. It is to be understood that the solution proposed in the present disclosure may also be used for a centralized performance optimization for a network environment including more than one cells.

[0053] In the following, the RL hereinafter may refer to a learning process for how map situations (state) to actions, so as to maximize a numerical reward signal (reward) . The RL agent hereinafter may refer to a software module within a Reinforcement Learning System (RLS) for sensing the states and taking actions to maximize the reward.

[0054] In this RL operation, the first apparatus 110, or the RL agent / model 210 deployed at the first apparatus 110 may obtain current state information of the network environment 220. The current state information hereinafter may be denoted as s (t) .

[0055] The current state information may refer to the state of the network environment 220 caused by the behavior of the at least one second apparatus 120 (e.g., UE behavior  222) and configurations / functions provided by the first apparatus 110 (e.g., gNB’s configuration / functions 224) .

[0056] In some scenarios, the state of the network environment 220 may be obtained based on a report from UEs within the network environment 220 to the gNB. In some other scenarios, the state of the network environment 220 may be obtained by the gNB based on corresponding measurements.

[0057] In general, the state of the network environment 220 may be associated with state of everything outside the RL agent / model 210, such as UE behavior, gNB configuration and interference associated with the UE and / or gNB.

[0058] For example, Table 1 shows 4 types of components to describe the UE behavior: capacity, radio condition, cell load and UE distribution.

[0059] Table 1

[0060] Regarding to the aspect of the UE behavior, the state of the network environment 220 obtained by the RL agent / model 210 may comprise capacity information such as the number of UEs included in the network environment 220, e.g., the number of average active UEs connected with the first apparatus 110. The state of the network environment 220 may further comprise a radio condition of at least a portion of the at least one UE, which may be reflected by an average channel quality indication (CQI) associated with the at least one UE connected with the first apparatus 110.

[0061] Furthermore, the state of the network environment 220 may further comprise a  cell load of the first apparatus 110, which may be indicated by average physical resource block PRB usage that reflects the traffic of UEs.

[0062] The state of the network environment 220 may also relate to UE distribution, as shown in FIG. 3A, which depends on angle 302 (measured by Direction of Arrival (DoA) ) . The UE distribution hereinafter may refer to an average DoA distance associated with the first apparatus 110 and an average DoA with the first apparatus 110.

[0063] The average DoA associated with the first apparatus 110 may represent an average value of DOAs associated with the first apparatus and the at least one second apparatus in a cell. The average DoA distance associated with the first apparatus 110 represent the average DoA distance between the at least one second apparatus 120 and the average DOA associated with the first apparatus 110.

[0064] There are DoA distances between the second apparatuses. FIG. 3B shows a delta DoA 312 between the second apparatuses 120-1 and 120-2. The DoA distances between the second apparatuses may be calculated as below:

[0065] The average DoA of the first apparatus 110 (which may be associated with e.g., the DoA angle 322 of the second apparatus 120-1 and the DoA angle 324 of the second apparatus 120-2 as shown in FIG. 3C) may be calculated as below:

[0066] As described, the average DoA distance associated with the first apparatus 110 and an average DoA with the first apparatus 110 may reflect the UE distribution with a cell associated with the first apparatus 110.

[0067] Now the reference is back to FIG. 2, in addition to the state of the network environment 220 (i.e., s (t) ) , the RL agent / model 210 may also obtain a reward (denoted as r (t) ) , which may represent the performance of the network environment 220 under the current state of the network environment 220. Specifically, the reward r (t) may indicate  a measured system performance level (i.e., super key performance indicator (KPI) -score) during time t.

[0068] In general, the reward may be used in the RL operation to indicate the result of state and action combination. A super KPI-score may be considered as one value indicating whole system performance level, which normalize and unify some KPIs to one score.

[0069] In this case, the super KPI-score may be used by reward directly. The super KPI-score may be a unified score (100 points) and can include different kinds of KPIs: throughput, HO SR, drop rate, efficiency, even include customer specific KPIs. The super KPI-score may also be determined by customized weights and be normalized to score with customized non-linear curves. An example of a definition of super KPI-score is shown as below:

[0070] Table 2

[0071] A state prediction operation may be used to predict a future state of the network environment 220 (e.g., denoted as s (t+1) ) by using the current state information of the network environment 220, which may be considered as an assistance operation for the RL gNB optimization method.

[0072] For example, a state prediction module 212 may perform the state prediction. For example, the state prediction module 212 may be based on a recurrent neural network (RNN) . The future state can be predicted because the state change of the network environment 220 is mainly decided by UE behavior rather than gNB, and the UE behavior can be predicted to some extent.

[0073] FIG. 4 shows an example of state prediction module according to the embodiments of the present disclosure. In the example of FIG. 4, a Gated Recurrent Units (GRU) based machine learning model 400 is shown, which may be considered as one type  of the RNN model and may be adopted to predict the state sequence. For example, the GRU) based machine learning model 400 may be implemented at the state prediction module 212. It is to be understood that a machine learning model for the state prediction may not be limited by the RNN model. Any other suitable machine learning model capable of the state prediction may also be included in the scope of the present disclosure.

[0074] The machine learning model 400 may comprise an input layer, one or more hidden layers and an output layer. The current state information of the network environment 220 may be used as input to the machine learning model 400. The output of the machine learning model 400 may be the predicted future state of the network environment 220.

[0075] The machine learning model 400 may be trained by a set of historic data associated with the network environment state, e.g., a set of historic data associated with the network environment state within one day, one week or a predefined duration. Since there is always certain regularity of UE behavior in each cell, so the state can be predicted to some extent. The machine learning model 400 may be online trained or offline trained.

[0076] Based on the predicted future state of the network environment 220, a policy model 216 in the RL agent / model 210 may select corresponding action (s) . The action used hereinafter may be referred to as a configuration parameter set for the network environment, i.e., a set of parameter settings for the network environment. The actions may be taken by the first apparatus 110 (e.g., by changing the parameter settings) to impact the performance of the network environment. For example, parameters which are sensitive to the network environment may be selected as the actions, such as MU MIMO pairing, power control, link adaptation, power saving, load balance, admission control, carrier aggregation and handover.

[0077] The RL agent / model 210 may also comprise a query model 214, which may also be referred to as a Q table hereinafter. In general, the Q table may represent an association of a set of rewards with a plurality of configuration parameter sets (e.g., actions) used under respective reference network environment states. The Q table may record all rewards in a table by state and action. A value in the Q table may be denoted as r (s, a) . As the state space and action space is limited to a reasonable size, Q learning is selected as the RL algorithm in the present disclosure. However, other RL algorithms are also applicable for the present disclosure.

[0078] An example of Q table format is shown as below. In the Q table, the rows are states, the columns are actions, the rewards are recorded in cells -denoted as r (s, a) .

[0079] Table 3

[0080] The Q table may be updated with new r (s, a) value at the end of each pre-determined time interval (e.g., a time slot t) . The value r (s, a) may include the count of rewards and average of rewards, the count is the reference of data reliability.

[0081] For example, as described above, if the current state information s (t) and the reward r (t) representing the performance of the network environment under the current state are obtained, the value corresponding to the obtained data may be updated in the Q table.

[0082] The RL operation of the RL agent / model 210 may comprise exploration phase and exploitation phase. Exploration of RL helps to collect more information in the unknown state / action space, while exploitation of RL is to use the current learning strategy to select the action with the best reward. RL need policy to do the tradeoff of the exploration and exploitation. The role of the policy model 216 at the RL agent / model 210 may decide when and how to do the exploration per time slot.

[0083] In the exploitation phase, an action may be selected by the predicted future state s (t+1) . For example, the policy model 216 may query, from the Q table, a plurality of rewards corresponding to the predicted future state s (t+1) . That is, if the predicted future state s (t+1) (such as s0, …, or sN shown in Table 3) is determined, a plurality of rewards in a row corresponding to the future state s (t+1) can be read out from the Q table. Then an action corresponding to the highest / best reward in the plurality of rewards may be selected. The action may comprise a target configuration parameter set for the network environment under the future state s (t+1) , which may be denoted as a (t+1) . In this situation, the action a (t+1) may be provided to the network environment 220 to achieve  the performance optimization of the network environment 220.

[0084] In the exploration phase, an action may be selected by an exploring policy at the policy model 216 based on the predicted future state s (t+1) . The exploring action may also be provided to the network environment 220. The network environment 220 may be configured based on the exploring action. After that, an actual state information at time t+1 and corresponding actual reward may further be provided to the RL agent / model 210, e.g., stored and updated by the Q table, for the RL operation of the RL agent / model 210.

[0085] It is to be understood that the exploration phase may be performed within a predetermined time interval (such as some of time slots per day) . Furthermore, some criteria of exploration are listed. For example, the number of exploration time slots with negative reward each day may not be allowed to exceed the predefined threshold maxNumNegT. In addition, the number of exploration time slots each day may not be allowed to exceed the predefined parameter maxNumExplorT. The baseline of the exploration phase may be the first column (i.e., default parameter settings) in the Q table. The negative reward used herein may be referred to as a Super KPI-score that is less than the baseline (setting by customer request) . The exploration criteria may guarantee the performance impact to satisfy the customer requirement before the algorithm converge.

[0086] In the present disclosure, cell level Q table sharing is proposed to speed up the learning. If the main cell configurations are the same between all of cells, then cells can share the Q table. Specifically,

[0087] ● Each cell may send the Q (S, A) result to other cells which has the same main config-urations periodically

[0088] ● Each cell gather, classify and summarize all of Q (S, A) results

[0089] ● Q (S, A) results coming from itself:

[0090] ● If the absolute value of the difference between the previous Q value in the Q table and the reported Q value is less than a predefined threshold, then merge into it-self Q table.

[0091] ● If the absolute value of the difference between the previous Q value in the Q table and the reported Q value is more than a predefined threshold, then replace the Q value with the latest reported value.

[0092] ● Q (S, A) results coming from other cells:

[0093] ● If the Q table is empty with the same state and action, then merge into itself Q table.

[0094] Furthermore, site level Q table sharing is also possible if the main site  configurations are the same between all of the sites.

[0095] Based on the solution of the present disclosure, a performance improvement with dynamic parameter optimizations may be achieved by using a RL based optimization operation. The solution proposed in the present disclosure may decrease the cost, the time-frequency resource waste and signal overhead for the system optimization due to the manual optimization.

[0096] FIG. 5 shows a flowchart of an example method 500 implemented at a first apparatus in accordance with some example embodiments of the present disclosure. For the purpose of discussion, the method 500 will be described from the perspective of the first apparatus 110 in FIG. 1.

[0097] At block 510, the first apparatus obtains current state information of a network environment and a reward associated with a reinforcement learning operation and related to a performance of the network environment;

[0098] At block 520, the first apparatus determines a predicted future state of the network environment based on the current state information; and

[0099] At block 530, the first apparatus generates, by using the reinforcement learning operation, a target configuration parameter set for the network environment based at least on the predicted future state of the network environment; and

[0100] At block 540, the first apparatus configures the network environment using the target configuration parameter set.

[0101] In some example embodiments, the current state information comprises at least one of the following: capacity information associated with at least one second apparatus connected with the first apparatus in the network environment; a radio condition of at least a portion of the at least one the second apparatus, loading information associated with traffic of the first apparatus, and / or distribution information of at least a portion of the at least one the second apparatus in the network environment.

[0102] In some example embodiments, the distribution information comprises at least one of the following: an average DoA associated with the first apparatus representing an average value of DOAs associated with the first apparatus and the at least one second apparatus in a cell, and / or an average DoA distance associated with the first apparatus representing the average DoA distance between the at least one second apparatus and the  average DOA associated with the first apparatus.

[0103] In some example embodiments, the predicted future state of the network environment is determined by using a RNN based machine learning model, wherein the current state information is used as an input of the RNN based machine learning model, and an output of the RNN based machine learning model is the predicted future state.

[0104] In some example embodiments, the method 500 further comprises: obtaining, during the reinforcement learning operation, an association of a set of reference rewards with a plurality of reference configuration parameter sets used under respective reference network environment states; obtaining, in an exploitation phase of the reinforcement learning operation, based on the predicted future state and the association, a set of candidate rewards corresponding to the predicted future state; selecting the best reward from the set of candidate rewards; and determining, from the plurality of reference configuration parameter sets, a reference configuration parameter set, corresponding to the best reward and the predicted future state, as the target configuration parameter set for the network environment.

[0105] In some example embodiments, the method 500 further comprises: determining, in an exploration phase of the reinforcement learning operation, an exploration configuration parameter set for the predicted future state; and obtaining information of a corresponding reward that is achieved by using the exploration configuration parameter set under a further network environment state; and optimizing the reinforcement learning operation based on the information.

[0106] In some example embodiments, the first apparatus comprises a network device capable of the reinforcement learning operation, and wherein the reinforcement learning operation is performed for the network environment with a cell managed by the first apparatus.

[0107] In some example embodiments, the second apparatus comprises a terminal device and / or a network device.

[0108] In some example embodiments, a first apparatus capable of performing any of the method 500 (for example, the first apparatus 110 in FIG. 1) may comprise means for performing the respective operations of the method 500. The means may be implemented in any suitable form. For example, the means may be implemented in a circuitry or  software module. The first apparatus may be implemented as or included in the first apparatus 110 in FIG. 1.

[0109] In some example embodiments, the first apparatus comprises means for obtaining current state information of a network environment and a reward associated with a reinforcement learning operation and related to a performance of the network environment; means for determining a predicted future state of the network environment based on the current state information; and means for generating, by using the reinforcement learning operation, a target configuration parameter set for the network environment based at least on the predicted future state of the network environment; and means for configuring the network environment using the target configuration parameter set.

[0110] In some example embodiments, the current state information comprises at least one of the following: means for capacity information associated with at least one second apparatus connected with the first apparatus in the network environment; a radio condition of at least a portion of the at least one the second apparatus, means for loading information associated with traffic of the first apparatus, and / or means for distribution information of at least a portion of the at least one the second apparatus in the network environment.

[0111] In some example embodiments, the distribution information comprises at least one of the following: an average DoA associated with the first apparatus representing an average value of DOAs associated with the first apparatus and the at least one second apparatus in a cell, and / or an average DoA distance associated with the first apparatus representing the average DoA distance between the at least one second apparatus and the average DOA associated with the first apparatus.

[0112] In some example embodiments, the predicted future state of the network environment is determined by using a RNN based machine learning model, wherein the current state information is used as an input of the RNN based machine learning model, and an output of the RNN based machine learning model is the predicted future state.

[0113] In some example embodiments, the first apparatus further comprises: means for obtaining, during the reinforcement learning operation, an association of a set of reference rewards with a plurality of reference configuration parameter sets used under respective reference network environment states; means for obtaining, in an exploitation phase of the reinforcement learning operation, based on the predicted future state and the  association, a set of candidate rewards corresponding to the predicted future state; means for selecting the best reward from the set of candidate rewards; and means for determining, from the plurality of reference configuration parameter sets, a reference configuration parameter set, corresponding to the best reward and the predicted future state, as the target configuration parameter set for the network environment.

[0114] In some example embodiments, the first apparatus further comprises: means for determining, in an exploration phase of the reinforcement learning operation, an exploration configuration parameter set for the predicted future state; and means for obtaining information of a corresponding reward that is achieved by using the exploration configuration parameter set under a further network environment state; and means for optimizing the reinforcement learning operation based on the information.

[0115] In some example embodiments, the first apparatus comprises a network device capable of the reinforcement learning operation, and wherein the reinforcement learning operation is performed for the network environment with a cell managed by the first apparatus.

[0116] In some example embodiments, the second apparatus comprises a terminal device and / or a network device.

[0117] In some example embodiments, the first apparatus further comprises means for performing other operations in some example embodiments of the method 500 or the first apparatus 110. In some example embodiments, the means comprises at least one processor; and at least one memory storing instructions that, when executed by the at least one processor, cause the performance of the first apparatus.

[0118] FIG. 6 is a simplified block diagram of a device 600 that is suitable for implementing example embodiments of the present disclosure. The device 600 may be provided to implement a communication device, for example, the first apparatus 110 as shown in FIG. 1. As shown, the device 600 includes one or more processors 610, one or more memories 620 coupled to the processor 610, and one or more communication modules 640 coupled to the processor 610.

[0119] The communication module 640 is for bidirectional communications. The communication module 640 has one or more communication interfaces to facilitate communication with one or more other modules or devices. The communication interfaces  may represent any interface that is necessary for communication with other network elements. In some example embodiments, the communication module 640 may include at least one antenna.

[0120] The processor 610 may be of any type suitable to the local technical network and may include one or more of the following: general purpose computers, special purpose computers, microprocessors, digital signal processors (DSPs) and processors based on multicore processor architecture, as non-limiting examples. The device 600 may have multiple processors, such as an application specific integrated circuit chip that is slaved in time to a clock which synchronizes the main processor.

[0121] The memory 620 may include one or more non-volatile memories and one or more volatile memories. Examples of the non-volatile memories include, but are not limited to, a Read Only Memory (ROM) 624, an electrically programmable read only memory (EPROM) , a flash memory, a hard disk, a compact disc (CD) , a digital video disk (DVD) , an optical disk, a laser disk, and other magnetic storage and / or optical storage. Examples of the volatile memories include, but are not limited to, a random access memory (RAM) 622 and other volatile memories that will not last in the power-down duration.

[0122] A computer program 630 includes computer executable instructions that are executed by the associated processor 610. The instructions of the program 630 may include instructions for performing operations / acts of some example embodiments of the present disclosure. The program 630 may be stored in the memory, e.g., the ROM 624. The processor 610 may perform any suitable actions and processing by loading the program 630 into the RAM 622.

[0123] The example embodiments of the present disclosure may be implemented by means of the program 630 so that the device 600 may perform any process of the disclosure as discussed with reference to FIG. 2 to FIG. DDDD 5. The example embodiments of the present disclosure may also be implemented by hardware or by a combination of software and hardware.

[0124] In some example embodiments, the program 630 may be tangibly contained in a computer readable medium which may be included in the device 600 (such as in the memory 620) or other storage devices that are accessible by the device 600. The device 600 may load the program 630 from the computer readable medium to the RAM 622 for  execution. In some example embodiments, the computer readable medium may include any types of non-transitory storage medium, such as ROM, EPROM, a flash memory, a hard disk, CD, DVD, and the like. The term “non-transitory, ” as used herein, is a limitation of the medium itself (i.e., tangible, not a signal) as opposed to a limitation on data storage persistency (e.g., RAM vs. ROM) .

[0125] FIG. 7 shows an example of the computer readable medium 700 which may be in form of CD, DVD or other optical storage disk. The computer readable medium 700 has the program 630 stored thereon.

[0126] Generally, various embodiments of the present disclosure may be implemented in hardware or special purpose circuits, software, logic or any combination thereof. Some aspects may be implemented in hardware, and other aspects may be implemented in firmware or software which may be executed by a controller, microprocessor or other computing device. Although various aspects of embodiments of the present disclosure are illustrated and described as block diagrams, flowcharts, or using some other pictorial representations, it is to be understood that the block, apparatus, system, technique or method described herein may be implemented in, as non-limiting examples, hardware, software, firmware, special purpose circuits or logic, general purpose hardware or controller or other computing devices, or some combination thereof.

[0127] Some example embodiments of the present disclosure also provide at least one computer program product tangibly stored on a computer readable medium, such as a non-transitory computer readable medium. The computer program product includes computer-executable instructions, such as those included in program modules, being executed in a device on a target physical or virtual processor, to carry out any of the methods as described above. Generally, program modules include routines, programs, libraries, objects, classes, components, data structures, or the like that perform particular tasks or implement particular abstract data types. The functionality of the program modules may be combined or split between program modules as desired in various embodiments. Machine-executable instructions for program modules may be executed within a local or distributed device. In a distributed device, program modules may be located in both local and remote storage media.

[0128] Program code for carrying out methods of the present disclosure may be written in any combination of one or more programming languages. The program code may be  provided to a processor or controller of a general purpose computer, special purpose computer, or other programmable data processing apparatus, such that the program code, when executed by the processor or controller, cause the functions / operations specified in the flowcharts and / or block diagrams to be implemented. The program code may execute entirely on a machine, partly on the machine, as a stand-alone software package, partly on the machine and partly on a remote machine or entirely on the remote machine or server.

[0129] In the context of the present disclosure, the computer program code or related data may be carried by any suitable carrier to enable the device, apparatus or processor to perform various processes and operations as described above. Examples of the carrier include a signal, computer readable medium, and the like.

[0130] The computer readable medium may be a computer readable signal medium or a computer readable storage medium. A computer readable medium may include but not limited to an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any suitable combination of the foregoing. More specific examples of the computer readable storage medium would include an electrical connection having one or more wires, a portable computer diskette, a hard disk, a random access memory (RAM) , a read-only memory (ROM) , an erasable programmable read-only memory (EPROM or Flash memory) , an optical fiber, a portable compact disc read-only memory (CD-ROM) , an optical storage device, a magnetic storage device, or any suitable combination of the foregoing.

[0131] Further, although operations are depicted in a particular order, this should not be understood as requiring that such operations be performed in the particular order shown or in sequential order, or that all illustrated operations be performed, to achieve desirable results. In certain circumstances, multitasking and parallel processing may be advantageous. Likewise, although several specific implementation details are contained in the above discussions, these should not be construed as limitations on the scope of the present disclosure, but rather as descriptions of features that may be specific to particular embodiments. Unless explicitly stated, certain features that are described in the context of separate embodiments may also be implemented in combination in a single embodiment. Conversely, unless explicitly stated, various features that are described in the context of a single embodiment may also be implemented in a plurality of embodiments separately or in any suitable sub-combination.

[0132] Although the present disclosure has been described in languages specific to structural features and / or methodological acts, it is to be understood that the present disclosure defined in the appended claims is not necessarily limited to the specific features or acts described above. Rather, the specific features and acts described above are disclosed as example forms of implementing the claims.

Claims

1.A first apparatus comprising:at least one processor; andat least one memory storing instructions that, when executed by the at least one processor, cause the first apparatus at least to:obtain current state information of a network environment and a reward associated with a reinforcement learning operation and related to a performance of the network environment;determine a predicted future state of the network environment based on the current state information; andgenerate, by using the reinforcement learning operation, a target configuration parameter set for the network environment based at least on the predicted future state of the network environment; andconfigure the network environment using the target configuration parameter set.2.The first apparatus of claim 1, wherein the current state information comprises at least one of the following:capacity information associated with at least one second apparatus connected with the first apparatus in the network environment;a radio condition of at least a portion of the at least one the second apparatus,load information associated with traffic of the first apparatus, and / ordistribution information of at least a portion of the at least one the second apparatus in the network environment.3.The first apparatus of claim 2, wherein the distribution information comprises at least one of the following:an average DoA associated with the first apparatus representing an average value of DOAs associated with the first apparatus and the at least one second apparatus in a cell, and / oran average DoA distance associated with the first apparatus representing the average DoA distance between the at least one second apparatus and the average DOA associated with the first apparatus.4.The first apparatus of any of claims 1-3, wherein the predicted future state of the network environment is determined by using a RNN based machine learning model, wherein the current state information is used as an input of the RNN based machine learning model, and an output of the RNN based machine learning model is the predicted future state.5.The first apparatus of any of claims 1-4, wherein the first apparatus is further caused to:obtain, during the reinforcement learning operation, an association of a set of reference rewards with a plurality of reference configuration parameter sets used under respective reference network environment states;obtain, in an exploitation phase of the reinforcement learning operation, based on the predicted future state and the association, a set of candidate rewards corresponding to the predicted future state;select the best reward from the set of candidate rewards; anddetermine, from the plurality of reference configuration parameter sets, a reference configuration parameter set, corresponding to the best reward and the predicted future state, as the target configuration parameter set for the network environment.6.The first apparatus of any of claims 1-4, wherein the first apparatus is further caused to:determine, in an exploration phase of the reinforcement learning operation, an exploration configuration parameter set for the predicted future state; andobtain information of a corresponding reward that is achieved by using the exploration configuration parameter set under a further network environment state; andoptimize the reinforcement learning operation based on the information.7.The first apparatus of any of claims 1-6, wherein the first apparatus comprise a network device capable of the reinforcement learning operation, and wherein the reinforcement learning operation is performed for the network environment with a cell managed by the first apparatus..8.The first apparatus of claim 2 or 3, wherein the second apparatus comprises a terminal device and / or a network device.9.A method comprising:obtaining current state information of a network environment and a reward associated with a reinforcement learning operation and related to a performance of the network environment;determining a predicted future state of the network environment based on the current state information; andgenerating, by using the reinforcement learning operation, a target configuration parameter set for the network environment based at least on the predicted future state of the network environment; andconfiguring the network environment using the target configuration parameter set.10.The method of claim 9, wherein the current state information comprises at least one of the following:capacity information associated with at least one second apparatus connected with the first apparatus in the network environment;a radio condition of at least a portion of the at least one the second apparatus,load information associated with traffic of the first apparatus, and / ordistribution information of at least a portion of the at least one the second apparatus in the network environment.11.The method of claim 10, wherein the distribution information comprises at least one of the following:an average DoA associated with the first apparatus representing an average value of DOAs associated with the first apparatus and the at least one second apparatus in a cell, and / oran average DoA distance associated with the first apparatus representing the average DoA distance between the at least one second apparatus and the average DOA associated with the first apparatus.12.The method of any of claims 9-11, wherein the predicted future state of the network environment is determined by using a RNN based machine learning model, wherein the current state information is used as an input of the RNN based machine learning model, and an output of the RNN based machine learning model is the predicted future state.13.The method of any of claims 9-12, further comprising:obtaining, during the reinforcement learning operation, an association of a set of reference rewards with a plurality of reference configuration parameter sets used under respective reference network environment states;obtaining, in an exploitation phase of the reinforcement learning operation, based on the predicted future state and the association, a set of candidate rewards corresponding to the predicted future state;selecting the best reward from the set of candidate rewards; anddetermining, from the plurality of reference configuration parameter sets, a reference configuration parameter set, corresponding to the best reward and the predicted future state, as the target configuration parameter set for the network environment.14.The method of any of claims 9-12, further comprising:determining, in an exploration phase of the reinforcement learning operation, an exploration configuration parameter set for the predicted future state; andobtaining information of a corresponding reward that is achieved by using the exploration configuration parameter set under a further network environment state; andoptimizing the reinforcement learning operation based on the information.15.The method of any of claims 9-14, wherein the first apparatus comprises a network device capable of the reinforcement learning operation, and wherein the reinforcement learning operation is performed for the network environment with a cell  managed by the first apparatus.16.The method of claim 10 or 11, wherein the second apparatus comprises a terminal device and / or a network device.17.A first apparatus comprising:means for obtaining current state information of a network environment and a reward associated with a reinforcement learning operation and related to a performance of the network environment;means for determining a predicted future state of the network environment based on the current state information; andmeans for generating, by using the reinforcement learning operation, a target configuration parameter set for the network environment based at least on the predicted future state of the network environment; andmeans for configuring the network environment using the target configuration parameter set.18.A computer readable medium comprising instructions stored thereon for causing an apparatus at least to perform the method of any of claims 9-16.

Images