A DQN based method and device of MCS selection

Abstract

Described is a method for modulation and coding scheme selection, the method comprising: receiving an initial dataset comprised of one or more data entry representing a modulation and coding scheme, the one or more data entry comprising feature data, scheme data and feedback data; generating a modified data set by augmenting the initial dataset to include one or more further data entry based on the feedback data of the initial dataset; training a transmission function model configured to predict feedback data based on the modified dataset; training a reinforcement learning model comprised of parameters using the trained transmission function model and based on a sample of the feature data from the modified dataset, the reinforcement learning model being trained by minimising the loss function between a transmission probability reward function determined by the transmission function model and a modulation and coding scheme selected by the reinforcement learning model; and updating the reinforcement learning model parameters based on the minimised loss function to produce a trained reinforcement learning model.

Description

A DQN BASED METHOD AND DEVICE OF MCS SELECTIONFIELD OF THE INVENTION

[0001] This invention relates to modulation and coding scheme selection using a deep Q-network trained by reinforcement learning.BACKGROUND

[0002] In data transmission it is well accepted that in order to increase throughput of information, it is beneficial to encode the data for transmission, thereby compressing the data. The data can then be sent from a sender to a receiver over one or more channel and decoded by the receiver. To achieve this, it the use of a wireless setting is generally used in which a Sender has to send a message to a Receiver over a wireless channel.

[0003] In this setup, the sender encodes the message with a Modulation Coding Scheme (MSC) before sending it to the receiver which will decode it and provide a feedback signal representing whether the message could be decoded or not. Modulation and Coding Scheme (MCS) is a standard used in wireless communication that defines the number of spatial streams, the bandwidth, the type of modulation, the coding rate, and the guard interval for data transmission. The feedback signal is either an acknowledgement (ACK) or a negative acknowledgement (NACK) to the sender. In the case the message has been properly received, the feedback signal is represented by ACK / NACK=1, otherwise the feedback signal is represented by ACK / NACK=0. There are multiple possible modulation and coding schemes that could be used to encode and decode the message to be sent.

[0004] A high modulation and coding scheme means that the information contained in the message undergoes a higher level of compression than messages compressed by a lower modulation and coding scheme. Using a higher modulation and coding scheme means there is higher throughput as more data can be sent over the channel. With a lower modulation and coding scheme, the compression is lower, so the throughput is lower. At the same time, high compression means that transmission errors (Block Error Rate) are more likely, thus corrupting the signal. This means that if the selected modulation and coding scheme is too high, the Block Error Rate will render the message unreadable for the receiver, lowering the throughput. Block Error Rate (BLER) in wireless communications is defined as the ratio of the number of erroneous data blocks received to the total number of data blocks transmitted, serving as a key performance indicator of the quality and reliability of data transmission.

[0005] The relationship between the data throughput and the selected modulation and coding scheme can be seen in Figure 1. Here it is shown that for a certain level of modulation and coding scheme the message will cease to be decodable and therefore the user throughput will become zero. Prior to this threshold, the throughput will increase with increasing modulation and coding scheme. Throughput may be given by the transport block size of the current modulation and coding scheme multiplied by 1 minus the block error rate for the current modulation and coding scheme. As shown in Figure 1, the utilization of radio resources is insufficient if the modulation and coding scheme selection is too conservative or radical.

[0006] Current approaches use various techniques in an attempt to apply an optimal block error rate. One such approach described in Outer Loop Link Adaptation (OLLA) by S. Park et al. discloses a method that estimates the Signal to Noise Ratio (SNR) offset to determine the new modulation and coding scheme with the goal of maintaining a target block rate error. A similar approach described in Reinforcement learning based link adaptation in 5G URLLC 2011 by S. Praveen et al discloses training a contextual multi-arm bandit agent on a system to select the best modulation and coding scheme given the state of the system. The draw backs of these approaches are that each approach is trained directly on the system. This impacts the performance and can lead to a degraded user experience. Contextual Multi-Armed Bandit is a scenario in machine learning where an algorithm  sequentially selects actions to maximize the total payoff, with the selection based on contextual information available at each decision point.

[0007] An alternative approach is described by Saxena, Vidit, et al. in Contextual multi-armed bandits for link adaptation in cellular networks. This approach pretrains a Neural Network (NN) on a pre-collected dataset to predict the transmission probability for each modulation and coding scheme. The neural network takes as input the channel state and the index of the modulation and coding scheme for which the transmission probability is predicted. The neural network is then applied on the system where for each time period is then used to predict the transmission probability of all modulation and coding schemes and the scheme with the highest probability is selected for use in transmitting the message. However, the modulation and coding schemes are predicted in multiple forward passes by the neural network. This is very computation heavy and can be slow in settings where high transmission rates are required.

[0008] A further approach is described by Geiser, Florian, et al. in DRLLA: Deep Reinforcement Learning for Link Adaptation, which discloses training a reinforcement learning agent (Proximal Policy Optimisation) in a simulator to select the best modulation and coding scheme given the state of the system. The agent is then used on the system to select the best modulation and coding scheme. The drawback of this approach is that the agent is trained on a simulator. In order for this method to be efficient on the system, the simulator has to be as similar to the system as possible, which is very difficult to obtain and therefore designing a simulator is costly.

[0009] It is desirable to develop an approach that can overcome at least some of the above issues by selecting at any given time the modulation and coding scheme that allows the highest throughput.SUMMARY OF THE INVENTION

[0010] According to one aspect there is provided a method for modulation and coding scheme selection, the method comprising: receiving an initial dataset comprised of one or more data entry representing a modulation and coding scheme, the one or more data entry comprising feature data, scheme data and feedback data; generating a modified data set by augmenting the initial dataset to include one or more further data entry based on the feedback data of the initial dataset; training a transmission function model configured to predict feedback data based on the modified dataset; training a reinforcement learning model comprised of parameters using the trained transmission function model and based on a sample of the feature data from the modified dataset, the reinforcement learning model being trained by minimising the loss function between a transmission probability reward function determined by the transmission function model and a modulation and coding scheme selected by the reinforcement learning model; and updating the reinforcement learning model parameters based on the minimised loss function to produce a trained reinforcement learning model. This allows for a reinforcement learning model to be trained to optimally select a modulation and coding scheme based on the state of the system in a manner that outperforms current non-AI implementations and provides a fast and light implementation at inference without the need to train on the system in use.

[0011] The method as described above, further comprising: deploying the trained reinforcement learning model on an encoding device, and selecting a modulation and coding scheme to be used to encode data for transmission. This allows the reinforcement learning model (algorithm) to be implemented after being trained offline.

[0012] The method as described above, wherein generating a modified dataset further comprises: determining whether the feedback data for each of the one or more data entry of the initial dataset is comprised of either positive acknowledgement data representing that transmission using the scheme data for that data entry is possible, or negative acknowledgement data representing that transmission using the scheme data for that data entry is not possible; if the feedback data for one or more  data entry comprises positive acknowledgement data, augmenting the initial dataset to include in the modified dataset one or more further data entry with scheme data having a lower value than the scheme data of the one or more data entry comprised of positive acknowledgement data and setting the one or more further data entry to have positive acknowledgement data; and / or if the feedback data for one or more data entry comprises negative acknowledgement data, augmenting the initial dataset to include in the modified dataset one or more further data entry with scheme data having a higher value than the scheme data of the one or more data entry comprised of negative acknowledgement data and setting the one or more further data entry to have negative acknowledgement data. This allows the dataset to be supplemented for training with collecting large quantities of training data from the system. Performing the data augmentation as described allows to increase performance of the trained agent by an average of 4%.

[0013] The method as described above, wherein the transmission function model is comprised of a neural network and training the transmission function model comprises: inputting to the neural network comprised of parameters one or more data entry from the modified dataset comprising feature data and scheme data; predicting feedback data for each of the one or more data entry input to the neural network; training the neural network by minimising the negative log-likelihood loss function between the predicted feedback data and the feedback data from the modified dataset; updating the parameters of the neural network based on the minimised loss function. This allows the generalised classifier model to be trained to specific properties of the system desired to be used by the user.

[0014] The method as described above, wherein the training of the reinforcement learning model further comprises: inputting to the reinforcement learning model a sample of the feature data from the modified dataset; generating for each data entry in the modified dataset in a single pass a state value representing the suitability of every modulation and coding scheme; selecting the modulation and coding scheme with the highest state value for the input data entry from the modified dataset inputting to the transmission function model the selected modulation and coding scheme from the reinforcement learning model together with the data entry; and generating, using the transmission function model, a transmission probability reward. This allows for the generation in a single forward pass of the values for all the modulation and coding scheme. This decreases by a factor 14 the computation burden for modulation and coding scheme selection compared to a single output neural network, a fundamental aspect in telecommunication systems. Using this reinforcement learning model increases performance with respect to the non-AI baseline by an average of 12%.

[0015] The method as described above, wherein the method further comprises: transmitting the encoded data to a receiver configured to decode the encoded data; and receiving feedback data representing the outcome of decoding the encoded data. This allows for feedback data from the receiver to be utilised in training the transmission function model and the reinforcement learning model.

[0016] The method as described above, further comprising: training the reinforcement learning model during use by iteratively: receiving feedback data after each transmission of encoded data corresponding to the selected data entry including feature data indicating the state of the system; storing the received feedback data and the selected data entry in a replay buffer; determining a minimised loss between the selected data entry and the received feedback data; and updating the parameters of the reinforcement learning model. This allows for fine tuning of the reinforcement learning model after implementation.

[0017] The method as described above, wherein generating for each data entry in the modified dataset in a single pass a state value is performed by determining, using a deep neural network, a state value function representing a value of each modulation and coding scheme based on the received feature data. This decreases by a factor 14 the computation burden for modulation and coding scheme selection compared to a single output neural network.

[0018] A device for training a reinforcement learning model to perform modulation and coding scheme selection, the device comprising one or more processors configured to: receive an initial dataset comprised of one or more data entry representing a modulation and coding scheme, the one or more data entry comprising feature data, scheme data and feedback data; generate a modified data set by augmenting the initial dataset to include one or more further data entry based on the feedback data of the initial dataset; train a transmission function model configured to predict feedback data based on the modified dataset; train a reinforcement learning model comprised of parameters using the trained transmission function model and based on a sample of the feature data from the modified dataset, the reinforcement learning model being trained by minimising the loss function between a transmission probability reward function determined by the transmission function model and a modulation and coding scheme selected by the reinforcement learning model; and update the reinforcement learning model parameters based on the minimised loss function to produce a trained reinforcement learning model. This allows for a reinforcement learning model to be trained to optimally select a modulation and coding scheme based on the state of the system in a manner that outperforms current non-AI implementations and provides a fast and light implementation at inference without the need to train on the system in use.

[0019] The device as described above, wherein the one or more processors are further configured to: deploy the trained reinforcement learning model on an encoding device, and select a modulation and coding scheme to be used to encode data for transmission. This allows the reinforcement learning model (algorithm) to be implemented after being trained offline.

[0020] The device as described above, wherein the one or more processors are further configured to when generating a modified dataset: determine whether the feedback data for each of the one or more data entry of the initial dataset is comprised of either positive acknowledgement data representing that transmission using the scheme data for that data entry is possible, or negative acknowledgement data representing that transmission using the scheme data for that data entry is not possible; and if the feedback data for one or more data entry comprises positive acknowledgement data, augment the initial dataset to include in the modified dataset one or more further data entry with scheme data having a lower value than the scheme data of the one or more data entry comprised of positive acknowledgement data and setting the one or more further data entry to have positive acknowledgement data; and / or if the feedback data for one or more data entry comprises negative acknowledgement data, augment the initial dataset to include in the modified dataset one or more further data entry with scheme data having a higher value than the scheme data of the one or more data entry comprised of negative acknowledgement data and setting the one or more further data entry to have negative acknowledgement data. This allows the dataset to be supplemented for training with collecting large quantities of training data from the system. Performing the data augmentation as described allows to increase performance of the trained agent by an average of 4%.

[0021] The device as described above, wherein the transmission function model is comprised of a neural network and the one or more processors are, when training the transmission function model, configured to: input to the neural network comprised of parameters one or more data entry from the modified dataset comprising feature data and scheme data; predict feedback data for each of the one or more data entry input to the neural network; train the neural network by minimising the negative log-likelihood loss function between the predicted feedback data and the feedback data from the modified dataset; update the parameters of the neural network based on the minimised loss function. This allows the generalised classifier model to be trained to specific properties of the system desired to be used by the user.

[0022] The device as described above, wherein the one or more processors, when training of the reinforcement learning model, are configured to: input to the reinforcement learning model a sample of the feature data from the modified dataset; generate for each data entry in the modified dataset in a single pass a state value representing the suitability of every modulation and coding scheme; selecting the modulation and coding scheme with the highest state value for the input data entry from the modified dataset; inputting to the transmission function model the selected modulation and coding scheme from the reinforcement  learning model together with the data entry; and generating, using the transmission function model, a transmission probability reward. This allows for the generation in a single forward pass of the values for all the modulation and coding scheme. This decreases by a factor 14 the computation burden for modulation and coding scheme selection compared to a single output neural network, a fundamental aspect in telecommunication systems. Using this reinforcement learning model increases performance with respect to the non-AI baseline by an average of 12%.

[0023] The device as described above, wherein the one or more processors are further configured to: transmit the encoded data to a receiver configured to decode the encoded data; and receive feedback data representing the outcome of decoding the encoded data. This allows for feedback data from the receiver to be utilised in training the transmission function model and the reinforcement learning model.

[0024] The device as described above, wherein the one or more processors are further configured to: train the reinforcement learning model during use by iteratively: receive feedback data after each transmission of encoded data corresponding to the selected data entry including feature data indicating the state of the system; store the received feedback data and the selected data entry in a replay buffer; determine a minimised loss between the selected data entry and the received feedback data; and update the parameters of the reinforcement learning model. This allows for fine tuning of the reinforcement learning model after implementation.

[0025] The device as described above, wherein, when generating for each data entry in the modified dataset in a single pass a state value, the one or more processors are configured to determine, using a deep neural network, a state value function representing a value of each modulation and coding scheme based on the received feature data. This decreases by a factor 14 the computation burden for modulation and coding scheme selection compared to a single output neural network.

[0026] BRIEF DESCRIPTION OF THE FIGURES

[0027] The present invention will now be described by way of example with reference to the accompanying drawings.

[0028] In the drawings:

[0029] Figure 1 illustrates an example graph of the relationship between modulation and coding scheme selection and user throughput;

[0030] Figure 2 illustrates an example of a sender and receiver transmission system with feedback loop;

[0031] Figure 3 illustrates an example method for modulation and coding scheme selection according to this disclosure;

[0032] Figure 4 illustrates an example of dataset modification by augmentation of data entries to include further data entries;

[0033] Figure 5 illustrates an example of the method of training the reinforcement learning model using the transmission function model;

[0034] Figure 6 illustrates an example of the function of an implemented trained reinforcement learning model;

[0035] Figure 7 illustrates an example of finetuning of the trained reinforcement learning model;

[0036] Figure 8 illustrates an example of the trained reinforcement learning model being deployed in a data transmission system including a base station acting as the sender.DETAILED DESCRIPTION

[0037] Embodiments of the present disclosure relate to a method and device for modulation and coding scheme selection using a deep Q-network (DQN) . A deep Q-network is a reinforcement learning model / algorithm that uses a deep neural network to approximate the state-action value function that is then used to select which action to perform in each state. This enables the algorithm to handle high-dimensional state spaces. The goal of the present disclosure is to select at any given time the modulation and coding scheme that allows the highest throughput. This setup is called Adaptive Modulation and Coding (AMC) . Adaptive Modulation and Coding (AMC) is a technique used in wireless communications that adjusts the modulation, coding, and other signal parameters, by selecting the right MCS value based on the conditions of the radio link to maximize spectral efficiency and minimize error rate. Reinforcement Learning is a type of machine learning where an agent learns to make decisions by taking actions in an environment to achieve a goal, and improves its actions based on the positive or negative feedback it receives.

[0038] This disclosure proposes the use of a reinforcement learning algorithm to select the best modulation coding scheme given the state of the channel between the sender 101 and receiver 102, so as to maximize the throughput while minimizing the block error rate. The proposed method to train the algorithm disclosed herein trains the algorithm offline on a dataset and the can be applied directly on the system without the need for online training.

[0039] For the purpose of the present disclosure the number of Modulation and Coding Schemes that are used for the device and method is 28 (0 to 27) . This should be considered as an exemplary number of Modulation and Coding Schemes that may vary depending on the user’s desires. It will be appreciated that any number of modulation and coding schemes could be used, and the principles described herein would still apply to those additional modulation and coding schemes.

[0040] Figure 2 shows an example system configuration wherein the system comprises a sender 101 and a receiver 102, each of which may be embodied in separate hardware or software, or may be present in the same hardware or software. The system of Figure 2 comprises a sender 101, configured to encode data, that may be in the form of a message that may be generated or received, to produce an encoded data message. The encoded data may then be transmitted to the receiver 102 over one or more channels where it is decoded back into the original message. If the decoding is successfully achieved, then the receiver 102 will send feedback data to the sender 101. This may take any reasonable form but for the purpose of this disclosure we will use the example of and acknowledgement signal where ACK / NACK = 1. Conversely if the decoding of the message is not successful because the modulation and coding scheme is too high for example, then the acknowledgement signal will be ACK / NACK =0. This feedback data may then be used to adjust the modulation and coding scheme for future messages.

[0041] The present disclosure therefore presents a method and device for offline training of a policy for selecting the best modulation and coding scheme, to outperform a current product non-AI baseline of at least 5%. The training method disclosed herein may be beneficially done offline on a pre-collected initial dataset, so removing the need of training on the system or on a simulator. Once the policy has been trained, it is fast and light at inference time. Offline training 302 of the transmission function model and the reinforcement learning model allows the method to achieve high quality reinforcement learning models (agents) without the need to access the system. This prevents loss of performance in the telecommunication system as the training is resource intensive and during the first iterations the quality of the agent is low. Training 305 the reinforcement learning model in the transmission function model is beneficial as it increases the performance by an average of 10%.

[0042] The methods and device disclosed herein may be used in products such as any telecommunication system that utilizes wireless communications. Some examples of such systems are mobile phones and tablets, which use modulation and coding scheme to  adapt to the varying channel conditions and user demands in cellular networks, such as 4G and 5G. Other products include wireless routers and access points, which use modulation and coding schemes to optimize the performance and efficiency of wireless local area networks (WLANs) , such as Wi-Fi, Bluetooth, ZigBee, NFC, cellular, and others. Modulation and coding scheme selection is an essential component of these technologies, as it determines the data rate and reliability of the wireless transmission. A further example of a product may be wireless sensor networks and internet of things devices, which use modulation and coding schemes to balance the trade-off between energy consumption and data quality in wireless sensor networks and internet of things applications, such as smart homes, smart cities, smart grids, etc.

[0043] The method according to this disclosure will now be described in relation to the example of Figure 3, which illustrates a method of training an algorithm 304 for modulation and coding selection. As shown in Figure 3 the method comprises receiving an initial dataset. The received initial dataset may be comprised of one or more data entry representing a modulation and coding scheme, the one or more data entry comprising feature data, scheme data and feedback data. This will be discussed in further detail in relation to Figure 4. The initial dataset may be collected through any means and by using any other algorithm for modulation and coding scheme selection, for example outer-loop link adaptation (OLLA) , the non-AI algorithm currently used in many products in the field may also be sufficient. The initial dataset can be collected during the normal operation of the system, without any need to disrupt the normal system behaviour.

[0044] The method may also in some circumstances include receiving a transmission function model 301 that may be configured to predict feedback data based on the modified dataset. The transmission function model 301 may in some cases not be received from outside the system / device and instead may be present already, in such cases there does not need to be a method step of receiving the transmission function model 301.

[0045] The method of this disclosure may then utilise the initial dataset to generate a modified data set by augmenting the initial dataset to include one or more further data entry based on the feedback data of the initial dataset. In other words, the initial dataset of empirical data that is known from the system is supplemented with one or more further data entry based on the feedback data from the empirical data of the initial dataset. In this way, additional dataset entries can be included in a modified dataset that can be used for training of a transmission function model 301.

[0046] Once the modified dataset has been generated by augmenting the initial dataset, the method may include training, offline 302, a transmission function model 301 to predict feedback data based on the modified dataset. In this way the transmission function model that may have initially been configured in a general manner may be trained to be better suited to the modified dataset. The transmission function model 301 may comprise a neural network comprised of parameters, for example weights and other parameters. Training the transmission function model 301 may comprise inputting to the neural network one or more data entry from the modified dataset comprising feature data and scheme data in order to predict feedback data for each of the one or more data entry input to the neural network. Training the neural network to better predict the feedback data for each of the one or more data entry input may be performed by minimising the negative log-likelihood loss function between the predicted feedback data and the feedback data from the modified dataset. Of course, it should be understood that other optimisation techniques may be utilised, and the negative log-likelihood loss function is provided by way of an example only. Once the loss function has been minimised the parameters of the neural network may be updated based on the minimised loss function.

[0047] The transmission function model 302 may be thought of as a classifier model that utilises the modified dataset to learn to predict the feedback data (ACK / NACK signal) given the feature data, representing a system state, and scheme data, representing a selected modulation and coding scheme. Any classifier model (transmission function model) can be used for this. In the specific example described herein a neural network is utilised that takes as input a vector comprised of feature data and scheme data (Features, MCS) and has to predict the feedback data (ACK / NACK) . AS discussed above, the training of the transmission  function model 302 may be performed by minimizing the negative log-likelihood loss (NLL) with respect to the feedback data (ACK / NACK) corresponding to the given input (data entry) .

[0048] Once the transmission function model has been trained to produce a trained transmission function model 303, the method comprises training 305 a reinforcement learning model 304 comprised of parameters using the trained transmission function model 303 and based on a sample of the feature data from the modified dataset. The reinforcement learning model 304 may be trained 305 by minimising the loss function between a transmission probability reward function determined by the trained transmission function model 303 and a modulation and coding scheme selected by the reinforcement learning model 304. In other words, the trained transmission function model 303 is used as a simulator to train 305 the reinforcement learning model 304 that will finally be used to select the modulation and coding scheme. The training may follow any standard reinforcement learning training strategy, as shown will be described in further detail in relation to Figure 5. The training 305 of the reinforcement learning model 304 offline using the trained transmission function model 303may further include as part of the method of this disclosure updating the reinforcement learning model parameters based on the minimised loss function to produce a trained reinforcement learning model 306.

[0049] The method may then include deploying 307 the trained reinforcement learning model 306 on an encoding device or as part of an encoding system, and selecting a modulation and coding scheme to be used to encode data for transmission. In other words, once the reinforcement learning model 304, which may be understood to be a reinforcement learning algorithm, has been trained 305 it can be implemented for use on an appropriate system or device. The deployed 307 trained reinforcement learning model 306 may then be used for determining at any time a transmission is to be sent, based on feature data representing the state of the system and scheme data that is given to the model values for each of the modulation and coding schemes, which in the case of the present example is 28. The modulation and coding scheme with the highest value may then be selected by the model as an optional method step and used to encode the message in a transmission system. An example is a base station serving multiple users. The trained reinforcement learning model 306 deployed in the base station may analyse the state of the system, select the modulation and coding scheme and encodes the message to be sent with the selected modulation coding scheme. Once the reinforcement learning model is deployed 307 as part of the telecommunication system, it may in one example not be trained anymore.

[0050] The data-collecting and training of the transmission function model may not vary between different implementations and can be used as a standard procedure comprised of collecting the data over few days on the system to be used for the transmission of data (messages) to populate an initial dataset, then train 302 the transmission function model 301 and the reinforcement learning model (agent) as discussed above.

[0051] Generating the modified dataset as part of the method described above will now be described in greater detail in relation to Figure 4a and 4b. Figure 4a illustrates an example of an initial dataset and Figure 4b illustrates an example of an augmented dataset. Each dataset may be comprised of data entries comprised of feature data, which may be the features describing the state of the channel. The one or more data entry may further comprise scheme data, in other words selected modulation and coding scheme data, which is the modulation and coding scheme selected by the data collection algorithm (OLLA for example) . This is an integer between 1 and the maximum modulation and coding scheme that can be selected. Each of the one or more data entry may also comprise feedback data, which may comprise an ACK / NACK signal indicating the feedback of the outcome of the decoding of the transmitted data. The feedback data indicates whether the feedback data received by the sender 101 was correctly received by the receiver 102, ACK / NACK=1, or incorrectly received, ACK / NACK=0.

[0052] Before training the transmission function model as described above, the initial dataset should be augmented to generate a modified dataset. In doing this, the method of this disclosure may further comprise determining whether the feedback data for  each of the one or more data entry of the initial dataset shown in Figure 4a is comprised of either positive acknowledgement data or negative acknowledgement data. The positive acknowledgement data (ACK / NACK=1) represents that transmission using the scheme data for that data entry, e.g., the modulation and coding scheme selected for that data entry, allows for the data to be decoded. Conversely, negative acknowledgement data (ACK / NACK=0) represents that transmission using the scheme data, e.g., the modulation and coding scheme selected for that data entry, for that data entry does not allow for the data to be decoded by the receiver 102.

[0053] If the feedback data for one or more data entry comprises positive acknowledgement data, augmenting the initial dataset to include in the modified dataset one or more further data entry with scheme data having a lower value than the scheme data of the one or more data entry comprised of positive acknowledgement data and setting the one or more further data entry to have positive acknowledgement data. In other words, If, for a given state of the system (feature data) , represented by a feature vector, a modulation and coding scheme allows the transmission of the message, receiving ACK / NACK=1, then it can be assumed that all the lower modulation and coding schemes allow the transmission of the message as demonstrated by the graph of Figure 1.This means that the initial dataset can be augmented by adding, for each modulation and coding scheme lower than the selected one, a new line with the same feature data and the ACK / NACK flag set to 1, e.g., positive acknowledgement data. This can be seen in figure 4b in which the augmented data set includes data entries with modulation and coding schemes from 0 to 8 that have the same values as the data entry for the modulation and coding scheme of 8 as shown in the initial dataset of Figure 4a.

[0054] In addition to the above positive feedback data determination, or instead of the above positive feedback data determination, if the feedback data for one or more data entry comprises negative acknowledgement data, augmenting the initial dataset to include in the modified dataset one or more further data entry with scheme data having a higher value than the scheme data of the one or more data entry comprised of negative acknowledgement data and setting the one or more further data entry to have negative acknowledgement data. If for a given state of the system (feature data) , represented by a feature vector, a modulation and coding scheme does not allow the transmission of the message, receiving ACK / NACK=0, then it can be assumed that all higher modulation and coding schemes allow the transmission of the message as demonstrated by the graph of Figure 1. This means that the initial dataset can be augmented by adding, for each modulation and coding scheme higher than the selected one, a new line with the same feature data and the ACK / NACK flag set to 0, e.g., positive acknowledgement data. This can be seen in figure 4b in which the augmented data set includes data entries with modulation and coding schemes from 16 to 28 that have the same values as the data entry for the modulation and coding scheme of 16 as shown in the initial dataset of Figure 4a.

[0055] Once the initial dataset has been augmented as described above, the modified dataset comprising one or more augmented data entry can then be used to train 302 the transmission function model 301.

[0056] Next the training of the reinforcement learning model (agent) as discussed in the method above will be described in relation to Figure 5. The method as described above may further comprise, in training the reinforcement learning model offline, inputting to the reinforcement learning model a sample of the feature data from the modified dataset. In this context “offline” should be understood to mean prior to implementing the reinforcement learning model on the system on which it will be used. In other words, prior to and in some cases separate from the system. The method may further comprise generating for each data entry in the modified dataset in a single pass a state value representing the suitability of every modulation and coding scheme. It is particularly beneficial and possible to generate the state values for every modulation and coding scheme in a single pass in order to streamline the training process and reduce the computational passes needed. Suitability in this example should be understood to represent the probability that, using the modulation and coding scheme, the data will be transmissible and / or decodable given the current state of the system. The suitability may also be thought of a probability of a successful transmission and therefore the modulation coding scheme with the highest state data represents the best fit / best match for achieving the  successful transmission of data with the highest throughput. In some cases, generating for each data entry in the modified dataset in a single pass a state value may be performed by determining, using a deep neural network (deep Q-network) , a state (-action) value function representing a value of each of the modulation and coding scheme based on the received feature data. State (-action) value is the output of the neural network trained by the reinforcement learning model. Given an input feature data (the state) , the neural network may calculate a value of each action that can be selected, where the action may comprise selecting the modulation coding value. In other words, the state (-action) value may be the value of each modulation and coding scheme given the input feature data.

[0057] The method of training the reinforcement learning model may therefore also comprise selecting the modulation and coding scheme with the highest state value for the input data entry from the modified dataset. This selected modulation and coding scheme may then be input to the transmission function model from the reinforcement learning model together with the data entry (including feature data) . The method may then comprise generating, using the transmission function model, a transmission probability reward, which may be used to train the parameters reinforcement learning model by minimising the loss function between a transmission probability reward function determined by the transmission function model and a modulation and coding scheme selected by the reinforcement learning model.

[0058] Described in another way, the training of the reinforcement learning model as described above may be as follows. The feature data is sampled (box A in Figure 5) from the modified dataset and passed to the reinforcement learning model. The reinforcement learning model may then produce Q values (state values) for each of the 28 modulation and coding schemes (this could be done for any number of modulation and coding schemes but 28 is used as an example) in one single pass (B in Figure 5) . The index of the highest state value is the index of the best predicted modulation and coding scheme for that data entry from the modified dataset. The selected modulation and coding scheme, together with the feature data may then be passed to the transmission function model to predict the transmission probability of the modulation and coding scheme in with that particular feature vector (C in Figure 5) . The transmission probability may then be used to generate a reward through the reward function provided by an engineer (D in Figure 5) . Finally, the reinforcement learning model, which may be thought of as an algorithm or reinforcement learning policy is updated by minimizing the mean squared error loss between the reward generated by the output of the transmission function model and the value of the selected modulation and coding scheme predicted by the reinforcement learning model (box E in Figure 5) . Please clarify what each of the variables are in the comparison equation in box E in Figure 5 of the IDF e.g., s is the state, a is the action (the selected MCS) , r (s, a) is the reward given the state and action, Q(s, a) is the Q value predicted by the reinforcement learning model / algorithm (usually the Q value is not equal to the predicted reward, but in this case, given that the gamma parameter of the algorithm is set to 0, Q directly estimates r) .

[0059] As discussed above, once the method described herein has been used to train the reinforcement learning model for modulation and coding scheme selection, the reinforcement learning model can be implemented as appropriate as part of a telecommunication system as illustrated in Figure 6. Figure 6 shows how feature data 601 is used with the trained reinforcement learning model 602. Specifically, once the reinforcement learning model has been trained it can be deployed on a real system where at any point in time the feature data 601, representing the state of the system, may be provided to the trained reinforcement learning model 602 in order to generate the state values 603 for all of the modulation and coding schemes of the system, in this case 28. The modulation and coding scheme with the highest state value 603 can then be selected and used to encode the message.

[0060] Once implemented in such a system the above method may be extended to comprise transmitting the encoded data from a sender 101 to a receiver 102, the receiver 102 being configured to decode the encoded data from the sender 101. The method may further comprise receiving feedback data representing the outcome of decoding the encoded data. In such a case the method may include further steps that could be implemented if desirable by the user as an optional and additional example of an  extended method. The optional steps that may be performed after deployment of the trained reinforcement learning model 702 on an encoding device are that further training can be performed on the reinforcement learning model in an iterative manner during use as shown in Figure 7. Specifically, the method may further comprise training the reinforcement learning model during use by iteratively: receiving feedback data 701 after each transmission of encoded data corresponding to the selected data entry including feature data indicating the state of the system. The method may then further comprise storing the received feedback data and the selected data entry in a replay buffer and determining a minimised loss 704 between the selected data entry with the highest state value 703 and the received feedback data 701. Using the minimised loss between the selected data entry and the received feedback data the method may further update the parameters of the reinforcement learning model accordingly. In some examples, it is possible to, after training the reinforcement learning model offline, continuously train the reinforcement learning model even after shipping. The reinforcement learning model can be trained as a standard reinforcement learning model by using the ACK / NACK feedback as a target as shown in Figure 7. To do so, during operation of the system, the features data 701 describing the state of the system, the selected modulation and coding scheme and the feedback data (ACK / NACK) are stored in a replay buffer. The parameters of the reinforcement learning model policy may then then finetuned with mean squared error loss 704 by using as target the selected modulation and coding scheme value multiplied by the feedback data coming from the system (ACK / NACK signal e.g., 1 or 0) instead of from the model as described in Figure 5. In this way the finetuning can be performed to further train the reinforcement learning model that is implemented on the system while the system is utilised. The parameters of the models described herein may be thought of as weights and other variables of the neural networks described herein.

[0061] The method disclosed herein may be implemented by a device that may be comprised of one or more processor configured to perform the steps of the method described above. Any suitable device capable of executing the above method should be considered to be disclosed some of which may be distributed devices or a single device. It should be further understood that the method may be performed by a non-transitory computer-readable medium storing instructions that when executed perform the method disclosed herein.

[0062] The method of the present disclosure may be implemented as discussed above and the trained reinforcement learning model for modulation and coding selection as discussed herein may be implemented in any wireless system in which a base station 801 has to serve multiple users simultaneously such as that shown in Figure 8. In such a system, the algorithm would reside in the base station 801 and considers the channels state information for each users, and rapidly select the best MCS for each of them. Because of the speed constraints of such system, the algorithm has to be fast and accurate, otherwise the connection performance of the users will suffer. Figure 8 illustrates the implementation of the trained reinforcement learning model 804, that is trained using the trained transmission function model, on a base station 801 that may act as a sender 801. In comparison to the sender 101 of Figure 2, it can be seen that the method of this disclosure produces an implementable reinforcement learning model that supplements the encoding process of the encoder comprised within the sender 801. This is achieved by optimally selecting the modulation and coding scheme that maximises encoding / compressing and throughput while allowing successful transmission of data. It can be seen in Figure 8, that the trained reinforcement learning model 804 is capable of receiving feedback from the receiver 802 as well as channel information describing the state of the system e.g., feature data, in order to optimally select the modulation and coding scheme as discussed above.

[0063] Using a multioutput neural network allows to generate in a single forward pass the values for all the MCS. This decreases by a factor 14 the computation burden for MCS selection compared to a single output neural network, a fundamental aspect in telecommunication systems. Using this agent increases performance with respect to the non-AI baseline by an average of 12%. Offline training of the model and the agent allows to achieve high quality agents without the need to access the system. This prevents loss of performance in the telecommunication system as the training is resource intensive and during the first iterations  the quality of the agent is low. Training the agent in the model is fundamental as it increases the performance by an average of 10%. Performing the data augmentation as described allows to increase performance of the trained agent by an average of 4%.

[0064] The applicant hereby discloses in isolation each individual feature described herein and any combination of two or more such features, to the extent that such features or combinations are capable of being carried out based on the present specification as a whole in the light of the common general knowledge of a person skilled in the art, irrespective of whether such features or combinations of features solve any problems disclosed herein, and without limitation to the scope of the claims. The applicant indicates that aspects of the present invention may consist of any such individual feature or combination of features. In view of the foregoing description it will be evident to a person skilled in the art that various modifications may be made within the scope of the invention.

Claims

1.A method for modulation and coding scheme selection, the method comprising:receiving an initial dataset comprised of one or more data entry representing a modulation and coding scheme, the one or more data entry comprising feature data, scheme data and feedback data;generating a modified data set by augmenting the initial dataset to include one or more further data entry based on the feedback data of the initial dataset;training a transmission function model configured to predict feedback data based on the modified dataset;training a reinforcement learning model comprised of parameters using the trained transmission function model and based on a sample of the feature data from the modified dataset, the reinforcement learning model being trained by minimising the loss function between a transmission probability reward function determined by the transmission function model and a modulation and coding scheme selected by the reinforcement learning model; andupdating the reinforcement learning model parameters based on the minimised loss function to produce a trained reinforcement learning model.2.The method of claim 1, further comprising:deploying the trained reinforcement learning model on an encoding device, andselecting a modulation and coding scheme to be used to encode data for transmission.3.The method of any preceding claim, wherein generating a modified dataset further comprises:determining whether the feedback data for each of the one or more data entry of the initial dataset is comprised of either positive acknowledgement data representing that transmission using the scheme data for that data entry is possible, or negative acknowledgement data representing that transmission using the scheme data for that data entry is not possible;if the feedback data for one or more data entry comprises positive acknowledgement data, augmenting the initial dataset to include in the modified dataset one or more further data entry with scheme data having a lower value than the scheme data of the one or more data entry comprised of positive acknowledgement data and setting the one or more further data entry to have positive acknowledgement data; and / orif the feedback data for one or more data entry comprises negative acknowledgement data, augmenting the initial dataset to include in the modified dataset one or more further data entry with scheme data having a higher value than the scheme data of the one or more data entry comprised of negative acknowledgement data and setting the one or more further data entry to have negative acknowledgement data.4.The method of any preceding claim, wherein the transmission function model is comprised of a neural network and training the transmission function model comprises:inputting to the neural network comprised of parameters one or more data entry from the modified dataset comprising feature data and scheme data;predicting feedback data for each of the one or more data entry input to the neural network;training the neural network by minimising the negative log-likelihood loss function between the predicted feedback data and the feedback data from the modified dataset;updating the parameters of the neural network based on the minimised loss function.5.The method of any preceding claim, wherein the training of the reinforcement learning model further comprises:inputting to the reinforcement learning model a sample of the feature data from the modified dataset;generating for each data entry in the modified dataset in a single pass a state value representing the suitability of every modulation and coding scheme;selecting the modulation and coding scheme with the highest state value for the input data entry from the modified dataset;inputting to the transmission function model the selected modulation and coding scheme from the reinforcement learning model together with the data entry; andgenerating, using the transmission function model, a transmission probability reward.6.The method of claim 2, wherein the method further comprises:transmitting the encoded data to a receiver configured to decode the encoded data; andreceiving feedback data representing the outcome of decoding the encoded data.7.The method of claim 6, further comprising:training the reinforcement learning model during use by iteratively:receiving feedback data after each transmission of encoded data corresponding to the selected data entry including feature data indicating the state of the system;storing the received feedback data and the selected data entry in a replay buffer;determining a minimised loss between the selected data entry and the received feedback data; andupdating the parameters of the reinforcement learning model.8.The method of claim 5, wherein generating for each data entry in the modified dataset in a single pass a state value is performed by determining, using a deep neural network, a state value function representing a value of each modulation and coding scheme based on the received feature data.9.A device for training a reinforcement learning model to perform modulation and coding scheme selection, the device comprising one or more processors configured to:receive an initial dataset comprised of one or more data entry representing a modulation and coding scheme, the one or more data entry comprising feature data, scheme data and feedback data;generate a modified data set by augmenting the initial dataset to include one or more further data entry based on the feedback data of the initial dataset;train a transmission function model configured to predict feedback data based on the modified dataset;train a reinforcement learning model comprised of parameters using the trained transmission function model and based on a sample of the feature data from the modified dataset, the reinforcement learning model being trained by minimising the loss function between a transmission probability reward function determined by the transmission function model and a modulation and coding scheme selected by the reinforcement learning model; andupdate the reinforcement learning model parameters based on the minimised loss function to produce a trained reinforcement learning model.10.The device according to claim 9, wherein the one or more processors are further configured to:deploy the trained reinforcement learning model on an encoding device, andselect a modulation and coding scheme to be used to encode data for transmission.11.The device according to claim 9 or 10, wherein the one or more processors are further configured to when generating a modified dataset:determine whether the feedback data for each of the one or more data entry of the initial dataset is comprised of either positive acknowledgement data representing that transmission using the scheme data for that data entry is possible, or negative acknowledgement data representing that transmission using the scheme data for that data entry is not possible; andif the feedback data for one or more data entry comprises positive acknowledgement data, augment the initial dataset to include in the modified dataset one or more further data entry with scheme data having a lower value than the scheme data of the one or more data entry comprised of positive acknowledgement data and setting the one or more further data entry to have positive acknowledgement data; and / orif the feedback data for one or more data entry comprises negative acknowledgement data, augment the initial dataset to include in the modified dataset one or more further data entry with scheme data having a higher value than the scheme data of the one or more data entry comprised of negative acknowledgement data and setting the one or more further data entry to have negative acknowledgement data.12.The device according to any one of claims 9 to 11, wherein the transmission function model is comprised of a neural network and the one or more processors are, when training the transmission function model, configured to:input to the neural network comprised of parameters one or more data entry from the modified dataset comprising feature data and scheme data;predict feedback data for each of the one or more data entry input to the neural network;train the neural network by minimising the negative log-likelihood loss function between the predicted feedback data and the feedback data from the modified dataset;update the parameters of the neural network based on the minimised loss function.13.The device according to any one of claims 9 to 12, wherein the one or more processors, when training of the reinforcement learning model, are configured to:input to the reinforcement learning model a sample of the feature data from the modified dataset;generate for each data entry in the modified dataset in a single pass a state value representing the suitability of every modulation and coding scheme;selecting the modulation and coding scheme with the highest state value for the input data entry from the modified dataset;inputting to the transmission function model the selected modulation and coding scheme from the reinforcement learning model together with the data entry; andgenerating, using the transmission function model, a transmission probability reward.14.The device according to claim 10, wherein the one or more processors are further configured to:transmit the encoded data to a receiver configured to decode the encoded data; andreceive feedback data representing the outcome of decoding the encoded data.15.The device according to claim 14, wherein the one or more processors are further configured to:train the reinforcement learning model during use by iteratively:receive feedback data after each transmission of encoded data corresponding to the selected data entry including feature data indicating the state of the system;store the received feedback data and the selected data entry in a replay buffer;determine a minimised loss between the selected data entry and the received feedback data; andupdate the parameters of the reinforcement learning model.16.The device according to claim 13, wherein, when generating for each data entry in the modified dataset in a single pass a state value, the one or more processors are configured to determine, using a deep neural network, a state value function representing a value of each modulation and coding scheme based on the received feature data.

Images