Devices and methods for in-network learning for dynamic wireless networks

Abstract

Devices and methods are disclosed for in-network learning for dynamic wireless networks. For instance, an edge device (110a-n) is configured to obtain an encoder machine learning, ML, model (111a-n), wherein the encoder ML model (111a-n) is based on In-Network Learning of a virtual wireless network (300) and wherein the virtual wireless network (300) comprises a plurality of virtual edge devices, each virtual edge device implementing an encoder ML model (111a-n) for collecting input data of different modality and a virtual fusion center device implementing a decoder ML model (132). Moreover, the edge device (110a-n) is configured to process the collected input data with the encoder ML model (111a-n) and subsequently with a suffix ML model (112a-n) into output data, wherein the suffix ML model (112a-n) is trained with In-Network Learning of the wireless network (100) comprising the plurality of edge devices (110a-n) for collecting input data of different modality, each edge device (110a-n) implementing the fixed encoder ML model (111a-n) and the suffix ML model (112a-n), one or more relay devices (120a, b), each relay device (120a, b) implementing a relay ML model (121a, b), and a fusion center device (130) implementing a prefix ML model (131) and a fixed decoder ML model (132). The edge device (110a-n) is further configured to provide the output data to one of the one or more relay devices (120a,b) or to the fusion center device (130) of the wireless network (100).

Description

DEVICES AND METHODS FOR IN-NETWORK LEARNING FOR DYNAMIC WIRELESS NETWORKSTECHNICAL FIELD

[0001] The present invention relates to data processing. More specifically, the present invention relates to devices and methods for in-network learning of wireless networks, in particular dynamic networks, such as mobile networks, for instance 3GPP mobile networks.BACKGROUND

[0002] Future communication systems, including 3GPP 6G, are envisioned to rely on cooperating intelligent agents whose combined processing capabilities will be on par with the capabilities of state-of-the-art centralized large language models (LLMs) such as GPT-5. These distributed agents will be able to jointly process multimodal data (e.g., images, videos or sensing data collected by each agent) , adapt to changing, i.e. dynamic environments, solve various complex tasks, and share obtained knowledge with other devices.

[0003] In the above vision, all relevant input data are distributed across multiple agents while the joint data interpretation and decision making should be done by a remote fusion center. This poses a significant technical challenge, because limited communication bandwidth and privacy constraints usually prevent transmitting raw input data of all agents to the fusion server. In order to mitigate this challenge, a possible and increasingly popular solution has become In-Network Learning (INL) (disclosed in I. Aguerri and A. Zaidi, "Distributed Variational Representation Learning" in IEEE Transactions on Pattern Analysis &Machine Intelligence, vol. 43, no. 01, pp. 120-138, 2021, doi: 10. 1109 / TPAMI. 2019.2928806, and in M. Moldoveanu and A. Zaidi, “In-Network Learning: Distributed Training and Inference in Networks” , arXiv preprint arXiv: 2107.03433) which allows to train or evaluate machine learning models in a distributed manner without a need to transmit all local data at a single place. In In-network Learning, each agent keeps a piece of a large model and uses it to process local input data. The result of the local processing are latent descriptions which gather only most relevant information of the local input data and thus are much easier to transmit to the fusion center.

[0004] However, the basic framework of In-Network Learning (plain INL) assumes that the number of agents, the network topology, and the distribution of input data remains identical during training and inference phases. Unfortunately, these requirements are difficult to meet in highly dynamic mobile networks with a variable number of edge devices, dynamic network topologies, and fluctuating channel conditions. For this reason, there is an urgent need to propose novel techniques that increase the robustness of In-network Learning against changes of a network topology, i.e. for dynamic wireless networks.SUMMARY

[0005] It is an object of the invention to provide improved devices and methods for in-network learning of wireless networks, in particular highly dynamic networks, such as mobile networks, for instance 3GPP mobile networks.

[0006] The foregoing and other objects are achieved by the subject matter of the independent claims. Further implementation forms are apparent from the dependent claims, the description and the figures.

[0007] According to a first aspect an edge device (also referred to as edge node) of a wireless network is provided. The wireless network comprises a plurality of edge devices according to the first aspect for collecting input data of different modality, one or more relay devices and a fusion center device. The edge device according to the first aspect is configured to obtain an encoder machine learning, ML, model, wherein the encoder ML model is based on In-Network Learning of a virtual wireless network and wherein the virtual wireless network comprises a plurality of edge devices for collecting input data of different modality and a fusion center device implementing a decoder ML model. Moreover, the edge device according to the first aspect is configured to process the collected input data with the encoder ML model and subsequently with a suffix ML model into output data, wherein the suffix ML model is trained with In-Network  Learning of the wireless network comprising the plurality of edge devices for collecting input data of different modality, each edge device implementing a fixed encoder ML model and a suffix ML model, the one or more relay devices, each relay device implementing a relay ML model, and the fusion center device implementing a prefix ML model and a fixed decoder ML model. The edge device according to the first aspect is further configured to provide the output data to one of the one or more relay devices or to the fusion center device of the wireless network. Provisioning the edge device according to the first aspect with an encoder ML model that has been trained for a virtual wireless network with a general topology and a suffix ML model finetuned to the actual physical implementation of the wireless network makes In-Network Learning robust against topology changes of the wireless network during inference phase without the need to fully re-train all distributed machine learning models whenever the topology changes. This may, for instance, save communication bandwidth, reduce energy consumption and reduce network training / configuration time in a wireless network implementing In-Network Learning.

[0008] As used herein, “In-Network Learning (INL) ” allows to train or evaluate machine learning models in a distributed manner without a need to transmit all local data at a single place. In In-network Learning, each agent, such as an edge device or a relay device, keeps a piece of a large model and uses it to process local input data. The result of the local processing are latent descriptions which gather only most relevant information of the local input data and thus are much easier to transmit to the fusion center device.

[0009] In a further possible implementation form, the encoder ML model comprises one or more feed-forward neural networks.

[0010] In a further possible implementation form, the edge device according to the first aspect is configured to inform the one or more relay devices and / or the fusion center device about a change of the topology of the wireless network for triggering a re-training of the wireless network with In-Network Learning.

[0011] In a further possible implementation form, the number of the plurality of edge devices of the wireless network is equal to the number of the plurality of edge devices of the virtual wireless network.

[0012] According to a second aspect a method is provided for operating an edge device of a wireless network, wherein the wireless network comprises a plurality of edge devices for collecting input data of different modality, one or more relay devices and a fusion center device. The method according to the second aspect comprises:

[0013] obtaining an encoder machine learning, ML, model, wherein the encoder ML model is based on In-Network Learning of a virtual wireless network and wherein the virtual wireless network comprises a plurality of virtual edge devices, each virtual edge device implementing an encoder ML model for collecting input data of different modality and a virtual fusion center device implementing a decoder ML model;

[0014] processing the collected input data with the encoder ML model and subsequently with a suffix ML model into output data, wherein the suffix ML model is trained with In-Network Learning of the wireless network comprising the plurality of edge devices for collecting input data of different modality, each edge device implementing the fixed encoder ML model and the suffix ML model, the one or more relay devices, each relay device implementing a relay ML model, and the fusion center device implementing a prefix ML model and the fixed decoder ML model; and

[0015] providing the output data to one of the one or more relay devices or to the fusion center device of the wireless network.

[0016] The method according to the second aspect can be performed by the edge device according to the first aspect. Thus, further features of the method according to the second aspect result directly from the functionality of the edge device according to the first aspect and its different implementation forms described above and below.

[0017] According to a third aspect a relay device for a wireless network is provided, wherein the wireless network comprises a plurality of edge devices for collecting input data of different modality, one or more relay devices and a fusion center device. The relay device according to the third aspect is configured to obtain a relay machine learning, ML, model and to aggregate output data from one or more of the plurality of edge devices using the relay ML model, wherein the relay ML model is trained with In-Network Learning of the wireless network comprising the plurality of edge devices for collecting input data of different modality, each edge device implementing a fixed encoder ML model and a suffix ML model, the one or more relay devices, each relay device implementing a relay ML model, and the fusion  center device implementing a prefix ML model and a fixed decoder ML model. The encoder ML model of each edge device and the decoder ML model of the fusion center device are based on In-Network Learning of a virtual wireless network, wherein the virtual wireless network comprises a plurality of virtual edge devices for collecting input data of different modality, each virtual edge device implementing an encoder ML model, and a virtual fusion center device implementing the decoder ML model. Moreover, the relay device according to the third aspect is configured to provide the aggregated output data to the fusion center device or to a further relay device.

[0018] In a further possible implementation form, the relay device is configured to inform the plurality of edge devices and / or the fusion center device about a change of the topology of the wireless network for triggering a re-training of the wireless network with In-Network Learning.

[0019] In a further possible implementation form, the number of the plurality of edge devices of the wireless network is equal to the number of the plurality of edge devices of the virtual wireless network.

[0020] According to a fourth aspect a method is provided for operating a relay device of a wireless network, wherein the wireless network comprises a plurality of edge devices for collecting input data of different modality, one or more relay devices and a fusion center device. The method according to the fourth aspect comprises:

[0021] obtaining a relay machine learning, ML, model;

[0022] aggregating output data from one or more of the plurality of edge devices using the relay ML model, wherein the relay ML model is trained with In-Network Learning of the wireless network comprising the plurality of edge devices for collecting input data of different modality, each edge device implementing a fixed encoder ML model and a suffix ML model, the one or more relay devices, each relay device implementing a relay ML model, and the fusion center device implementing a prefix ML model and a fixed decoder ML model, and wherein the encoder ML model of each edge device and the decoder ML model of the fusion center device are based on In-Network Learning of a virtual wireless network and wherein the virtual wireless network comprises a plurality of virtual edge devices for collecting input data of different modality and a virtual fusion center device implementing a decoder ML model; and

[0023] providing the aggregated output data to the fusion center device.

[0024] The method according to the fourth aspect can be performed by the relay device according to the third aspect. Thus, further features of the method according to the fourth aspect result directly from the functionality of the relay device according to the third aspect and its different implementation forms described above and below.

[0025] According to a fifth aspect a fusion center device for a wireless network is provided. The wireless network further comprises a plurality of edge devices for collecting input data of different modality and one or more relay devices. The fusion center device according to the fifth aspect is configured to obtain a decoder machine learning, ML, model, wherein the decoder ML model is based on In-Network Learning of a virtual wireless network and wherein the virtual wireless network comprises a plurality of virtual edge devices for collecting input data of different modality, each virtual edge device implementing an encoder ML model, and a virtual fusion center device implementing the decoder ML model. The fusion center device according to the fifth aspect is further configured to aggregate output data from one or more of the plurality of edge devices and from the one or more relay devices using a prefix ML model and subsequently the decoder ML model, wherein the prefix ML model is trained with In-Network Learning of the wireless network comprising the plurality of edge devices for collecting input data of different modality, each edge device implementing a fixed encoder ML model and a suffix ML model, the one or more relay devices, each relay device implementing a relay ML model, and the fusion center device implementing the prefix ML model and the fixed decoder ML model.

[0026] In a further possible implementation form, the decoder ML model implemented by the fusion center device according to the fifth aspect comprises one or more feed-forward neural networks.

[0027] In a further possible implementation form, the fusion center device according to the fifth aspect is configured to trigger a re-training of the wireless network with In-Network Learning, in response to being informed about a change of the topology of the wireless network.

[0028] In a further possible implementation form, the number of the plurality of edge devices of the wireless network is equal to the number of the plurality of virtual edge devices of the virtual wireless network.

[0029] According to a sixth aspect a method is provided for operating a fusion center device of a wireless network, wherein the wireless network further comprises a plurality of edge devices for collecting input data of different modality and one or more relay devices. The method according to the sixth aspect comprises:

[0030] obtaining a decoder machine learning, ML, model, wherein the decoder ML model is based on In-Network Learning of a virtual wireless network and wherein the virtual wireless network comprises a plurality of virtual edge devices for collecting input data of different modality, each virtual edge device implementing an encoder ML model, and a virtual fusion center device implementing the decoder ML model; and

[0031] aggregating output data from one or more of the plurality of edge devices and / or from the one or more relay devices using a prefix ML model and subsequently the decoder ML model, wherein the prefix ML model is trained with In-Network Learning of the wireless network comprising the plurality of edge devices for collecting input data of different modality, each edge device implementing a fixed encoder ML model and a suffix ML model, the one or more relay devices, each relay device implementing a relay ML model, and the fusion center device implementing the prefix ML model and the fixed decoder ML model.

[0032] The method according to the sixth aspect can be performed by the fusion center device according to the fifth aspect. Thus, further features of the method according to the sixth aspect result directly from the functionality of the fusion center device according to the fifth aspect and its different implementation forms described above and below.

[0033] According to a seventh aspect a computer program or a computer program product is provided, comprising a computer-readable storage medium carrying program code which causes a computer or a processor to perform the method according to the second aspect, the method according to the fourth aspect, and / or the method according to the sixth aspect, when the program code is executed by the computer or the processor.

[0034] According to an eighth aspect a wireless network, such as a 3GPP mobile network is provided, comprising a plurality of edge devices according to the first aspect, one or more relay devices according to the third aspect, and a fusion center device according to the fifth aspect.

[0035] Details of one or more embodiments are set forth in the accompanying drawings and the description below. Other features, objects, and advantages will be apparent from the description, drawings, and claims.BRIEF DESCRIPTION OF THE DRAWINGS

[0036] In the following embodiments of the invention are described in more detail with reference to the attached figures and drawings, in which:

[0037] Fig. 1 is a schematic diagram illustrating a conventional wireless network;

[0038] Fig. 2 is a schematic diagram illustrating different scenarios for dynamic changes of a conventional wireless network;

[0039] Fig. 3 is a schematic diagram illustrating the architecture of a virtual wireless network, including a plurality of virtual edge devices and a fusion center device, used for In-Network Learning for a wireless network according to an embodiment;

[0040] Fig. 4A is a schematic diagram illustrating In-Network Learning of a wireless network, including a plurality of edge devices, a plurality of relay devices, and a fusion center device according to an embodiment;

[0041] Fig. 4B is a schematic diagram illustrating re-training of a wireless network, including a plurality of edge devices, a plurality of relay devices, and a fusion center device according to an embodiment due to the failure of a relay device;

[0042] Fig. 5 is a flow diagram illustrating a method according to an embodiment for operating an edge device of a wireless network for In-Network Learning;

[0043] Fig. 6 is a flow diagram illustrating a method according to an embodiment for operating a relay device of a wireless network for In-Network Learning; and

[0044] Fig. 7 is a flow diagram illustrating a method according to an embodiment for operating a fusion center device of a wireless network for In-Network Learning.

[0045] In the following identical reference signs refer to identical or at least functionally equivalent features.

[0046] DETAILED DESCRIPTION OF THE EMBODIMENTS

[0047] In the following description, reference is made to the accompanying figures, which form part of the disclosure, and which show, by way of illustration, specific aspects of embodiments of the invention or specific aspects in which embodiments of the present invention may be used. It is understood that embodiments of the invention may be used in other aspects and comprise structural or logical changes not depicted in the figures. The following detailed description, therefore, is not to be taken in a limiting sense, and the scope of the present invention is defined by the appended claims.

[0048] For instance, it is to be understood that a disclosure in connection with a described method may also hold true for a corresponding device or system configured to perform the method and vice versa. For example, if one or a plurality of specific method steps are described, a corresponding device may include one or a plurality of units, e.g. functional units, to perform the described one or plurality of method steps (e.g. one unit performing the one or plurality of steps, or a plurality of units each performing one or more of the plurality of steps) , even if such one or more units are not explicitly described or illustrated in the figures. On the other hand, for example, if a specific apparatus is described based on one or a plurality of units, e.g. functional units, a corresponding method may include one step to perform the functionality of the one or plurality of units (e.g. one step performing the functionality of the one or plurality of units, or a plurality of steps each performing the functionality of one or more of the plurality of units) , even if such one or plurality of steps are not explicitly described or illustrated in the figures. Further, it is understood that the features of the various exemplary embodiments and / or aspects described herein may be combined with each other, unless specifically noted otherwise.

[0049] Figure 1 is a schematic diagram illustrating a conventional wireless network 10 implemented for distributed machine learning, ML, in the form of In-Network Learning (more specifically, figure 1 illustrates the distributed inference using In-Network Learning) . The conventional wireless network 10 illustrated in figure 1 comprises a plurality of edge devices 11a-c (referred to as nodes 1 to 3 in figure 1) , a relay device 12a (referred to as node 4 in figure 1) , and a fusion center device 13, for instance, a server 13 (referred to as node N in figure 1) . As indicated in figure 1, each of these nodes may implement ML models and communicate with each other via communication channels having different communication capacities Ci, j.

[0050] The plurality of edge devices 11a-c may have access to local data (possibly multimodal, e.g., images, audio, text, etc. ) and the fusion center device 13 may be configured to make a joint decision based on the relevant information jointly possessed by all the edge devices 11a-c. To this end, as already mentioned above, respective ML models may be implemented on the different devices 11a-c, 12, and 13 and trained using In-Network Learning. Briefly summarized, In-Network Learning allows to train or evaluate machine learning models in a distributed manner without a need to transmit all local data at a single place. In In-network Learning, each agent, such as the edge devices 11a-c or the relay device 12, keeps a piece of a large model and uses it to process local input data. The result of the local processing are latent descriptions which gather only most relevant information of the local input data and thus are much easier to transmit to the fusion center device 13. Further details of In-Network Learning are disclosed in I. Aguerri and A. Zaidi, "Distributed Variational Representation Learning" in IEEE Transactions on Pattern Analysis &Machine Intelligence, vol. 43, no. 01, pp. 120-138, 2021, doi: 10.1109 / TPAMI. 2019.2928806, and in M. Moldoveanu and A. Zaidi, “In-Network Learning: Distributed Training and Inference in Networks” , arXiv preprint arXiv: 2107.03433 as well as in the published patent applications “Robust in-network learning: system and method for learning and inference in presence of missing data” , WO2023 / 147857 and “Joint relevance-channel aware wireless device scheduling for in-network learning” , WO2023 / 151802, which are fully incorporated herein by reference.

[0051] Conventional In-Network Learning, as disclosed, for instance, in the documents mentioned above, requires that the topology of the wireless network 10 and the channel capacities remain the same during both training and inference phases. Thus, conventional In-Network Learning is not capable of handling the dynamic scenarios illustrated in figure 2, namely the addition or failure of a relay device 12a, b and / or a change of the communication channel capacities. As will be described in more detail in the following, embodiments disclosed herein allow to make In-Network  Learning robust against topology changes of the wireless network during inference phase (e.g., due to intermediate devices getting in / out, or failed / fluctuating communication channels) without the need to fully re-train all distributed machine learning models whenever the topology changes.

[0052] Figure 4A is a schematic diagram illustrating In-Network Learning of a wireless network 100, including a plurality of edge devices 110a-n according to an embodiment, a plurality of relay devices 120a, b according to an embodiment, and a fusion center device 130 according to an embodiment. In an embodiment, the wireless network 100 may be a mobile network 100, in particular a 3GPP mobile network 100, such as a 5G or 6G network. In an embodiment, the edge devices 110a-n may be, for instance, UEs 110a-n, the plurality of relay devices 120a, b may be base stations 120a, b or other types of Radio Access Network or Core Network devices 120a, b, and the fusion center device 130 may be an application server.

[0053] Each of the edge devices 110a-n may comprise processing circuitry, such as one or more processors or cores, for processing data and a memory for storing and retrieving data and implementing one or more ML models. Furthermore, each of the edge devices 110a-n may comprise a communication interface for exchanging data with the other devices of the wireless network 100 via a wireless connection. The processing circuitry of each edge device 110a-n for operating one or more ML models may be implemented in hardware and / or software. The hardware may comprise digital circuitry, or both analog and digital circuitry. Digital circuitry may comprise components such as application-specific integrated circuits (ASICs) , field-programmable gate arrays (FPGAs) , digital signal processors (DSPs) , or general-purpose processors. The memory of each edge device 110a-n may store executable program code which, when executed by the processing circuitry causes the edge device 110a-n to perform the functions and methods described herein.

[0054] Likewise, each of the relay devices 120a, b may comprise processing circuitry, such as one or more processors or cores, for processing data and a memory for storing and retrieving data and implementing one or more ML models. Furthermore, each of the relay devices 120a, b may comprise a communication interface for exchanging data with the other devices of the wireless network 100 via a wireless or wired connection. The processing circuitry of each relay device 120a, b for operating one or more ML models may be implemented in hardware and / or software. The hardware may comprise digital circuitry, or both analog and digital circuitry. Digital circuitry may comprise components such as application-specific integrated circuits (ASICs) , field-programmable gate arrays (FPGAs) , digital signal processors (DSPs) , or general-purpose processors. The memory of each relay device 120a, b may store executable program code which, when executed by the processing circuitry causes the relay device 120a, b to perform the functions and methods described herein.

[0055] Likewise, the fusion center device 130, e.g. server 130 may comprise processing circuitry, such as one or more processors or cores, for processing data and a memory for storing and retrieving data and implementing one or more ML models. Furthermore, the fusion center device 130 may comprise a communication interface for exchanging data with the other devices of the wireless network 100 via a wireless or wired connection. The processing circuitry of the fusion center device 130 for operating one or more ML models may be implemented in hardware and / or software. The hardware may comprise digital circuitry, or both analog and digital circuitry. Digital circuitry may comprise components such as application-specific integrated circuits (ASICs) , field-programmable gate arrays (FPGAs) , digital signal processors (DSPs) , or general-purpose processors. The memory of the fusion center device 130 may store executable program code which, when executed by the processing circuitry causes the fusion center device 130 to perform the functions and methods described herein.

[0056] As will be described in more detail in the following under further reference to figure 3, each edge device, such as the exemplary edge device 110a is configured to obtain and implement an encoder machine learning, ML, model 111a. As illustrated in figure 3, the encoder ML model 111a is based on In-Network Learning of a virtual wireless network 300, wherein the virtual wireless network 300 comprises a plurality of virtual edge devices, each virtual edge device implementing an encoder ML model, including the encoder ML model 111a obtained by the edge device 110a, and a virtual fusion center device implementing a decoder ML model 132. The exemplary edge device 110a is further configured to process the collected input data first with the encoder ML model 111a (trained using the virtual wireless  network 300 of figure 3) and subsequently with a suffix ML model 112a into output data. The suffix ML model 112a of the exemplary edge device 110a is trained with In-Network Learning of the wireless network 100 comprising the exemplary edge device 110a and the other edge devices 110b-n, the relay devices 120a, b, and the fusion center device 130. For training the suffix ML model 112a of the exemplary edge device 110a (as well as the suffix ML models 112b-n of the other edge devices 110b-n) each edge device 110a-n implements the respective encoder ML model 111a with fixed ML parameters and / or weights (herein also referred to as fixed encoder ML model) and the respective suffix ML model 112a-n, each relay device 120a, b implements a respective relay ML model 121a, b, and the fusion center device 130 implements a prefix ML model 131 and the fixed decoder ML model 132 (trained using the virtual wireless network 300 of figure 3) . The exemplary edge device 110a is further configured to provide the output data to the relay device 120a of the wireless network 100 illustrated in figure 4A.

[0057] The relay device 120a, in turn, which, as already mentioned implements the relay ML model 121a for aggregating the output data from the edge device 110a and the edge device 110b. The relay model 121a is trained together with the suffix ML model 112a of the edge device 110a, namely with In-Network Learning of the wireless network 100 comprising the plurality of edge devices 110a-n, the relay device 120a as well as the further relay device 120b, and the fusion center device 130. More specifically, for training the relay ML model 121a of the relay device 120a (as well as the relay ML model 121b of the other edge devices 110b-n) each edge device 110a-n implements the respective encoder ML model 111a with fixed ML parameters and / or weights and the respective suffix ML model 112a-n, each relay device 120a, b implements the respective relay ML model 121a, b, and the fusion center device 130 implements the prefix ML model 131 and the fixed decoder ML model 132 (trained using the virtual wireless network 300 of figure 3) . In the embodiment shown in figure 4A, the relay device 120a is further configured to provide the aggregated output data to the further relay device 120b, which, in turn, based on its relay ML model 121b is configured to aggregate the received data and provide the aggregated data to the fusion center device 130.

[0058] The fusion center device 130 implements the prefix ML model 131 (trained by In-Network Learning of the wireless network 100) and the decoder ML model 132 (trained by In-Network Learning of the virtual wireless network 300 of figure 3) for aggregate the output data from the relay device 120b and the edge device 110n.

[0059] As will be appreciated, the embodiments of the edge devices 110a-n, the relay devices 120a, b and the fusion center device 130 described above make In-Network Learning robust against changes in the network topology caused by relay devices 120a, b getting in / out and failing / fluctuating communication channels (an exemplary scenario for such a changing network topology is illustrated in figure 4B and will be described in more detail further below) . Thus, embodiments disclosed herein require much less time, resources, and training data than learning the whole architecture from scratch.

[0060] As will be further appreciated, implementing the embodiments of the edge devices 110a-n, relay devices 120a, b and the fusion center device 130 described above in the context of figures 4A and 3 can be considered to consist of three main phases: (a) off-line training of the encoder ML models 111a-n and the decoder ML model 132 with the virtual network 300, (b) model deployment on a distributed topology 100, and (c) on-line fine-tuning.

[0061] As already described above, for the first main phase (a) the plurality of encoder ML models 111a-n (one encoder 111a-n for each edge device 110a-n) and the joint decoder 132 (for the fusion center device 130) are trained. In an embodiment, the encoder ML models 111a-n and / or the joint decoder 132 may be feed-forward neural networks, wherein the dimensionality of the decoder’s input is equal to a sum of all encoder’s output dimensionalities (which is also a basic requirement of In-Network Learning) . In an embodiment, training may be done on a server using In-Network Learning emulating a multi-access distributed topology, i.e. the virtual wireless network 300 of figure 3. In an embodiment, the training data used may have an identical modality and similar distribution as planned for deployment (e.g., images captured by an onboard camera of an autonomous vehicle, patients’ health records kept by a hospital, and the like) . Once the training is finished, the trained encoders 111a-n and the decoder 130 are retrieved by the devices and their weights are fixed.

[0062] In the second main phase (b) the previously trained encoders 111a-n are loaded onto the respective edge devices 110a-n and the decoder 120 is loaded onto the fusion center device 130. As already described above, at each  edge device 110a-n a respective suffix ML model 112a-n (which compared to the respective encoder ML model 111a-n may be relatively small) is appended and initialized after the respective encoder ML model 111a-n. The input dimension (s) of the suffix ML model 112a-n should match the output dimension of the respective encoder ML model 111a-n, while the output dimension (s) of the suffix ML model 112a-n should match the dimension (s) allowed by the output channel. As further already described above, at each relay device 120a, b, a relay ML model 121a, b (which may be relatively small) is loaded and initialized. The input dimension (s) of the respective relay ML model 121a, b is a sum of dimensions for all input channels, while the output dimension (s) f the respective relay ML model 121a, b is a sum of dimensions for all output channels. As further already described above, at the fusion center device 130 a prefix ML model 131 (which compared to the decoder ML model 132 may be relatively small) is appended and initialized before the decoder ML model 132. The input dimension (s) of the prefix ML model 131 is a sum of dimensions for all input channels of the fusion center device 130, while the output dimension (s) of the prefix ML model 131 matches the input dimension of the decoder ML model 132.

[0063] In the third main phase (c) the plurality of ML models are trained, i.e. fine-tuned end-to-end over the network using In-Network Learning in such a way that (a) the encoder ML models 111a-n and the decoder ML model 132 are kept frozen, i.e. fixed, (b) only the prefix ML model 131, the suffix ML models 112a-n, and the relay models 121a, b are trained so that the distributed ML models learn how re-encode, transmit, and regenerate the output of the encoders.

[0064] As illustrated in figure 4B, whenever some network device detects a change in the topology, it may inform neighboring devices about the change. More specifically, a negotiation phase may start, where neighboring devices re-asses new channel links and their capacities. If needed, one or more of the suffix ML models 112a-n, the prefix ML model 131, and / or the relay models 121a, b may be re-initialized to take into account new links and capacities. If further needed, the re-initialized ML models may be trained end-to-end using In-Network Learning (other models are frozen) in the way described above.

[0065] Figure 5 is a flow diagram illustrating a method 500 for operating an edge device 110a-n of the wireless network 100 illustrated, for instance, in figures 4A, B. The method 500 comprises a step 501 of obtaining an encoder machine learning, ML, model 111a-n, wherein the encoder ML model 111a-n is based on In-Network Learning of the virtual wireless network 300 and wherein the virtual wireless network 300 comprises a plurality of virtual edge devices, each virtual edge device implementing an encoder ML model 111a-n for collecting input data of different modality and a virtual fusion center device implementing a decoder ML model 132. Moreover, the method 500 comprises a step 503 of processing the collected input data with the encoder ML model 111a-n and subsequently with a suffix ML model 112a-n into output data, wherein the suffix ML model 112a-n is trained with In-Network Learning of the wireless network 100 comprising the plurality of edge devices 110a-n for collecting input data of different modality, each edge device 110a-n implementing a respective fixed encoder ML model 111a-n, i.e. with fixed parameters and the respective suffix ML model 112a-n, the one or more relay devices 120a, b, each relay device 120a, b implementing a relay ML model 121a, b, and the fusion center device 130 implementing a prefix ML model 131 and the fixed decoder ML model 132, i.e. with fixed parameters. The method 500 further comprises a step 505 of providing the output data to one of the one or more relay devices 120a, b or to the fusion center device 130 of the wireless network 100.

[0066] Figure 6 is a flow diagram illustrating a method 600 for operating a relay device 120a, b of the wireless network 100 illustrated, for instance, in figures 4A, B. The method 600 comprises a step 601 of obtaining a relay machine learning, ML, model 121a, b. Moreover, the method 600 comprises a step 603 of aggregating output data from one or more of the plurality of edge devices 110a-n using the relay ML model 121a, b, wherein the relay ML model 121a, b is trained with In-Network Learning of the wireless network 100 comprising the plurality of edge devices 110a-n for collecting input data of different modality, each edge device 110a-n implementing a respective fixed encoder ML model 111a-n and a respective suffix ML model 112a-n, the one or more relay devices 120a, b, each relay device 120a, b implementing a respective relay ML model 121a, b, and the fusion center device 130 implementing a prefix ML model 131 and a fixed decoder ML model 132, and wherein the respective encoder ML model 111a-n of each edge device 110a-n and the decoder ML model 132 of the fusion center device 130 are based on In-Network Learning of a virtual wireless network 300 and wherein the virtual wireless network 300 comprises a plurality of virtual edge devices, each virtual edge device  implementing the respective encoder ML model 111a-n, and a virtual fusion center device implementing the decoder ML model 132. The method 600 further comprises a step 605 of providing the aggregated output data to the fusion center device 130.

[0067] Figure 7 is a flow diagram illustrating a method 700 for operating the fusion center device 130 of the wireless network 100 illustrated, for instance, in figures 4A, B. The method 700 comprises a step 701 of obtaining a decoder machine learning, ML, model 132, wherein the decoder ML model 132 is based on In-Network Learning of a virtual wireless network 300 and wherein the virtual wireless network 300 comprises a plurality of virtual edge devices for collecting input data of different modality, each virtual edge device implementing a respective encoder ML model 111a-n, and a virtual fusion center device implementing the decoder ML model 132. Moreover, the method 700 comprises a step 703 of aggregating output data from one or more of the plurality of edge devices 110a-n and / or from the one or more relay devices 120a, b using a prefix ML model 131 and subsequently the decoder ML model 132, wherein the prefix ML model 131 is trained with In-Network Learning of the wireless network 100 comprising the plurality of edge devices 110a-n for collecting input data of different modality, each edge device 110a-n implementing the fixed respective encoder ML model 111a-n and a respective suffix ML model 112a-n, the one or more relay devices 120a, b, each relay device 120a, b implementing a respective relay ML model 121a, b, and the fusion center device 130 implementing the prefix ML model 131 and the fixed decoder ML model 132.

[0068] The person skilled in the art will understand that the "blocks" (" units" ) of the various figures (method and apparatus) represent or describe functionalities of embodiments of the invention (rather than necessarily individual "units" in hardware or software) and thus describe equally functions or features of apparatus embodiments as well as method embodiments (unit = step) .

[0069] In the several embodiments provided in the present application, it should be understood that the disclosed system, apparatus, and method may be implemented in other manners. For example, the described apparatus embodiment is merely exemplary. For example, the unit division is merely logical function division and may be other division in actual implementation. For example, a plurality of units or components may be combined or integrated into another system, or some features may be ignored or not performed. In addition, the displayed or discussed mutual couplings or direct couplings or communication connections may be implemented by using some interfaces. The indirect couplings or communication connections between the apparatuses or units may be implemented in electronic, mechanical, or other forms.

[0070] The units described as separate parts may or may not be physically separate, and parts displayed as units may or may not be physical units, may be located in one position, or may be distributed on a plurality of network units. Some or all of the units may be selected according to actual needs to achieve the objectives of the solutions of the embodiments.

[0071] In addition, functional units in the embodiments of the invention may be integrated into one processing unit, or each of the units may exist alone physically, or two or more units are integrated into one unit.

Claims

1.An edge device (110a-n) of a wireless network (100) , the wireless network (100) comprising a plurality of edge devices (110a-n) for collecting input data of different modality, one or more relay devices (120a, b) and a fusion center device (130) , wherein the edge device (110a-n) is configured to:obtain an encoder machine learning, ML, model (111a-n) , wherein the encoder ML model (111a-n) is based on In-Network Learning of a virtual wireless network (300) and wherein the virtual wireless network (300) comprises a plurality of virtual edge devices, each virtual edge device implementing an encoder ML model (111a-n) for collecting input data of different modality and a virtual fusion center device implementing a decoder ML model (132) ;process the collected input data with the encoder ML model (111a-n) and subsequently with a suffix ML model (112a-n) into output data, wherein the suffix ML model (112a-n) is trained with In-Network Learning of the wireless network (100) comprising the plurality of edge devices (110a-n) for collecting input data of different modality, each edge device (110a-n) implementing the fixed encoder ML model (111a-n) and the suffix ML model (112a-n) , the one or more relay devices (120a, b) , each relay device (120a, b) implementing a relay ML model (121a, b) , and the fusion center device (130) implementing a prefix ML model (131) and the fixed decoder ML model (132) ; andprovide the output data to one of the one or more relay devices (120a, b) or to the fusion center device (130) of the wireless network (100) .2.The edge device (110a-n) of claim 1, wherein the encoder ML model (111a-n) comprises one or more feed-forward neural networks (111a-n) .3.The edge device (110a-n) of claim 1 or 2, wherein the edge device (110a-n) is configured to inform the one or more relay devices (120a, b) and / or the fusion center device (130) about a change of the topology of the wireless network (100) for triggering a re-training of the wireless network (100) with In-Network Learning.4.The edge device (110a-n) of any one of the preceding claims, wherein the number of the plurality of edge devices (110a-n) of the wireless network (100) is equal to the number of the plurality of virtual edge devices of the virtual wireless network (300) .5.A method (500) of operating an edge device (110a-n) of a wireless network (100) , the wireless network (100) comprising a plurality of edge devices (110a-n) for collecting input data of different modality, one or more relay devices (120a, b) and a fusion center device (130) , wherein the method (500) comprises:obtaining (501) an encoder machine learning, ML, model (111a-n) , wherein the encoder ML model (111a-n) is based on In-Network Learning of a virtual wireless network (300) and wherein the virtual wireless network (300) comprises a plurality of virtual edge devices, each virtual edge device implementing an encoder ML model (111a-n) for collecting input data of different modality and a virtual fusion center device implementing a decoder ML model (132) ;processing (503) the collected input data with the encoder ML model (111a-n) and subsequently with a suffix ML model (112a-n) into output data, wherein the suffix ML model (112a-n) is trained with In-Network Learning of the wireless network (100) comprising the plurality of edge devices (110a-n) for collecting input data of different modality, each edge device (110a-n) implementing the fixed encoder ML model (111a-n) and the suffix ML model (112a-n) , the one or more relay devices (120a, b) , each relay device (120a, b) implementing a relay ML model (121a, b) , and the fusion center device (130) implementing a prefix ML model (131) and the fixed decoder ML model (132) ; andproviding (505) the output data to one of the one or more relay devices (120a, b) or to the fusion center device (130) of the wireless network (100) .6.A relay device (120a, b) of a wireless network (100) , the wireless network (100) comprising a plurality of edge devices (110a-n) for collecting input data of different modality, one or more relay devices (120a, b) and a fusion center device (130) , wherein the relay device (120a, b) is configured to:obtain a relay machine learning, ML, model (121a, b) ;aggregate output data from one or more of the plurality of edge devices (110a-n) using the relay ML model (121a, b) , wherein the relay ML model (121a, b) is trained with In-Network Learning of the wireless network (100) comprising the plurality of edge devices (110a-n) for collecting input data of different modality, each edge device (110a-n) implementing a fixed encoder ML model (111a-n) and a suffix ML model (112a-n) , the one or more relay devices (120a, b) , each relay device (120a, b) implementing a relay ML model (121a, b) , and the fusion center device (130) implementing a prefix ML model (131) and a fixed decoder ML model (132) , and wherein the encoder ML model (111a-n) of each edge device (110a-n) and the decoder ML model (132) of the fusion center device (130) are based on In-Network Learning of a virtual wireless network (300) and wherein the virtual wireless network (300) comprises a plurality of virtual edge devices, each edge device implementing an encoder ML model (111a-n) , each virtual edge device implementing an encoder ML model (111a-n) , and a virtual fusion center device implementing the decoder ML model (132) ; andprovide the aggregated output data to the fusion center device (130) or to a further relay device (120a, b) .7.The relay device (120a, b) of claim 6, wherein the relay device (120a, b) is configured to inform the plurality of edge devices (110a-n) and / or the fusion center device (130) about a change of the topology of the wireless network (100) for triggering a re-training of the wireless network (100) with In-Network Learning.8.The relay device (120a, b) of claim 6 or 7, wherein the number of the plurality of edge devices (110a-n) of the wireless network (100) is equal to the number of the plurality of virtual edge devices of the virtual wireless network (300) .9.A method (600) of operating a relay device (120a, b) of a wireless network (100) , the wireless network (100) comprising a plurality of edge devices (110a-n) for collecting input data of different modality, one or more relay devices (120a, b) and a fusion center device (130) , wherein the method (600) comprises:obtaining (601) a relay machine learning, ML, model (121a, b) ;aggregating (603) output data from one or more of the plurality of edge devices (110a-n) using the relay ML model (121a, b) , wherein the relay ML model (121a, b) is trained with In-Network Learning of the wireless network (100) comprising the plurality of edge devices (110a-n) for collecting input data of different modality, each edge device (110a-n) implementing a fixed encoder ML model (111a-n) and a suffix ML model (112a-n) , the one or more relay devices (120a, b) , each relay device (120a, b) implementing a relay ML model (121a, b) , and the fusion center device (130) implementing a prefix ML model (131) and a fixed decoder ML model (132) , and wherein the encoder ML model (111a-n) of each edge device (110a-n) and the decoder ML model (132) of the fusion center device (130) are based on In-Network Learning of a virtual wireless network (300) and wherein the virtual wireless network (300) comprises a plurality of virtual edge devices, each edge device implementing a encoder ML model (111a-n) , and a virtual fusion center device implementing a decoder ML model; andproviding (605) the aggregated output data to the fusion center device (130) .10.A fusion center device (130) of a wireless network (100) , the wireless network (100) further comprising a plurality of edge devices (110a-n) for collecting input data of different modality and one or more relay devices (120a, b) , wherein the fusion center device (130) is configured to:obtain a decoder machine learning, ML, model (132) , wherein the decoder ML model (132) is based on In-Network Learning of a virtual wireless network (300) and wherein the virtual wireless network (300) comprises a plurality of virtual edge devices for collecting input data of different modality, each virtual edge device implementing an encoder ML model (111a-n) , and a virtual fusion center device (130) implementing the decoder ML model (132) ; andaggregate output data from one or more of the plurality of edge devices (110a-n) and from the one or more relay devices (120a, b) using a prefix ML model (131) and subsequently the decoder ML model (132) , wherein the prefix ML model (131) is trained with In-Network Learning of the wireless network (100) comprising the plurality of edge devices (110a-n) for collecting input data of different modality, each edge device (110a-n) implementing a fixed encoder ML model (111a-n) and a suffix ML model (112a-n) , the one or more relay devices (120a, b) , each relay device (120a, b) implementing a relay ML model (121a, b) , and the fusion center device (130) implementing the prefix ML model (131) and the fixed decoder ML model (132) .11.The fusion center device (130) of claim 10, wherein the decoder ML model (132) comprises one or more feed-forward neural networks.12.The fusion center device (130) of claim 10 or 11, wherein the fusion center device (130) is configured to trigger a re-training of the wireless network (100) with In-Network Learning, in response to being informed about a change of the topology of the wireless network (100) .13.The fusion center device (130) of any one of claims 10 to 12, wherein the number of the plurality of edge devices (110a-n) of the wireless network (100) is equal to the number of the plurality of virtual edge devices of the virtual wireless network (300) .14.A method (700) of operating a fusion center device (130) of a wireless network (100) , the wireless network (100) further comprising a plurality of edge devices (110a-n) for collecting input data of different modality and one or more relay devices (120a, b) , wherein the method (700) comprises:obtaining (701) a decoder machine learning, ML, model (132) , wherein the decoder ML model (132) is based on In-Network Learning of a virtual wireless network (300) and wherein the virtual wireless network (300) comprises a plurality of virtual edge devices for collecting input data of different modality, each virtual edge device implementing an encoder ML model (111a-n) , and a virtual fusion center device implementing the decoder ML model (132) ; andaggregating (703) output data from one or more of the plurality of edge devices (110a-n) and / or from the one or more relay devices (120a, b) using a prefix ML model (131) and subsequently the decoder ML model (132) , wherein the prefix ML model (131) is trained with In-Network Learning of the wireless network (100) comprising the plurality of edge devices (110a-n) for collecting input data of different modality, each edge device (110a-n) implementing a fixed encoder ML model (111a-n) and a suffix ML model (112a-n) , the one or more relay devices (120a, b) , each relay device (120a, b) implementing a relay ML model (121a, b) , and the fusion center device (130) implementing the prefix ML model (131) and the fixed decoder ML model (132) .15.A computer program product comprising a computer-readable storage medium for storing program code which causes a computer or a processor to perform the method (500) of claim 5, the method (600) of claim 9 or the method (700) of claim 14 when the program code is executed by the computer or the processor.16.A wireless network (100) , comprising:a plurality of edge devices (110a-n) according to any one of claims 1 to 4;one or more relay devices (120a, b) according to any one of claims 6 to 8; anda fusion center device (130) according to any one of claims 10 to 13.

Images