Communication method and related apparatus

Abstract

Provided are a communication method and related apparatus. In the method, a request indicating data removal from a model can be transmitted to a node, and in response to the request, another node may perform an unlearning operation on the model to obtain a result of the unlearning operation, such as an unlearned model or at least one layer of the unlearned model. Thus, immediate unlearning is effectively implemented through interactions between the nodes in the communication system.

Description

COMMUNICATION METHOD AND RELATED APPARATUS

[0001] CROSS-REFERENCE TO RELATED APPLICATIONS

[0002] This application claims priority to US provisional patent application No. 63 / 680,221, filed on August 7, 2024, which is hereby incorporated by reference in its entirety.TECHNICAL FIELD

[0003] The present disclosure relates to the field of technologies of communication, and in particular, to a communication method and related apparatus.BACKGROUND

[0004] General Data Protection Regulation (GDPR) is a data protection law in the European Union (EU) governing how personal data should be handled. This law ensures clients to have control over their personal information and granting rights such as access, correction and deletion of data.

[0005] Machine unlearning refers to the process of removing specific data points from a trained machine learning model, as if the data had never been included in the training set. This concept is crucial for adhering to data privacy regulations and user rights, such as the right to be forgotten.

[0006] This background information is provided to reveal information believed by the applicant to be of possible relevance to the present disclosure. No admission is necessarily intended, nor should be construed, that any of the preceding information constitutes prior art against the present disclosure.SUMMARY

[0007] According to a first aspect, an embodiment of the present disclosure provides a method, comprising:

[0008] transmitting a request to a first node, where the request indicates a request to remove data of a first device from a model located on a second node; and

[0009] receiving a response at a third node from the second node, where the response indicates a result of an unlearning operation.

[0010] The method can be implemented by a first device or an Application Function (AF) . The model is trained with the influence of the data requested to be removed, and the request is used for indicating designated data removal for the model. The request indicating the data removal is transmitted from the first device / AF to the first node, and its function is to request the data removal at the second node. In an example, the request may be passed by the first node to the second node (the passing may be a direct forwarding or some verification may be conducted before the forwarding) , and in response to the request from the first node, the second node may perform an unlearning operation and produce a response indicating a result of the unlearning operation, then the response may be sent to the third node directly (e.g., from the second node to the first device) or indirectly (e.g., from the second node to the first node / other node and then from the first node / other node to the first device) , thus immediate unlearning is effectively implemented through interactions between the nodes in the communication system.

[0011] In a possible design, the first node is a network controller.

[0012] The request indicating the data removal can be transmitted to the network controller according to actual requirements. It should be noted that, the network controller and the NSF can be integrated or separately arranged.

[0013] In a possible design, the first node comprises a Network Storage Function (NSF) .

[0014] The request indicating the data removal can be transmitted to the NSF according to actual requirements. It should be noted that, the NSF and the network controller can be integrated or separately arranged.

[0015] In a possible design, the second node is a server.

[0016] The model may be located on the server in some cases, for example, the centralized split unlearning and the centralized federated unlearning implementations.

[0017] In a possible design, the second node comprise a Network Function (NF) .

[0018] The model may also be selectively located on the NF in some cases, for example, the centralized split unlearning and the centralized federated unlearning implementations. Thus, different requirements can be met.

[0019] In a possible design, the second node comprises one or more second devices.

[0020] The second device may be a device other than the first device and participating in the learning process of the model, so when unlearning is requested by the first device, the second device which has a model trained with data of the first device may also need to perform an unlearning operation to ensure removal of influence of the first device’s data. The model may be located on the one or more second devices, where the second devices may serve as the role of the server / NF if it is omitted in some cases, for example, the decentralized unlearning implementation.

[0021] In a possible design, the third node comprises the first device and the one or more second devices.

[0022] The response indicating a result of an unlearning operation is received at the third node, and the third node includes the first device and the one or more second device in some cases, for example, the centralized split unlearning and the centralized federated unlearning implementations. The first device who wants its data to be removed from the model and the one or more second devices who participate in the learning process of the model all receive the response indicating the result of the unlearning operation, so that the first device could verify whether the unlearning is successful based on the received response, and the one or more second devices could receive the unlearned model / client layers based on the received response.

[0023] In a possible design, the third node is the first device.

[0024] The response indicating a result of an unlearning operation is received at the first device in some cases, for example, the decentralized unlearning implementation where the participating devices (the one or more second devices) send the response to the first device.

[0025] In a possible design, the request further comprises information corresponding to at least one layer of the model for which the unlearning operation is to be performed.

[0026] By identifying the information corresponding to at least one layer of the model for which the unlearning operation is to be performed, the unlearning operation would be executed accurately.

[0027] In a possible design, the request further comprises indices corresponding to the at least one layer of the model.

[0028] The information corresponding to at least one layer of the model for which the unlearning operation is to be performed may be in form of the indices corresponding to the at least one layer of the model, and the unlearning of the model can be performed according to the indices corresponding to the at least one layer of the model, e.g., the layer-wise negation could be performed for the indices indicated in the request. In this way, the layer (s) of the model to be unlearned can be located quickly.

[0029] In a possible design, the unlearning operation comprises at least one perturbation on the at least one layer of the model to form an unlearned model.

[0030] The unlearning operation may break the mapping between the layers of the model, the unlearned model may have at least one perturbation on the at least one layer of the model.

[0031] In a possible design, the at least one perturbation is a weight perturbation.

[0032] The unlearned model may be formed by performing at least one weight perturbation on the at least one layer of the model, through layer-wise weight perturbation, the unlearning is implemented without the need to access the forget data, while being efficient communication-wise and computation-wise, having fast convergence, supporting heterogeneous data and models as well as supporting decentralized settings. Data of the client that wants its data to be removed or data of the client that has negative impact on the model can be forgotten immediately after the request indicating data removal is sent.

[0033] In a possible design, the weight perturbation comprises negating one or more parameters of the at least one layer of the model to form the unlearned model.

[0034] The weight perturbation can be implemented by negating one or more parameters of the at least one layer of the model, that is, negation may be performed on the one or more parameters of the at least one layer of the model to unlearn designated data, negation a parameter may refer to multiplying the parameter by -1. This breaks the mapping between layers, and forces the model to relearn. Faster convergence is guaranteed, and it is unnecessary to retrain the model from scratch.

[0035] In a possible design, the one or more parameters comprise weights. For example, the negation of the weights may be multiplying the weights by -1.

[0036] In a possible design, receiving the response comprises receiving at least one layer of the unlearned model.

[0037] The unlearning operation may break the mapping between the layers of the model, the unlearned model may have at least one perturbation on the at least one layer of the model. In this case, e.g., in the split unlearning implementation, the result of the unlearning operation may be the at least one layer of the unlearned model, not the entire unlearned model.

[0038] In a possible design, receiving the response comprises receiving the unlearned model.

[0039] The unlearning operation may break the mapping between the layers of the model, the unlearned model may have at least one perturbation on the at least one layer of the model. In this case, e.g., in the federated unlearning implementation, the result of the unlearning operation may be all the layers which is the entire unlearned model.

[0040] In a possible design, the method further comprises: receiving information comprising the unlearned model from the second node to verify the result of the unlearning operation at the first device.

[0041] The second node may perform the unlearning operation on the model to obtain the unlearned model. The first device may obtain the information including the unlearned model directly or indirectly. The information including the unlearned model may be the unlearned model per se (e.g. in the centralized FU implementation / decentralized implementation) , or may also be information about unlearned client layers (e.g. in the centralized SU implementation) , and the information of the unlearned model per se or the unlearned client layers may be a direct / indirect indication of the unlearned model per se or the unlearned client layers. After obtaining the information including unlearned model, the first device may verify the result of the unlearning operation to determine the unlearning performance.

[0042] In a possible design, the method further comprises: verifying at the first device whether the data of the first device has been removed from the model.

[0043] After obtaining the information including the unlearned model, the first device may verify whether the data of the first device has been removed from the model.

[0044] According to a second aspect, an embodiment of the present disclosure provides a method, comprising:

[0045] receiving a request from a fourth node, where the request indicates a request to remove data of a first device from a model located on a fifth node; and

[0046] transmitting the request to the fifth node.

[0047] The method can be implemented by a network controller or Network Storage Function (NSF) . It should be noted that, the network controller and the NSF can be integrated or separately arranged. The model is trained with the influence of the data requested to be removed, and the request is used for indicating designated data removal for the model. The network controller or the NSF receives the request indicating the data removal, then transmits the request to the fifth node, such that the fifth node may perform an unlearning operation in response to the request, thus immediate unlearning can be effectively implemented through interactions between the nodes in the communication system. It should also be noted that the transmission of the request may be a direct forwarding, or a verification about whether the data removal indicated by the request should be conducted before the forwarding.

[0048] In a possible design, the fourth node is the first device.

[0049] The request indicating the data removal may be received from the first device according to actual requirements.

[0050] In a possible design, the fourth node comprises an Application Function (AF) .

[0051] The request indicating the data removal may be received from the AF according to actual requirements.

[0052] In a possible design, the fifth node is a server.

[0053] In an example, for the centralized split unlearning and the centralized federated unlearning implementations, the request indicating the data removal may be transmitted to the server on which the model may be stored, such that the server may perform an unlearning operation in response to the received request.

[0054] In a possible design, the fifth node comprises a Network Function (NF) .

[0055] In an example, for the centralized split unlearning and the centralized federated unlearning implementations, the request indicating the data removal may also be selectively transmitted to the NF on which the model may be stored, such that the NF may perform an unlearning operation in response to the received request.

[0056] In a possible design, the fifth node comprises one or more second devices.

[0057] The second device may be a device other than the first device and participating in the learning process of the model, so when unlearning is requested by the first device, the second device which has a model trained with data of the first device may also need to perform an unlearning operation to ensure removal of influence of the first device’s data. In an example, for the decentralized unlearning implementation where the second devices may serve as the role of the server / NF, the request indicating the data removal may be transmitted to the one or more second devices on which the model may be stored, such that the one or more second devices may perform an unlearning operation in response to the received request.

[0058] In a possible design, transmitting the request to the fifth node comprises verifying the request.

[0059] The request indicating the data removal is accepted only if the unlearning operation is supported, verification of the request means determining whether the unlearning operation is supported for the model, and this may help in determining whether transmitting the request. For example, if it is determined that the unlearning operation is not supported for the model, then the subsequent data flows, such as the transmission of the request and the unlearning operation, may be not executed, thereby saving signaling overhead and resource overhead. For another example, if it is determined that the unlearning operation in response to this request from the fourth node is not necessary, then the subsequent data flows, such as the transmission of the request and the unlearning operation, may also not be executed.

[0060] In a possible design, transmitting the request to the fifth node comprises obtaining information pertaining to the request from a storage node.

[0061] The information pertaining to the request, e.g., information about whether the unlearning operation is supported / necessary and / or information about how to perform the unlearning operation (e.g., when performing the unlearning operation based on the layer-wise negation solution, the index of the layer or indices of the layers to be negated) may be stored / maintained in a storage node, e.g., the NSF or an external storage unit. In an example, the network controller may send a request to the NSF for obtaining the information, and the NSF in response provides the information to the network controller. In some cases, the request to the NSF for obtaining information about whether the unlearning operation is supported may include the information identifying an AI model, e.g., a model ID, and the information identifying the application, e.g., an application ID, a data network name (DNN) . According to the information, the network controller decides whether to accept the request or transmits the information about the unlearning operation to the fifth node when the request is acceptable, so correct processing of the request can be ensured.

[0062] In a possible design, the request further comprises information corresponding to at least one layer of the model for which an unlearning operation is to be performed.

[0063] By identifying the information corresponding to at least one layer of the model for which the unlearning operation is to be performed, the unlearning operation would be executed by the fifth node accurately.

[0064] In a possible design, the request further comprises indices corresponding to the at least one layer of the model.

[0065] The information corresponding to at least one layer of the model for which the unlearning operation is to be performed may be in form of the indices corresponding to the at least one layer of the model, and the unlearning of the model can be performed according to the indices corresponding to the at least one layer of the model, e.g., the layer-wise negation could be performed for the indices indicated in the request. In this way, the layer (s) of the model to be unlearned can be located quickly.

[0066] In a possible design, the unlearning operation comprises at least one perturbation on the at least one layer of the model to form an unlearned model.

[0067] The unlearning operation may break the mapping between the layers of the model, the unlearned model may have at least one perturbation on the at least one layer of the model.

[0068] In a possible design, the at least one perturbation is a weight perturbation.

[0069] The unlearned model may be formed by performing at least one weight perturbation on the at least one layer of the model, through layer-wise weight perturbation, the unlearning is implemented without the need to access the forget data, while being efficient communication-wise and computation-wise, having fast convergence, supporting heterogeneous data and models as well as supporting decentralized settings. Data of the client that wants its data to be removed or data of the client that has negative impact on the model can be forgotten immediately after the request indicating data removal is sent.

[0070] In a possible design, the weight perturbation comprises negating one or more parameters of the at least one layer of the model to form the unlearned model.

[0071] The weight perturbation can be implemented by negating one or more parameters of the at least one layer of the model, that is, negation may be performed on the one or more parameters of the at least one layer of the model to unlearn designated data, negation a parameter may refer to multiplying the parameter by -1. This breaks the mapping between layers, and forces the model to relearn. Faster convergence is guaranteed, and it is unnecessary to retrain the model from scratch.

[0072] In a possible design, the one or more parameters comprise weights. For example, the negation of the weights may be multiplying the weights by -1.

[0073] In a possible design, the method further comprises: transmitting information to the fourth node indicating whether the unlearning operation is supported for the model.

[0074] The fourth node obtains the information about / indicating whether the unlearning operation is supported, this may help the client to decide whether to participate in the training of the model, that is, the unlearning capability of the model would be taken into account when deciding whether to join the aggregation. If the client determines that it may sometimes require data removal from a model, then if this model does not support unlearning, the client may decide not to join the training of this model, since the removal of its data from this model is not possible. The notification about whether the unlearning operation is supported for the model enables the fourth node (e.g., a client) to have better knowledge as to make decisions.

[0075] In a possible design, transmitting information to the fourth node comprises transmitting information corresponding to the at least one layer of the model for which the unlearning operation is to be performed.

[0076] Since the fourth node is notified of the information corresponding to the at least one layer of the model for which the unlearning operation is to be performed, so when the fourth node sends a request which requests to remove data of the first device from the model located on the fifth node, the information corresponding to the at least one layer of the model can be carried in the request, so the network controller / NSF which receives the request can quickly get knowledge of the information corresponding to the at least one layer of the model for which the unlearning operation is to be performed, thereby improving efficiency of the subsequent transmission of the request to the fifth node.

[0077] In a possible design, the method further comprises storing information about whether the unlearning operation is supported for the model.

[0078] The information about whether the unlearning operation is supported for the model may be stored on the network controller or the NSF, such that the network controller or the NSF can verify the request which indicates a request to remove data of the first device, i.e., to perform authorization check on the request, and such storing may also facilitate the transmission of the information about whether the unlearning operation is supported to the fourth node (e.g., the client) , to help the client to decide whether to join the training of the model.

[0079] In a possible design, the storing comprises storing information corresponding to the at least one layer of the model for which the unlearning operation is to be performed.

[0080] The information corresponding to the at least one layer of the model for which the unlearning operation is to be performed may be stored on the network controller or the NSF, such that the information can also be transmitted to the fifth  node for facilitating the unlearning operation by the fifth node, or can also be transmitted to the fourth node for generating, by the fourth node, the request to remove data of the first device from the model.

[0081] In a possible design, the information is configured by a model provider or an original equipment manufacturer (OEM) .

[0082] The information about whether the unlearning operation is supported for the model and / or the information corresponding to the at least one layer of the model for which the unlearning operation is to be performed may be provisioned from the model provider or the OEM.

[0083] In a possible design, the method further comprises: configuring the fifth node to perform the unlearning operation, where the configuring comprises transmitting to the fifth node information corresponding to the at least one layer of the model for which the unlearning operation is to be performed.

[0084] The fifth node can be configured to perform the unlearning operation with the information corresponding to the at least one layer of the model for which the unlearning operation is to be performed, so the request from the network controller or the NSF to the fifth node can simply be a flag, then upon receiving the request, the fifth node can perform the unlearning operation since necessary information has already been configured.

[0085] In a possible design, the method further comprises: transmitting information to the fourth node to verify a result of the unlearning operation.

[0086] The network controller or the NSF may obtain the unlearned model / client layers from the fifth node, and transmit the information (e.g., the unlearned model / client layers) to the fourth node, so that the fourth node can verify a result of the unlearning operation, to be more specific, to verify whether the data of the first device has been removed from the model.

[0087] According to a third aspect, an embodiment of the present disclosure provides a method, comprising:

[0088] receiving a request from a sixth node, where the request indicates a request to remove data of a first device from a model located on a seventh node; and

[0089] transmitting a response to an eighth node, where the response indicates a result of an unlearning operation.

[0090] The method can be implemented by a server or a Network Function (NF) or the second device (s) (the participating devices other than the first device) . The model is trained with the influence of the data requested to be removed, and the request is used for indicating designated data removal on the model. After receiving the request from the sixth node (e.g., a network controller / NSF) , the sever or the NF or the participating devices may perform an unlearning operation and produce a response indicating a result of the unlearning operation, and then sends the response to the eighth node, thus immediate unlearning is effectively implemented through interactions between the nodes in the communication system.

[0091] In a possible design, the sixth node is a network controller.

[0092] The request indicating data removal can be transmitted from the network controller to the server or the NF or the second device according to actual requirements. It should be noted that, the network controller and the NSF can be integrated or separately arranged.

[0093] In a possible design, the sixth node comprises a Network Storage Function (NSF) .

[0094] The request indicating data removal can be transmitted from the NSF to the server or the NF or the second device according to actual requirements. It should be noted that, the NSF and the network controller can be integrated or separately arranged.

[0095] In a possible design, the seventh node is a server.

[0096] The model may be stored on the server in some cases, for example, the centralized split unlearning and the centralized federated unlearning implementations.

[0097] In a possible design, the seventh node comprises a Network Function (NF) .

[0098] The model may also be selectively stored on the NF in some cases, for example, the centralized split unlearning and the centralized federated unlearning implementations. Thus, different requirements can be met.

[0099] In a possible design, the seventh node comprises one or more second devices.

[0100] The second device may be a device other than the first device and participating in the learning process of the model,  so when unlearning is requested by the first device, the second device which has a model trained with data of the first device may also need to perform an unlearning operation to ensure removal of influence of the first device’s data. The model may be stored on the one or more second devices, where the second devices may serve as the role of the server / NF if it is omitted in some cases, for example, the decentralized unlearning implementation.

[0101] In a possible design, the eighth node comprises the first device and the one or more second devices.

[0102] The response indicating a result of an unlearning operation is transmitted to the first device and the one or more second device in some cases, for example, the centralized split unlearning and the centralized federated unlearning implementations. The first device who wants its data to be removed from the model and the one or more second devices who participate in the learning process of the model all receive the response indicating the result of the unlearning operation, so that the first device could verify whether the unlearning is successful based on the received response, and the one or more second devices could receive the unlearned model / client layers based on the received response.

[0103] In a possible design, the eighth node is the first device.

[0104] The response indicating a result of an unlearning operation is transmitted to the first device in some cases, for example, the decentralized unlearning implementation where the participating devices (the one or more second devices) send the response to the first device.

[0105] In a possible design, the request further comprises information corresponding to at least one layer of the model for which the unlearning operation is to be performed.

[0106] By identifying the information corresponding to at least one layer of the model for which the unlearning operation is to be performed, the unlearning operation would be executed accurately.

[0107] In a possible design, the request further comprises indices corresponding to the at least one layer of the model.

[0108] The information corresponding to at least one layer of the model for which the unlearning operation is to be performed may be in form of the indices corresponding to the at least one layer of the model, and the unlearning of the model can be performed according to the indices corresponding to the at least one layer of the model, e.g., the layer-wise negation could be performed for the indices indicated in the request. In this way, the layer (s) of the model to be unlearned can be located quickly.

[0109] In a possible design, the unlearning operation comprises at least one perturbation on the at least one layer of the model to form an unlearned model.

[0110] The unlearning operation may break the mapping between the layers of the model, the unlearned model may have at least one perturbation on the at least one layer of the model.

[0111] In a possible design, the at least one perturbation is a weight perturbation.

[0112] The unlearned model may be formed by performing at least one weight perturbation on the at least one layer of the model, through layer-wise weight perturbation, the unlearning is implemented without the need to access the forget data, while being efficient communication-wise and computation-wise, having fast convergence, supporting heterogeneous data and models as well as supporting decentralized settings. Data of the client that wants its data to be removed or data of the client that has negative impact on the model can be forgotten immediately after the request indicating data removal is sent.

[0113] In a possible design, the weight perturbation comprises negating one or more parameters of the at least one layer of the model to form the unlearned model.

[0114] The weight perturbation can be implemented by negating one or more parameters of the at least one layer of the model, that is, negation may be performed on the one or more parameters of the at least one layer of the model to unlearn designated data, negation a parameter may refer to multiplying the parameter by -1. This breaks the mapping between layers, and forces the model to relearn. Faster convergence is guaranteed, and it is unnecessary to retrain the model from scratch.

[0115] In a possible design, the one or more parameters comprise weights. For example, the negation of the weights may be multiplying the weights by -1.

[0116] In a possible design, receiving the request from the sixth node comprises initiating transmission of the request to the sixth node upon detecting if the data of the first device needs to be unlearned from the model.

[0117] In addition to initiating the request indicating data removal by the first device / the AF, the request can also be initiated if the server / the NF / the second device detects that the data of the first device needs to be unlearned from the model, which can meet different requirements at different scenarios.

[0118] In a possible design, initiating transmission of the request comprises initiating transmission of the request to the sixth node upon detecting that the first device is malicious.

[0119] When detecting that the first device is malicious, the server / the NF / the second device may decide to unlearn data of the first device from the model.

[0120] In a possible design, transmitting the response comprises transmitting at least one layer of the unlearned model.

[0121] The unlearning operation may break the mapping between the layers of the model, the unlearned model may have at least one perturbation on the at least one layer of the model. In this case, e.g., in the split unlearning implementation, the response indicating the result of the unlearning operation may be the at least one layer of the unlearned model, not the entire unlearned model.

[0122] In a possible design, transmitting the response comprises transmitting the unlearned model.

[0123] The unlearning operation may break the mapping between the layers of the model, the unlearned model may have at least one perturbation on the at least one layer of the model. In this case, e.g., in the federated unlearning implementation, the response indicating the result of the unlearning operation may be all the layers which is the entire unlearned model.

[0124] According to a fourth aspect, an apparatus is provided by an embodiment of the present disclosure, and the apparatus has a function of implementing the first aspect. For example, the apparatus includes a corresponding module, unit or means for performing operations in the first aspect. The module, unit or means maybe specifically implemented by using software, may be implemented by using hardware, or may be implemented by using software in combination with hardware.

[0125] According to a fifth aspect, an apparatus is provided by an embodiment of the present disclosure, and the apparatus has a function of implementing the second aspect. For example, the apparatus includes a corresponding module, unit or means for performing operations in the second aspect. The module, unit or means maybe specifically implemented by using software, may be implemented by using hardware, or may be implemented by using software in combination with hardware.

[0126] According to a sixth aspect, an apparatus is provided by an embodiment of the present disclosure, and the apparatus has a function of implementing the third aspect. For example, the apparatus includes a corresponding module, unit or means for performing operations in the third aspect. The module, unit or means maybe specifically implemented by using software, may be implemented by using hardware, or may be implemented by using software in combination with hardware.

[0127] According to a seventh aspect, another apparatus is provided by an embodiment of the present disclosure. The apparatus includes one or more processors. A memory is configured to store a part or all of a necessary computer program or instructions for implementing a function in the first aspect. The one or more processors may execute the computer program or the instructions, and when the computer program or the instructions is / are executed, the apparatus is enabled to implement the method in any possible design or implementation of the first aspect.

[0128] In a possible design, the apparatus may further include an interface circuit, and the processor is configured to communicate with another apparatus or component through the interface circuit.

[0129] In a possible design, the apparatus may further include the memory.

[0130] The apparatus may be a terminal, a module in a terminal, or a chip responsible for a communication function in a terminal, for example, a modem chip (also referred to as a baseband chip) or an SoC chip or an SIP chip that includes a modem module.

[0131] According to an eighth aspect, another apparatus is provided by an embodiment of the present disclosure. The apparatus includes one or more processors. A memory is configured to store a part or all of a necessary computer program or instructions for implementing a function in the second aspect. The one or more processors may execute the computer program or the instructions, and when the computer program or the instructions is / are executed, the apparatus is enabled to implement the method in any possible design or implementation of the second aspect.

[0132] In a possible design, the apparatus may further include an interface circuit, and the processor is configured to  communicate with another apparatus or component through the interface circuit.

[0133] In a possible design, the apparatus may further include the memory.

[0134] According to a ninth aspect, another apparatus is provided by an embodiment of the present disclosure. The apparatus includes one or more processors. A memory is configured to store a part or all of a necessary computer program or instructions for implementing a function in the third aspect. The one or more processors may execute the computer program or the instructions, and when the computer program or the instructions is / are executed, the apparatus is enabled to implement the method in any possible design or implementation of the third aspect.

[0135] In a possible design, the apparatus may further include an interface circuit, and the processor is configured to communicate with another apparatus or component through the interface circuit.

[0136] In a possible design, the apparatus may further include the memory.

[0137] According to a tenth aspect, an embodiment of the present disclosure provides a communication system, where the communication system includes a first apparatus configured to perform the method in any possible design or implementation of the first aspect, a second apparatus configured to perform the method in any possible design or implementation of the second aspect, and a third apparatus configured to perform the method in any possible design or implementation of the third aspect.

[0138] According to an eleventh aspect, an embodiment of the present disclosure provides a computer-readable storage medium having instructions stored thereon which, when executed by an apparatus, cause the apparatus to perform the method in any one of the possible designs of the first aspect to the third aspect.

[0139] According to a twelfth aspect, an embodiment of the present disclosure provides a computer program product storing instructions which, when executed, cause an apparatus to perform the method in any one of the possible designs of the first aspect to the third aspect.

[0140] According to a thirteenth aspect, an embodiment of the present disclosure provides a computer program including instructions which, when executed, cause an apparatus to perform the method in any one of the possible designs of the first aspect to the third aspect.

[0141] This application encompasses various embodiments, including not only method embodiments, but also other embodiments such as apparatus embodiments and embodiments related to non-transitory computer readable storage media. Embodiments may incorporate, individually or in combinations, the features disclosed herein.

[0142] A communication method and related apparatus are provided by the present disclosure. A request indicating data removal from a model can be transmitted to a node, and in response to the request, another node may perform an unlearning operation on the model to obtain a result of the unlearning operation, such as an unlearned model or at least one layer of the unlearned model. Thus, immediate unlearning is effectively implemented through interactions between the nodes in the communication system.BRIEF DESCRIPTION OF THE DRAWINGS

[0143] The accompanying drawings are used to provide a further understanding of the present disclosure, constitute a part of the specification, and are used to explain the present disclosure together with the following specific embodiments, but should not be construed as limiting the present disclosure.

[0144] FIG. 1 is a schematic illustration of an example communication system according to one or more embodiments of the present disclosure.

[0145] FIG. 2 is a schematic illustration of another example communication system according to one or more embodiments of the present disclosure.

[0146] FIG. 3 is a schematic illustration of an apparatus wirelessly communicating with another apparatus within a communication system according to one or more embodiments of the present disclosure.

[0147] FIG. 4 is a schematic illustration of an example apparatus according to one or more embodiments of the present disclosure.

[0148] FIG. 5 is a schematic illustration of another example apparatus according to one or more embodiments of the present  disclosure.

[0149] FIG. 6 is a schematic illustration of centralized federated learning using federated averaging according to one or more embodiments of the present disclosure.

[0150] FIG. 7 is a schematic illustration of decentralized federated learning using federated averaging according to one or more embodiments of the present disclosure.

[0151] FIG. 8 is a schematic illustration of parallel split learning according to one or more embodiments of the present disclosure.

[0152] FIG. 9 is a schematic illustration of a machine unlearning pipeline according to one or more embodiments of the present disclosure.

[0153] FIG. 10 is a schematic illustration of a federated unlearning pipeline according to one or more embodiments of the present disclosure.

[0154] FIG. 11 is a schematic illustration of a competent and incompetent teachers-based framework for unlearning according to one or more embodiments of the present disclosure.

[0155] FIG. 12A is a schematic illustration of a network structure associated with the unlearning process according to one or more embodiments of the present disclosure.

[0156] FIG. 12B is a schematic illustration of a procedure call example associated with machine unlearning according to one or more embodiments of the present disclosure.

[0157] FIG. 12C is a schematic illustration of another procedure call example associated with machine unlearning according to one or more embodiments of the present disclosure.

[0158] FIG. 13 is a flowchart of a communication method according to one or more embodiments of the present disclosure.

[0159] FIG. 14 is a flowchart of another communication method according to one or more embodiments of the present disclosure.

[0160] FIG. 15 is a flowchart of still another communication method according to one or more embodiments of the present disclosure.

[0161] FIG. 16A illustrates the operational flow of a client-initiated split unlearning pipeline in a centralized setting according to one or more embodiments of the present disclosure.

[0162] FIG. 16B illustrates the operational flow of a server-initiated split unlearning pipeline in a centralized setting according to one or more embodiments of the present disclosure.

[0163] FIG. 17A illustrates the transmitting and receiving procedure for the centralized split unlearning at the server according to one or more embodiments of the present disclosure.

[0164] FIG. 17B illustrates the transmitting and receiving procedure for the centralized split unlearning at the non-server node according to one or more embodiments of the present disclosure.

[0165] FIG. 18A illustrates the operational flow of a client-initiated federated unlearning pipeline in a centralized setting according to one or more embodiments of the present disclosure.

[0166] FIG. 18B illustrates the operational flow of a server-initiated federated unlearning pipeline in a centralized setting according to one or more embodiments of the present disclosure.

[0167] FIG. 19A illustrates the transmitting and receiving procedure for the centralized federated unlearning at the server according to one or more embodiments of the present disclosure.

[0168] FIG. 19B illustrates the transmitting and receiving procedure for the centralized federated unlearning at the non-server node according to one or more embodiments of the present disclosure.

[0169] FIG. 20 illustrates the proposed federated unlearning pipeline in decentralized setting according to one or more embodiments of the present disclosure.

[0170] FIG. 21 illustrates the transmitting and receiving procedure for the decentralized federated unlearning according to one or more embodiments of the present disclosure.

[0171] FIG. 22 is a schematic illustration of the network controller gathering indices of layers to be negated according to  one or more embodiments of the present disclosure.

[0172] FIG. 23 is a schematic illustration of the unlearning verification process according to one or more embodiments of the present disclosure.

[0173] FIGS. 24A and 24B are schematic illustration of the unlearning performance according to one or more embodiments of the present disclosure.DETAILED DESCRIPTION

[0174] In the following description, reference is made to the accompanying figures, which form part of the present disclosure, and which show, by way of illustration, specific aspects of embodiments of the present disclosure or specific aspects in which embodiments of the present disclosure may be used. It is understood that embodiments of the present disclosure may be used in other aspects and include structural or logical changes not depicted in the figures. The following detailed description, therefore, is not to be taken in a limiting sense, and the scope of the present disclosure is defined by the appended claims.

[0175] To assist in understanding the present disclosure, examples of wireless communication systems and devices are described below.

[0176] FIG. 1 is a schematic illustration of an example communication system according to an implementation of the present disclosure, there is shown a communication system 100 that includes a radio access network (RAN) 120, one or more communication electronic devices (EDs) 110a, 110b, 110c, 110d, 110e, 110f, 110g, 110h, 110i, 110j (collectively referred to as 110) , a core network 130, a Public Switched Telephone Network (PSTN) 140, the Internet 150, and other networks 160. The RAN 120 may include, but is not limited to, a future generation RAN, or a legacy RAN such as, but not limited to, 5th generation (5G) , 4th generation (4G) , 3rd generation (3G) or 2nd generation (2G) radio access network. The RAN 120 may be, for example, an Evolved Universal Mobile Telecommunications System (UMTS) Terrestrial Radio Access Network (E-UTRAN) , a NextGen RAN (NG RAN) , or some other type of RAN. Examples of RAN 120 based on the evolution of telecommunications standards include, but is not limited to, GSM (Global System for Mobile Communications) and CDMA (Code Division Multiple Access) for 2G, UMTS (Universal Mobile Telecommunications System) based on WCDMA (Wideband Code Division Multiple Access) and CDMA2000 for 3G, LTE (Long-Term Evolution) and WiMAX (Worldwide Interoperability for Microwave Access) for 4G, and NR (New Radio) for 5G. In some implementations, the RAN 120 may use any radio access technology (RAT) in the wireless interface between the one or more EDs 110 and the RAN 120. In some implementations, the term “radio access” may refer to the future generation air interface standards which may include both terrestrial networks (TNs) and non-terrestrial networks (NTNs) . These networks will be described in greater detail below in conjunction with various implementations. The one or more communication EDs 110 (also referred to as “user equipment” ) are configured to connect (e.g., communicatively couple) with each other or to one or more network nodes 170a, 170b (collectively referred to as 170) in the RAN 120. The core network (CN) 130 is a part of the communication system 100 and consists of network nodes (e.g., 170a, 170b) which provide support for the network features and telecommunication services. In some implementations, the CN 130 may be dependent on the RAT used in the communication system 100. In other implementations, the CN 130 may be access-agnostic, i.e., the CN 130 may be independent of the RAT used in the communication system 100. There are different types of CN 130, for different 3GPP system generations. For example, the CN 130 is the Evolved Packet Core (EPC) in 4G, also known as the Evolved Packet System (EPS) . In another example, the CN 130 is the 5G Core (5GC) which was developed as part of the 5G System (5GS) . The CN 130 also enables integration of different 3GPP and non-3GPP access types. In some implementations and referring to FIG. 1, the CN 130 also provides the interface towards external networks that may include the PSTN 140, the Internet 150, and other networks 160 in the communication system 100.

[0177] In general, the communication system 100 facilitates interaction between multiple wireless or wired elements. The communication system 100 may transmit different types of content, such as voice, data, video, and / or text, through different transmission methods such as, but not limited to, broadcast, multicast, groupcast, and unicast. Additionally, the communication system 100 operates by allocating and / or sharing resources, such as carrier spectrum bandwidth, among its constituent elements.

[0178] The communication system 100 may provide a wide range of communication services and applications including, but not limited to, Enhanced Mobile Broadband (eMBB) services, Ultra-Reliable Low-Latency Communication (URLLC) services, Massive Machine Type Communication (mMTC) services, Integrated Sensing And Communication (ISAC) , immersive communication, Ultra-massive Machine-Type Communication (uMTC) , hyper reliable and low-latency communication, ubiquitous connectivity, integrated AI and communication, and other services that can be provided by a future generation communication system. The communication system 100 may provide other services and applications such as, but not limited to, earth monitoring, remote sensing, passive sensing and positioning, navigation and tracking, autonomous delivery and mobility and the like.

[0179] The communication system 100 may include a terrestrial communication system (or network) and / or a non-terrestrial communication system (or network) . The communication system 100 may provide a high degree of availability and robustness through a joint operation of the terrestrial communication system and the non-terrestrial communication system. For example, integrating a non-terrestrial communication system (or components thereof) into a terrestrial communication system can result in a heterogeneous network comprising multiple layers. The heterogeneous network may achieve better overall performance through efficient multi-link joint operation, more flexible functionality sharing, and faster physical layer link switching between terrestrial networks and non-terrestrial networks. The terrestrial communication system and the non-terrestrial communication system could be considered as sub-systems of the communication system 100.

[0180] FIG. 2 illustrates another example communication system 100 according to an implementation of the present disclosure, there is shown the communication system 100 includes EDs 110a, 110b, 110c, 110d (collectively referred to as ED 110) , RANs 120a, 120b, one or more CNs 130, a PSTN 140, the Internet 150, and other networks 160. Additionally, the communication system 100 may also include a non-terrestrial network (NTN) 120c. The RANs 120a and120b may include network nodes 170a and 170b respectively. Examples of network nodes 170a, 170b include base stations, which can be generally referred to as terrestrial network (TN) devices or terrestrial transmit and receive points (T-TRPs) 170a and 170b (collectively referred to as 170) . In this context, the terms "TRP" and "base station" are used interchangeably unless otherwise specified. For simplicity, this disclosure primarily refers to network nodes as base stations; however, unless explicitly stated otherwise, references to TRP are considered non-limiting and interchangeable. The T-TRPs 170a, 170b may be base stations mounted on a building or tower. In one implementation, the NTN 120c includes a RAN node such as a base station 172, which may be generally referred to as an NTN device, a non-terrestrial node, a non-terrestrial network device, a non-terrestrial base station, or a non-terrestrial transmit and receive point (NT-TRP) 172.

[0181] In some implementations, the NT-TRP 172 is not attached to the ground, for example, as in the case of an airborne base station. An airborne base station may be implemented using communication equipment supported or carried by a flying device. For example, a flying device may include, but is not limited to, an airborne platform (such as a blimp or an airship) , balloon, drone (such as quadcopter) , and other types of aerial vehicles. In some implementations, an airborne base station may be supported or carried by an unmanned aerial system (UAS) or an unmanned aerial vehicle (UAV) , such as a drone. An airborne base station may be a moveable or mobile base station that can be flexibly deployed in different locations to meet network demand. A satellite base station is another example of a non-terrestrial base station. A satellite base station may be implemented using communication equipment supported or carried by a satellite. A satellite base station may also be referred to as an orbiting base station. High altitude platforms are yet another example of non-terrestrial base stations, including international mobile telecommunication base stations.

[0182] As referred to herein, and unless specified otherwise, a “TRP” may also refer to a T-TRP or an NT-TRP, a “T-TRP” may also refer to a “TN TRP” , and an “NT-TRP” may also refer to an “NTN TRP” . The NTN 120c may be considered a RAN, sharing operational aspects with RANs 120a, 120b. The NTN 120c may include at least one NTN device and at least one corresponding terrestrial network device. The at least one NTN device may function as a transport layer device and the at least one corresponding terrestrial network device may function as a RAN node, communicating with the ED 110 via the NTN device. Additionally, there may be an NTN gateway on the ground (referred to as a terrestrial network device) that also functions as a transport layer device facilitating communication with both the NTN device and the RAN node. The RAN node  may communicate with the ED 110 via the NTN device and the NTN gateway. In some implementations, the NTN gateway and the RAN node may be located within the same device.

[0183] A base station 170 (also referred to as a TRP as stated above) is a network element within a radio access network responsible for radio transmission and reception in one or more cells to or from the ED (such as a user equipment) . In different implementations, the base station 170 may also be known as a base transceiver station (BTS) , a radio base station, a network node, a network device, a device on the network side, a transmit / receive node, a Node B, an evolved NodeB (eNodeB or eNB) , a Home eNodeB, a next Generation NodeB (gNB) , a transmission point (TP) , a site controller, an access point (AP) , a wireless router, a relay station, a terrestrial node, a terrestrial network device, a terrestrial base station, a non-terrestrial node, a non-terrestrial network device, a non-terrestrial base station, and a positioning node, among other possibilities. The base station 170 may be a macro base station (BS) , a pico BS, a relay node, a donor node, or combinations thereof. When the base station 170 performs (or is configured to perform) a method described herein, it may be interpreted as the base station itself, one or more modules (or units) in the base station, a circuit or chip, or a combination thereof, performing the method. For example, the circuit or chip may include a modem chip, also referred to as a baseband chip, a system on chip (SoC) including a modem core, system in package (SIP) ) , and the like, and may be responsible for one or more communication functions within the base station.

[0184] The EDs 110a-110d and TRPs 170a-170b, 172 are examples of communication equipment configured to implement some or all of the operations and / or implementations described herein. The T-TRP 170a forms part of the RAN 120a, which may include other TRPs, and / or other devices. Also, the TRP 170b forms part of the RAN 120b, which may include other TRPs, and / or devices. Each TRP 170a, 170b may transmit and / or receive wireless signals within a particular geographic region or area, sometimes referred to as a “cell” or a “coverage area” . The TRPs 170a-170b may be responsible for allocating and / or configuring resources and transmission and / or reception in a set of cell (s) . A cell is a radio network object that can be uniquely identified by a cell identification that is broadcasted over a geographical region or area from base stations associated with the cell. A cell can work in either FDD or TDD mode. A cell may be further divided into cell sectors, and a base station 170a-170b may, for example, employ one or more transceivers to provide services to one or more sectors. Some implementations, may include pico or femto cells if supported by the radio access technology. In some implementations, one or more transceivers could be used for each cell, such as with Multiple-Input Multiple-Output (MIMO) technology. The number of RANs 120a-120b shown is merely an example. Any number of RANs may be contemplated when designing the communication system 100.

[0185] A base station may be a single element, as shown in the figures, or multiple elements distributed throughout the corresponding RAN, or otherwise configured. In some implementations, a plurality of RAN nodes coordinate to assist the ED 110 in implementing radio access, and different RAN nodes separately implement and handle different functions of the base station. For example, the RAN node may be a central unit (CU) , a distributed unit (DU) , a CU-control plane (CP) , a CU-user plane (UP) , or a radio unit (RU) etc. The CU and the DU may be separately deployed, or included within the same element (i.e., a baseband unit (BBU) ) . The RU may be included in a radio frequency device or a radio frequency unit (i.e., a remote radio unit (RRU) , an active antenna unit (AAU) , or a remote radio head (RRH) ) . In different systems, the CU (or the CU-CP and the CU-UP) , the DU, or the RU may be known by different names, but their functions are understood by person skilled in the art. For example, in an open radio access network (ORAN) system, a CU may be referred to as an open CU (O-CU) , a DU may be referred to as an open DU (O-DU) , and a CU-CP may be referred to as an open CU-CP (O-CU-CP) . The CU-UP may also be referred to as an open CU-UP (O-CU-UP) , and the RU may also be referred to as an open RU (O-RU) . Any one of the CU (or the CU-CP, the CU-UP) , the DU, and the RU may be implemented using a software module, a hardware module, or a combination of a software module and a hardware module.

[0186] Furthermore, communication between different devices / apparatuses in various implementations of this disclosure may refer to direct communication (that is, without the need of forwarding by another device / apparatus) , or may refer to communication (s) between different devices / apparatuses via another device / apparatus (that is, requiring forwarding by another device / apparatus) . Alternatively, such communication (s) may involve one functional unit inside a device / apparatus using  another functional unit within the device / apparatus to communicate with another device / apparatus. In other words, phrases such as "sending (or transmitting) information to... (an ED or a base station) " in this disclosure may be understood as a destination endpoint of the information being an ED or a base station, including, sending / transmitting information directly or indirectly to an ED or a base station. Similarly, phrases like "receiving information from... (an ED or a base station) " may be understood as a source endpoint of the information being an ED or a base station, including directly or indirectly receiving information from an ED or a base station. Between the source endpoint that sends the information and the destination endpoint, necessary processing such as, but not limited to, format conversion, digital-to-analog conversion, amplification, and filtering may be performed on the information. However, the destination endpoint may understand valid information from the source endpoint. A similar understanding applies to other descriptions in this disclosure without reiterating details already described. In the present disclosure, the terms "send" and "transmit" may be used interchangeably in different implementations of this disclosure.

[0187] The ED 110 is used to connect people, objects, machines, and other entities. The ED 110 may be widely used in various scenarios including, but not limited to, cellular communications, device-to-device (D2D) , vehicle to everything (V2X) , peer-to-peer (P2P) , machine-to-machine (M2M) , MTC, internet of things (IoT) , virtual reality (VR) , augmented reality (AR) , mixed reality (MR) , metaverse, digital twin, industrial control, self-driving, remote medical, smart grid, smart furniture, smart office, smart wearable, smart transportation, smart city, drones, robots, remote sensing, passive sensing, positioning, navigation and tracking, and autonomous delivery and mobility.

[0188] Each ED 110 represents any suitable end user device for wireless operation and may include such devices (or may be referred to as, but not limited to) a user equipment (UE) or a user device or a terminal device, a wireless transmit / receive unit (WTRU) , a mobile station, a fixed or mobile subscriber unit, a cellular telephone, a station (STA) , an MTC device, a personal digital assistant (PDA) , a smartphone, a laptop, a computer, a tablet, a wireless sensor, a consumer electronics device, a smart book, a vehicle, a car, a truck, a bus, a train, or an IoT device, wearable devices (such as a watch, a pair of glasses, head mounted equipment, etc. ) , an industrial device, or an apparatus (such as a module, modem, or chip) in the forgoing devices, among other possibilities. Future generation EDs 110 may be referred to by other terms. When an ED 110 performs (or is configured to perform) a method described herein, it may be interpreted as the ED itself, one or more modules (or units) in the ED, a circuit or chip, or a combination thereof, performing the method. For example, the circuit or chip may include a modem chip, also referred to as a baseband chip, a system on chip (SoC) including a modem core, or system in package (SIP) ) , and the like, and may be responsible for one or more communication functions in the ED.

[0189] Each ED 110 connected to TRPs 170a-170b, and / or TRPs 172 can be dynamically or semi-statically turned-on (i.e., established, activated, or enabled) , turned-off (i.e., released, deactivated, or disabled) and / or configured in response to one of more of: connection availability and connection necessity.

[0190] Any ED 110 may be alternatively or additionally configured to interface, access, or communicate with any of the TRPs 170a, 170b and 172, the Internet 150, the CN 130, the PSTN 140, the other networks 160, or any combination thereof. In some examples, the ED 110a may communicate an uplink (UL) and / or downlink (DL) transmission over a terrestrial air interface 190a with station-TRP 170a. In some examples, the EDs 110a, 110b, 110c, and 110d may also communicate directly with one another via one or more sidelink (SL) air interfaces 190b. In some examples, the EDs 110a, 110d may communicate using an UL and / or DL transmission over a non-terrestrial air interface 190c with NT-TRP 172.

[0191] An air interface (such as, for example, 190a, 190b, 190c) generally includes a number of components and associated parameters that collectively specify how a transmission is to be sent and / or received over a wireless communications link between two or more communicating devices such as EDs and base station (s) . For example, an air interface may include one or more components defining the waveform (s) , frame structure (s) , multiple access scheme (s) , protocol (s) , coding scheme (s) and / or modulation scheme (s) for conveying information (such as, data) over a wireless communications link. The air interfaces 190a and 190b may use similar communication technology, which may include any suitable radio access technology.

[0192] The non-terrestrial air interface 190c can enable communication between the EDs 110a, 110d and one or more NT-TRPs 172 via a wireless link or simply a link. For some examples, the link is a dedicated connection for unicast transmission,  a connection for broadcast transmission, or a connection between a group of EDs 110 and one or more NT-TRPs 172 for multicast transmission.

[0193] The TRPs 170a-170b, 172 may communicate with one another over one or more air interfaces 190e, 190f using wireless communication links (such as radio frequency (RF) , microwave, infrared (IR) , etc. ) or wired communication links. The air interfaces 190e, 190f may utilize any suitable radio access technology, and may be substantially similar to the air interfaces 190a, 190c over which the EDs 110a-110d communicate with one or more of the TRP 170a-170b, 172 or they may be substantially different. For example, the communication system 100 may implement one or more channel access methods, such as Time Division Multiple Access (TDMA) , Frequency Division Multiple Access (FDMA) , Code Division Multiple Access (CDMA) , Single Carrier Frequency Division Multiple Access (SC-FDMA) , Low Density Signature Multicarrier Code Division Multiple Access (LDS-MC-CDMA) , Non-Orthogonal Multiple Access (NOMA) , Pattern Division Multiple Access (PDMA) , Lattice Partition Multiple Access (LPMA) , Resource Spread Multiple Access (RSMA) , and Sparse Code Multiple Access (SCMA) .

[0194] The RANs 120a and 120b are in communication with the CN 130 to provide the EDs 110a 110b, and 110c with various services such as voice, data, multimedia, and other services. The RANs 120a and 120b and / or the CN 130 may be in direct or indirect communication with one or more other RANs (not shown) , which may or may not be directly served by the CN 130, and may employ different radio access technologies from RAN 120a and / or RAN 120b. The CN 130 may also serve as a gateway access between (i) the RANs 120a and 120b and / or the EDs 110a 110b, and 110c, and (ii) other networks (such as the PSTN 140, the Internet 150, and the other networks 160) . In addition, some or all of the EDs 110a 110b, and 110c may include functionality for communicating with different wireless networks over different wireless links using different wireless technologies and / or protocols. For example, the EDs 110a 110b, and 110c communicate using different cellular communications protocols, such as, but not limited to, a Global System for Mobile Communications (GSM) protocol, a code-division multiple access (CDMA) network protocol, a Push-to-Talk (PTT) protocol, a PTT over Cellular (POC) protocol, a Universal Mobile Telecommunications System (UMTS) protocol, a 3GPP Long Term Evolution (LTE) protocol, a fifth generation (5G) protocol, a New Radio (NR) protocol, and the like. Instead of wireless communication (or in addition thereto) , the EDs 110a 110b, and 110c may communicate using wired communication channels to a service provider or switch (not shown) , and / or to the Internet 150. The PSTN 140 may include circuit switched telephone networks for providing plain old telephone service (POTS) . The Internet 150 may include a network of computers and subnets (intranets) or both, and incorporate protocols, such as internet protocol (IP) , transmission control protocol (TCP) , user datagram protocol (UDP) . EDs 110a 110b, and 110c may be multimode devices capable of operation according to multiple radio access technologies, and may incorporate one or multiple transceivers necessary to support such.

[0195] In addition, the communication system 100 may comprise a sensing agent (not shown) to manage the sensed data from ED 110 and / or any one of TRPs 170a, 170b, 172. In one implementation, the sensing agent may be part of any one of TRPs 170a, 170b, 172. In another implementation, the sensing agent is a separate node that can communicate with the CN 130 and / or the RAN 120 (such as any one of TRPs 170a, 170b, 172) .

[0196] FIG. 3 is a schematic illustration showing an apparatus 310 wirelessly communicating with another apparatus 320 within a communication system (e.g., the communication system 100) according to an implementation of the present disclosure. The apparatus 310 may be an electronic device (such as ED 110) . The apparatus 320 may be a network node (e.g., the network node 170) such as T-TRP 170 or an NT-TRP 172. Although only one apparatus 310, and one apparatus 320 are shown in the figure, the number of apparatus 310 and / or number of apparatus 320 can vary, potentially including one or more of each. For example, a single ED 110 may be served by a single T-TRP 170 (or a single NT-TRP 172) , or by multiple T-TRPs 170 (or multiple NT-TRPs 172) . Similarly, a single ED 110 may be served by one or more T-TRPs 170 and one or more NT-TRPs 172. Similarly, a single T-TRP 170 (or a single NT-TRP 172) may serve one or more EDs 110.

[0197] The apparatus 310 may include one or more processors 210. For clarity and to avoid overcrowding the illustration, only a single processor 210 is illustrated. The apparatus 310 may further include a transmitter 201 and a receiver 203 coupled to one or more antennas 204. For clarity, only a single antenna 204 is illustrated. One, some, or all of the antennas 204 may  alternatively be panels. In some implementations, the transmitter 201 and the receiver 203 are separate from each other. In other implementations, the transmitter 201 and the receiver 203 may be integrated into a single unit, for example, as a transceiver. The transceiver is configured to modulate data or other content for transmission by the one or more antennas 204 or a network interface controller (NIC) . The transceiver may also be configured to demodulate data or other content received by the one or more antennas 204. A transceiver may include any suitable structure for generating signals for wireless or wired transmission and / or for processing signals received through wireless or wired communication. Each antenna 204 includes any suitable structure for transmitting and / or receiving wireless or wired signals. The apparatus 310 may include a memory 208. In some implementations, the apparatus 310 may include multiple memories 208. Only a single transmitter 201, receiver 203, processor 210, memory 208, and antenna 204 is illustrated for simplicity, but the apparatus 310 may include one or more other components. In some implementations of the present disclosure, the transceiver (or transmitter 201 and / or receiver 203) may be viewed as an interface circuit.

[0198] The memory 208 is configured to store instructions used to perform operations described herein. The memory 208 may also be configured to store data that is used, generated, or collected by the apparatus 310. For example, the memory 208 can store software instructions or modules configured to implement some or all of the functionalities and / or operations described herein and that which are executed by the one or more processors 210.

[0199] The apparatus 310 may further include one or more input / output devices (not shown) or interfaces. The input / output devices or interfaces facilitate interaction with a user or other devices in the network. Each input / output device or interface includes suitable components for facilitating transmission of information to a user and reception of information from a user, and for various network interface communications. Such components may include, but are not limited to, a speaker, microphone, keypad, keyboard, display, touch screen, and the like.

[0200] The processor 210 may be configured to perform (or control the apparatus 310 to perform) operations (or methods) described herein as being performed by the apparatus 310. For example, the processor 210 performs or controls the apparatus 310 to perform the operations of: a) receiving one or more transport blocks (TBs) , b) using a resource for decoding at least one of the received TBs, c) releasing the resource for decoding another of the received TBs, and / or d) receiving configuration information configuring a resource. Specifically, the operations may include tasks related to: preparing a transmission for UL transmission to the apparatus 320, processing DL transmissions received from the apparatus 320, and handling SL transmission to and from another apparatus 310. Processing operations related to preparing a transmission for UL transmission may include operations such as, but not limited to, encoding, modulating, transmit beamforming, and generating symbols for transmission. Processing operations related to processing DL transmissions may include operations such as, but not limited to, receive beamforming, demodulating and decoding received symbols. Processing operations related to processing SL transmissions may include operations such as, but not limited to, transmit / receive beamforming, modulating / demodulating and encoding / decoding symbols. Depending upon the implementation, a DL transmission may be received by the receiver 203, possibly using receive beamforming, and the processor 210 may extract signaling from the DL transmission (such as by detecting and / or decoding the signaling) . An example of signaling may be a reference signal transmitted by the apparatus 320. In some implementations, the processor 210 implements the transmit beamforming and / or the receive beamforming based on the indication of beam direction, such as beam angle information (BAI) , received from the apparatus 320. In some implementations, the processor 210 may be configured to perform operations relating to network access (such as initial access) and / or downlink synchronization, which includes operations for detecting a synchronization sequence, decoding and obtaining the system information, and the like. In some implementations, the processor 210 may perform channel estimation, such as using a reference signal received from the apparatus 320.

[0201] Although not illustrated, in some implementations, the processor 210 may either be a part of the transmitter 201 or a part of the receiver 203 or a part of both the transmitter 201 and the receiver 203. Although not illustrated, in some implementations, the memory 208 may be a part of the processor 210.

[0202] The processor 210, along with the processing components of the transmitter 201 and the receiver 203 may each be implemented by one or more processors that may the same or different. These processors are configured to execute instructions  stored in a memory (such as in the memory 208) .

[0203] The apparatus 320 includes one or more processors 260 (only one processor 260 is illustrated) . The apparatus 320 may further include one or more transmitters 252 and one or more receivers 254 coupled to one or more antennas 256. Only a single antenna 256 is illustrated to avoid clutter in the illustration. One, some, or all of the antennas 256 may alternatively be panels. In some implementations, the transmitter 252 and the receiver 254 are separate from each other. In other implementations, the transmitter 252 and the receiver 254 may be integrated into a single unit such as, for example, as a transceiver. The apparatus 320 may further include a memory 258. In some implementations, the apparatus 320 may include multiple memories 258. The apparatus 320 may further include a scheduler 253. Only a single transmitter 252, receiver 254, processor 260, memory 258, antenna 256 and scheduler 253 are illustrated for simplicity, however the apparatus 320 may include one or more other components. In the present disclosure, in some implementations, the transceiver (or transmitter 252 and / or receiver254) may be viewed as an interface circuit.

[0204] In some implementations, various components of the apparatus 320 may be distributed. For example, some of the modules of the apparatus 320 may be located remotely from the equipment housing the antennas 256 for the apparatus 320 (and therefore also can be viewed as one or more nodes) . These modules, which can be considered as one or more nodes, may be coupled to the equipment that houses the antennas 256 over a communication link (not shown) , sometimes referred to as front haul, such as the Common Public Radio Interface (CPRI) . Therefore, in some implementations, the term apparatus 320 may also refer to network-side nodes that perform processing operations such as, but not limited to, determining the location of the apparatus 310, resource allocation (scheduling) , message generation, and encoding / decoding, and that which are not necessarily part of the equipment that houses the antennas 256 of the apparatus 320. The nodes may also be coupled to other apparatuses 320. In some implementations, the apparatus 320 may actually be a plurality of nodes that are operating together to serve the apparatus 310, such as through the use of coordinated multipoint transmissions, or through the use of ORAN system as described above in the disclosure.

[0205] The processor 260 is configured to perform operations including those related to: preparing a transmission for DL transmission to the apparatus 310, processing an UL transmission received from the apparatus 310, preparing a transmission for backhaul transmission to another apparatus 320, and processing a transmission received over backhaul from another apparatus 320. Processing operations related to preparing a transmission for DL or backhaul transmission may include operations such as, but not limited to, encoding, modulating, precoding (such as MIMO precoding) , transmit beamforming, and generating symbols for transmission. Processing operations related to processing received transmissions in the UL or over backhaul may include operations such as, but not limited to, receive beamforming, demodulating received symbols, and decoding received symbols. The processor 260 may also be configured to perform operations relating to network access (such as initial access) and / or DL synchronization, such as generating the content of synchronization signal blocks (SSBs) , generating the system information, and the like. In some implementations, the processor 260 is further configured to generate an indication of beam direction, such as BAI, which may be scheduled for transmission by the scheduler 253 which will be described below. In some implementations, the processor 260 implements the transmit beamforming and / or receive beamforming based on beam direction information (such as BAI) received from another apparatus 320. The processor 260 is configured to perform other network side processing operations described herein, such as, but not limited to, determining the location of the apparatus 310, determining where to deploy another apparatus 320, and the like. In some implementations, the processor 260 may generate signaling data, to configure one or more parameters of the apparatus 310 and / or one or more parameters of another apparatus 320. Any signaling data generated by the processor 260 is sent by the transmitter 252. In some implementations, the apparatus 320 implements physical layer processing. In some implementations, the apparatus 320 may perform higher layer functions such as those at the Medium Access Control (MAC) or Radio Link Control (RLC) layers in addition to physical layer processing. In the apparatus 320, the scheduler 253 may be coupled to the processor 260 or integrated within the processor 260. In some implementations, the scheduler 253 may be integrated within the apparatus 320 or may be operated separately from the apparatus 320. The scheduler 253 may schedule UL, DL, SL, and / or backhaul transmissions, including issuing scheduling grants and / or configuring scheduling-free (such as “configured grant” ) resources.

[0206] The apparatus 320 may further include a memory 258 that is configured to store instructions for performing the operations described herein. The memory 258 may also store data that is used, generated, or collected by the apparatus 320. For example, the memory 258 can store software instructions or modules configured to implement some or all of the functionalities and / or implementations described herein and that which are executed by the processor 260.

[0207] Although not illustrated, the processor 260 may be implemented as part of the transmitter 252 and / or a part of the receiver 254. Although not illustrated, in some implementations, the processor 260 may implement the scheduler 253 and the memory 258 may be implemented as part of the processor 260.

[0208] The processor 260, the scheduler 253, the processing components of the transmitter 252, and the processing components of the receiver 254 may each be implemented by the same or different processors that are configured to execute instructions stored in a memory, such as in the memory 258.

[0209] The apparatus 320 and / or the apparatus 310 may include other components, not shown or described herein for the sake of clarity.

[0210] Note that the term “signaling” , as used herein, may alternatively be referred to as control signaling, control message, control information, or message for simplicity. Signaling between a base station (such as the TRP 170a. 170b, 172) and a UE or sensing device (such as ED 110) , or signaling between a different UE or sensing device (such as between ED 110a and ED 110b) may be carried in physical layer signaling (also called as dynamic signaling) , which is transmitted in a physical layer control channel. For DL, the physical layer signaling may be known as downlink control information (DCI) which is transmitted in a physical downlink control channel (PDCCH) . For UL, the physical layer signaling may be known as uplink control information (UCI) which is transmitted in a physical uplink control channel (PUCCH) . For SL, signaling between different UEs or sensing devices (such as between ED 110a and ED 110b) may be known as SL control information (SCI) which is transmitted in a physical sidelink control channel (PSCCH) . Signaling may be carried in a higher layer (such as higher than physical layer) signaling, which is transmitted in a physical layer data channel, such as in a physical downlink shared channel (PDSCH) for downlink signaling, in a physical uplink shared channel (PUSCH) for uplink signaling, and in a physical sidelink shared channel (PSSCH) for SL signaling. Higher layer signaling may also be called static signaling, or semi-static signaling. The higher layer signaling may include radio resource control (RRC) protocol signaling or media access control -control element (MAC-CE) signaling. Signaling may be included in a combination of physical layer signaling and higher layer signaling.

[0211] It should be noted that in the present disclosure, “information” , when different from “message” , may be carried within a single message, or may be carried in multiple separate messages.

[0212] FIG. 4 illustrates an example apparatus 410 according to an implementation of the present disclosure. The apparatus 410 may be a communication device or an apparatus implemented in a communication device such as the ED 110 or the TRPs 170a, 170b, 172. For example, the apparatus 410 implemented in an ED may be an integrated circuit, which in some instances may be referred to as a chip, a modem, a modem chip, a baseband chip, or a baseband processor. In some implementations, one or more integrated circuits can be packaged into a system-on-chip, a system-in-package, or a multi-chip module. The apparatus 410 can include one or more integrated circuits and other discrete components. In some implementations, the apparatus 410 may be a module within the ED 110, or within the apparatus 310. In some implementations, the apparatus 410 may be a module within one of the TRPs 170a, 170b, 172, or the apparatus 320.

[0213] In an example, the apparatus 410 may include one or more processors 411, and an interface circuit 412. The apparatus 410 may further include a memory 413. The one or more processors 411 are configured to process signals and execute one or more communication protocols. The memory 413 is configured to store at least a part of corresponding computer program instructions and / or data. In an example, the one or more processors 411 execute the computer program instructions stored in the memory 413 to implement related operations (for example, inputting, outputting, receiving, and transmitting) in the method embodiments disclosed herein. In some implementations, the memory 413 being configured to store the corresponding computer program instructions and / or data may mean that the memory 413 is configured to store all of the corresponding computer program instructions and / or data for execution by the one or more processors 411. In some implementations, the  memory 413 being configured to store the corresponding computer program instructions and / or data may mean that the memory 413 is configured to store a part of the corresponding computer program instructions and / or data. For example, the part of the corresponding computer program instructions and / or data may include computer program instructions and / or data that need to be currently executed by the one or more processors 411. Thus, the memory 413 may store different parts of computer program instructions and / or data for a plurality times for the one or more processors 411 to perform related operations in the method embodiments disclosed herein. As a communication interface, the interface circuit 412 is configured to implement communication with another component. For example, the interface circuit 412 may communicate a signal with another apparatus or system, such as a radio frequency processing apparatus or another processor. The signal may include or carry information intended as a payload, such as user data, control information, etc. The signal may also include or carry information useful to a receiver, but not necessarily as a payload, such as a pilot signal or reference signal. Communicating the signal may include transmitting the signal to another component or device. Communicating the signal may additionally or alternatively include receiving the signal from another component or device. Transmitting the signal may include outputting the signal to a component or device that is directly or indirectly coupled to the interface circuit 412. Receiving the signal may include inputting or obtaining the signal from a component or device that is directly or indirectly coupled to the interface circuit 412. Optionally, to reduce a load of the one or more processors, a baseband signal processing circuit 414 may be also disposed to implement processing of at least a part of baseband signals, including signal demodulation, modulation, encoding, decoding, or the like.

[0214] The apparatus 410 may be the processor 210 (or 260) within the apparatus 310 (or 320) , in some scenarios, or may be included within the processor 210 (or 260) within the apparatus 310 (or 320) in some scenarios. The apparatus 410 may be a baseband chip or may include a baseband chip. In some implementations, the apparatus 410 may be independently packaged into a chip. In some implementations, the apparatus 310 (or 320) includes different types of chips. The apparatus 410 may be packaged into a processor chip (for example, an SoC chip or an SIP chip) with the different types of chips. In some implementations, the apparatus 410 may be packaged into a chip with some or all of circuits of a radio frequency processing system that may further be included in the apparatus 310 (or 320) .

[0215] FIG. 5 illustrates example apparatus 510 according to an implementation of the present disclosure. The apparatus 510 may include corresponding modules or units configured to implement methods and / or implementations described herein. In some implementations, the apparatus 510 includes a processing unit 512 and a communication unit 513. Optionally, the apparatus 510 may further include a storage unit 511 configured to store apparatus program code (or instructions) and / or data.

[0216] The apparatus 510 may be an ED side apparatus, for example, an ED or a module in an ED, or a circuit or a chip responsible for a communication function in an ED. In some implementations, apparatus 510 may be the apparatus 310. The processing unit 512 may be the processor 210. The communication unit 513 may comprise a receiving unit and / or a transmitting unit. The receiving unit and / or the transmitting unit may be the transmitter 201 and / or the receiver 203 respectively. The storage unit 511 may be the memory 208.

[0217] The apparatus 510 may be a base station side apparatus, for example, a base station or a module in a base station, or a circuit or a chip responsible for a communication function in a base station. In some implementations, apparatus 510 may be apparatus 320. The processing unit 512 may be the processor 260 (the scheduler 253 may also be included) . The communication unit 513 may comprise a receiving unit and / or a transmitting unit. The receiving unit and / or the transmitting unit may be the transmitter 252 and / or the receiver 254 respectively. The storage unit 511 may be the memory 258.

[0218] In some implementations, when the apparatus 510 is an ED 110 or a module in an ED 110, a function of the apparatus 510 may be implemented by one or more processors. Specifically, the processor may include a modem chip, or a system on chip (SoC) chip or an SIP chip that includes a modem core. A function of the communication unit 513 may be implemented by a transceiver circuit.

[0219] In some implementations, when the apparatus 510 is a circuit or a chip that is responsible for a communication function in an ED 110, -such as a modem chip, a system on chip (SoC) chip or an SIP chip that includes a modem core -a function of the processing unit 512 may be implemented by a circuit system within the chip which includes one or more  processors. A function of the communication unit 513 may be implemented by an interface circuit or a data transceiver circuit on the chip.

[0220] It may be understood that the units in the apparatus 510 may be logical or functional. Each function may correspond to one functional unit, or two or more functions may be integrated into a single functional unit. In actual implementation, all or some of the units may be integrated into a single physical entity, or may be distributed across different physical entities. In addition, the functional units may be implemented in the form of hardware, software, or a combination of hardware and software. Whether a function is implemented in the form of hardware or software depends on particular applications and design constraint conditions of the technical solutions. A person skilled in the art may use different methods to implement the described functions for specific applications, but it should not be considered that the implementation goes beyond the scope of this disclosure.

[0221] In an example, a functional unit in any one of the apparatuses may be configured as one or more integrated circuits for implementing the methods disclosed herein, for example, as one or more application-specific integrated circuits (application-specific integrated circuits, ASICs) , one or more central processing units (CPUs) , one or more microprocessors or microprocessor units (MPUs) , one or more microcontrollers or microcontroller units (MCUs) , one or more digital signal processors (DSPs) , one or more field programmable gate arrays (FPGAs) , or a combination of these.

[0222] In an example, the storage unit 511 may include a random access memory, a flash memory, a read-only memory, a programmable read-only memory, an electrically erasable programmable memory, and / or a register.

[0223] A processor may be referred to as a processor system, an application processor, a baseband processor, a processor circuit, or a processor core. The processor may include one or a combination of one or more central processing units (CPUs) , one or more digital signal processors (DSPs) , one or more microprocessors (microprocessor units, MPUs) , one or more microcontrollers (microcontroller units, MCUs) , one or more graphics processing units (GPUs) , one or more field programmable gate arrays (FPGAs) , one or more artificial intelligence processors (AI processors) , or one or more neural network processing units (NPUs) .

[0224] Memory or a storage unit may include one or more of the following storage media: a random access memory (RAM) , a static random access memory (static RAM, SRAM) , a dynamic random access memory (dynamic RAM, DRAM) , a phase-change memory (PCM) , a resistive random access memory (resistive RAM, ReRAM) , a magnetoresistive random access memory (magnetoresistive RAM, MRAM) , a ferroelectric random access memory (ferroelectric RAM, FRAM) , a cache, a register, a read-only memory (ROM) , a flash memory (flash memory) , an erasable programmable read-only memory (erasable programmable ROM, EPROM) , a hard disk, and the like. In an example, computer program instructions used to execute embodiments may be stored in a non-volatile memory, for example, at least a part of a memory or storage unit (for example, one or more of a ROM, a flash memory, an EPROM, or a hard disk) . When a terminal runs, a part or all of corresponding computer program instructions may be loaded to a memory that has a higher transmission speed with the processor, for example, at least a part of a memory or a storage unit (for example, one or more of a RAM, an SRAM, a DRAM, a PCM, a RERAM, an MRAM, a FRAM, a cache, or a register) , so that the processor executes the computer program instructions to perform the steps in the method embodiments disclosed herein.

[0225] The above gives possible scenarios or generalized description of the examples of the present disclosure, and the following will introduce possible terminologies of the present disclosure before elaborating the embodiments of the present disclosure.

[0226] Split Learning (SL) is a learning approach where a model is divided between a client and a server, enabling privacy training by sharing only segments of the model.

[0227] Federated Learning (FL) learns a global knowledge from a network of clients without sharing their private data. Federated learning is a machine learning approach that allows models to be trained across multiple decentralized devices or servers holding local data samples, without exchanging their data. This technique addresses privacy concerns by keeping raw data on local devices while only sharing model updates, thus minimizing data exposure. Federated learning is particularly valuable in scenarios where data is sensitive or distributed across various locations, such as in mobile device ecosystems or  across different institutions. This parading not only enhances privacy but also reduces the cost and complexity associated with data transfer and central storage.

[0228] Federated Averaging (FedAvg) is a widely adopted FL approach that dissipates knowledge through federation of clients by averaging models' parameters. FedAvg simply collects models from all participating clients, then the parameters of all models are averaged to generate a global model. Lastly, the global model is communicated back to the participating clients / devices. FedAvg is an algorithm used in federated learning to aggregate locally computed updates into a global model. In this approach, each participating device / client trains the model on its local data and sends the computed model updates, rather than the raw data, to a central server. The server then averages these updates to produce an improved global model, which is subsequently redistributed to the participating devices. This iterative process continues until the model converges. Federated averaging is efficient and scalable, making it suitable for large-scale deployments where data privacy and bandwidth limitations are critical considerations.

[0229] Machine Unlearning is a research direction that targets at removing the influence of specific data points from a trained machine learning model.

[0230] Split Unlearning (SU) aims at selectively removing specific data influence from a collaborative model by leveraging the split learning architecture.

[0231] Federated Unlearning (FU) aims at giving the right to users to remove the influence of their data from the global model in the federated learning setting.

[0232] Cross Entropy (CE) is used to measure the difference between two probability distributions. The target label is used as the correct signal.

[0233] Kullback Leibler Divergence (KLD) is a measure of dissimilarity using relative entropy between two probability distributions, e.g., to measure how much additional information is needed to encode events from one distribution based on another distribution.

[0234] FIG. 6 is a schematic illustration of centralized FL. As shown in FIG. 6, the operational flow includes the following steps. In step 1, each participating client (the clients that will participate in the aggregation) trains a model based on its local data, e.g., client 0 trains model 0 using data 0, client 1 trains model 1 using data 1, and client N trains model N using data N. In step 2, each client sends the locally trained model to the server. In step 3, the server aggregates the locally trained models from the clients to obtain a global model. Then, in step 4, the server sends back the global model to each participating client.

[0235] Decentralized Federated Learning (DFL) involves multiple clients collaborating on model training without a central server, ensuring data privacy and reducing single point of failure. The operational flow of DFL is similar to that of centralized FL, while the difference lies in that a client in DFL serves as the role of the server in centralized FL. FIG. 7 is a schematic illustration of DFL. As shown in FIG. 7, step 1 of DFL is the same as that of centralized FL. In step 2, other clients (e.g., client1, client N) send their locally trained models to client 0 (the aggregator) . In step 3, client 0 aggregates the locally trained models from other clients to obtain a global model. Then, in step 4, client 0 sends back the global model to each participating client.

[0236] Split learning (SL) is a collaborative machine learning technique where a model is divided into multiple segments and each segment is trained on different devices. Instead of sharing raw data, only the model’s intermediate layers are communicated to the server, ensuring data privacy and security. For instance, in a typical setup, the initial layers of a neural network might be trained locally on client’s data, and the subsequent layers are trained on a central server with aggregate representations. This approach allows for efficient utilization of local computational resources while protecting sensitive information, as raw data never leaves the clients premises. Split learning is particularly advantageous in scenarios where data privacy is paramount, such as in healthcare or finance, facilitating collaboration without compromising confidentiality.

[0237] FIG. 8 is a schematic illustration of parallel split learning, and the operational flow includes the following steps. In step 1, each participating client trains its layer (s) on its local data. In step 2, each participating client sends features to the server (every round) . In step 3, the server sends back gradients to each participating client (every round) . At step 4, each participating client sends the locally trained layer (s) to the server (every several rounds) . In step 5, the server aggregates the  locally trained layers from clients. In step 6, the server trains the model using public data. In step 7, the server sends back the aggregated layers to each participating client. In step 8, a client can send a service request to the server and get a service response from the server, where the server is stored with the model while the client is stored with the aggregated layers of the model.

[0238] General Data Protection Regulation (GDPR) is a data protection law in the European Union (EU) governing how personal data should be handled. This law ensures clients to have control over their personal information and granting rights such as access, correction and deletion of data. In related art, service providers just remove client’s data from their system. However, this is not sufficient because a trained model has already internalized information from the data. To achieve proper unlearning, the model needs to remove the influence of the data on the model parameters.

[0239] Machine unlearning refers to the process of removing specific data points from a trained machine learning model, as if the data had never been included in the training set. This concept is crucial for adhering to data privacy regulations and user rights, such as the right to be forgotten. Effective machine unlearning requires methods that can efficiently update the model by selectively forgetting information without retraining from scratch, ensuring compliance with legal standards while maintaining model performance and integrity. FIG. 9 is a schematic illustration of a machine unlearning pipeline. As shown in FIG. 9, an original multilayer perceptron (MLP) model is trained based on data A, B and C, in some cases, e.g., data C is requested to be unlearned / removed, the model is updated to form an unlearned model based on data A and B.

[0240] When implementing the machine learning, both centralized and decentralized unlearning are possible, the main difference lies in that whether a server is involved in the whole process. Take centralized unlearning as an example, both split unlearning and federated unlearning are feasible. Split unlearning is a machine unlearning method designed to enhance data privacy and model performance in federated learning systems. In this approach, the model is divided into two segments. The first segment is trainable on clients, while the other segment is trainable on public data. At the server, the first segment coming from clients are aggregated. When a client requests its data to be unlearned, then the server will apply the unlearning modification on the model and transmit the entire model to the clients. If the remaining clients do not update their local models, then they will no longer be able to utilize updates from the server. This enforces clients to update their models when unlearning is required. This ensures that data privacy is maintained even after their data has been used for training. By combining the principles of model splitting and federated unlearning, this technique minimizes the risk of data leakage, improves computation efficiency and ensures compliance with right to be forgotten.

[0241] Federated unlearning extends the principles of machine unlearning to federated learning environments. In this context, it involves the removal of specific data contributions from the distributed model updates that were aggregated during the model training process. The challenge is to achieve this without the retaining of models from scratch across all devices, which would be resource-intensive. Federated unlearning ensures that privacy obligations are met and data subjects’ rights are respected across a distributed data ecosystem, maintaining the integrity and utility of the federated learning process. FIG. 10 is a schematic illustration of a federated unlearning pipeline. As mentioned before, client 0 trains model 0 using data 0, client 1 trains model 1 using data 1, and client N trains model N using data N. Each client sends the locally trained model to the server, and the server aggregates the locally trained models from the clients to obtain a global model. As shown in FIG. 10, in some cases, for example, it is detected an unlearning request from client 0 to request data 0 to be unlearned, the global model would be updated based on the models from client 1 to client N, except client 0.

[0242] In order to implement machine unlearning, in related art, FIG. 11 is a schematic illustration of a competent and incompetent teachers-based framework for unlearning. In this method, a centralized machine unlearning algorithm that performs unlearning by using two teachers: a competent teacher (original model) and an incompetent teacher (random model) . Basically, the objective of an unlearned model is the KLD between the original model and the unlearned model using the retain dataset and also between the unlearned model and the incompetent teacher using the forget data.

[0243] The objective function is given below:

[0244] where lu is the unlearning label and x is a data sample, KL (Ts (x) ||S (x) ) represents the KLD between the original model and the unlearned model, and KL (Td (x) ||S (x) ) represents KLD between the unlearned model and the incompetent teacher.

[0245] Another work in the related art is using Lipchitz regularization for unlearning. The original model is passed through the forget set to generate the unlearned model. Multiple samples are created for each image by adding white noise. The Lipchitz bound is used in the objective function to compute the expected difference between the original sample and the generated samples. This procedure confuses the network given any image from the forget data. The algorithm is provided below:

[0246] Furthermore, in another related art, there is provided a federated unlearning approach that keeps track of the clients' updates at the server. When an unlearning request from a client is sent to the server, the recorded updates for that client are used to remove its data influence from the global model. This method is considered a communication and computationally efficient method as the client just needs to inform the server that it requires its information to be unlearned.

[0247] The machine unlearning solutions such as training a model from scratch on remain data (re-initializing the model and training the re-initialized model with the remain data) or retraining a trained model on remain data are both slow and costly. The former unlearns immediately but takes times to reach satisfactory accuracy, while the latter starts with good accuracy but is unlearning very slowly. The incompetent teacher work requires access to both retain and forget data during optimizing the model for unlearning. The Lipchitz work requires access to the forget data to perform unlearning. Further, the proposed method does not unlearn successfully because all the information gets remembered when the retain data is fed to the model. That is, if the machine unlearning is implemented by hiding specified information, the hided information would be remembered in fine tuning process of the model. Last but not least, it is impractical to keep track of the clients' updates as it requires the server to keep track of all the client updates. Therefore, no solution exists yet that performs unlearning without the need to access the forget data, is efficient communication-wise and computation-wise, has fast convergence, successfully performs forgetting, supports heterogeneous data and models, and supports decentralized settings.

[0248] In view of the above, embodiments of the present disclosure propose a method for realizing unlearning in a desired way. The request for unlearning data of a client from a model may be transmitted to a network controller / Network Storage Function (NSF) , so that the request can be forwarded, either directly or after verification, to a node on which the model is located, and the result of the unlearning can be returned back to the client after the unlearning is performed. It is possible to pre-configure all nodes involved in the communication for realizing the unlearning process with information about the unlearning operation, or it is also possible to carry such information within the request passing through different network elements. For the information about the unlearning operation, it may include, for example, information about layers where unlearning operation to be performed (e.g., indices of layers to be negated in a layer-wise solution) , and / or information for  determining whether the unlearning is necessary, or other possible information.

[0249] For the unlearning operation throughout the text, it may be implemented by negating a layer / neuron of an AI model, which may refer to performing negation to the layer / neuron or performing negation on the layer / neuron. Regarding how to implement the negation, it may be negating all the weight parameters associated with the specified layer or neuron, and negating a weight parameter may refer to multiplying the weight by -1.

[0250] Before elaborating details about the unlearning process of the present disclosure, possible nodes in the communication system associated with the unlearning process will be introduced in the first place. FIG. 12A is a schematic illustration of a network structure associated with the unlearning process. As shown in FIG. 12A, the nodes in the network structure include a first device (which can be a UE or a network entity such as an application server) , a Network Function (NF) , a second device (which can be a UE or a network entity such as an application server) , a network controller (or referred to as controller) , a Network Storage Function (NSF) and an application function (AF) , where the controller and the NSF form a control plane, the NF forms a data plane, which may also be referred to user plane (e.g., similar to the user plane in the 5G system) . The control plane may include other network entities (referred to as control plane entities) ; likewise, the data plane may include other network entities (referred to as data plane entities) . These control plane entities and these data plane entities are not shown in FIG. 12A. The first device can communicate / interact with the NF and the controller, directly or indirectly (through other network entities) ; the controller can communicate / interact, directly or indirectly (through some other network entity) , with the NF and the AF; and the second device can communicate / interact, directly or indirectly (e.g., through some other network entity) with the NF. It should be noted that, the network controller and the NSF can be integrated or separately arranged. The first device and the second device are clients participating in the machine learning (e.g., split learning) , where the NF acts as a server. The NF may execute a part of the AI model during the machine learning. The NF is configured to perform unlearning operation (e.g., negation) as described in this disclosure. The number of the second devices is not limited in the embodiments of the present disclosure.

[0251] The network structured shown in FIG. 12A is compatible with, in other words, can be combined with various embodiments described in this disclosure. In Split Learning (illustrated in FIG. 8) , devices (e.g., the first device and the second device) locally train some layers of the device’s model, and a server (e.g., the NF) aggregates the locally trained layers from the devices, and perform training on the entire model using training data. In Federated Learning (illustrated in FIG. 6) , devices (e.g., the first device and the second device) locally train the entire model, whereas a server (e.g., the NF) aggregates all models received from the devices. In Split Unlearning (illustrated in FIG. 16A) , a device (e.g., the first device) that wants to unlearn (i.e., remove data or data influence as described below) requests unlearning (i.e., removing data or data influence, as described below) from a server (e.g., the NF) and also can verify the unlearning after completion of the unlearning. Whereas, the server (e.g., the NF) applies the negation to specified layers with respect to request, performs the model training, and can detect if the unlearning needs to be performed. In Federated Unlearning (illustrated FIG. 18A) , a device (e.g., the first device) that wants to leave (from the machine learning) requests a server (e.g., the NF) to unlearn and can verify the unlearning. Whereas the server (e.g., the NF) can unlearn (i.e., perform negation on) the specified layers, perform aggregation with other models, and can detect if unlearning needs to be performed. In these embodiments, the devices are clients.

[0252] Generally, the NSF stores information about whether unlearning is supported for the artificial intelligence (AI) model. The information may include information identify the AI model, e.g., a model ID. If the information indicates unlearning is supported for the AI model, the information may further specify or indicate where (e.g., on which layers or neurons of the AI model) unlearning operation (e.g., negation) to be performed in the AI model, by including information identifying the locations in the AI model (e.g., layers or neurons of the AI model) , e.g., layer IDs / indices, neuron IDs / indices. In some embodiments, the AI model is associated to an application, and the information about whether unlearning is supported further indicates whether unlearning is supported for the application, e.g., by including information identifying the application (e.g., an application ID, a data network name (DNN) ) . The information about whether unlearning is supported may be provisioned / provided from the AF, as shown in the step 1 in FIG. 12B. The AF can belong to the model provider. The AF may provision / provide the information to the NSF directly or indirectly (via some other network entity, e.g., a control entity similar  to an NEF in the 5G system) .

[0253] In some embodiments, the first device or the AF is notified (e.g., by the controller) about whether unlearning is supported for the AI model and / or for the application. The controller obtains the information about whether unlearning is supported for the AI model and / or for the application from the NSF and accordingly notifies the first device / AF. In an example, as indicated by the interaction between the controller and the NSF in step 2 of FIG. 12B, the controller may obtain the information about whether unlearning is supported for the AI model and / or for the application by sending a request for the information to the NSF. In response to the request, the NSF sends the information to the controller. The request sent from the controller to the NSF may include the information identifying the AI model, e.g., the model ID, and the information identifying the application, e.g., the application ID, the DNN. The notification sent to the first device / AF may also include the information identifying the AI model (e.g., the model ID) and / or information identifying the application (e.g., the application ID, the DNN) . The notification may be sent to the first device when the controller provisions / provides information about the model training to the first device, for example, the information about model training may include information (i.e., the notification) whether unlearning is supported, as shown in the step 2 in FIG. 12B. Based on the notification, a decision is made for the first device whether to participate in the learning (i.e., the training of the AI model or the model training) . The learning is to train the AI model for the application (e.g., to support the application) . If it is decided that the first device participates in the learning, the first device may send a request to join the learning (i.e., the model training) , e.g., in the step 3 in FIG. 12B. The request may include any of the following information: information identifying the first device (e.g., a device ID, an IP address) , information identifying the AI model (e.g., the model ID) , and information identifying the application (e.g., the application ID, the DNN) . According to the request, the controller notifies the NF that the first device will join the learning, e.g., in the step 4 in FIG. 12B. The NF will accordingly include the first device in the learning process. The controller may respond to the first device, indicating that the request is accepted, e.g., in the step 5 in FIG. 12B. The learning (i.e., the learning process) happens between the NF and a group of UEs (including the first device and the second device) , as shown in step 6 in FIG. 12B. The learning may be based on a split learning approach or a federated learning approach, described above. In some embodiments, during the learning, a part of the AI model is executed on the NF. In some embodiments, during the learning, a part of the AI model is executed on the devices. The AI model is trained using data of each of the group of devices, including the first device. After the learning, the AI model can be used to support the application.

[0254] The controller may trigger / initiate the unlearning for the first device, according to a request received from a requesting network entity, e.g., the first device (as illustrated by the step 1a in FIG 12C) , or the AF (as illustrated by the step 1b in FIG. 12C) . The controller may also trigger / initiate the unlearning for the application. The request indicates that impact / influence on the AI model / application from data of the first device should be removed, in other words, the AI model / application should not include knowledge learnt from (or should not benefit from) the data of the first device. The data of the first device was used to train the AI model during the learning. Hence, the request is considered as a request for removing data or removing data influence. The request may include information identifying the first device. The request may further include information identifying the AI model, e.g., the model ID, information identifying the application, e.g., the application ID, or both of them. The controller may trigger / initiate the unlearning for the first device according to a local decision related to the first device (on removing data or removing data influence) , as illustrated by the step 1c in FIG 12C, for example, when the controller identifies / determines that the data of the first device has negative impact / influence on the model training (i.e., on the AI model)  / application and decides to remove the data influence. In some embodiments, Hamming distance is used as a factor for identifying / determining / evaluating whether the first device’s data has negative impact on the model training. Generally, models at different devices would be similar, if a device’s model has a great Hamming distance in comparison with other devices’ model, it is possible that this device’s data has negative impact on the model training. The local decision is considered an internal request for removing data or removing data influence. The request from the first device or the AF is considered an external request for removing data or removing data influence.

[0255] The controller triggers / initiates the unlearning for the first device after authorizing the request for removing data or removing data influence. The controller authorizes the request for removing data or removing date influence. The authorization,  e.g., in the step 2 in FIG. 12C, may be performed based on information about whether unlearning is supported for the AI model and / or for the application. In some embodiments, the request is authorized if the information indicates that unlearning is supported for the AI model, and not authorized otherwise. In some embodiments, the request is authorized if the information dictates that unlearning is supported both for the AI model and for the application, not authorized otherwise. The controller can respond to the first device or the AF, indicating whether the request is accepted or rejected. In the case that the request is rejected (i.e., not authorized) , the response may further indicate the cause / reason why the request is rejected (e.g., unlearning is not supported) .

[0256] After the request for removing data or removing data influence is authorized, the controller triggers / initiates the unlearning for the first device. To do this, the controller can send a request for unlearning (or referred to as unlearning request) for the first device, e.g., in the step 3 in FIG. 12C. When triggering / initiating the unlearning, the controller configures the NF to perform the unlearning operation (e.g., negation) . The controller may provide the NF with information about where (e.g., on which layers or neurons of the AI model) the unlearning operation should to be performed. The information can be included in the request for unlearning (i.e., unlearning request) sent from the controller to the NF. In some embodiments, the information is pre-configured in the NF. The information about where the unlearning operation should be performed may specify or indicate the locations (e.g., the layers or neurons of the AI model) , by including information identifying the locations e.g., layer IDs / indices or neurons IDs / indices. The information identifying the locations is included in the information about whether unlearning is supported, which is obtained by the controller from the NSF as described above. The NF performs the unlearning operation on the locations specified or indicated by the information about where the unlearning operation should be performed. The locations may be within a part of the AI model executed by the NF during the learning. As described above, when performing the unlearning operation on the locations, the NF negates the layers or neurons corresponding to the locations, by multiplying weights associated to the layers or neurons in the AI model by -1; the weights are among model parameters of the AI model. In some embodiments, the controller configures the second device to perform the unlearning and possibly provides the second device with the information about where the unlearning operation should be performed. In this case, the locations may be within a part of the AI model that is executed by the second device during the learning.

[0257] The unlearning may further involve retraining the AI model between the NF and the group of devices (excluding the first device) , as illustrated by the step 4 in FIG. 12C) . Because the unlearning is for the first device, the first device is excluded from the retraining. During the retraining, the NF may execute a part of the AI model (which includes the layers where the unlearning operation is performed) and update (i.e., continue to train) the AI model using data of the other devices. In some embodiments, the unlearning includes only the retraining of the AI model. In some embodiments, the unlearning includes only performing the unlearning operation, as described above.

[0258] After the unlearning, the NF may notify the controller that the unlearning is completed. The controller may accordingly notify the requesting network entity (e.g., notify the first device or the AF respectively in the step 6a or 6b in FIG. 12C) about data or data influence removal, which indicates that the data or data influence has been removed, in other words, impact / influence on the AI model / application from data of the first device (the data was used to train the AI model during the learning) has been removed. The notification sent to the first device or to the AF may include information identifying the AI model (e.g., the model ID) , information identifying the application (e.g., the application ID) , or both of them. If the notification is sent to the AF, the AF may in turn notifies the first device about the data or data influence removal, e.g., in the step 7 in FIG. 12C. The notification sent from the AF to the first device (step 7 in FIG. 12C) may include the same or similar information as the notification sent from the controller to the AF (step 6b in FIG. 12C) . The first device may verify the data removal or data influence removal notified in step 6a or step 7 in FIG. 12C. The verification of data removal or data influence removal (a. k. a., unlearning verification) happens between the first device and the NF, as illustrated in the step 8 in FIG. 12C. Further information regarding verification of data removal or data influence removal can be found in later description, e.g., the description with reference to FIG. 23.

[0259] The NF may correspond to a RAN node, or a user plane entity similar to a user plane function (UPF) in the 5G system. The controller may correspond to a control plane entity similar to a session management function (SMF) in the 5G  system, and the NSF may correspond to a control plane entity similar to a policy control function (PCF) or a unified data repository (UDR) in the 5G system. Alternatively, the controller may correspond to a control plane entity similar to the PCF, and the NSF may correspond to a control plane entity similar to the UDR the. The first device communicates / interacts with the controller (e.g., in the steps 2, 3, 5 in FIG. 12B, in the steps 1a, 6a in FIG. 12C) and with the NF (e.g., in the step 6 in FIG. 12B, in the step 8 in FIG. 12C) . When the first device is a wireless device such a UE, the first device communicates / interacts with the controller and with the NF through a radio access network (RAN) , which is not shown in FIG. 12A. When the first device is a UE, the first device may communicate / interact with the controller further through a control plane entity similar to an access and mobility management function (AMF) in the 5G system. When the first device is a server, the first device may communicate / interact with the controller through a control plane entity similar to a network exposure function (NEF) in the 5G system. The AF may communicate / interact with the controller and with the NSF via a control plane entity similar to the NEF.

[0260] FIGS. 12B and 12C illustrate two procedure call examples associated with machine unlearning. It should be noted that, ‘remove data’ implies ‘remove data influence on the AI model’ . As shown in the steps 1 and 2 in FIG. 12B, information about whether unlearning is supported may be provided for the NSF and the AF, and information about the model training (including the information about whether unlearning is supported) may be provided for the first device, the controller and the NSF. As mentioned before, the information about whether unlearning is supported for the AI model / application may be provisioned / provided from the AF to the NSF, for example, in case of AF belonging to the model provider; the information may also be requested by the controller from the NSF on which the information may be stored, and then be notified to the first device / AF by the controller, specific implementations for the first device / controller / NSF / AF to obtain such information are not limited in embodiments of the present disclosure. The information about the model training can be, e.g., layer / neuron indices identifying layers / neurons on which negation is to be performed. The model training is implemented involving a first device, network entities (e.g., the NF in FIG. 12A) and one or more second devices. In step 3, the first device may send a request to join the model training to the controller. In step 4, the notification about device arrival can be communicated between the controller and the NF. In step 5, the controller may send a response to the first device, e.g., notifying the request is rejected or accepted.

[0261] As shown in FIG. 12C, in step 1a or 1b, the first device or the AF sends a request to remove data to the controller. In step 1c, the controller makes an internal decision on removing data. In step 2, the controller and the NSF may verify the request, the request (in 1a or 1b) is accepted only if unlearning is supported. Information about whether unlearning is supported is stored / maintained in NSF. Thus, in step 2, the controller may send a request to the NSF for obtaining the information, and the NSF in response provides the information to the controller, in this step, indices of layers / neurons to be negated may also be requested. In the case where the network controller and the NSF are integrated, this information may be fetched locally. According to the information, the controller decides whether to accept the request. If the request is rejected (i.e., not accepted) , the controller responds to the first device or the AF, notifying the request is rejected. Otherwise, the procedure proceeds to step 3. In step 3, the controller sends an unlearning request to the NF, enabling the NF or the second device to perform the unlearning in step 4. In step 5, the NF sends an unlearning response (for example, the response indicating a result of an unlearning operation and related retraining) to the controller. In step 6a or 6b, the controller sends a notification about data removal to the first device or the AF. Optionally, in step 7, the AF sends a notification about data removal to the first device in some cases, e.g., the first device requests the data removal, but the network controller sends the unlearning response to the AF, so the AF can forward the unlearning response to the first device; and in step 8, the verification of data removal (the aforementioned unlearning verification) is performed between the first device and the NF.

[0262] Embodiments of the present disclosure further propose a layer-wise weight negation solution aiming to achieve at least one of the following: unlearning information without the need to access the forget data, being efficient communication-wise and computation-wise, having fast convergence, supporting heterogeneous data and models as well as supporting decentralized settings. Layer-wise weight negation means to change sign of the weights (negation of the kernel) of some layers of the model to unlearn the data. This breaks the mapping between layers, for example, if negation is applied only on the first  layer (low level features) , the rest of the network (high level features) have to learn to remap high level features to low level ones. Breaking the mapping between layers forces the model to relearn thus forgets the unrecoverable parts of the mapping in the unlearning setting. Faster convergence is guaranteed compared to the random initialization solution because: all layers (both modified or not) are effectively pre-trained, that is, the layer-wise weight negation is performed on the model; and some of them act as attractive optimum so the optimization landscape is simpler.

[0263] An FL system may be taken as an example to illustrate the principle of the layer-wise weight negation, when the server receives an unlearning request for unlearning data Du, it begins the unlearning process by negating the parameters of selected layers in the model W. The negation disrupts the co-adaptation between the negated and the subsequent ones, resulting in a drop in accuracy, which indicates the rapid unlearning of data Du and even the retain data Dr. Fine-tuning the model with data Dr using gradient descent is then necessary to recover the ‘good’ knowledge. An advantage of the layer-wise weight negation is its ability to ensure quick recovery. Additionally, the layer-wise weight negation is robust to fine-tuning, meaning it does not relearn the knowledge on Du while fine-tuning with Dr. Theoretical and empirical analysis confirm that when model parameters are sufficiently perturbed through negation, the model shifts away from its current optimization state (triggering unlearning) but remains in a favorable optimization state, which facilitates quick recovery during fine-tuning with Dr. There may be the following advantages for the negation operation. First, the negation operation is computationally negligible. Second, since the client requesting unlearning only needs to send a signal indicating an unlearning request, the communication cost is also minimal. Additionally, the negation does not require access to data Du, allowing client (s) to delete the data immediately after sending the unlearning request.

[0264] Unlearning is obtained by forcing the other layers to change significantly, allowing the layers to relearn the mapping between the layers. For a ReLU-like activated layer (e.g., ReLU, Leaky ReLU, swish, SeLU, GELU, etc. ) , negating the weights is comparable to a Boolean NOT operation on the activations of the layer with a random rescale. It preserves part of the information contained in the activations of the modified layer. The orthogonality relation (ReLU (x) ⊙ReLU (-x) =0) breaks as many connections as possible. Preserving (near) layer-wise optimality allows fast recovery but unlearning is robust to gradient descent since broken connection may not be repaired with incomplete data.

[0265] The above describes the technical concepts of the present disclosure, next specific embodiments or implementations of the present disclosure will be introduced.

[0266] An embodiment of the present disclosure provides a method, as shown in FIG. 13, the method includes:

[0267] step 1302, transmitting a request to a first node, where the request indicates a request to remove data of a first device from a model located on a second node; and

[0268] step 1304, receiving a response at a third node from the second node, where the response indicates a result of an unlearning operation.

[0269] The method can be implemented by a first device or an Application Function (AF) . The first device is a client that wants its data to be removed from a model. The model is trained with the influence of the data (data requested to be removed) , and the request is used for indicating designated data removal for the model. The request may also be called as an unlearning request which is used for triggering data removal (e.g., remove data of the first device from the model) or unlearning operation. For example, if the second node has already known information related to the unlearning operation (e.g., index of the layer to be negated in the case of layer-wise negation, information for the first node to determine whether the unlearning operation is necessary, or the like) , the request may simply be a flag indicating that the removal of data of the first device from the model needs to be done, or if the second node has no such information, the request may also carry the information related to the unlearning operation, so as to ensure correct unlearning operation at the second node. Of course, in the latter case, the request can also carry a flag indicating that the removal of data of the first device from the model needs to be done, or the information related to the unlearning operation per se can act as a flag triggering the unlearning.

[0270] The result of the unlearning operation (which may also be referred to as an unlearning result) refers to a result after the second node performs the unlearning operation on the model, e.g., an unlearned model or related layer (s) of the unlearned model. The response may contain the unlearning result or may be a response directing to the unlearning result, e.g., a response  that helps to locate the result of the unlearning operation.

[0271] The request indicating the data removal is transmitted from the first device / AF to the first node, and its function is to request the data removal at the second node. In a possible implementation, the request may be passed by the first node to the second node (the passing may be a direct forwarding or some verification may be conducted before the forwarding) , and in response to the request from the first node, the second node may perform an unlearning operation and produce a response indicating a result of the unlearning operation, then the response may be sent to the third node directly (e.g., from the second node to the first device) or indirectly (e.g., from the second node / other node to the first node and then from the first node / other node to the first device) , thus immediate unlearning is effectively implemented through interactions between the nodes in the communication system.

[0272] In a possible implementation, the first node is a network controller; and in another possible implementation, the first node includes an NSF. The request indicating the data removal can be transmitted to the network controller / NSF according to actual requirements.

[0273] As described above, the unlearning may be implemented in a centralized way or a decentralized way. In a possible implementation, the second node is a server or a Network Function (NF) . The model may be located on the server / NF and the server / NF performs the unlearning operation in this case. This may be related to the centralized split unlearning or centralized federated unlearning implementations. In a possible implementation, the second node includes one or more second devices. Here the second device may be a device other than the first device and participating in the learning process of the model, so when unlearning is requested by the first device, the second device which has a model trained with data of the first device may also need to perform an unlearning operation to ensure removal of influence of the first device’s data. In this case, the model may be located on the one or more second devices, and the second device (s) may serve as the role of the server / NF if it is omitted in this case, this implementation may be related to the decentralized unlearning implementation.

[0274] In a possible implementation, the response indicating a result of an unlearning operation is received at the third node, and the third node includes the first device and the one or more second device in some cases, for example, the centralized split unlearning and the centralized federated unlearning implementations. The first device who wants its data to be removed from the model and the one or more second devices who participate in the learning process of the model all receive the response indicating the result of the unlearning operation, so that the first device could verify whether the unlearning is successful based on the received response, and the one or more second devices could receive the unlearned model / client layers based on the received response. In another possible implementation, the third node is the first device. The response indicating a result of an unlearning operation is received at the first device in some cases, for example, the decentralized unlearning implementation where the participating devices (the one or more second devices) send the response to the first device.

[0275] In a possible implementation, the request further includes information corresponding to at least one layer of the model for which the unlearning operation is to be performed. By identifying the information corresponding to at least one layer of the model for which the unlearning operation is to be performed, the unlearning operation would be executed accurately. In a possible implementation, the request further includes indices corresponding to the at least one layer of the model. The information corresponding to at least one layer of the model for which the unlearning operation is to be performed may be in form of the indices corresponding to the at least one layer of the model, and the unlearning of the model can be performed according to the indices corresponding to the at least one layer of the model, e.g., the layer-wise negation could be performed for the indices indicated in the request. In this way, the layer (s) of the model to be unlearned can be located quickly.

[0276] Regarding how to determine the at least one layer to be negated (e.g., the indices corresponding to the at least one layer of the model) , in a possible implementation, the choice of layers is treated as a hyperparameter, where a grid search is performed using a public dataset to identify the layers that need to be negated for each architecture. Then, those same selected layers per architecture are used to run experiments, and uniform behavior may be shown. A basic approach is to start by negating the first layer and monitor the unlearning performance. If the resulting unlearning is unsatisfactory, additional layers can be negated. General guidelines, based on theory and experiments, include: the largest forgetting effect is typically in the layers immediately following the negated ones and decreases with depth; negating initial layers usually works well, while  negating the last layers often does not work as well as initial layers. Last, negating normalization layers is generally ineffective.

[0277] In a possible implementation, the unlearning operation includes at least one perturbation on the at least one layer of the model to form an unlearned model. The unlearning operation may break the mapping between the layers of the model, the unlearned model may have at least one perturbation on the at least one layer of the model. In a possible implementation, the at least one perturbation is a weight perturbation. The unlearned model may be formed by performing at least one weight perturbation on the at least one layer of the model, through layer-wise weight perturbation, the unlearning is implemented without the need to access the forget data, while being efficient communication-wise and computation-wise, having fast convergence, supporting heterogeneous data and models as well as supporting decentralized settings. Data of the client that wants its data to be removed or data of the client that has negative impact on the model can be forgotten immediately after the request indicating data removal is sent.

[0278] In a possible implementation, the weight perturbation includes negating one or more parameters of the at least one layer of the model to form the unlearned model. In a possible implementation, the one or more parameters include weights. The weight perturbation can be implemented by negating one or more parameters of the at least one layer of the model, that is, negation may be performed on the one or more parameters of the at least one layer of the model to unlearn designated data. This breaks the mapping between layers, and forces the model to relearn. Faster convergence is guaranteed, and it is unnecessary to retrain the model from scratch.

[0279] In a possible implementation, receiving the response includes receiving at least one layer of the unlearned model. The unlearning operation may break the mapping between the layers of the model, the unlearned model may have at least one perturbation on the at least one layer of the model. In this case, e.g., in the split unlearning implementation, the result of the unlearning operation may be the at least one layer of the unlearned model, not the entire unlearned model.

[0280] In a possible implementation, receiving the response includes receiving the unlearned model. The unlearning operation may break the mapping between the layers of the model, the unlearned model may have at least one perturbation on the at least one layer of the model. In this case, e.g., in the federated unlearning implementation, the result of the unlearning operation may be all the layers which is the entire unlearned model.

[0281] In a possible implementation, the method further includes: receiving information including the unlearned model from the second node to verify the result of the unlearning operation at the first device. The second node may perform the unlearning operation on the model to obtain the unlearned model. The first device may obtain the information including the unlearned model directly or indirectly. The information including the unlearned model may be the unlearned model per se (e.g. in the centralized FU implementation) , or may also be information about unlearned client layers (e.g. in the centralized SU implementation) , and the information of the unlearned model per se or the unlearned client layers may be a direct / indirect indication of the unlearned model per se or the unlearned client layers, which is not limited in the embodiments of the present disclosure. After obtaining the information including unlearned model, the first device may verify the result of the unlearning operation to determine the unlearning performance. In a possible implementation, the method further includes: verifying at the first device whether the data of the first device has been removed from the model. After obtaining the information including the unlearned model, the first device may verify whether the data of the first device has been removed from the model.

[0282] The above describes the method proposed by embodiments of the present disclosure from the perspective of the first device or the AF, in order to better explain the proposed method in the present disclosure, next the method will be described from the perspective of the network controller or the NSF.

[0283] An embodiment of the present disclosure provides a method, as shown in FIG. 14, the method includes:

[0284] step 1402, receiving a request from a fourth node, where the request indicates a request to remove data of a first device from a model located on a fifth node; and

[0285] step 1404, transmitting the request to the fifth node.

[0286] As mentioned before, the network controller and the NSF can be integrated or separately arranged. The model is trained with the influence of the data requested to be removed, and the request is used for indicating designated data removal for the model. The request may also be called as an unlearning request which is used for triggering data removal (e.g., remove  data of the first device from the model) or unlearning operation. For example, if the fifth node has already known information related to the unlearning operation (e.g., index of the layer to be negated in the case of layer-wise negation, information for the first node to determine whether the unlearning operation is necessary, or the like) , the request may simply be a flag indicating that the removal of data of the first device from the model needs to be done, or if the fifth node has no such information, the request may also carry the information related to the unlearning operation, so as to ensure correct unlearning operation at the fifth node. Of course, in the latter case, the request can also carry a flag indicating that the removal of data of the first device from the model needs to be done, or the information related to the unlearning operation per se can act as a flag triggering the unlearning.

[0287] The network controller or the NSF receives the request indicating the data removal, then transmits the request to the fifth node, such that the fifth node may perform an unlearning operation in response to the request, thus immediate unlearning can be effectively implemented through interactions between the nodes in the communication system. Here it should be noted that the transmission of the request may be a direct forwarding, or a verification about whether the data removal indicated by the request should be conducted before the forwarding, which is not limited in the embodiments of the present disclosure.

[0288] In a possible implementation, the fourth node is the first device; and in another possible implementation, the fourth node includes the AF. The request indicating the data removal may be received from the first device or the AF according to actual requirements.

[0289] As described above, the unlearning may be implemented in a centralized way or a decentralized way. In a possible implementation, the fifth node is a server or an NF. In an example, for the centralized split unlearning and the centralized federated unlearning implementations, the request indicating the data removal may be transmitted to the server / NF on which the model may be stored, such that the server may perform an unlearning operation in response to the received request. In a possible implementation, the fifth node includes one or more second devices. Here the second device may be a device other than the first device and participating in the learning process of the model, so when unlearning is requested by the first device, the second device which has a model trained with data of the first device may also need to perform an unlearning operation to ensure removal of influence of the first device’s data. In an example, for the decentralized unlearning implementation where the second devices may serve as the role of the server / NF, the request indicating the data removal may be transmitted to the one or more second devices on which the model may be stored, such that the one or more second devices may perform an unlearning operation in response to the received request.

[0290] In a possible implementation, transmitting the request to the fifth node includes verifying the request. The request indicating the data removal is accepted only if the unlearning operation is supported, verification of the request means determining whether the unlearning operation is feasible, and this may help in determining whether transmitting the request to the fifth node. For example, if it is determined that the unlearning operation in response to this request from the fourth node is not necessary, then the subsequent data flows, such as the transmission of the request and the unlearning operation, may also not be executed. Sometimes if the network controller determines that the fourth node is just a new client participating in the training of the model, since its data has not yet been learned by the model, so unlearning of its data would be unnecessary, sometimes if the network controller determines that the fourth node has already sent a request for removing its data from the model located on the fifth node, then it would be unnecessary to trigger another data removal at the moment. For another example, if it is determined that the unlearning operation is not supported for the model, the subsequent data flows, such as the transmission of the request and the unlearning operation, may be not executed, thereby saving signaling overhead and resource overhead.

[0291] In a possible implementation, transmitting the request to the fifth node further includes obtaining information pertaining to the request from a storage node. The information pertaining to the request may be stored / maintained in a storage node, e.g., the NSF or an external storage unit. In an example, the network controller may send a request to the NSF for obtaining the information, and the NSF in response provides the information to the network controller. In some cases, the request to the NSF for obtaining information about whether the unlearning operation is supported may include the information identifying the AI model, e.g., the model ID, and the information identifying the application, e.g., the application ID, the DNN.  Regarding the content of the information pertaining to the request, in an example, the information pertaining to the request from a storage node may be information about whether the unlearning operation is necessary / supported, so that the fifth node can use the obtained information for verifying the request, e.g., in a way as described above. In another example, when the request is verified, in order to ensure effective data removal at the fifth node, the information pertaining to the request could also include information about how to perform the unlearning operation, e.g., when performing the unlearning operation based on the above layer-wise negation solution, the index of the layer or indices of the layers to be negated may be gathered from the storage node, so that the network controller can transmit the index of the layer or indices of the layers to be negated to the fifth node. According to the information pertaining to the request, the network controller decides whether to accept the request or transmits the information about the unlearning operation to the fifth node when the request is acceptable, so correct processing of the request can be ensured.

[0292] In a possible implementation, the request further includes information corresponding to at least one layer of the model for which an unlearning operation is to be performed. By identifying the information corresponding to at least one layer of the model for which the unlearning operation is to be performed, the unlearning operation would be executed by the fifth node accurately.

[0293] In a possible implementation, the request further includes indices corresponding to the at least one layer of the model. The information corresponding to at least one layer of the model for which the unlearning operation is to be performed may be in form of the indices corresponding to the at least one layer of the model, and the unlearning of the model can be performed according to the indices corresponding to the at least one layer of the model, e.g., the layer-wise negation could be performed for the indices indicated in the request. In this way, the layer (s) of the model to be unlearned can be located quickly.

[0294] In a possible implementation, the unlearning operation includes at least one perturbation on the at least one layer of the model to form an unlearned model. The unlearning operation may break the mapping between the layers of the model, the unlearned model may have at least one perturbation on the at least one layer of the model.

[0295] In a possible implementation, the at least one perturbation is a weight perturbation. The unlearned model may be formed by performing at least one weight perturbation on the at least one layer of the model, through layer-wise weight perturbation, the unlearning is implemented without the need to access the forget data, while being efficient communication-wise and computation-wise, having fast convergence, supporting heterogeneous data and models as well as supporting decentralized settings. Data of the client that wants its data to be removed or data of the client that has negative impact on the model can be forgotten immediately after the request indicating data removal is sent.

[0296] In a possible implementation, the weight perturbation includes negating one or more parameters of the at least one layer of the model to form the unlearned model. In a possible implementation, the one or more parameters include weights. The weight perturbation can be implemented by negating one or more parameters of the at least one layer of the model, that is, negation may be performed on the one or more parameters of the at least one layer of the model to unlearn designated data. This breaks the mapping between layers, and forces the model to relearn. Faster convergence is guaranteed, and it is unnecessary to retrain the model from scratch.

[0297] In a possible implementation, the method further includes: transmitting information to the fourth node indicating whether the unlearning operation is supported for the model. The network controller / NSF can notify the fourth node (e.g., client) of whether the unlearning operation is supported for the model, this may help the client to decide whether to participate in the training of the model, that is, the unlearning capability of the model would be taken into account when deciding whether to join the aggregation. If the client determines that it may sometimes require data removal from a model, then if this model does not support unlearning, the client may decide not to join the training of this model, since the removal of its data from this model is not possible. The notification about whether the unlearning operation is supported for the model enables the client to have better knowledge as to make decisions.

[0298] In a possible implementation, transmitting information to the fourth node includes transmitting information corresponding to the at least one layer of the model for which the unlearning operation is to be performed. Since the fourth node is notified of the information corresponding to the at least one layer of the model for which the unlearning operation is  to be performed, so when the fourth node sends a request which requests to remove data of the first device from the model located on the fifth node, the information corresponding to the at least one layer of the model can be carried in the request, so the network controller / NSF which receives the request can quickly get knowledge of the information corresponding to the at least one layer of the model for which the unlearning operation is to be performed, thereby improving efficiency of the subsequent transmission of the request to the fifth node.

[0299] In a possible implementation, the method further includes storing information about whether the unlearning operation is supported for the model. The information about whether the unlearning operation is supported for the model may also be stored on the network controller or the NSF, such that the network controller or the NSF can verify the request which indicates a request to remove data of the first device, i.e., to perform authorization check on the request, and such storing may also facilitate the transmission of the information about whether the unlearning operation is supported to the fourth node (e.g., the client) , to help the client to decide whether to join the training of the model. In a possible implementation, the storing includes storing information corresponding to the at least one layer of the model for which the unlearning operation is to be performed. The information corresponding to the at least one layer of the model for which the unlearning operation is to be performed may be stored on the network controller or the NSF, such that the information can also be transmitted to the fifth node for facilitating the unlearning operation by the fifth node, or can also be transmitted to the fourth node for generating, by the fourth node, the request to remove data of the first device from the model. In a possible implementation, the information about whether the unlearning operation is supported for the model is configured by a model provider or an original equipment manufacturer (OEM) . The information about whether the unlearning operation is supported for the model and / or the information corresponding to the at least one layer of the model for which the unlearning operation is to be performed may be provisioned from the model provider or the OEM. As described above with reference to FIG. 13, the choice of layers to be negated is treated as a hyperparameter, where a grid search is performed using a public dataset to identify the layers that need to be negated for each architecture. So this information corresponding to the at least one layer of the model for which the unlearning operation is to be performed can be a hyperparameter configured by the model provider or the OEM.

[0300] In a possible implementation, the method further includes: configuring the fifth node to perform the unlearning operation, where the configuring includes transmitting to the fifth node information corresponding to the at least one layer of the model for which the unlearning operation is to be performed. The fifth node can be configured to perform the unlearning operation with the information corresponding to the at least one layer of the model for which the unlearning operation is to be performed, so the request from the network controller or the NSF to the fifth node can simply be a flag, then upon receiving the request, the fifth node can perform the unlearning operation since necessary information has already been configured.

[0301] In a possible implementation, the method further includes: transmitting information to the fourth node to verify a result of the unlearning operation. The network controller or the NSF may obtain the unlearned model / client layers from the fifth node, and transmit the information (e.g., the unlearned model / client layers) to the fourth node, so that the fourth node can verify a result of the unlearning operation, to be more specific, to verify whether the data of the first device has been removed from the model.

[0302] The above describes the method proposed by embodiments of the present disclosure from the perspective of the network controller or the NSF, in order to provide a comprehensive explanation of the proposed method in the present disclosure, next the method will be described from the perspective of the server or the NF or the second device. Here the second device may be a device other than the first device and participating in the learning process of the model, so when unlearning is requested by the first device, the second device which has a model trained with data of the first device may also need to perform an unlearning operation to ensure removal of influence of the first device’s data.

[0303] An embodiment of the present disclosure provides a method, as shown in FIG. 15, the method includes:

[0304] step 1502, receiving a request from a sixth node, where the request indicates a request to remove data of a first device from a model located on a seventh node; and

[0305] step 1504, transmitting a response to an eighth node, where the response indicates a result of an unlearning operation.

[0306] As mentioned before, the model is trained with the influence of the data requested to be removed, and the request is  used for indicating designated data removal for the model. The request may also be called as an unlearning request which is used for triggering data removal (e.g., remove data of the first device from the model) or unlearning operation. For example, if the seventh node has already known information related to the unlearning operation (e.g., index of the layer to be negated in the case of layer-wise negation, information for the first node to determine whether the unlearning operation is necessary, or the like) , the request may simply be a flag indicating that the removal of data of the first device from the model needs to be done, or if the seventh node has no such information, the request may also carry the information related to the unlearning operation, so as to ensure correct unlearning operation at the seventh node. Of course, in the latter case, the request can also carry a flag indicating that the removal of data of the first device from the model needs to be done, or the information related to the unlearning operation per se can act as a flag triggering the unlearning.

[0307] The result of the unlearning operation (which may also be referred to as an unlearning result) refers to a result after the seventh node performs the unlearning operation on the model, e.g., an unlearned model or related layer (s) of the unlearned model. The response may contain the unlearning result or may be a response directing to the unlearning result, e.g., a response that helps to locate the result of the unlearning operation.

[0308] After receiving the request from the sixth node (e.g., a network controller / NSF) , the sever or the NF or the second device (specific examples of the seventh node) may perform an unlearning operation and produce a response indicating a result of the unlearning operation, then sends the response to the eighth node, thus immediate unlearning is effectively implemented through interactions between the nodes in the communication system.

[0309] In a possible implementation, the sixth node is a network controller; and in another possible implementation, the sixth node includes an NSF. The request indicating data removal can be transmitted from the network controller / the NSF to the server or the NF or the second device according to actual requirements. It should be noted that, the network controller and the NSF can be integrated or separately arranged.

[0310] As described above, the unlearning may be implemented in a centralized way or a decentralized way. In a possible implementation, the seventh node is a server or an NF. The model may be stored on the server / NF in some cases, for example, the centralized split unlearning and the centralized federated unlearning implementations. Thus, different requirements can be met. In a possible implementation, the seventh node includes one or more second devices. The second device may be a device other than the first device and participating in the learning process of the model, so when unlearning is requested by the first device, the second device which has a model trained with data of the first device may also need to perform an unlearning operation to ensure removal of influence of the first device’s data. The model may be stored on the one or more second devices, where the second devices may serve as the role of the server / NF if it is omitted in this cases, for example, this implementation may be related to the decentralized unlearning implementation.

[0311] In a possible implementation, the eighth node includes the first device and the one or more second devices. The response indicating a result of an unlearning operation is transmitted to the first device and the one or more second device in some cases, for example, the centralized split unlearning and the centralized federated unlearning implementations. The first device who wants its data to be removed from the model and the one or more second devices who participate in the learning process of the model all receive the response indicating the result of the unlearning operation, so that the first device could verify whether the unlearning is successful based on the received response, and the one or more second devices could receive the unlearned model / client layers based on the received response. In a possible implementation, the eighth node is the first device. The response indicating a result of an unlearning operation is transmitted to the first device in some cases, for example, the decentralized unlearning implementation where the participating devices (the one or more second devices) send the response to the first device.

[0312] In a possible implementation, the request further includes information corresponding to at least one layer of the model for which the unlearning operation is to be performed. By identifying the information corresponding to at least one layer of the model for which the unlearning operation is to be performed, the unlearning operation would be executed accurately. In a possible implementation, the request further includes indices corresponding to the at least one layer of the model. The information corresponding to at least one layer of the model for which the unlearning operation is to be performed  may be in form of the indices corresponding to the at least one layer of the model, and the unlearning of the model can be performed according to the indices corresponding to the at least one layer of the model, e.g., the layer-wise negation could be performed for the indices indicated in the request. In this way, the layer (s) of the model to be unlearned can be located quickly.

[0313] In a possible implementation, the unlearning operation includes at least one perturbation on the at least one layer of the model to form an unlearned model. The unlearning operation may break the mapping between the layers of the model, the unlearned model may have at least one perturbation on the at least one layer of the model. In a possible implementation, the at least one perturbation is a weight perturbation. The unlearned model may be formed by performing at least one weight perturbation on the at least one layer of the model, through layer-wise weight perturbation, the unlearning is implemented without the need to access the forget data, while being efficient communication-wise and computation-wise, having fast convergence, supporting heterogeneous data and models as well as supporting decentralized settings. Data of the client that wants its data to be removed or data of the client that has negative impact on the model can be forgotten immediately after the request indicating data removal is sent.

[0314] In a possible implementation, the weight perturbation includes negating one or more parameters of the at least one layer of the model to form the unlearned model. In a possible implementation, the one or more parameters include weights. The weight perturbation can be implemented by negating one or more parameters of the at least one layer of the model, that is, negation may be performed on the one or more parameters of the at least one layer of the model to unlearn designated data. This breaks the mapping between layers, and forces the model to relearn. Faster convergence is guaranteed, and it is unnecessary to retrain the model from scratch.

[0315] In a possible implementation, receiving the request from the sixth node includes initiating transmission of the request to the sixth node upon detecting if the data of the first device needs to be unlearned from the model. In an example, instead of initiating the request indicating data removal by the first device / the AF, the request can also be initiated if the server / the NF / the second device detects that the data of the first device needs to be unlearned from the model, which can meet different requirements at different scenarios. In a possible implementation, initiating transmission of the request includes initiating transmission of the request to the sixth node upon detecting that the first device is malicious. When detecting that the first device is malicious, the server / the NF / the second device may decide to unlearn data of the first device from the model. In a possible implementation, when the server / the NF / the second device initiates the request, this request can be transmitted to the network controller / NSF, and the network controller / NSF can decide whether the unlearning is necessary as described above, and then feed back to the server / the NF / the second about the decision, and in this case, when the decision is that the unlearning is necessary, the returned feedback from the network controller / NSF may be the request received from the sixth node which indicates a request to remove data of the first device from the model located on the seventh node. It should be noted in the case where the server / the NF / the second device initiates the data removal, information about the unlearning operation may also be sent to the first device, such information may be a simple notification that data of the first device has been removed from the model, or unlearned client layers / unlearned model can also be sent to the first device.

[0316] In a possible implementation, transmitting the response includes transmitting at least one layer of the unlearned model. The unlearning operation may break the mapping between the layers of the model, the unlearned model may have at least one perturbation on the at least one layer of the model. In this case, e.g., in the split unlearning implementation, the result of the unlearning operation may be the at least one layer of the unlearned model, not the entire unlearned model.

[0317] In a possible implementation, transmitting the response includes transmitting the unlearned model. The unlearning operation may break the mapping between the layers of the model, the unlearned model may have at least one perturbation on the at least one layer of the model. In this case, e.g., in the federated unlearning implementation, the result of the unlearning operation may be all the layers which is the entire unlearned model.

[0318] The above respectively describe the machine unlearning solution from different perspectives, and the following provides an intuitive introduction for the machine unlearning solution from the perspective of interaction between the nodes in the communication system.

[0319] FIGS. 16A-16B illustrate the proposed split unlearning pipeline in centralized setting. When a client decides to leave  (e.g., Client N) , the client needs to send an unlearning request to the network controller in addition to indices of layers that it needs the server to act on (the indices of the layers of the model on which the server would perform negation) . The network controller checks whether the unlearning is needed or supported, if yes, then it gets the layers that need to be negated. These layers are gathered from the client, an external storage unit, or predefined on the network controller, which will be further described later. Next, the network controller sends the unlearning request to the server, where it negates the parameters of the defined layers. Since as described above, the indices can also be pre-configured at the server, the unlearning request may be just a flag that the server can understand that it has to perform negation of weights. Then, the server sends the client layers to the client for the unlearning verification.

[0320] FIG. 16A illustrates the operational flow of a client-initiated split unlearning pipeline in a centralized setting, where a client decides to leave the network, and the server needs to remove its information from the global model. In step 1, if client N (aspecific example of the above first device) wants its data to be removed, it sends an unlearning request and indices of layers to be negated to the network controller. In step 2, the network controller verifies the unlearn request, and if approved, the indices of layers to be negated are collected, and the server is informed of the unlearning request and the indices of layers to be negated. In step 3, the server negates the parameters of the indicated layers in the global model to obtain the unlearned model. In step 4, the server sends back the unlearned client layers to client N. In step 5, client N locally verifies that its data has been removed from the global model. It should be noted that in this example, indices of layers to be negated are collected by the network controller from the request from client N, indices may also be collected from an internal storage or an external storage node.

[0321] FIG. 16B illustrates the operational flow of a server-initiated split unlearning pipeline in a centralized setting, where the server detects a malicious client and decides to unlearn the client’s data / influence. Split unlearning forces clients to update their models to the unlearned model, else they won’t receive any further information from the server. In step 1, the server requests unlearning due to client N being malicious, and the network controller obtains an unlearning request, the client identity (ID) and indices of layers to be negated. In step 2, the network controller verifies the unlearning request, and if approved, the indices of layers to be negated are collected, and the server is informed of the unlearning request and the indices of layers to be negated. In step 3, the server negates the parameters of the indicated layers in the global model to obtain the unlearned model. In step 4, the server sends back the unlearned client layers to client N. In step 5, client N locally verifies that its data has been removed from the global model. It should be noted that in this example, indices of layers to be negated are collected by the network controller from the request from the server, indices may also be collected from an internal storage or an external storage node.

[0322] FIG. 17A illustrates the transmitting and receiving procedure for the centralized split unlearning at the server, which is divided into a left part and a right part with a dashed line. FIG. 17B illustrates the transmitting and receiving procedure for the centralized split unlearning at the non-server node, which is also divided into a left part and a right part with a dashed line.

[0323] The procedure that the server handles the unlearning request is shown on the left part of FIG. 17A, there are one communication module, one computation module and one storage module for the server in this figure, more or less modules are also possible where appropriate, which is only illustrative but not restrictive. The communication module listens to the network for the unlearning request with layer indices (indices of layers to be negated) . Once the unlearning request is received by the computation module, it may request the global model W from the storage module, and apply negation to W based on the specified layers to obtain the unlearned model. Then the storage module may save the unlearned model -W, and the client layers of the unlearned model -W could be sent to the client who requests unlearning. The unlearning verification procedure of a node is shown on the left part of FIG. 17B, there are one communication module, one computation module and one storage module for a node in this figure, more or less modules are also possible where appropriate, which is only illustrative but not restrictive. The communication module sends the unlearning request with layer indices, listens to the network and receives new unlearned global layers (-WCL) . Once -WCL is received, the computation module may request local data D and the local model WL, and verify that D is removed from -WCL, e.g., the local model gives a bad prediction with an input of local data D.

[0324] The procedure that the server performs split learning is shown on the right part of FIG. 17A, it is similar to the  aforementioned split learning process in FIG. 8. The communication module may request the global model W from the storage module, and send client layers WCL to clients in the network for their local training. Then, the communication module receives the locally trained layers WCL from the clients. Once K model layers are received, the computation module aggregates all the received layers, and trains the rest of the layers. The storage module may save the updated model with new weights, and the computation module may send the updated layers WCL to the clients. The procedure that the clients in the network perform split learning is shown on the right part of FIG. 17B, the communication module may listen to the network and receive client layers (WCL) . Once WCL is received, the computation module may request local data D, and then train or fine-tune non-frozen layers. The storage module may save the locally trained layers and the computation module may transmit the locally trained layers to the server. The right part of FIG. 17A and the right part of FIG. 17B may be an example for interaction between the server and the remaining clients for fine tuning of the unlearned model. After the unlearning is performed, remaining clients may receive client layers of the unlearned model, and local training may be done at the client side, then at the server side, the locally trained layers may be aggregated to get a new global model, and then the remaining clients will get their new client layers of the new global model.

[0325] Similar to split unlearning, FIGS. 18A-18B illustrate the proposed federated unlearning pipeline in centralized setting. When a client decides to leave (e.g., Client N) , the client needs to send an unlearning request to the network controller in addition to the indices of layers that it needs the server to act on (the indices of the layers of the model on which the server would perform negation) . After the network controller verifies this request, it gathers the layers that need to be negated. Next, it forwards the unlearning request along with the layer indices to the server. The server then negates the parameters of the defined layers to perform unlearning. After negating the global model at the specific layers, the new model becomes the unlearned model. The server then sends the unlearned model to the other clients that remain in the network for local training. This proposed approach will converge much quicker compared to using a randomly initialized global model.

[0326] FIG. 18A illustrates the operational flow of a client-initiated federated unlearning pipeline in a centralized setting, where a client decides to leave the network, and the server needs to remove its information from the global model (AI model) . In step 1, if client N wants its data to be removed, it sends an unlearning request and indices of layers to be negated to the network controller. In step 2, the network controller verifies / authorizes the unlearning request, and if approved, the indices of layers or neurons to be negated are collected, and the server is informed of the unlearning request and the indices of layers or neurons to be negated. As described above, negating a layer or a neuron refers to multiplying weights associated to the layer or the neuron in the AI model by -1; the weights are among model parameters of the AI model. In step 3, the server negates the parameters of the indicated layers in the global model to obtain the unlearned model. In step 4, the server sends back the unlearned model to each participating client. In step 5, client N locally verifies that its data has been removed from the global model.

[0327] FIG. 18B illustrates the operational flow of a server-initiated federated unlearning pipeline in a centralized setting, where the server detects a malicious client and decides to unlearn the client’s data / influence. In step 1, the server requests unlearning due to client N being malicious, and the network controller obtains an unlearning request, the client ID and indices of layers to be negated. In step 2, the network controller verifies the unlearning request, and if approved, the indices of layers to be negated are collected, and the server is informed of the unlearning request and the indices of layers to be negated. In step 3, the server negates the parameters of the indicated layers in the global model to obtain the unlearned model. In step 4, the server sends back the unlearned model to each participating client. In step 5, client N locally verifies that its data has been removed from the global model.

[0328] FIG. 19A illustrates the transmitting and receiving procedure for the centralized federated unlearning at the server, which is divided into a left part and a right part with a dashed line. FIG. 19B illustrates the transmitting and receiving procedure for the centralized federated unlearning at the non-server node, which is also divided into a left part and a right part with a dashed line.

[0329] The procedure that the server handles the unlearning request is shown on the left part of FIG. 19A, there are one communication module, one computation module and one storage module for the server in this figure, more or less modules  are also possible where appropriate, which is only illustrative but not restrictive. The communication module listens to the network for the unlearning request with layer indices. Once the unlearning request is received by the computation module, it may request the global model W from the storage module, and apply negation to W based on the specified layers to obtain the unlearned model. Then, the storage module may save the unlearned model –W, and the computation module may send –W to all participating clients (nodes) . The unlearning verification procedure of a node is shown on the left part of FIG. 19B, there are one communication module, one computation module and one storage module for the client in this figure, more or less modules are also possible where appropriate, which is only illustrative but not restrictive. The communication module sends the unlearning request with layer indices to the server, listens to the network and receives a new unlearned model (-W) . Once -W is received, the computation module may request local data D and the local model WL, and verify that D is removed from -W.

[0330] The procedure that the server performs federated learning is shown on the right part of FIG. 19A, it is similar to the aforementioned federated learning process in FIG. 6 for reference. The communication module may request the global model W from the storage module, and send W to the clients for their local training. Then, the communication module receives the locally trained models from the clients. Once K models are received, the computation module aggregates all the received models. The storage module may save the updated W and sends it to the clients. The procedure that the clients in the network perform federated learning is shown on the right part of FIG. 19B, the communication module may listen to the network and receive a global model (W) . Once W is received, the computation module may request local data D, and then train or fine-tune the model. The storage module may save the locally trained model and the computation module may transmit the locally trained model to the server. The right part of FIG. 19A and the right part of FIG. 19B may be an example for an example for interaction between the server and the remaining clients for fine tuning of the unlearned model. After the unlearning is performed, remaining clients may receive the unlearned model, and local training may be done at the client side, then at the server side, the locally trained model may be aggregated to get a new global model, and the remaining clients will get the new global model.

[0331] FIG. 20 illustrates the proposed federated unlearning pipeline in decentralized setting. When a client requests its data to be removed from other clients’ models, other clients should erase from their models the information learned from that client. As shown in FIG. 20, the operational flow of the decentralized unlearning includes the following steps. In step 1, client N wants to leave the network, thus it sends an unlearning request along with layer indices to other clients. In step 2, all clients that receive the unlearning request negate the weights of their local model at specific layers indicated from the sent message at step 1, and notify client N of the unlearning response (e.g., the unlearned model) . It should be noted that the unlearning request from client N may also be verified by a network controller / NSF in a way as described in the above embodiments, which is not shown in the figure.

[0332] FIG. 21 illustrates the transmitting and receiving procedure for the decentralized federated unlearning, which is divided into three parts, left part, middle part and right part with dashed lines. The procedure for the client (s) who does not request its data to be unlearned from a model but has participated in the training of the model (e.g., client 0 and client 1 in FIG. 20) is shown on the left part of FIG. 21, there are one communication module, one computation module and one storage module for a node in this figure, more or less modules are also possible where appropriate, which is only illustrative but not restrictive. The communication module may listen to the network and receive unlearning requests with layer indices. The computation module may apply negation on the local model. The computation module may request the local model WL from the storage module, and then apply negation on WL based on specified layers. Then the storage module may save the unlearned model -WL, and the computation module may send -WL to the client that requested unlearning. In the middle part of FIG. 21, the operations related to the aggregator (e.g., client 0 in FIG. 7) are shown. The communication module requests models if the node is selected as the aggregator, listens to the network and receives models. The computation module requests WL and data D for local training. Once models are received, the computation module aggregates all models (Wagg) or verifies the unlearned model (when the client requested unlearning) . Then, the storage module may save Wagg and send back Wagg to other participating clients. On the right part of FIG. 21, for the clients other than the aggregator, when participating in the aggregation,  the communication module listens to the network for requests to send model. The computation module requests WL and data D for local training, and then sends model WL.

[0333] As mentioned before, the network controller gathers the indices of layers to be negated. And it may be implemented in three ways, as shown in FIG. 22. The first way is: the client / server sends the layer indices along with the unlearning request. The second way is: the layer indices are requested from an external storage unit which manages functions of different applications. The third way is: the layer indices are preconfigured on the network controller.

[0334] As for the unlearning verification at the client mentioned in the above embodiments, as shown in FIG. 23, the local client (e.g., client N) may verify that its data has been removed from the global model by comparing features of the unlearned model and its local model using its local train data. The unlearning performance may be evaluated by a score of the KLD between the unlearned model and the randomly initialized model divided by the KLD between the local model N and the randomly initialized model. If the score <1, a successful unlearning is achieved.

[0335] In order to evaluate the unlearning performance, metrics for measuring how much ‘good’ information remains in the model after unlearning may include retain accuracy and global accuracy, where retain accuracy refers to evaluating performance on remaining training data, and global accuracy refers to evaluating performance on the test data (data unseen by the model) . Metrics for measuring whether unlearned model contains information about the forget data may include forget accuracy and membership attack (MIA) , where forget accuracy refers to evaluating performance on the training data to be forgotten, and MIA refers to checking whether the model outputs of the forget and test data are separable.

[0336] For all the above metrics, the closer the result to the gold standard model, the better the performance, except for convergence speed the faster the better. Gold standard model is the model that has been trained from the beginning without the forget data.

[0337] The proposed layer-wise weight negation approach is tested on a 10-client setup with all clients participating in the federation, and experiments are run with two architectures CNNs and ResNets. The CNN architecture results are demonstrated in FIG. 24A; while the ResNet results are demonstrated in FIG. 24B. After training the models using FedAvg for 1000 epochs (for CNN experiments) and 150 (for ResNet experiments) , weights of the global model at layer index 0 are negated. Then, regular FedAvg training continues. From the results, it can be seen that negating weights forgets data immediately and recovers the retain information much faster than randomly initializing the global model.

[0338] Embodiments of the present disclosure can be applicable in federated learning (centralized and decentralized) . Each node can have the functionality of: receiving a model from node i, and passing the received model to another node j; receiving k models from different nodes, transmitting the updated models to the k nodes (after knowledge distillation) , communicating with the orchestrator; training its local model and the other k received models using knowledge distillation and its local data; saving the new updated local model; and negating the weights of specific layers. A scenario example where embodiments of the present disclosure may be applicable is removing the ability to understand visual images on a device after it was able to understand the same images. The unlearning solution may be implemented as networking hardware and software, wireless access hardware and software, AI functionality entities in telecommunication systems. The implementation involves transmitting unlearning requests between clients, server and network controller, and changing signs of layers communicated between the modules.

[0339] Next, embodiments of products related to the method will be described.

[0340] An embodiment of the present disclosure provides an apparatus, including a first transmitting unit and a first receiving unit. The first transmitting unit is configured to transmit a request to a first node, where the request indicates a request to remove data of a first device from a model located on a second node. The first receiving unit is configured to receive a response at a third node from the second node, where the response indicates a result of an unlearning operation.

[0341] In a possible design, the first node is a network controller.

[0342] In a possible design, the first node includes a Network Storage Function (NSF) .

[0343] In a possible design, the second node is a server.

[0344] In a possible design, the second node include a Network Function (NF) .

[0345] In a possible design, the second node includes one or more second devices.

[0346] In a possible design, the third node includes the first device and the one or more second devices.

[0347] In a possible design, the third node is the first device.

[0348] In a possible design, the request further includes information corresponding to at least one layer of the model for which the unlearning operation is to be performed.

[0349] In a possible design, the request further includes indices corresponding to the at least one layer of the model.

[0350] In a possible design, the unlearning operation includes at least one perturbation on the at least one layer of the model to form an unlearned model.

[0351] In a possible design, the at least one perturbation is a weight perturbation.

[0352] In a possible design, the weight perturbation includes negating one or more parameters of the at least one layer of the model to form the unlearned model.

[0353] In a possible design, the one or more parameters include weights.

[0354] In a possible design, the first receiving unit is specifically configured to receive at least one layer of the unlearned model.

[0355] In a possible design, the first receiving unit is specifically configured to receive the unlearned model.

[0356] In a possible design, the apparatus further includes a second receiving unit, configured to receive information including the unlearned model from the second node to verify the result of the unlearning operation at the first device.

[0357] In a possible design, the apparatus further includes a verifying unit, configured to verify at the first device whether the data of the first device has been removed from the model.

[0358] It should be noted that, the first receiving unit and the second receiving unit are only illustrative for their functions, in practice, the functions of the first receiving unit and the second receiving unit may be implemented by one receiving unit, which is not limited here. It should also be noted that, the functions of the first transmitting unit and the receiving units may also be implemented by a transceiving unit.

[0359] The (communication) apparatus may be applied to the first device or the AF as described in the above method embodiments or may be the first device or the AF as described in the above method embodiments. It should be understood by a person skilled in the art that, the relevant description of the above unit (s) in the embodiments of the present disclosure may be understood with reference to the relevant description of the (communication) method in the embodiments of the present disclosure.

[0360] An embodiment of the present disclosure provides an apparatus, including a first receiving unit and a first transmitting unit. The first receiving unit is configured to receive a request from a fourth node, where the request indicates a request to remove data of a first device from a model located on a fifth node. The first transmitting unit is configured to transmit the request to the fifth node.

[0361] In a possible design, the fourth node is the first device.

[0362] In a possible design, the fourth node includes an Application Function (AF) .

[0363] In a possible design, the fifth node is a server.

[0364] In a possible design, the fifth node includes a Network Function (NF) .

[0365] In a possible design, the fifth node includes one or more second devices.

[0366] In a possible design, the first transmitting unit is specifically configured to verify the request.

[0367] In a possible design, the first transmitting unit is specifically configured to obtain information pertaining to the request from a storage node.

[0368] In a possible design, the request further includes information corresponding to at least one layer of the model for which an unlearning operation is to be performed.

[0369] In a possible design, the request further includes indices corresponding to the at least one layer of the model.

[0370] In a possible design, the unlearning operation includes at least one perturbation on the at least one layer of the model to form an unlearned model.

[0371] In a possible design, the at least one perturbation is a weight perturbation.

[0372] In a possible design, the weight perturbation includes negating one or more parameters of the at least one layer of the model to form the unlearned model.

[0373] In a possible design, the one or more parameters include weights.

[0374] In a possible design, the apparatus further includes a second transmitting unit, configured to transmit information to the fourth node indicating whether the unlearning operation is supported for the model.

[0375] In a possible design, the second transmitting unit is specifically configured to transmit information corresponding to the at least one layer of the model for which the unlearning operation is to be performed.

[0376] In a possible design, the apparatus further includes a storing unit, configured to store information about whether the unlearning operation is supported for the model.

[0377] In a possible design, the storing unit is specifically configured to store information corresponding to the at least one layer of the model for which the unlearning operation is to be performed.

[0378] In a possible design, the information is configured by a model provider or an original equipment manufacturer (OEM) .

[0379] In a possible design, the apparatus further includes a configuring unit, configured to configure the fifth node to perform the unlearning operation, where the configuring includes transmitting to the fifth node information corresponding to the at least one layer of the model for which the unlearning operation is to be performed.

[0380] In a possible design, the apparatus further includes a third transmitting unit, configured to transmit information to the fourth node to verify a result of the unlearning operation.

[0381] It should be noted that, the first transmitting unit, the second transmitting unit and the third transmitting unit are only illustrative for their functions, in practice, the functions of the first transmitting unit, the second transmitting unit and the third transmitting unit may be implemented by one transmitting unit, which is not limited here. It should also be noted that, the functions of the transmitting units and the first receiving unit may also be implemented by a transceiving unit.

[0382] The (communication) apparatus may be applied to the network controller or the NSF as described in the above method embodiments or may be the network controller or the NSF as described in the above method embodiments. It should be understood by a person skilled in the art that, the relevant description of the above unit (s) in the embodiments of the present disclosure may be understood with reference to the relevant description of the (communication) method in the embodiments of the present disclosure.

[0383] An embodiment of the present disclosure provides an apparatus, including a first receiving unit and a first transmitting unit. The first receiving unit is configured to receive a request from a sixth node, where the request indicates a request to remove data of a first device from a model located on a seventh node. The first transmitting unit is configured to transmit a response to an eighth node, where the response indicates a result of an unlearning operation.

[0384] In a possible design, the sixth node is a network controller.

[0385] In a possible design, the sixth node includes a Network Storage Function (NSF) .

[0386] In a possible design, the seventh node is a server.

[0387] In a possible design, the seventh node includes a Network Function (NF) .

[0388] In a possible design, the seventh node includes one or more second devices.

[0389] In a possible design, the eighth node includes the first device and the one or more second devices.

[0390] In a possible design, the eighth node is the first device.

[0391] In a possible design, the request further includes information corresponding to at least one layer of the model for which the unlearning operation is to be performed.

[0392] In a possible design, the request further includes indices corresponding to the at least one layer of the model.

[0393] In a possible design, the unlearning operation includes at least one perturbation on the at least one layer of the model to form an unlearned model.

[0394] In a possible design, the at least one perturbation is a weight perturbation.

[0395] In a possible design, the weight perturbation includes negating one or more parameters of the at least one layer of the model to form the unlearned model.

[0396] In a possible design, the one or more parameters include weights.

[0397] In a possible design, the first receiving unit is specifically configured to initiate transmission of the request to the sixth node upon detecting if the data of the first device needs to be unlearned from the model.

[0398] In a possible design, the first receiving unit is specifically configured to initiate transmission of the request to the sixth node upon detecting that the first device is malicious.

[0399] In a possible design, the first transmitting unit is specifically configured to transmit at least one layer of the unlearned model.

[0400] In a possible design, the first transmitting unit is specifically configured to transmit the unlearned model.

[0401] It should be noted that, the first transmitting unit and the first receiving unit are only illustrative for their functions, in practice, the functions of the first transmitting unit and the first receiving unit may also be implemented by a transceiving unit.

[0402] The (communication) apparatus may be applied to the server or the NF or the participating devices as described in the above method embodiments or may be the server or the NF or the participating devices as described in the above method embodiments. It should be understood by a person skilled in the art that, the relevant description of the above unit (s) in the embodiments of the present disclosure may be understood with reference to the relevant description of the (communication) method in the embodiments of the present disclosure.

[0403] In some aspects of the present disclosure, there is provided a communication apparatus including processing circuitry for executing any of the above methods. It should be understood that the apparatus can execute the steps in the above method embodiments, which will not be repeated here.

[0404] In some aspects of the present disclosure, there is provided a chip, including an input / output (I / O) interface and a processor, where the processor is configured to call and run computer execution instructions stored in a memory, to enable a device installing with the chip to execute any of the above methods.

[0405] In some aspects of the present disclosure, there is provided a computer-readable medium storing computer execution instructions which, when executed by a processor, cause the processor to execute any of the above methods.

[0406] In some aspects of the present disclosure, there is provided a computer program product including computer execution instructions which, when executed by a processor, cause the processor to execute any of the above methods.

[0407] In some aspects of the present disclosure, there is provided a computer program including computer execution instructions which, when executed by a processor, cause the processor to execute any of the above methods.

[0408] Although the present disclosure describes methods and processes with steps in a certain order, one or more steps of the methods and processes may be omitted or altered as appropriate. One or more steps may take place in an order other than that in which they are described, as appropriate.

[0409] Although the present disclosure is described, at least in part, in terms of methods, a person of ordinary skill in the art will understand that the present disclosure is also directed to the various components for performing at least some of the aspects and features of the described methods, be it by way of hardware components, software or any combination of the two. Accordingly, the technical solution of the present disclosure may be embodied in the form of a software product. A suitable software product may be stored in a pre-recorded storage device or other similar non-volatile or non-transitory computer readable medium, including DVDs, CD-ROMs, USB flash disk, a removable hard disk, or other storage media, for example. The software product includes instructions tangibly stored thereon that enable a processing device (e.g., a personal computer, a server, or a network device) to execute examples of the methods disclosed herein. The machine-executable instructions may be in the form of code sequences, configuration information, or other data, which, when executed, cause a machine (e.g., a processor or other processing device) to perform steps in a method according to examples of the present disclosure.

[0410] The present disclosure may be embodied in other specific forms without departing from the subject matter of the claims. The described example embodiments are to be considered in all respects as being only illustrative and not restrictive.  Selected features from one or more of the above-described embodiments may be combined to create alternative embodiments not explicitly described, features suitable for such combinations being understood within the scope of this disclosure.

[0411] All values and sub-ranges within disclosed ranges are also disclosed. Also, although the systems, devices and processes disclosed and shown herein may include a specific number of elements / components, the systems, devices and assemblies could be modified to include additional or fewer of such elements / components. For example, although any of the elements / components disclosed may be referenced as being singular, the embodiments disclosed herein could be modified to include a plurality of such elements / components. The subject matter described herein intends to cover and embrace all suitable changes in technology.

[0412] In the present disclosure, the terms “a” or “an” are defined to mean “at least one” , that is, these terms do not exclude a plural number of items, unless stated otherwise.

[0413] In the present disclosure, terms such as “substantially” , “generally” and “about” , which modify a value, condition or characteristic of a feature of an example embodiment, should be understood to mean that the value, condition or characteristic is defined within tolerances that are acceptable for the proper operation of the example embodiment for its intended application.

[0414] In the present disclosure, unless stated otherwise, the terms “connected” and “coupled” , and derivatives and variants thereof, refer herein to any structural or functional connection or coupling, either direct or indirect, between two or more elements. For example, the connection or coupling between the elements can be acoustical, mechanical, optical, electrical, thermal, logical, or any combinations thereof.

[0415] In the present disclosure, expressions such as “match” , “matching” and “matched” , including variants and derivatives thereof, are intended to refer herein to a condition in which two or more elements are either the same or within some predetermined tolerance of each other. That is, these terms are meant to encompass not only “exactly” or “identically” matching the two elements but also “substantially” , “approximately” or “subjectively” matching the two or more elements, as well as providing a higher or best match among a plurality of matching possibilities.

[0416] In the present disclosure, the expression “based on” is intended to mean “based at least partly on” , that is, this expression can mean “based solely on” or “based partially on” , and so should not be interpreted in a limited manner. More particularly, the expression “based on” could also be understood as meaning “depending on” , “representative of” , “indicative of” , “associated with” or similar expressions.

[0417] In the present disclosure, the terms "system" and "network" may be used interchangeably in different embodiments of this application. "At least one" means one or more, and "a plurality of" means two or more. The term "and / or" describes an association relationship of associated objects, and indicates that three relationships may exist. For example, A and / or B may indicate the following three cases: Only A exists, both A and B exist, and only B exists, where A and B may be singular or plural. The character " / " indicates an "or" relationship between associated objects. "At least one of the following items (pieces) " or a similar expression thereof indicates any combination of these items, including a single item (piece) or any combination of a plurality of items (pieces) . For example, "at least one of A, B, or C" includes: only A; only B; only C; A and B; A and C; B and C; or A, B, and C, and "at least one of A, B, and C" may also be understood as including: only A; only B; only C; A and B; A and C; B and C; or A, B, and C. In addition, unless otherwise specified, ordinal numbers such as "first" and "second" in embodiments of this application are used to distinguish between a plurality of objects, and are not used to limit a sequence, a time sequence, priorities, or importance of the plurality of objects.

[0418] A person skilled in the art should understand that embodiments of this application may be provided as a method, an apparatus (or system) , computer-readable storage medium, or a computer program product. Therefore, this application may use a form of a hardware-only embodiment, a software-only embodiment, or an embodiment with a combination of software and hardware. Moreover, this application may use a form of a computer program product that is implemented on one or more computer-usable storage media (including but not limited to a disk memory, an optical memory, and the like) that include computer-usable program code.

[0419] This application is described with reference to the flowcharts and / or block diagrams of the method, the device  (system) , and the computer program product according to this application. It should be understood that computer program instructions may be used to implement each process and / or each block in the flowcharts and / or the block diagrams and a combination of a process and / or a block in the flowcharts and / or the block diagrams. The computer program instructions may be provided for a general-purpose computer, a dedicated computer, an embedded processor, or a processor of another programmable data processing device and enable a machine to execute the instructions. When executed by any computer or the processor of a programmable data processing device, the instructions cause the apparatus to implement specific functions as described in one or more procedures in the flowcharts and / or one or more blocks in the block diagrams. The computer program instructions may alternatively be stored in a computer-readable memory that can indicate a computer or another programmable data processing device to work in a specific manner, so that the instructions stored in the computer-readable memory generate an artifact that includes an instruction apparatus. The instruction apparatus implements a specific function in one or more procedures in the flowcharts and / or one or more blocks in the block diagrams.

[0420] The computer program instructions may alternatively be loaded onto a computer or another programmable data processing device, so that a series of operations and steps are performed on the computer or the another programmable device, so that computer-implemented processing is generated. Therefore, the instructions executed on the computer or on another programmable device provide steps for implementing specific functions as described in one or more procedures in the flowcharts and / or one or more blocks in the block diagrams.

[0421] It is clear that a person skilled in the art can make various modifications and variations to this application without departing from the scope of this disclosure. This disclosure is intended to cover these modifications and variations of this application provided that they fall within the scope of protection defined by the following claims and their equivalent technologies.

Claims

1.A method, comprising:transmitting a request to a first node, wherein the request indicates a request to remove data of a first device from a model located on a second node; andreceiving a response at a third node from the second node, wherein the response indicates a result of an unlearning operation.2.The method of claim 1, wherein the first node is a network controller.3.The method of claim 1, wherein the first node comprises a Network Storage Function (NSF) .4.The method of any one of claims 1 to 3, wherein the second node is a server.5.The method of any one of claims 1 to 3, wherein the second node comprises a Network Function (NF) .6.The method of any one of claims 1 to 3, wherein the second node comprises one or more second devices.7.The method of any one of claims 1 to 6, wherein the third node comprises the first device and one or more second devices.8.The method of any one of claims 1 to 6, wherein the third node is the first device.9.The method of any one of claims 1 to 8, wherein the request further comprises information corresponding to at least one layer of the model for which the unlearning operation is to be performed.10.The method of claim 9, wherein the request further comprises indices corresponding to the at least one layer of the model.11.The method of claim 9 or 10, wherein the unlearning operation comprises at least one perturbation on the at least one layer of the model to form an unlearned model.12.The method of claim 11, wherein the at least one perturbation is a weight perturbation.13.The method of claim 12, wherein the weight perturbation comprises negating one or more parameters of the at least one layer of the model to form the unlearned model.14.The method of claim 13, wherein the one or more parameters comprise weights.15.The method of any one of claims 11 to 14, wherein receiving the response comprises receiving at least one layer of the unlearned model.16.The method of any one of claims 11 to 14, wherein receiving the response comprises receiving the unlearned model.17.The method of any one of claims 1 to 16, further comprising receiving information comprising the unlearned model from the second node to verify the result of the unlearning operation at the first device.18.The method of claim 17, further comprising verifying at the first device whether the data of the first device has been removed from the model.19.A method comprising:receiving a request from a fourth node, wherein the request indicates a request to remove data of a first device from a model located on a fifth node; andtransmitting the request to the fifth node.20.The method of claim 19, wherein the fourth node is the first device.21.The method of claim 19, wherein the fourth node comprises an Application Function (AF) .22.The method of any one of claims 19 to 21, wherein the fifth node is a server.23.The method of any one of claims 19 to 21, wherein the fifth node comprises a Network Function (NF) .24.The method of any one of claims 19 to 21, wherein the fifth node comprises one or more second devices.25.The method of any one of claims 19 to 24, wherein transmitting the request to the fifth node comprises verifying the request.26.The method of claim 25, wherein transmitting the request to the fifth node comprises obtaining information pertaining to the request from a storage node.27.The method of any one of claims 19 to 26, wherein the request further comprises information corresponding to at least one layer of the model for which an unlearning operation is to be performed.28.The method of claim 27, wherein the request further comprises indices corresponding to the at least one layer of the model.29.The method of claim 27 or 28, wherein the unlearning operation comprises at least one perturbation on the at least one layer of the model to form an unlearned model.30.The method of claim 29, wherein the at least one perturbation is a weight perturbation.31.The method of claim 30, wherein the weight perturbation comprises negating one or more parameters of the at least one layer of the model to form the unlearned model.32.The method of claim 31, wherein the one or more parameters comprise weights.33.The method of any one of claims 27 to 32, further comprising transmitting information to the fourth node indicating whether the unlearning operation is supported for the model.34.The method of claim 33, wherein transmitting information to the fourth node comprises transmitting information corresponding to the at least one layer of the model for which the unlearning operation is to be performed.35.The method of any one of claims 27 to 34, further comprising storing information about whether the unlearning operation is supported for the model.36.The method of claim 35, wherein the storing comprises storing information corresponding to the at least one layer of the model for which the unlearning operation is to be performed.37.The method of claim 35 or 36, wherein the information is configured by a model provider or an original equipment manufacturer (OEM) .38.The method of any one of claims 27 to 37, further comprising configuring the fifth node to perform the unlearning operation, wherein the configuring comprises transmitting to the fifth node information corresponding to the at least one layer of the model for which the unlearning operation is to be performed.39.The method of any one of claims 19 to 38, further comprising transmitting information to the fourth node to verify a result of the unlearning operation.40.A method comprising:receiving a request from a sixth node, wherein the request indicates a request to remove data of a first device from a model located on a seventh node; andtransmitting a response to an eighth node, wherein the response indicates a result of an unlearning operation.41.The method of claim 40, wherein the sixth node is a network controller.42.The method of claim 40, wherein the sixth node comprises a Network Storage Function (NSF) .43.The method of any one of claims 40 to 42, wherein the seventh node is a server.44.The method of any one of claims 40 to 42, wherein the seventh node comprises a Network Function (NF) .45.The method of any one of claims 40 to 42, wherein the seventh node comprises one or more second devices.46.The method of any one of claims 40 to 45, wherein the eighth node comprises the first device and one or more second devices.47.The method of any one of claims 40 to 45, wherein the eighth node is the first device.48.The method of any one of claims 40 to 47, wherein the request further comprises information corresponding to at least one layer of the model for which the unlearning operation is to be performed.49.The method of claim 48, wherein the request further comprises indices corresponding to the at least one layer of the model.50.The method of claim 48 or 49, wherein the unlearning operation comprises at least one perturbation on the at least one layer of the model to form an unlearned model.51.The method of claim 50, wherein the at least one perturbation is a weight perturbation.52.The method of claim 51, wherein the weight perturbation comprises negating one or more parameters of the at least one layer of the model to form the unlearned model.53.The method of claim 52, wherein the one or more parameters comprise weights.54.The method of any one of claims 40 to 53, wherein receiving the request from the sixth node comprises initiating transmission of the request to the sixth node upon detecting if the data of the first device needs to be unlearned from the model.55.The method of claim 54, wherein initiating transmission of the request comprises initiating transmission of the request to the sixth node upon detecting that the first device is malicious.56.The method of any one of claims 40 to 55, wherein transmitting the response comprises transmitting at least one layer of the unlearned model.57.The method of any one of claims 40 to 55, wherein transmitting the response comprises transmitting the unlearned model.58.An apparatus comprising:one or more processors; andone or more memories storing instructions which, when executed by the one or more processors, cause the apparatus to perform the method of any one of claims 1 to 18.59.An apparatus comprising:one or more processors; andone or more memories storing instructions which, when executed by the one or more processors, cause the apparatus to perform the method of any one of claims 19 to 39.60.An apparatus comprising:one or more processors; andone or more memories storing instructions which, when executed by the one or more processors, cause the apparatus to perform the method of any one of claims 40 to 57.61.A communication system, wherein the communication system comprises a first apparatus configured to perform the method of any one of claims 1 to 18, a second apparatus configured to perform the method of any one of claims 19 to 39, and a third apparatus configured to perform the method of any one of claims 40 to 57.62.A non-transitory computer-readable storage medium having instructions stored thereon which, when executed by an apparatus, cause the apparatus to perform the method of any one of claims 1 to 57.63.A computer program product storing instructions which, when executed, cause an apparatus to perform the method of any one of claims 1 to 57.

Images