Method for verifying data for ai / ML models and network entity

Abstract

A method for training an artificial intelligence / machine learning, AI / ML, model in a wireless communication network, comprises: verifying an authorization of positioning data related to a device in the wireless communication network to obtain a verification result indicating whether the positioning data is authorized for the training or unauthorized for the training; training the AI / ML model using the positioning data based on the verification result indicating that the positioning data is authorized for the training.

Description

METHOD FOR VERIFYING DATA FOR AI / ML MODELS AND A NETWORK ENTITYTECHNICAL FIELD

[0001] The present disclosure relates to the field of wireless communications and, more particularly, to a method for training an artificial intelligence / machine learning, AI / ML, model, more particularly to determine whether specific data may be used for such training or not. Further, the present disclosure relates to a network entity to operate in a wireless communication network.BACKGROUND

[0002] In a wireless communication system or network, for example in a 3GPP network, one or more terminal devices, like a user device or a user equipment, UE, are operated. A terminal device is connected via a radio or wireless connection with a radio access network, RAN, for example with a base station. The RAN, in turn, is connected to the core network, CN, implementing in one or more network entities respective core network functions for controlling the operation of the overall network, like the protocols, network interfaces and services. In such a wireless communication network, it may be desired to determine a location of one or more devices or entities, e.g., UEs.

[0003] Positioning in a wireless communication network may be performed with the support of an artificial intelligence / machine learning, AI / ML model, whilst other positioning methods may be executed without such an AI / ML model.SUMMARY

[0004] It is an object of the present disclosure to provide for methods and network entities or apparatuses that improve positioning procedures, especially positioning procedures that are based on AI / ML model usage.

[0005] This object is achieved by the subject-matter as defined in the independent claims. Favorable further developments are defined in the dependent claims.

[0006] The present disclosure provides a method for training an artificial intelligence / machine learning, AI / ML model, in a wireless communication network. The method comprises verifying an authorization of positioning data related to a device in the wireless communication network to obtain a verification result indicating whether the  positioning data is authorized for the training or unauthorized for the training. The method comprises training the AI / ML model using the positioning data based on the verification result indicating that the positioning data is authorized for the training.

[0007] According to an embodiment verifying the authorization is performed with a first network function, NF, and wherein the training is performed at the first NF or a second NF.

[0008] According to an embodiment the NF comprises a location management function, LMF; and wherein the second NF comprises at least one of a model training logical function, MTLF, and a network data analysis function, NWDAF.

[0009] The present disclosure provides for a method comprising where the authorization is related to the device associated with the position and indicates whether the information obtained with regard to the device is authorized for the training.

[0010] In accordance with embodiments, a method for training an AI / ML model comprises excluding the positioning data from the training of the AI / ML model based on the verification result indicating that the positioning data is unauthorized for the training.

[0011] In accordance with embodiments, the method for training an AI / ML model is executed such that the authorization is related to at least one of a reliability of the positioning data, a preciseness of the positioning data, an identifier of the device related to the positioning data and the like. Further examples relate to a deployment scenario from which the positioning data is obtained; a predefined density of data points, a number of sources of the positioning data and an accuracy of the positioning data.

[0012] According to an embodiment wherein the verifying of the positioning data is executed to obtain the authorized positioning data to form a training dataset that is composed of data a single deployment scenario.

[0013] According to an embodiment the verifying of the positioning data is executed to obtain the authorized positioning data to form a training dataset that is composed of a plurality of a plurality of deployment scenario.

[0014] In accordance with embodiments, the training of the AI / ML model is repeatedly trained in a plurality of repetitions, such that the authorization is repeatedly verified for each of or a subset of the plurality of repetitions. For example, the plurality of repetitions may relate to an update of the model that may be implemented repeatedly or iteratively. For each or a subset of the updates the authorization of the positioning data, the visibility of the data respectively may be checked or verified.

[0015] In accordance with embodiments, a method described herein comprises collecting positioning data in a location management function, LMF, the positioning data related to a position measurement procedure performed in the wireless communication network. The method comprises forwarding the positioning data to a model training entity based on the verification result indicating that the positioning data is authorized for the training. The method further comprises training the AI / ML model in the model training entity.

[0016] In accordance with embodiments, the method is executed such that the model training entity is an entity comprising a model training logical function, MTLF, e.g., a network data analysis function, NWDAF may comprise such an MTLF.

[0017] In accordance with embodiments, the method comprises transmitting, to a location management function, LMF, a data subscription request for a data collection for the training of the AI / ML model, i.e., the model training entity transmits the request. The method further comprises verifying the data subscription request at the LMF and / or at a network data analysis function, NWDAF, for verifying the authorization of the positioning data related to the position of the device to obtain at least a part of the verification result. The method comprises determining the positioning data of the device using the LMF and using the positioning data with the model training entity based on the verification result.

[0018] According to an embodiment, the method comprises providing the verification result to the model training entity; or providing the verification result and the positioning data to the model training entity. The verification result indicates that at least a part of the positioning data is authorized for the training.

[0019] In accordance with embodiments, the method comprises transmitting with a model inference entity and to a model training entity, a model subscription request for obtaining the AI / ML model, e.g., after training. The method comprises verifying the model subscription request at the model training entity to obtain a subscription verification result. The method comprises training the AI / ML model at the model training entity to obtain a trained model and providing the trained model to the model inference entity based on the subscription verification result.

[0020] In accordance with embodiments, the model inference entity is or comprises a location management function, LMF.

[0021] In accordance with embodiments, a method described herein comprises obtaining positioning data at a location management function, LMF, the positioning data  related to a position measurement procedure performed in the wireless communication network.

[0022] The method comprises using the positioning data in the LMF for model training based on the verification result indicating that the positioning data is authorized for the training such that training the AI / ML model is performed with the LMF.

[0023] In accordance with embodiments, the method comprises using a model training logical function, MTLF, of the LMF for training the AI / ML model.

[0024] In accordance with embodiments, the method is executed such that training the AI / ML model results in a newly generated AI / ML model.

[0025] In accordance with embodiments the training of the AI / ML model results in an updated or re-trained or re-fined model being obtained from a former model.

[0026] According to an embodiment the positioning data set includes a synthetic dataset.

[0027] According to an embodiment the synthetic data set is generated according to a statistical channel model.

[0028] According to an embodiment the authorization a dataset for model training is obtained that is based on model generalization or without generalization consideration.

[0029] The disclosure provides for a computer readable storage medium storing instructions that when executed, cause the method described herein to be performed by a location management function, LMF, and / or a model training entity of a wireless communication system.

[0030] The present disclosure further provides for a network entity such as an LMF for operating in a wireless communication network, the network entity configured for verifying an authorization of positioning data related to the device in the wireless communication network to obtain a verification result indicating whether the positioning data is authorized for the training or unauthorized for the training. The network entity is configured for providing the positioning data to a model training entity or using the positioning data for a model training based on the verification result indicating that the positioning data is authorized for the training.

[0031] The present disclosure further provides for a system configured for training an artificial intelligence / machine learning, AI / ML, model in a wireless communication network, the system including a first network function, NF, and a second NF, the system configured for verifying an authorization of positioning data related to a position of a  device in the wireless communication network with the second NF to obtain a verification result indicating whether the positioning data is authorized for the training or unauthorized for the training; transmitting the verification result and positioning data to the first NF; and transmitting the verification result and positioning data to the first NF;

[0032] According to an embodiment the positioning data is transmitted to the first NF to thereby indicating that the positioning data is authorized for the training

[0033] According to an embodiment the first NF comprises a model training logical function, MTLF and / or a network data analysis function, NWDAF.

[0034] According to an embodiment a system is configured for training an artificial intelligence / machine learning, AI / ML, model in a wireless communication network, the system including at least a first network function, NF, the system configured for: verifying an authorization of positioning data related to a p device in the wireless communication network with the first NF to obtain a verification result indicating whether the positioning data is authorized for the training or unauthorized for the training; and training the AI / ML model with the first NF using the positioning data based on the verification result indicating that the positioning data is authorized for the training

[0035] According to an embodiment the first NF is adapted to store a plurality of positioning data and to exclude positioning data from the training that is unauthorized for the training.

[0036] According to an embodiment the first NF comprises a location management function, LMF.

[0037] According to an embodiment

[0038] The technical solutions provided according to embodiments of the present disclosure have the following beneficial effects. The present disclosure is advantageous as it allows to determine and thereby select whether positioning data related to a device is used for training the AI / ML model or not. Also, embodiments allow to keep the privacy of UE’s positioning data

[0039] It should be understood that the content described in this section is not intended to identify key or critical features of embodiments of the present disclosure, nor is it intended to limit the scope of the present disclosure. Other features of the present disclosure will become readily appreciated from the following descriptions.BRIEF DESCRIPTION OF THE DRAWINGS

[0040] The accompanying drawings, which are incorporated in and constitute a part of this specification, illustrate embodiments consistent with the present disclosure and, together with the description, serve to explain the principles of the present disclosure. The drawings are explanatory and serve to explain the present disclosure, and are not construed to limit the present disclosure to the illustrated embodiments.

[0041] Fig. 1 is a schematic flowchart of a training procedure for AI / ML direct positioning with LMF-side models;

[0042] Fig. 2 illustrates a flow diagram of a method in accordance with embodiments of the present disclosure;

[0043] Fig. 3 illustrates a schematic flowchart of at least part of a method in accordance with embodiments of the present disclosure;

[0044] Fig. 4 illustrates a flow diagram related to training the AI / ML model in accordance with embodiments of the present disclosure;

[0045] Fig. 5 illustrates a flow diagram of forwarding measurement data for the training of the AI / ML model in accordance with embodiments of the present disclosure;

[0046] Fig. 6 illustrates a flow diagram in accordance with further embodiments of the present invention;

[0047] Fig. 7 illustrates a detailed flow diagram related to the training of the AI / ML model in accordance with embodiments of the present disclosure;

[0048] Fig. 8 illustrates a flow diagram of a method according to an embodiment where the training of the AI / ML model is performed at the LMF;

[0049] Fig. 9 illustrates a flow diagram of a method further defining the use of the LMF for training the AI / ML model in accordance with embodiments of the present disclosure;

[0050] Fig. 10 illustrates a flow diagram related to a method for defining the purpose of the training of the AI / ML model in accordance with embodiments of the present disclosure;

[0051] Fig. 11 is a schematic block diagram of a system operation according to an embodiment;

[0052] Fig. 12 is a schematic diagram of a signaling in a wireless communication network according to a first solution presented by the present disclosure;

[0053] Fig. 13 illustrates a schematic block diagram of a signaling in a wireless communication network according to a second solution provided by embodiments of the present disclosure; and

[0054] Fig. 14 illustrates a block diagram illustrating an electronic device configured to implement an image processing method according to embodiments of the present disclosure.

[0055] Illustrative embodiments of the present invention are described below with reference to the drawings, where various details of the embodiments of the present invention are included to facilitate understanding and should be considered as illustrative only. Accordingly, those of ordinary skill in the art will recognize that various changes and modifications of the embodiments described herein can be made without departing from the scope of the present invention. Also, descriptions of well-known functions and constructions are omitted from the following description for clarity and conciseness.

[0056] In the present invention, the term "and / or" is intended to cover all possible combinations and sub-combinations of the listed elements, including any one of the listed elements alone, any sub-combination, or all of the elements, and without necessarily excluding additional elements.

[0057] In the present invention, the phrase "at least one of... or... " is intended to cover any one or more of the listed elements, including any one of the listed elements alone, any sub-combination, or all of the elements, without necessarily excluding any additional elements, and without necessarily requiring all of the elements.

[0058] Terms used in embodiments of the present invention are for the purpose of describing specific embodiments, but should not be construed to limit the present invention. As used in the present invention and the appended claims, “a / an” , “said” and “the” in singular forms are intended to include plural forms, unless clearly indicated in the context otherwise. It should also be understood that, the term “and / or” used herein represents and contains any or all possible combinations of one or more associated listed items.

[0059] It should be understood that, although terms such as “first, ” “second” and “third” may be used in embodiments of the present invention for describing various information, these information should not be limited by these terms. These terms are only used for distinguishing information of the same type from each other. For example, first information may also be referred to as second information, and similarly, the second information may also be referred to as the first information, without departing from the  scope of embodiments of the present invention. Depending on the context, the term “if” as used herein may be construed to mean “when” or “upon” or “in response to determining” .

[0060] Illustrative embodiments of the present invention are described below with reference to the drawings, where various details of the embodiments of the present invention are included to facilitate understanding and should be considered as illustrative only. Accordingly, those of ordinary skill in the art will recognize that various changes and modifications of the embodiments described herein can be made without departing from the scope of the present invention. Also, descriptions of well-known functions and constructions are omitted from the following description for clarity and conciseness.

[0061] In the present invention, the term "and / or" is intended to cover all possible combinations and sub-combinations of the listed elements, including any one of the listed elements alone, any sub-combination, or all of the elements, and without necessarily excluding additional elements.

[0062] In the present invention, the phrase "at least one of... or... " is intended to cover any one or more of the listed elements, including any one of the listed elements alone, any sub-combination, or all of the elements, without necessarily excluding any additional elements, and without necessarily requiring all of the elements.

[0063] Terms used in embodiments of the present invention are for the purpose of describing specific embodiments, but should not be construed to limit the present invention. As used in the present invention and the appended claims, “a / an” , “said” and “the” in singular forms are intended to include plural forms, unless clearly indicated in the context otherwise. It should also be understood that, the term “and / or” used herein represents and contains any or all possible combinations of one or more associated listed items.

[0064] It should be understood that, although terms such as “first, ” “second” and “third” may be used in embodiments of the present invention for describing various information, these information should not be limited by these terms. These terms are only used for distinguishing information of the same type from each other. For example, first information may also be referred to as second information, and similarly, the second information may also be referred to as the first information, without departing from the scope of embodiments of the present invention. Depending on the context, the term “if” as used herein may be construed to mean “when” or “upon” or “in response to determining” .

[0065] Fig. 1 is a schematic flowchart of a training procedure for AI / ML direct positioning with LMF-side models as known from 3GPP TR 38.843. The training  procedure for AI / ML direct positioning with LMF-side models in Fig. 1 corresponds to Fig. 6.2.2.1-1 of TR 38.843. In 102, the location management function, LMF, subscribes to training data from network data analysis function, NWDAF, for an AI / ML model to be used direct positioning. The training data subscription may be a request for analytics using the existing services, or a request for a model, for other type of data relevant for training. Several optional parameters as defined in TS 23.288 may be provided as service operation inputs. The training data subscription may be triggered by the LMF receiving a previous request from another network entity. The trigger itself is not shown in Fig. 1 and may be considered as forming not a part of the training procedure itself.

[0066] In 104, data collection is performed to train the model (s) for direct positioning by the network function, NF, performing training. If the model is trained by LMF, LMF may use measurements already available at the LMF or new measurements, and possibly additional data such as analytics, to train the model. If the model is trained by the NWDAF, NWDAF may collect the necessary data from NFs to train the model.

[0067] In a conditional action 106, if the training data’s subscription from LMF in 102 requires a model to be trained, NWDAF containing a model training logical function, MTLF, may train the AI / ML model.

[0068] In 108 the NWDAF provides a training data notification to LMF. Depending on the request in 102, the notification may contain the requested trained AI / ML model for direct positioning if 106 is executed, or NWDAF may provide along the notification the requested analytic or data to the LMF for 112 to be executed.

[0069] In a conditional action 112, if the AI / ML model for positioning has not been trained and has not been provided 104, LMF trains the AI / ML model in 112.

[0070] Fig. 2 illustrates a flow diagram of a method in accordance with embodiments of the present invention. An authorization of positioning data is verified to determine whether said positioning data is used for training the AI / ML model.

[0071] In accordance with embodiments, a method for training an artificial intelligence / machine learning, AI / ML model in a wireless communication network comprises verifying 202 an authorization of positioning data related to a device in the wireless communication network to obtain a verification result indicating whether the positioning data is authorized for the training or unauthorized for the training. For example, the device may be implemented as, a user equipment, UE, i.e. a subscriber of the network which may be interpreted as a device having a SIM card or eSIM.

[0072] The method comprises training 200 for the AI / ML model using the positioning data based on the verification result indicating that the positioning data is authorized for the training.

[0073] According to an embodiment verifying the authorization is performed with a first network function, NF, and wherein the training is performed at the first NF or a second NF.

[0074] According to an embodiment the NF comprises a location management function, LMF; and wherein the second NF comprises at least one of a model training logical function, MTLF, and a network data analysis function, NWDAF.

[0075] According to an embodiment the verifying of the positioning data is executed to obtain the authorized positioning data to form a training dataset that is composed of data a single deployment scenario.

[0076] According to an embodiment the verifying of the positioning data is executed to obtain the authorized positioning data to form a training dataset that is composed of a plurality of a plurality of deployment scenario.

[0077] In connection with embodiments, positioning data may comprise measurement data related to the position of the device that is reported from a user equipment, UE, and / or a base station, gNB.

[0078] According to an embodiment, positioning data may be considered as comprising one or more measurement results relating to a determined final location of a respective UE, the final location being a location that is computed by a location management function, LMF, based on measurement data related to the position of the device. Such measurement result may be reported from a user equipment, UE, and / or a base station, gNB.

[0079] Fig. 3 illustrates a flow diagram of a method in accordance with further embodiments of the present invention related to the case where the authorization of 204 is unsuccessful.

[0080] In accordance with embodiments a method comprises excluding the positioning data from the training of the AI / ML model based on the verification result indicating that the positioning data is unauthorized for the training. According to some embodiments the authorization is related to the device associated with the position and indicates whether the information obtained with regard to the device is authorized for the training. According to some embodiments, the authorization is related to at least one of a  reliability of the positioning data, a preciseness of the positioning data, an identifier of the device related to the positioning data and the like. That is, the positioning data may be regarded as valid or useful, i.e., may be authorized or not with regard to the device, the type of the device, the position of the device, a user of the device or the like but may, for example, be considered to be authorized or unauthorized based on a preciseness of the positioning data, the method implemented for obtaining the positioning data, i.e., a specific downlink-based method or procedure and / or a specific uplink-based procedure. By selecting the positioning data that is used for training the model it may be ensured that invalid or information that would deteriorate the model may be excluded from the model training, thereby allowing for a high quality of the AI / ML model.

[0081] Fig. 4 illustrates a flow diagram of at least a part of a method in accordance with embodiments of the present invention. The AI / ML model may be trained repeatedly or updated repeatedly.

[0082] In accordance with embodiments, a method comprises training 402 of the AI / ML model repeatedly in a plurality of repetitions, such that the authorization is repeatedly verified for each or a subset of the plurality of repetitions. For example, each time position data is acquired for the device, it might be verified whether those data or information or measurement result is provided to the model training entity. To save some of the verification efforts, it may be considered to skip or avoid such a verification, e.g., each second or each third time or the like, or the other way round, to verify the authorization from time to time.

[0083] Fig. 5 illustrates a flow diagram of a method in accordance with embodiments of the present disclosure. Fig. 5 relates to a first solution based on a location management function and a model training entity and communication with the location management function.

[0084] In accordance with embodiments, a method comprises obtaining 502 measurement data from a location management function, LMF, the measurement data related to a position measurement procedure performed in the wireless communication network. Measurement data from the LMF may comprise one of the two following parts, or both. One part is measurement data from gNB / UE. Another part is a measurement result from LMF which computes the final location of UE based on the measurement data. The method comprises forwarding 405 the positioning data and / or measurement data as at least a part of the positioning data to a model training entity based on the verification result  indicating that the positioning data is authorized for the training. The method further comprises draining 506 the AI / ML model with the model training entity. For example, the model training entity is an entity comprises a model training logical function, MTLF. For example, the model training entity may be or may comprise a network data analysis function, NWDAF, of the wireless communication network.

[0085] Fig. 6 illustrates a flow diagram of a method in accordance with further embodiments of the present disclosure. Thereby, a subscription request may be provided to an LMF to receive the positioning data.

[0086] According to an embodiment, the method comprises transmitting 602 to a location management function, LMF, a data subscription request with a model training entity for a data collection for the training of the AI / ML model. That is, the model training entity may request the positioning data or results of the data collection. The method may comprise verifying 604 the data subscription request at the LMF for verifying the authorization of positioning data related to the position of the device to obtain at least a part of the verification result. The method may comprise determining 606 the positioning data of the device using the LMF and may comprise providing 608 the positioning data to the model training entity based on the verification result.

[0087] According to some embodiments, the model inference entity is or may comprise a location management function for which one or a plurality thereof may be operated in the wireless communication network.

[0088] According to an embodiment, a method comprises providing the verification result to the model training entity. As an alternative, the method may comprise providing the verification result and the positioning data to the model training entity. The method may be adapted that the verification result indicates that the positioning data is authorized for the training.

[0089] Fig. 7 illustrates a flow diagram in accordance with further embodiments of the present invention and related to the verification being implemented according to the first solution.

[0090] In accordance with embodiments, a method comprises transmitting 702, with a model inference entity and to a model training entity, a model subscription request for obtaining the AI / ML model. The model inference entity may be, for example, the LMF, an access and mobility function, AMF, or other entities that make use of the AI / ML model. The method may comprise verifying 704 the model subscription request at the model  training entity to obtain a subscription verification result. The method may further comprise training 706 the AI / ML model at the model training entity to obtain a trained model. The method may comprise providing 708 the trained model to the model inference entity based on the subscription verification result. That is, the model inference entity may request submission of the trained model and may receive said model based on a successful verification of the request.

[0091] Fig. 8 illustrates a flow diagram of a method in accordance with a further embodiment of the present disclosure and related to a second solution provided by embodiments described herein. According to this solution, the LMF may train the AI / ML model.

[0092] In accordance with embodiments, the method comprises obtaining 802 positioning data at a location management function, LMF, the positioning data related to a position measurement procedure performed in the wireless communication network. The method may comprise using 804 the positioning data in the LMF for model training based on the verification result indicating that the positioning data is authorized for the training such that training the AI / ML model is performed with the LMF.

[0093] According to the embodiment, the LMF may comprise a model training logical function, MTLF.

[0094] Fig. 9 illustrates a flow diagram of a method in accordance with such an embodiment.

[0095] In accordance with embodiments, a method may comprise using 902 a model training logical function, MTLF, of the LMF for training the AI / ML model.

[0096] Fig. 10 illustrates a flow diagram of a method in accordance with further embodiments of the present invention and related to the proposal of the AI / ML model.

[0097] In accordance with embodiments, a method comprises obtaining 1002 a newly generated AI / ML model or an updated model being obtained from a former model with the training of the AI / ML model. That is, the positioning data may be used for generating a new model or for updating an existing model. The trained AI / ML model may be obtained correspondingly.

[0098] In accordance with embodiments, a computer-readable storage medium stores instructions that, when executed, cause one of the methods described herein to be performed by a location management function, LMF, and / or a model training entity of a wireless communication system.

[0099] Fig. 11 is a schematic block diagram of a system operation according to an embodiment. In the system operation, UE 1101 may provide 1121 for positioning data or a basis thereof, e.g., by providing measurement results. A system 1103 may comprise at least one network function, NF. In the shown example two NFs 1105 and 1107 for a system 1103. In other embodiments system 1103 may comprise a single NF only or may comprise more than 2 NFs. NF 1105 may request 1123 from NF 1107 to provide for a training data set or positioning data. Responsive to a verification 1125 under assistance of a UDM 1114 the NF 1107 may provide 1127 authorized positioning data to NF 1105 to enable model training of NF 1105. In a case where NF 1107 may train the model, system 1103 may be implemented without NF 1105. The embodiments described may be implemented and / or executed in a running wireless communication system but may also be used in training systems, e.g., offline or non-operating wireless communication systems such as training systems.

[0100] According to an embodiment, a wireless communication system is configured for executing a method for training an artificial intelligence / machine learning, AI / ML, model in a wireless communication network, the method executed by a system including a first network function, NF, and a second NF, the method comprising: verifying an authorization of positioning data related to a device in the wireless communication network with the second NF to obtain a verification result indicating whether the positioning data is authorized for the training or unauthorized for the training. The method comprises transmitting the verification result to the first NF and training the AI / ML model with the first NF using the positioning data based on the verification result indicating that the positioning data is authorized for the training.

[0101] According to an embodiment, a system is configured for: training an artificial intelligence / machine learning, AI / ML, model in a wireless communication network, the system including a first network function, NF, and a second NF, the system configured for: verifying an authorization of positioning data related to a device in the wireless communication network with the second NF to obtain a verification result indicating whether the positioning data is authorized for the training or unauthorized for the training; transmitting the verification result and positioning data to the first NF; training the AI / ML model with the first NF using the positioning data based on the verification result indicating that the positioning data is authorized for the training.

[0102] According to an embodiment, the system is implemented that positioning data is transmitted to the first NF to thereby indicating that the positioning data is authorized for the training.

[0103] According to an embodiment, the first NF comprises a model training logical function, MTLF and / or a network data analysis function, NWDAF.

[0104] According to an embodiment, a system is configured for: training an artificial intelligence / machine learning, AI / ML, model in a wireless communication network, the system including at least a first network function, NF, the system configured for: verifying an authorization of positioning data related to a device in the wireless communication network with the first NF to obtain a verification result indicating whether the positioning data is authorized for the training or unauthorized for the training; training the AI / ML model with the first NF using the positioning data based on the verification result indicating that the positioning data is authorized for the training.

[0105] According to an embodiment, the system is implemented that the first NF is adapted to store a plurality of positioning data and to exclude positioning data from the training that is unauthorized for the training.

[0106] According to an embodiment, the first NF comprises a location management function, LMF.

[0107] According to an embodiment a wireless communication system configured for a method for training an artificial intelligence / machine learning, AI / ML, model in a wireless communication network, the method executed by a system including a first network function, NF, and a second NF, the method comprising: verifying an authorization of positioning data related to a device in the wireless communication network with the second NF to obtain a verification result indicating whether the positioning data is authorized for the training or unauthorized for the training; transmitting the verification result to the first NF; training the AI / ML model with the first NF using the positioning data based on the verification result indicating that the positioning data is authorized for the training.

[0108] According to an embodiment a system is configured for: training an artificial intelligence / machine learning, AI / ML, model in a wireless communication network, the system including a first network function, NF, and a second NF, the system configured for: verifying an authorization of positioning data related to a device in the wireless communication network with the second NF to obtain a verification result indicating  whether the positioning data is authorized for the training or unauthorized for the training; transmitting the verification result and positioning data to the first NF; training the AI / ML model with the first NF using the positioning data based on the verification result indicating that the positioning data is authorized for the training.

[0109] According to an embodiment the positioning data is transmitted to the first NF to thereby indicating that the positioning data is authorized for the training.

[0110] According to an embodiment the first NF comprises a model training logical function, MTLF and / or a network data analysis function, NWDAF.

[0111] According to an embodiment a system is configured for: training an artificial intelligence / machine learning, AI / ML, model in a wireless communication network, the system including at least a first network function, NF, the system configured for: verifying an authorization of positioning data related to a device in the wireless communication network with the first NF to obtain a verification result indicating whether the positioning data is authorized for the training or unauthorized for the training; training the AI / ML model with the first NF using the positioning data based on the verification result indicating that the positioning data is authorized for the training.

[0112] According to an embodiment the first NF is adapted to store a plurality of positioning data and to exclude positioning data from the training that is unauthorized for the training.

[0113] According to an embodiment the first NF comprises a location management function, LMF.

[0114] Fig. 12 shows a schematic block diagram of a signaling that may be implemented in a wireless communication network according to embodiments and according to the first solution. For example, a user equipment, UE 1102, a base station, gNB 1104, an AMF 1106, an NWDAF 1108, an LMF 1112, a unified data management, UDM 1114 and an LCS client 1116 may be operated in the network. With regard to the present disclosure, the AMF 1106, UDM 1114 and / or LCS client 1116 may be, amongst others, optional.

[0115] According to the first solution, NWDAF 1108 is assumed as AI model training entity, to collect the data for AI / ML model training. Embodiments address the aspect to define which entity trains the model for direct AI / ML positioning and address the case where the entity that trained the model and the consumer of the model are different, how  the model consumer gets or receives the trained AI / ML model. The present provides for a method for AI / ML model training based on authorization.

[0116] Whilst, for example, UE 1102 and gNB 1104 may comprise one or more antennas to wirelessly transmit and / or receive signals in the wireless communication network, other entities may be implemented, as an option without a wireless interface, not precluding the same. Whilst this may be implemented for AMF 1106, NWDAF 1108, LMF 1112, UDM 1114 and / or LCS client 1116, one or more of them may also be connected to the wireless communication network via an optical and / or wired connection or combinations thereof.

[0117] In 1122, an AI model training entity, e.g., NWDAF 1108 subscribes the data collection for AI model training service, e.g., to LMF 1112, to collect the positioning data, e.g., measurement data from UE and / or gNB 1102 / 1104, when LMF 1112 performs the positioning service. Such a subscription may be in accordance with the disclosure of Fig. 6. In a case where the subscription request is accepted, the LMF 1112 may send the positioning data to the requesting entity, e.g., NWDAF 1108, for the AI model training when performing positioning service.

[0118] In 1124, the AI model training entity, e.g., LMF 1112, may subscribe the AI model provisioning service to the model training entity, e.g., NWDAF 1108, to obtain the newly generated AI / ML model when there is new / updated AI model generated after AI / ML model training. For a case where the subscription request is accepted, the NWDAF 1108 may send the updated / trained AI model to LMF 1112. This may be in accordance with the disclosure given in connection with Fig. 7.

[0119] In 1126, AMF 1106 may receive LCS service requests, e.g. from the UE, e.g., as a mobile originated location request MOLR and / or from a different entity such as LCS client 1116, e.g., as a mobile terminated location request entity-LR, or the AMF 1106 itself.

[0120] In 1128, AMF 1106 may select LMF 1112, e.g., as one from a plurality of LMF, and may send a location request to LMF 1112 to perform positioning.

[0121] In 1129, LMF 1112 may check or verify, e.g., using UDM 1114 whether the positioning data of the UE is authorized to a use for AI / ML model training. For example, this may include to verify whether there is a new indication in the UE subscription data to indicate whether it is authorized or unauthorized.

[0122] In 1132, UE 1102 and / or gNB 1104 may report the positioning measurements, e.g., to LMF 1112 and LMF 1112 may compute the UE final location, i.e., may determine the location based on the measurement results.

[0123] In 1134, LMF 1112 may send the measurement data and / or other position-related information to NWDAF 1108 for a case where NWDAF 1108 has subscribed to the data collection for AI model training service, see 1122 and / or 1124. In 1136, NWDAF 1108 may perform AI / ML model training by using the measurement data / positioning data, e.g., received from LMF 1112.

[0124] In 1138, the LMF 1112 may send the determined or final UE location, e.g. to AMF 1106.

[0125] In 1142, AMF 1106 may send the UE location to LCS consumers such as the UE 1102, gNB 1104 and / or LCS client 1106 or other entities. In other words, Fig. 12 shows an AI model training based on a subscription service.

[0126] Fig. 13 shows a schematic block diagram of a signaling in a wireless communication network according to an embodiment in accordance with the second solution. According to the second solution, LMF 1112 is assumed as AI model training entity and may collect the data from NWDAF 1108 for AI model training. When compared to Fig. 12, 1122, 1124 and / or 1134 may be skipped. Further, when compared to Fig. 12, instead of training the AI model in 1136 at the NWDAF 1108, model training may be performed as 1236 at LMF 1112.

[0127] Embodiments address that known solutions only propose NWDAF / LMF to act as AI model training entity, by collecting the necessary data. However, the disclosure has recognized that this does not consider the authorization from UE / network side whether the measurement data of the UE is allowed / authorized to be used for AI / ML model training. Embodiments propose to perform an authorization check, e.g., using UDM, before NWDAF / LMF starts to train the AI model or update it, e.g., when performing the AI-based positioning, by defining new indication in UE subscription data in UDM to indicate whether the measurements data can be used for AI model training or not. The UDM may already comprise or have defined a set of UE subscription data. Embodiments may comprise to define a new indicator, e.g., for the UE, to indiacte whether the positioning data can be used for AI model training.

[0128] For training an AI / ML model for positioning, embodiments may use UE measurement information as model input and / or base station  / gNB measurement  information as model input.

[0129] AI / ML models referred to herein may be used, for example, for direct AI / ML positioning; assisted AI / ML positioning; an assisted AI / ML positioning with multi-TRP construction; an Assisted positioning with single-TRP construction and one model for N TRPs, assisted positioning with single-TRP construction and N models for N TRPs. Embodiments described herein relate to model generation but also to model monitoring an refining. According to an embodiment the training of the AI / ML model results in an updated or re-trained or re-fined model being obtained from a former model.

[0130] According to an embodiment the positioning data set includes a synthetic dataset.

[0131] According to an embodiment the synthetic data set is generated according to a statistical channel model.

[0132] According to an embodiment the authorization a dataset for model training is obtained that is based on model generalization or without generalization consideration.

[0133] Acccording to some embodiments training data used for training the model may include to use, amongst others, a synthetic dataset, e.g., generated according to a statistical channel model. For example, such data may provide assistance for model training, validation, and testing.

[0134] For evaluation of an AI / ML assisted positioning procedure, one or more of the following intermediate performance metrics may be used:

[0135] -a LOS classification accuracy, if the model output includes (non-) line of sight, LOS / NLOS indicator of hard values, where the LOS / NLOS indicator is generated for a link between UE and TRP;

[0136] -a Timing estimation accuracy (expressed in meters) , if the model output includes timing estimation (e.g., ToA, RSTD) .

[0137] -an Angle estimation accuracy (in degrees) , if the model output includes angle estimation (e.g., AoA, AoD) .

[0138] According to embodiments, by selecting, controlling and / or verifying the training data, there may be provided a reliability of the data that may be associated with aspects of a ground-of-truth related to the model training data.

[0139] For direct AI / ML positioning, the performance of model monitoring methods may be based on, for example, label based methods and / or label-free methods.

[0140] For AI / ML assisted positioning, it may be found for label-based model monitoring methods that with TOA and / or LOS / NLOS indicator as model output, the estimated ground-truth label (i.e., TOA and / or LOS / NLOS indicator) is provided by the location estimation from the associated conventional positioning method. The associated conventional positioning method refers to the method which utilizes the AI / ML model output to determine target UE location.

[0141] Embodiments allow for improving the positioning accuracy on the test dataset by better training dataset construction. For example, the training dataset may be composed of data from multiple deployment scenarios, which include data from the same deployment scenario as the test dataset. Some embodiments further incorporate a model fine-tuning / re-training where the model may be re-trained / fine-tuned with a dataset from the same deployment scenario as the test dataset.

[0142] Embodiments use the finding that positioning accuracy might deteriorate when the AI / ML model is trained with dataset of poor quality, e.g., based on one (single) deployment scenario and tested with dataset of a different deployment scenario, whilst the positioning accuracy on the test dataset can be improved by using a better training dataset construction and / or model fine-tuning / re-training. By authorizing data for the dataset according to embodiments such improvement may be obtained.

[0143] For example, a better training dataset construction may incorporate to ensure that the training dataset is composed of data from multiple deployment scenarios, which include data from the same deployment scenario as the test dataset.

[0144] When using a model fine-tuning / re-training, the model may be re-trained / fine-tuned with a dataset from the same deployment scenario as the test dataset. For such a purpose, a selection / verification of the training data used for re-training / fine-tuning may be performed by use of embodiments.

[0145] For example, when using the model for direct AI / ML and / or AI / ML assisted positioning the data set may be constructed according to a predefined density of data points or drops, a number of sources used, an accuracy of the results and / or sources of information, wherein the predefined values may incorporate a predefined absolute or relative threshold value or threshold range.

[0146] Embodiments allow to generate and / or construct datasets for model training using the concept of model generalization or without generalization consideration, where the AI / ML model is trained and tested with dataset of the same deployment scenario. A  reason is that by verifying the measurement information in the network whether it is authorized or not, the dataset may be selected according to specific requirements, wherein those requirements may vary over time and / or may consider variations in the measurement data, e.g., over time. Alternatively or in addition, the training data set may be collected, for a same or for a different model, based on the positioning method to be used for model inference.

[0147] According to embodiments, an impact of training data sample density (i.e., training dataset size for a given evaluation area) may be compensated by the authorization and / or actively set. For example, evaluation with uniform UE distribution may show that, the larger the training dataset size (i.e., higher sample density) , the smaller the positioning error (in meters) , until a saturation point is reached where additional training data does not bring further improvement to the positioning accuracy.

[0148] Embodiments allow to obtain datasets for model training to obtain an improved training dataset construction (i.e., mixed dataset) , where the training dataset is composed of data from multiple deployment scenarios, which include data from the same deployment scenario as the test dataset.

[0149] Some embodiments also relate to fine-tuning / re-training, where the model is re-trained / fine-tuned with a dataset from the same deployment scenario as the test dataset.

[0150] Fig. 14 is a block diagram illustrating an electronic device 1300 according to embodiments of the present invention.

[0151] The electronic device is intended to represent various forms of digital computers, such as a laptop, a desktop, a workstation, a personal digital assistant, a server, a blade server, a mainframe computer, and other suitable computers. The electronic device may also represent various forms of mobile devices, such as a personal digital processor, a cellular phone, a smart phone, a wearable device, and other similar computing devices. The electronic device may also represent various forms of CN network entities The components shown herein, their connections and relationships, and their functions are described as examples only, and are not intended to limit implementations of the present invention described and / or claimed herein.

[0152] Referring to Fig. 14, the device 1300 includes a computing unit 1301 to perform various appropriate actions and processes according to computer program instructions stored in a read only memory (ROM) 1302, or loaded from a storage unit 1308 into a random access memory (RAM) 1303. In the RAM 1303, various programs and data  for the operation of the storage device 1300 can also be stored. The computing unit 1301, the ROM 1302, and the RAM 1303 are connected to each other through a bus 1304. An input / output (I / O) interface 1305 is also connected to the bus 1304.

[0153] Components in the device 1300 are connected to the I / O interface 1305, including: an input unit 1306, such as a keyboard, a mouse; an output unit 1307, such as various types of displays, speakers; a storage unit 1308, such as a disk, an optical disk; and a communication unit 1309, such as network cards, modems, wireless communication transceivers, and the like. The communication unit 1309 allows the device 1300 to exchange information / data with other devices through a computer network such as the Internet and / or various telecommunication networks.

[0154] The computing unit 1301 may be formed of various general-purpose and / or special-purpose processing components with processing and computing capabilities. Some examples of the computing unit 1301 include, but are not limited to, a central processing unit (CPU) , graphics processing unit (GPU) , various specialized artificial intelligence (AI) computing chips, various computing units that run machine learning model algorithms, digital signal processor (DSP) , and any suitable processor, controller, microcontroller, etc. The computing unit 1301 performs various methods and processes described above, such as an image processing method. For example, in some embodiments, the image processing method may be implemented as computer software programs that are tangibly embodied on a machine-readable medium, such as the storage unit 1308. In some embodiments, part or all of the computer program may be loaded and / or installed on the device 1300 via the ROM 1302 and / or the communication unit 1309. When a computer program is loaded into the RAM 1303 and executed by the computing unit 1301, one or more steps of the image processing method described above may be performed. In some embodiments, the computing unit 1301 may be configured to perform the image processing method in any other suitable manner (e.g., by means of firmware) .

[0155] Various implementations of the systems and techniques described herein above may be implemented in digital electronic circuitry, integrated circuit systems, field programmable gate arrays (FPGA) , application specific integrated circuits (ASIC) , application specific standard products (ASSP) , system-on-chip (SOC) , complex programmable logic device (CPLD) , computer hardware, firmware, software, and / or combinations thereof. These various embodiments may include being implemented in one or more computer programs executable and / or interpretable on a programmable system  including at least one programmable processor, and the programmable processor may be a special-purpose or general-purpose programmable processor, and may receive data and instructions from a storage system, at least one input device and at least one output device, and may transmit data and instructions to the storage system, the at least one input device, and the at least one output device.

[0156] Program code for implementing the methods of the present invention may be written in any combination of one or more programming languages. These program codes may be provided to a processor or controller of a general computer, a dedicated computer, or other programmable data processing device, such that the program codes, when executed by the processor or controller, cause the functions and / or operations specified in the flowcharts and / or block diagrams is performed. The program code can be executed entirely on the machine, partly on the machine, as a stand-alone software package partly on a machine and partly on a remote machine or entirely on a remote machine or server.

[0157] In the context of the present invention, a machine-readable medium may be a tangible medium that may contain or store a program for use by or in connection with an instruction execution system, apparatus, or device. The machine-readable medium may be a machine-readable signal medium or a machine-readable storage medium. A machine-readable medium may include, but is not limited to, an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any suitable combination of the foregoing. More specific examples of machine-readable storage media include electrical connections based on one or more wires, portable computer disks, hard disks, random access memories (RAM) , read-only memories (ROM) , erasable programmable read-only memories (EPROM or flash memory) , fiber optics, compact disc read-only memories (CD-ROM) , optical storage devices, magnetic storage devices, or any suitable combination of the foregoing.

[0158] To provide interaction with a user, the systems and techniques described herein may be implemented on a computer having a display device (e.g., a cathode ray tube (CRT) or liquid crystal display (LCD) ) for displaying information for the user; and a keyboard and pointing device (e.g., a mouse or trackball) through which a user can provide an input to the computer. Other types of devices can also be used to provide interaction with the user, for example, the feedback provided to the user may be any form of sensory feedback (e.g., visual feedback, auditory feedback, or tactile feedback) ; and may be in any form (including acoustic input, voice input, or tactile input) to receive the input from the user.

[0159] The systems and techniques described herein may be implemented on a computing system that includes back-end components (e.g., as a data server) , or a computing system that includes middleware components (e.g., an application server) , or a computing system that includes front-end components (e.g., a user computer with a graphical user interface or web browser through which a user can interact with implementations of the systems and techniques described herein) , or a computer system including such a backend components, middleware components, front-end components or any combination thereof. The components of the system may be interconnected by any form or medium of digital data communication (e.g., a communication network) . Examples of the communication network includes: Local Area Networks (LAN) , Wide Area Networks (WAN) , the Internet and blockchain networks.

[0160] The computer system may include a client and a server. The Client and server are generally remote from each other and usually interact through a communication network. The relationship of the client and the server is generated by computer programs running on the respective computers and having a client-server relationship with each other. The server may be a cloud server, also known as a cloud computing server or a cloud host, which is a host product in the cloud computing service system, and solves the defects of difficult management and weak business expansion in traditional physical hosts and virtual private servers ( "VPS" for short) . The server may also be a server of a distributed system, or a server combined with a blockchain.

[0161] It should be understood that the steps may be reordered, added or deleted by using the various forms of flows shown above. For example, the steps described in the present invention may be executed in parallel, sequentially, or in different orders, as long as the desired results of the technical solutions in the present invention can be achieved, and no limitation is imposed herein.

[0162] The above-mentioned specific embodiments do not limit the scope of protection of the present invention. It should be understood by those skilled in the art that various modifications, combinations, sub-combinations and replacements may be made depending on design requirements and other factors. Any modifications, equivalent replacements, and improvements made within the principles of the present invention should be included within the protection scope of the present invention.

Claims

1.A method for training an artificial intelligence / machine learning, AI / ML, model in a wireless communication network, the method comprising:verifying an authorization of positioning data related to a device in the wireless communication network to obtain a verification result indicating whether the positioning data is authorized for the training or unauthorized for the training;training the AI / ML model using the positioning data based on the verification result indicating that the positioning data is authorized for the training.2.The method of claim 1, wherein verifying the authorization is performed with a first network function, NF, and wherein the training is performed at the first NF or a second NF.3.The method of claim 2, wherein the NF comprises a location management function, LMF; and wherein the second NF comprises a network data analysis function, NWDAF.4.The method of claim 3, wherein the NWDAF comprises a model training logical function, MTLF.5.The method of one of previous claims, wherein the authorization is related to the device associated with the position and indicates whether the information obtained with regard to the device is authorized for the training.6.The method of one of previous claims, comprising:excluding the positioning data from the training of the AI / ML model based on the verification result indicating that the positioning data is unauthorized for the training.7.The method of one of previous claims, wherein the authorization is related to at least one of:· a deployment scenario from which the positioning data is obtained;· a predefined density of data points,· a number of sources of the positioning data,· an accuracy of the positioning data;· a location management function, LMF, or a network data analysis function, NWDAF sends authorization for AI model training request to a unified data management, UDM,· the UDM checks whether there is the authorization indication for AI model training in the UE subscription data.8.The method of one of previous claims, wherein the positioning data comprises measurement data related to the position of the device that is reported from a user equipment, UE, and / or a base station, gNB.9.The method of one of previous claims, wherein the positioning data comprises a measurement result relating to a determined final location of UE computed by a location management function, LMF, based on measurement data related to the position of the device that is reported from a user equipment, UE, and / or a base station, gNB.10.The method of one of previous claims, wherein the AI / ML model is repeatedly trained in a plurality of repetitions, wherein the authorization is repeatedly verified for each or a subset of the plurality of repetitions.11.The method of one of previous claims, comprising:collecting positioning data in a location management function, LMF, the positioning data related to a position measurement procedure performed in the wireless communication network; andforwarding the positioning data to a model training entity based on the verification result indicating that the positioning data is authorized for the training; andtraining the AI / ML model in the model training entity.12.The method of claim 11, wherein the model training entity is an entity comprises a network data analysis function, NWDAF.13.The method of claim 12, wherein the NWDAF comprises a model training logical function, MTLF.14.The method of one of claims 11 to 13, comprising:transmitting, to a location management function, LMF, a data subscription request for a data collection for the training of the AI / ML modelverifying the data subscription request at the LMF and / or at a network data analysis function, NWDAF, for verifying the authorization of positioning data related to the position of the device to obtain the verification result;using the positioning data in the model training entity based on the verification result.15.The method of one of claims 11 to 14, comprising:transmitting, at a model inference entity and to a model training entity, a model subscription request for obtaining the AI / ML model;training the AI / ML model at the model training entity to obtain a trained model; andproviding the trained model to the model inference entity.16.The method of claim 15, wherein the model inference entity is or comprises a location management function, LMF.17.The method of one of previous claims, comprising:obtaining positioning data at a location management function, LMF, the positioning data related to a position measurement procedure performed in the wireless communication network; andusing the positioning data in the LMF for model training based on the verification result indicating that the positioning data is authorized for the training, wherein training the AI / ML model is performed in the LMF.18.The method of one of previous claims, wherein training the AI / ML model results in a newly generated AI / ML model.19.The method of one of previous claims, wherein the authorization a dataset for model training is obtained that is based on model generalization or without generalization consideration.20.A computer-readable storage medium storing instructions that, when executed, cause the method of any one of the preceding claims to be performed by a location management function, LMF, and / or a model training entity of a wireless communication system.21.A network entity such as a location management function, LMF, for operating in a wireless communication network, the network entity configured forverifying an authorization of positioning data related to a device in the wireless communication network to obtain an verification result indicating whether the positioning data is authorized for the training or unauthorized for the training; andproviding the positioning data to a model training entity or using the positioning data for model training based on the verification result indicating that the positioning data is authorized for the training.22.A wireless communication system configured fora method for training an artificial intelligence / machine learning, AI / ML, model in a wireless communication network, the method executed by a system including a first network function, NF, and a second NF, the method comprising:verifying an authorization of positioning data related to a device in the wireless communication network with the second NF to obtain a verification result indicating whether the positioning data is authorized for the training or unauthorized for the training;transmitting the verification result to the first NF;training the AI / ML model with the first NF using the positioning data based on the verification result indicating that the positioning data is authorized for the training.23.A system configured for:training an artificial intelligence / machine learning, AI / ML, model in a wireless communication network, the system including a first network function, NF, and a second NF, the system configured for:verifying an authorization of positioning data related to a device in the wireless communication network with the second NF to obtain a verification result indicating whether the positioning data is authorized for the training or unauthorized for the training;transmitting the verification result and positioning data to the first NF;transmitting the verification result and positioning data to the first NF; .24.The system of claim 23, wherein the positioning data is transmitted to the first NF to thereby indicating that the positioning data is authorized for the training.25.The system of claim 23 or 24, wherein the first NF comprises a model training logical function, MTLF and / or a network data analysis function, NWDAF.26.A system configured for:training an artificial intelligence / machine learning, AI / ML, model in a wireless communication network, the system including at least a first network function, NF, the system configured for:verifying an authorization of positioning data related to a device in the wireless communication network with the first NF to obtain a verification result indicating whether the positioning data is authorized for the training or unauthorized for the training;training the AI / ML model with the first NF using the positioning data based on the verification result indicating that the positioning data is authorized for the training.27.The system of claim 26, wherein the first NF is adapted to store a plurality of positioning data and to exclude positioning data from the training that is unauthorized for the training.28.The system of claim 26 or 27, wherein the first NF comprises a location management function, LMF.

Images