Quality of experience measurement configuration

Abstract

Example embodiments of the present disclosure relate to a quality of experience (QoE) measurement configuration. In an aspect, a terminal device receives, from a first network device, a QoE measurement configuration including a service type identifier of a service for which QoE measurement collection is to be performed, and the service includes multiple data flows. The terminal device may further perform the QoE measurement collection for the multiple data flows separately to obtain measurements for one or more data flows of the multiple data flows. The terminal device transmits, to the first network device, at least one QoE measurement report including the measurements for one or more data flows of the multiple data flows.

Description

QUALITY OF EXPERIENCE MEASUREMENT CONFIGURATIONFIELD

[0001] Example embodiments of the present disclosure generally relate to the field of communications, and in particular, to devices, methods, apparatuses and a computer readable storage medium for a quality of experience (QoE) measurement configuration.BACKGROUND

[0002] A communication network can be seen as a facility that enables communications between two or more communication devices, or provides communication devices access to a data network. A mobile or wireless communication network is one example of a communication network. A communication device may be provided with a service by an application server.

[0003] Such communication networks operate in according with standards such as those provided by 3GPP (Third Generation Partnership Project) or ETSI (European Telecommunications Standards Institute) . Examples of standards are the so-called 5G (5th Generation) standards, 6G (6th Generation) standards or other standards provided by 3GPP.SUMMARY

[0004] In general, example embodiments of the present disclosure provide a solution for a QoE measurement configuration.

[0005] In a first aspect, there is provided a terminal device. The terminal device comprises at least one processor and at least one memory storing instructions that, when executed by the at least one processor, cause the terminal device at least to receive, from a first network device, a quality of experience (QoE) measurement configuration including a service type identifier of a service for which QoE measurement collection is to be performed, and the service includes multiple data flows. The terminal device is caused to perform the QoE measurement collection for the multiple data flows separately to obtain measurements for one or more data flows of the multiple data flows. The terminal device is caused to transmit, to the first network device, at least one QoE measurement report including the measurements for one or more data flows of the multiple data flows.

[0006] In a second aspect, there is provided a first network device. The first network  device comprises at least one processor and at least one memory storing instructions that, when executed by the at least one processor, cause the first network device at least to transmit, to a terminal device, a quality of experience (QoE) measurement configuration including a service type identifier of a service for which QoE measurement collection is to be performed, and the service includes multiple data flows. The first network device is further caused to receive, from the terminal device, at least one QoE measurement report including the measurements for one or more data flows of the multiple data flows.

[0007] In a third aspect, there is provided a second network device. The second network device comprises at least one processor and at least one memory storing instructions that, when executed by the at least one processor, cause the second network device at least to transmit, to a first network device, a quality of experience (QoE) measurement collection (QMC) configuration including a service type identifier of a service for which QoE measurement collection is to be performed, and the service includes multiple data flows.

[0008] In a fourth aspect, there is provided a third network device. The third network device comprises at least one processor and at least one memory storing instructions that, when executed by the at least one processor, cause the third network device at least to receive, from a first network device, a quality of experience (QoE) measurement report including measurements for one or more data flows of multiple data flows of a service.

[0009] In a fifth aspect, there is provided a method. The method comprises receiving, from a first network device, a quality of experience (QoE) measurement configuration including a service type identifier of a service for which QoE measurement collection is to be performed, and the service includes multiple data flows; performing the QoE measurement collection for the multiple data flows separately to obtain measurements for one or more data flows of the multiple data flows, and transmitting, to the first network device, at least one QoE measurement report including the measurements for one or more data flows of the multiple data flows.

[0010] In a sixth aspect, there is provided a method. The method comprises transmitting, to a terminal device, a quality of experience (QoE) measurement configuration including a service type identifier of a service for which QoE measurement collection is to be performed, and the service includes multiple data flows; and receiving, from the terminal device, at least one QoE measurement report including the measurements for one or more data flows of the multiple data flows.

[0011] In a seventh aspect, there is provided a method. The method comprises transmitting, to a first network device, a quality of experience (QoE) measurement collection (QMC) configuration including a service type identifier of a service for which QoE measurement collection is to be performed, and the service includes multiple data flows.

[0012] In an eighth aspect, there is provided a method. The method comprises receiving, from a first network device, a quality of experience (QoE) measurement report including measurements for one or more data flows of multiple data flows of a service.

[0013] In a ninth aspect, there is provided an apparatus. The apparatus comprises means for receiving, from a first network device, a quality of experience (QoE) measurement configuration including a service type identifier of a service for which QoE measurement collection is to be performed, and the service includes multiple data flows; means for performing the QoE measurement collection for the multiple data flows separately to obtain measurements for one or more data flows of the multiple data flows, and means for transmitting, to the first network device, at least one QoE measurement report including the measurements for one or more data flows of the multiple data flows.

[0014] In a tenth aspect, there is provided an apparatus. The apparatus comprises means for transmitting, to a terminal device, a quality of experience (QoE) measurement configuration including a service type identifier of a service for which QoE measurement collection is to be performed, and the service includes multiple data flows; and means for receiving, from the terminal device, at least one QoE measurement report including the measurements for one or more data flows of the multiple data flows.

[0015] In an eleventh aspect, there is provided an apparatus. The apparatus comprises means for transmitting, to a first network device, a quality of experience (QoE) measurement collection (QMC) configuration including a service type identifier of a service for which QoE measurement collection is to be performed, and the service includes multiple data flows.

[0016] In a twelfth aspect, there is provided an apparatus. The apparatus comprises means for receiving, from a first network device, a quality of experience (QoE) measurement report including measurements for one or more data flows of multiple data flows of a service.

[0017] In a thirteenth aspect, there is provided a non-transitory computer readable medium comprising program instructions for causing an apparatus to perform at least the method according to any one of the fifth aspect to eighth aspect.

[0018] In a fourteenth aspect, there is provided a computer program comprising instructions,  which, when executed by an apparatus, cause the apparatus at least to perform at least the method according to according to any one of the fifth aspect to eighth aspect.

[0019] In a fifteenth aspect, there is provided a terminal device. The terminal device comprises receiving circuitry configured to receive, from a first network device, a quality of experience (QoE) measurement configuration including a service type identifier of a service for which QoE measurement collection is to be performed, and the service includes multiple data flows; performing circuitry configured to perform the QoE measurement collection for the multiple data flows separately to obtain measurements for one or more data flows of the multiple data flows; and transmitting circuitry configured to transmit, to the first network device, at least one QoE measurement report including the measurements for one or more data flows of the multiple data flows.

[0020] In a sixteenth aspect, there is provided a first network device. The first network device comprises transmitting circuitry configured to transmit, to a terminal device, a quality of experience (QoE) measurement configuration including a service type identifier of a service for which QoE measurement collection is to be performed, and the service includes multiple data flows; receiving circuitry configured to receive, from the terminal device, at least one QoE measurement report including the measurements for one or more data flows of the multiple data flows.

[0021] In a seventeenth aspect, there is provided a second network device. The second network device comprises transmitting circuitry configured to transmit, to a first network device, a quality of experience (QoE) measurement collection (QMC) configuration including a service type identifier of a service for which QoE measurement collection is to be performed, and the service includes multiple data flows.

[0022] In an eighteenth aspect, there is provided a third network device. The third network device comprises receiving circuitry configured to receive, from a first network device, a quality of experience (QoE) measurement report including measurements for one or more data flows of multiple data flows of a service.

[0023] It is to be understood that the summary section is not intended to identify key or essential features of embodiments of the present disclosure, nor is it intended to be used to limit the scope of the present disclosure. Other features of the present disclosure will become easily comprehensible through the following description.BRIEF DESCRIPTION OF THE DRAWINGS

[0024] Some example embodiments will now be described with reference to the accompanying drawings, in which:

[0025] FIG. 1A illustrates an example of a network environment in which example embodiments of the present disclosure can be implemented;

[0026] FIG. 1B illustrates a management-based QoE measurement collection activation related to some embodiments of the present disclosure;

[0027] FIG. 1C illustrates a signalling-based QoE measurement collection activation related to some embodiments of the present disclosure;

[0028] FIG. 1D illustrates example of AppLayerMeasConfig information element related to some embodiments of the present disclosure;

[0029] FIG. 1E illustrates an example of multi modal service and QoE measurement report provision related to some embodiments of the present disclosure;

[0030] FIG. 2 illustrates a flow chart of method according to some embodiments of the present disclosure;

[0031] FIG. 3 illustrates a process for management-based QoE measurement collection activation on a per service data flow basis according to some embodiments of the present disclosure;

[0032] FIG. 4 illustrates a process for signalling-based QoE measurement collection activation on a per service data flow basis according to some embodiments of the present disclosure;

[0033] FIG. 5 illustrates a flowchart of a method implemented at a terminal device in accordance with some example embodiments of the present disclosure;

[0034] FIG. 6 illustrates a flowchart of a method implemented at a first network device in accordance with some example embodiments of the present disclosure;

[0035] FIG. 7 illustrates a flowchart of a method implemented at a second network device in accordance with some example embodiments of the present disclosure;

[0036] FIG. 8 illustrates a flowchart of a method implemented at a third network device in accordance with some example embodiments of the present disclosure;

[0037] FIG. 9 illustrates simplified block diagram of a device that is suitable for implementing some example embodiments of the present disclosure; and

[0038] FIG. 10 illustrates a block diagram of an example of a computer readable medium in accordance with some example embodiments of the present disclosure.

[0039] Throughout the drawings, the same or similar reference numerals represent the same or similar elements.DETAILED DESCRIPTION

[0040] Principles of the present disclosure will now be described with reference to some example embodiments. It is to be understood that these embodiments are described only for the purpose of illustration and help those skilled in the art to understand and implement the present disclosure, without suggesting any limitation as to the scope of the disclosure. The disclosure described herein can be implemented in various manners other than the ones described below.

[0041] In the following description and claims, unless defined otherwise, all technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skills in the art to which this disclosure belongs.

[0042] References in the present disclosure to “one embodiment, ” “an embodiment, ” “an example embodiment, ” and the like indicate that the embodiment described may include a particular feature, structure, or characteristic, but it is not necessary that every embodiment includes the particular feature, structure, or characteristic. Moreover, such phrases are not necessarily referring to the same embodiment. Further, when a particular feature, structure, or characteristic is described in connection with an embodiment, it is submitted that it is within the knowledge of one skilled in the art to affect such feature, structure, or characteristic in connection with other embodiments whether or not explicitly described.

[0043] It shall be understood that although the terms “first” and “second” etc. may be used herein to describe various elements, these elements should not be limited by these terms. These terms are only used to distinguish one element from another. For example, a first element could be termed a second element, and similarly, a second element could be termed a first element, without departing from the scope of example embodiments. As used herein, the term “and / or” includes any and all combinations of one or more of the listed terms.

[0044] The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of example embodiments. As used herein, the singular forms “a” , “an” and “the” are intended to include the plural forms as well, unless the context clearly indicates otherwise. It will be further understood that the terms “comprises” , “comprising” , “has” , “having” , “includes” and / or “including” , when used herein, specify the presence of stated features, elements, and / or components etc., but do not preclude the presence or addition of one or more other features, elements, components and / or combinations thereof. As used herein, “at least one of the following: <a list of two or more elements>” and “at least one of <a list of two or more elements>” and similar wording, where the list of two or more elements are joined by “and” or “or” , mean at least any one of the elements, or at least any two or more of the elements, or at least all the elements.

[0045] As used in this application, the term “circuitry” may refer to one or more or all of the following:

[0046] (a) hardware-only circuits (such as in analog and / or digital circuits) and

[0047] (b) combinations of hardware circuits and software, such as (as applicable) :

[0048] (i) a combination of analog and / or digital hardware circuit (s) with software (e.g., firmware) ; and

[0049] (ii) any portions of hardware processor (s) with software (including digital signal processor (s) ) , software, and memory (ies) that work together to cause an apparatus, such as a mobile phone or server, to perform various functions) and

[0050] (c) hardware circuit (s) and or processor (s) , such as a microprocessor (s) or a portion of a microprocessor (s) , that requires software (for example, firmware) for operation, but the software may not be present when it is not needed for operation.

[0051] This definition of circuitry applies to all uses of this term in this application, including in any claims. As a further example, as used in this application, the term circuitry also covers an implementation of merely a hardware circuit or processor (or multiple processors) or portion of a hardware circuit or processor and its (or their) accompanying software and / or firmware. The term circuitry also covers, for example and if applicable to the particular claim element, a baseband integrated circuit or processor integrated circuit for a mobile device or a similar integrated circuit in server, a cellular network device, or other computing or network device.

[0052] As used herein, the term “cellular network” refers to a network operating in accordance with any suitable radio access technology defined by standards, such as Long Term Evolution (LTE) , LTE-Advanced (LTE-A) , new radio Wideband Code Division Multiple Access (WCDMA) , High-Speed Packet Access (HSPA) , Narrow Band Internet of Things (NB-IoT) and so on. Furthermore, the communications between a terminal device and a network device of a cellular network may be performed according to any suitable communication protocols, including, but not limited to, the fourth generation (4G) , 4.5G, the future fifth generation (5G) communication protocols, and / or any other protocols either currently known or to be developed in the future. Embodiments of the present disclosure may be applied in various cellular networks. Given the rapid development in communications, there will of course also be future type communication technologies and systems with which the present disclosure may be embodied. It should not be seen as limiting the scope of the present disclosure to only the aforementioned system.

[0053] As used herein, the term “network device” refers to any device in a cellular network via which a terminal device accesses a data network and receives services exposed by other network devices of the cellular network. In some examples, a network device may comprise or implement a network function of a 5th generation communication system (5GS) (e.g., a core network) of a cellular network. In some examples, the network devices may be located at the RAN of the 5GS. The network device may be part of a satellite, a base station (BS) or an access point (AP) , for example, a node B (NodeB or NB) , an evolved NodeB (eNodeB or eNB) , a NR NB (also referred to as a gNB) , a Remote Radio Unit (RRU) , a radio header (RH) , a remote radio head (RRH) , a relay, a low power node such as a femto, a pico node, and so forth, depending on the applied terminology and technology. A gNB may include a centralized unit CU and one or more distributed DUs. Femto and Pico nodes are small base stations with a small coverage area.

[0054] The term “terminal device” refers to a device of a communication system of a cellular network, such as a 5th generation communication system (5GS) that may be capable of wireless (e.g., radio) communication with a NR-RAN of the 5GS) . By way of example rather than limitation, a terminal device may also be referred to as a wireless communication device, user equipment (UE) , a Subscriber Station (SS) , a Portable Subscriber Station, a Mobile Station (MS) , or an Access Terminal (AT) . Examples of a terminal device include, but not limited to, a mobile phone, a cellular phone, a smart phone, voice over IP (VoIP) phones, wireless local loop phones, a tablet, a wearable terminal device, a personal digital  assistant (PDA) , portable computers, desktop computer, image capture terminal devices such as digital cameras, gaming terminal devices, music storage and playback appliances, vehicle-mounted wireless terminal devices, wireless endpoints, mobile stations, laptop-embedded equipment (LEE) , laptop-mounted equipment (LME) , USB dongles, smart devices, wireless customer-premises equipment (CPE) , an Internet of Things (IoT) device, a watch or other wearable, a head-mounted display (HMD) , a vehicle, a drone, a medical device and applications (for example, remote surgery) , an industrial device and applications (for example, a robot and / or other wireless devices operating in an industrial and / or an automated processing chain contexts) , a consumer electronics device, a device operating on commercial and / or industrial wireless networks, and the like. In the following description, the terms “terminal device” , “communication device” , “terminal” , “user equipment” and “UE” may be used interchangeably.

[0055] A QoE measurement collection activation and reporting is activated in the gNB either by direct configuration from the OAM system (management-based activation) , or by signalling from the OAM via the 5GC (signalling-based activation) , containing UE-associated QoE configuration.

[0056] One or more QoE measurement collection jobs can be activated at a UE per service type, and each QoE measurement configuration is uniquely identified by a QoE reference. For signalling-based QoE measurements, the OAM initiates the QoE measurement activation for a specific UE via the 5GC, and the gNB receives one or more QoE measurement configurations by means of UE-associated signalling. For management-based QoE measurement activation, the OAM sends one or more QoE measurement configurations directly to the gNB.

[0057] Multi-modal service is a communication service that consists of several data flows (for example audio, video, positioning, haptic data) that relate to each other and are subject to application coordination.

[0058] A multi modal communication service (such as cloud gaming) could consist of multiple data flows e.g., multiple video flows, multiple audio flows, and multiple messaging flows. The QoE measurements (and models) can be used for benchmarking of the operators’ networks. In such case the operator may want to show the attractiveness of his network for one specific service type (e.g., video) or present on multi-modal services –but focus on specific service types of that multi-modal service (e.g., video) . However, using the normal  format, the operator does not have specific information on a per service data flow but only for the service.

[0059] In view of the above, example embodiments of the present disclosure provide a solution for QoE measurement configuration. In the example embodiments of the present disclosure, a terminal device may receive, from a first network device, a quality of experience (QoE) measurement configuration including a service type identifier of a service for which QoE measurement collection is to be performed, and the service includes multiple data flows. The terminal device may further perform the QoE measurement collection for the multiple data flows separately to obtain measurements for one or more data flows of the multiple data flows. The terminal device may transmit, to the first network device, at least one QoE measurement report including the measurements for one or more data flows of the multiple data flows.

[0060] In this way, support for QoE measurement reporting per flow for multi-modal services is achieved. One service type for multi-modal services (or enhance one or more of the existing ones) is introduced, and when the gNB is configured with this service type it will trigger service measurements per service data flow. Reporting per service may be done by the UE application either by adding an identifier (common multi-modal ID) on a per QFI and service data flow basis inside a single container or by providing different containers, each one for every service data flow.

[0061] FIG. 1A illustrates an example of a network environment 100a in which example embodiments of the present disclosure can be implemented. The environment 100a may be a part of a communication network and comprise a plurality of terminal devices and network devices, such as a terminal device 110, a first network device (s) 120, a second network device 130, and a third network device 140.

[0062] As an example, the terminal device 110 may be implemented as a User Equipment (UE) or an Access Terminal (AT) , and the first network device 120 may be implemented as a gNB, a base station (BS) 120-1, or a core network device 120-2. In this context, the core network 120 -2 and the base station 120-1 may be collectively referred to as the first network device 120. The second network device 130 may be implemented as management service (MnS) consumer. The third network device 140 may be implemented as a measurement collection entity. The network devices 120-140 may transmit various data to the terminal device 110 via network environment 100a.

[0063] To transmit data and / or control information, the terminal device 110 may perform communications with the network devices 120-140. A link from the network devices 120-140 to the terminal device 110 is referred to as a downlink (DL) , while a link from the terminal device 110 to the network devices 120-140 is referred to as an uplink (UL) .

[0064] Although the terminal device 110 and the network devices 120-140 are described in the communication environment 100a of FIG. 1A, embodiments of the present disclosure may equally apply to any other suitable communication devices in communication with one another. That is, embodiments of the present disclosure are not limited to the exemplary scenarios of FIG. 1A. In this regard, it is noted that although the terminal device is schematically depicted as a mobile phone and the network devices 120-140 may be schematically depicted as a satellite in FIG. 1, it is understood that these depictions are exemplary in nature without suggesting any limitation. In other embodiments, the terminal device 110 and the network devices 120-140 may be any other communication devices, for example, any other wireless communication devices.

[0065] It is to be understood that the particular number of various communication devices and the particular number of various communication links as shown in FIG. 1A is for illustration purpose only without suggesting any limitations. The communication environment 100a may include any suitable number of communication devices and any suitable number of communication links for implementing embodiments of the present disclosure. In addition, it should be appreciated that there may be various wireless as well as wireline communications (if needed) among all of the communication devices.

[0066] FIG. 1B illustrates a management-based QoE measurement collection activation 100b related to some embodiments of the present disclosure. At 102b, a QoE measurement collection job may begin when the MnS Consumer 110b sends createMOI request for QMCJob to the MnS Producer or the gNB 115b. At 104b, the Application 125b in the UE may send AT command +CAPPLEVMCNR containing the parameter <n> set to 1 to the Access Stratum 120b. This enables the Access Stratum 120b to present an unsolicited result code to the Application at a later time.

[0067] At 106b, the UE 120b may register QMC capability with the gNB 115b by setting qoe-Streaming-MeasReport to “supported” in UE-NR-Capability. At 108b, the gNB 115b may start a network request session, with the QoE Reference given in createMOI for QMCJob. For the duration of the network request session, the gNB (s) checks for connections  where the UE has qoe-Streaming-MeasReport set to “supported” at 104b.

[0068] At 112b, if a UE has the wanted capability, the gNB 115b may store the associated qoECollectionEntityAddress and start a UE request session by sending RRCReconfiguration to the UE including serviceType, measConfigAppLayerId (set to the value of qoEReference from 106b) and measConfigAppLayerContainer.

[0069] At 114b, the access stratum in the UE 120 may send an unsolicited response to the Application 125b. At 116b, the QMC Job remains inactive until the Application 125b for the specified serviceType initiates service. At 118b, when the Application 125b begins service, it may send the AT command +CAPPLEVMRNR to indicate a recording session has started, to the access stratum 120b.

[0070] At 122b, the UE may send the message MeasurementReportAppLayer including measConfigAppLayerId and appLayerSessionStatus to the gNB 115b to indicate a recording session has started. At 114b, while active, the application 125b may collect measurement reports. When the QMC is completed or at the end of period for periodic report, the recorded information is formatted in a QMC report.

[0071] At 126b, when a formatted measurement report is available, the application 125b may send the AT command +CAPPLEVMRNR. If the QMC Job has ended, qoe_measurement_status is set to indicate the Job has ended. At 128b, When the AT command +CAPPLEVMRNR is received from the application 125b, the Access Stratum 120b may send the message MeasurementReportAppLayer to the gNB 115b.

[0072] At 132b, the gNB 115b may send the QMCRecord to the MCE 105b associated to the qoECollectionEntityAddress. The report contains the QoE Reference from 106b and measReportAppLayerContainer from 128b.

[0073] FIG. 1C illustrates a signaling-based QoE measurement collection activation 100c related to some embodiments of the present disclosure. At 102c, the UE may access to network by registration procedure. At 104c, the MnS Consumer 110c may sends createMOI request for QMCJob to the UDM 115c that controls the impacted gNB (s) 125c.

[0074] At 106c, The UDM 115c may insert subscriber related data and forwards it to the AMF 120c. At 108c, the AMF 120c may forward the configuration parameters to the impacted gNB 125c. At 108c, the gNB may checks if the UE capability matches the criteria for serviceType in the QoE measurement configuration information.

[0075] At 112c, the gNB 125c may check if the UE 130c has the wanted UE capability and starts a UE request session and stores the associated qoECollectionEntityAddress. At 114c, the gNB 125c may send the message RRCReconfiguration to the UE 130c. At 116c, the access stratum in the UE 130c may send an unsolicited response to the application 135c.

[0076] At 118c, when the application 135c for the specified serviceType starts, the QMC is initiated. To specify the session which is started, the application 135c may generate a recordingSessionId. At 122c, the application layer 135c may send the AT command +CAPPLEVMRNR. At 124c, the UE 130c may send the message MeasurementReportAppLayer to the gNB 125c.

[0077] At 126c, when the QMC is completed or at the end of period for periodic report, the recorded information is collected in a QMC report. At 128c, the application layer 135c may send the AT command +CAPPLEVMRNR indicating that session has ended and app-meas_report including recordingSessionId to the access stratum 130c.

[0078] At 132c, the UE 130 may send the message MeasurementReportAppLayer to the gNB 125c. At 134c, the gNB 125c may send the QMC report to the MCE 105c associated to the qoEReference. The report contains the qoEReference and the RAN transparent container.

[0079] FIG. 1D illustrates example 100d of AppLayerMeasConfig information element related to some embodiments of the present disclosure. There are two types of QoE reports for the provision of the QoE metrics. Application layer measurement reports received from UE’s application layer are encapsulated in a transparent container and sent to the network in the MeasurementReportAppLayer message (measConfigAppLayerContainer) .

[0080] The application layer sends the RAN visible QoE measurement report associated with the measurement configuration application layer ID to the UE's AS layer. If there is no reporting periodicity defined in the RAN visible QoE configuration, the UE sends both RAN visible QoE measurement reports and the QoE measurement reports to the gNB in the same MeasurementReportAppLayer message, except when QoE measurement reporting pause indication is received (RAN-VisibleParameters-r17) .

[0081] QoE metrics are specified for DASH, VR and MTSI services for container based measurements and for DASH and VR services for RAN Visible measurements. Container based QoE measurements are reported per service and they include (among others) Average Throughput, Average Throughput, Initial Playout Delay, Buffer Level, Comparable quality  viewport switching latency, Frame rate, Jitter duration, etc. It should be noted that these metrics are reported per service in a single container.

[0082] A multi-modal service is a communication service that consists of several data flows that relate to each other and are subject to application coordination. The data flows may transfer different types of data (for example audio, video, positioning, haptic data) and may come from different sources. The sources could be for e.g., a single UE, a single device or multiple devices connected to the single UE, or multiple UEs.

[0083] For the delivery of multi-modal services, the AF may request to the NEF multiple data flows via multiple PDU Sessions and separate request (s) per PDU Session to be setup with specific QoS requirements. The QoS requirements include QoS parameters (Requested Priority, Maximum Burst Size, requested 5GS Delay, Requested Maximum Bitrate, Requested Guaranteed Bitrate and Requested Packet Error Rate) , and QoS reference. For a multi-modal service, the AF may provide a multi-modal Service ID together with multi-modal Service Requirements information for each data flow.

[0084] FIG. 1E illustrates an example 100e of multi modal service and QoE measurement report provision related to some embodiments of the present disclosure. The data flow transmitted from a gaming sever 102e to a gaming client or UE 104e may include multiple data flows such as, flow 1 –video A flow, flow 2 –video B flow, flow 3 –audio flow, and flow 4 –messaging flow.

[0085] The gaming client or UE 104e may transmit a QoE measurement report for all flows to the MCE 106e. However, the MCE 106e may not understand which flow experiences bad or good QoE. In other words, using the normal format, the operator does not have specific information on a per service data flow but only for the service.

[0086] FIG. 2 illustrates a flowchart of method according to some embodiments of the present disclosure. For the purpose of discussion, the method 200 will be described with reference to FIG. 1A. It would be appreciated that although the process flow 200 has been described referring to FIG. 1A, this process flow 200 may be likewise applied to other similar communication scenarios.

[0087] In the process flow 200, a first network device 120 may transmit (205) a quality of experience (QoE) measurement configuration 202 to a terminal device 110. The QoE measurement configuration 202 may include a service type identifier of a service for which QoE measurement collection is to be performed, and the service may include multiple data  flows. Additionally, the QoE measurement configuration 202 may include one or more data flow type identifiers requesting the terminal device to perform QoE measurement collection for only these data flow types.

[0088] In some embodiments, the QoE measurement configuration 202 may include a data flow type requesting the terminal device to report only one or more data flows of the data flow type; an indicator to report all data flows of the service; a request to report quality of service (QoS) flow identifiers of QoS flows associated with the one or more data flows ofthe multiple data flows; a request to report a service identity (ID) of the service.

[0089] Upon receiving (210) the QoE measurement configuration 202 from the first network device 120, the terminal device 110 may perform (215) the QoE measurement collection for the multiple data flows separately to obtain measurements for one or more data flows of the multiple data flows. The terminal device 110 may then transmit (220) at least one QoE measurement report 204 including the measurements for one or more data flows of the multiple data flows to the first network device 120.

[0090] In some embodiments, the terminal device 110 may record the measurements for one or more data flows of the multiple data flows separately, and the measurements for one or more data flows may be identified by one or more data flow identifiers of the one or more data flows. In some further embodiments, the measurements for one or more data flows are associated with one or more quality of service QoS flow identifiers (QFIs) of the one or more QoS flows. In some further embodiments, the measurements for one or more data flows are further associated with multiple data flow types or data flow type identifiers.

[0091] In some example embodiments, the performing of QoE measurement collection or the recording of the measurements for one or more data flows may be performed by an application layer of the terminal device 110. In some example embodiments, the terminal device 110 may send the at least one QoE measurement report from an application layer of the terminal device to an access stratum (AS) layer of the terminal device 110.

[0092] In some embodiments, the measurements for one or more data flows of the multiple data flows are included in a single container in the at least one QoE measurement report. In some example embodiments, the measurements for one or more data flows are identified in the single container by the one or more data flow identifiers of the one or more data flows. In some embodiments, the measurements for one or more data flows in the single container are further associated with the one or more QFIs of the one or more QoS flows.

[0093] In some further embodiments, the terminal device 110 may exchange, between an application layer of the terminal device and a non-access stratum (NAS) layer of the terminal device, mapping relationship between the multiple data flow identifiers and the one or more QFIs of the one or more QoS flows.

[0094] In some further embodiments, the measurements for one or more data flows of the multiple data flows may be included in separate containers in the at least one QoE measurement report. In some example embodiments, the single container or the separate containers may include the service type identifier of the service; one or more data flow type identifiers of the one or more data flows; one or more data flow identifiers of the one or more data flows; or a service identity (ID) for the service.

[0095] For example, in some embodiments, the container sent from the terminal device 110 containing the QoE measurement report may include a service identity, if the service identity was received during PDU session establishment / modification; a service type identifier indicating the type of service; a data flow identifier for each reported data flow allowing the recipient to compare consecutive reports; a data flow type identifier for each reported data flow indicating the type of data flow because the recipient may not know what data flows and their types associated with the service.

[0096] In some embodiments, the measurements sent from the terminal device 110 may include a data flow type identifier in addition to data flow identifiers and associated QoS flow IDs. The MnS Consumer may request the terminal device 110 to measure and report only data flows of specific types (e.g. audio and video) and to not request QoE measurement and reporting for other types (e.g. messaging) . In some further embodiments, the data flow identifiers may be allocated by the application layer of the terminal device 110.

[0097] In some example embodiments, the terminal device 110 may obtain a service ID for the service during at least one of a protocol data unit (PDU) session establishment procedure or a PDU session modification procedure for the PDU session the service is associated with. In some example embodiments, the service type identifier may comprise a configuration bit in addition to a service type field, and the configuration bit may indicate that the QoE measurement collection is to be performed separately for the multiple data flows of the service.

[0098] In some further example embodiments, the terminal device 110 may transmit, to the first network device 120, capability information indicating capability of the terminal device  to perform the QoE measurement collection separately for the multiple data flows of the service. In some embodiments, the service may be associated with a single PDU session including the multiple data flows. Alternatively, or additionally, the service may be associated with multiple PDU sessions, and a PDU session among the multiple PDU sessions includes one or more data flows.

[0099] The first network device 120 may then receive (230) at least one QoE measurement report 204 including the measurements for one or more data flows of the multiple data flows from the terminal device 110. In some embodiments, a second network device 130 may transmit (235) a QoE measurement collection (QMC) configuration 206 to the first network device 120, and the QMC configuration 206 may include a service type identifier of a service for which QoE measurement collection is to be performed, and the service may include multiple data flows. Additionally, the QoE measurement configuration 206 may include one or more data flow type identifiers indicating to the terminal device the types of data flows for which to perform QoE measurement collection. In other words, one or more data flow type identifiers allows the QMC configuration to indicate that data flows of these types may be measured and reported.

[0100] If the QMC configuration does not include the one or more service data flow type identifiers, the terminal device 110 may perform QoE measurement collection for all service data flows. Alternatively, the QMC configuration may include an indication that the terminal device 110 may perform QoE measurement collection for all service data flows. The QMC configuration 206 may be transmitted directly to the second network device 130 or transmitted via at least one core network device.

[0101] In some embodiments, the first network device 120 may transmit, to the terminal device 110, a service ID for the service during a protocol data unit (PDU) session establishment procedure for the PDU session the service is associated with. In some further embodiments, the first network device 120 may receive, from the terminal device 110, capability information indicating capability of the terminal device to perform the QoE measurement collection separately for the multiple data flows of the service.

[0102] In some further embodiments, the first network device 120 may transmit, to a third network device 140, at least one QoE measurement report 204 including the measurements for one or more data flows of the multiple data flows. In some further embodiments, a third network device 140 may receive (240) the at least one QoE measurement report 204 including  measurements for one or more data flows of multiple data flows of a service from a first network device 120.

[0103] In some further embodiments, the first network device 120 may receive, from a second network device 130, the QMC configuration 206 including the service type identifier of the service for which the QoE measurement collection is to be performed. Additionally, the QoE measurement configuration 206 may include one or more data flow type identifiers indicating to the terminal device the types of data flows for which to perform QoE measurement collection. In some further embodiments, the QMC configuration may be received directly from the second network device 130 or received via at least one core network device.

[0104] In some further embodiments, the first network device 110 may be a base station or a core network device. The second network device 130 may comprise a management service (MnS) consumer. The third network device 140 may comprise a measurement collection entity.

[0105] FIG. 3 illustrates a process 300 for management-based QoE measurement collection activation on a per service data flow basis according to some embodiments of the present disclosure.

[0106] It is noted that FIG. 3 can be deemed as a further example of the process flow 200. For example, the UE 310 may be example devices of the terminal device 110, the gNB 320 may be the example devices of the network device 120. It is to be understood that these devices are described only for the purpose of illustration without suggesting any limitation as to the scope of the disclosure. This process will be described in detail as follows.

[0107] At 302, the MnS Consumer 330 may send the QMC configuration to the gNB 320 via core network device 325. This contains the qoEReference to be used to identify the created job and a new service type identifier to describe the multi-modal service type for which the QoE measurement collection should take place. Additionally, the QMC configuration may include one or more data flow type identifiers indicating to the terminal device the types of data flows for which to perform QoE measurement collection.

[0108] It is noted that the new service type may be an extension of already existing service types, such as DASH, VR, etc., by notifying the gNB 320 to configure the UE 310 to perform per service data flow reporting for the multi-modal services, which comprise e.g., multiple DASH services. This may be done with one additional configuration bit.

[0109] At 304, the gNB may identify that one (or more) UEs 310 have the capability to perform measurements for the multi-modal service and decides to trigger the QoE measurement collection. It is noted that as per standard procedure the UE 310 has already informed the gNB 320 about its capability to perform QoE measurements of the new service type.

[0110] At 306, the gNB 320 may send an RRCReconfiguration to the UE 310 for the QMC configuration which additionally includes the new multi-modal serviceType, and the configuration to perform measurements on a per service type and include a service type identifier in the QoE measurements container. This message may configure the UE 310 to include the QFI in the performed measurements to identify the different service data flows.

[0111] At 308, the access stratum in the UE 310 may send an unsolicited response to the application 315. At 312, the UE 310 may initiate a PDU session establishment procedure, for a multi modal service which includes more than one service data flow. The UE 310 may obtain service ID for the new multi modal service. Alternatively, the UE 310 may receive a PDU session modification command from the core 325, for a multi modal service which includes more than one service data flow.

[0112] At 314, when the application 315 begins service, the UE application 315 may initiate the QoE measurement collection. The measurement collection takes place on a per data flow basis and the UE 310 record the indicated measurements of the multi modal service per flow, including a service data flow identifier, a service data flow type identifier, e.g., Video / Audio / Messaging / etc., and optionally the QFI of QoS flow that is associated with service data flow. It is noted that in the context of this disclosure, “service data flow” and “data flow” may be used interchangeably.

[0113] From 316-318, the UE application 315 may notify the access stratum of the UE 310 that the measurement collection is initiated and the latter informs the gNB 320. At 322, while active, the application 315 may collect measurement reports. When the QMC is completed or at the end of period for periodic report, the recorded information is formatted in a QMC report.

[0114] At 324, when a formatted measurement report is available, the UE application 315 may send it to the AS of UE 310 the container for the multi modal service includes the measurements per data flow, with a service data flow identifier, and a service data flow type identifier, e.g., Video / Audio / Messaging / etc. (or Service A / B / C if the network is aware of the  mapping) , and optionally the QFI of QoS flow that is associated with service data flow.

[0115] At 326, the Access Stratum of the UE 310 may send the message measurement report to the gNB 320 which may in turns send it to the MCE 305. The report contains the QoE Reference from 306 and measurements from 324.

[0116] FIG. 4 illustrates a process 400 for signalling-based QoE measurement collection activation on a per service data flow basis according to some embodiments of the present disclosure. It is noted that in the above FIG. 4, the 6G nomenclature has been used but 5G architecture could have been used. In that case the 6G MM 435 would be mapped to AMF and the 6G SM 440 would be mapped to PCF and SMF.

[0117] It is also noted that the above description is relevant for a multi modal service with a single PDU session, with more than one service data flows, or with more than one PDU sessions per multi modal service, each of which can comprise one or more service data flows.

[0118] It is noted that FIG. 4 can be deemed as a further example of the process flow 200. For example, the UE 410 may be example devices of the terminal device 110, the gNB 420 may be the example devices of the network device 120. It is to be understood that these devices are described only for the purpose of illustration without suggesting any limitation as to the scope of the disclosure. This process will be described in detail as follows.

[0119] At 402, the UE 410 may register to the network. At 404, 406 and 408, the MnS Consumer 430 may send the QMC configuration to the gNB 420. The configuration may go through the UDM 425, and the 6G MM 435 using the respective messages. This may contain the qoEReference to be used to identify the created job and a new identifier to describe the multi-modal service type for which the QoE measurement collection should take place. Additionally, the QMC configuration may include one or more data flow type identifiers indicating to the terminal device the types of data flows for which to perform QoE measurement collection.

[0120] It is noted that the new service type may be an extension of already existing service types, such as DASH, VR, etc., by notifying the gNB 420 to configure the UE 410 to perform per service data flow reporting for the multi-modal services, which comprise e.g., multiple DASH services. This may be done with one additional configuration bit.

[0121] At 412, the gNB 420 may identify that one (or more) UEs 410 have the capability to perform measurements for the multi-modal service and decides to trigger the QoE measurement collection. It is noted that as per standard procedure the UE 410 has already  informed the gNB 420 about its capability to perform QoE measurements.

[0122] At 414, the gNB 420 may send an RRCReconfiguration to the UE 410 for the QMC configuration which additionally includes the new multi modal serviceType, and the configuration to perform measurements on a per service type and include a service type identifier in the QoE measurements container. This message may configure the UE 410 to include the QFI in the performed measurements to identify QoS flows associated with the different service data flows.

[0123] At 416, the access stratum in the UE 410 may send an unsolicited response to the application 415. At 418, the UE 410 may initiate a PDU Session Establishment procedure, for a multi modal service which includes more than one service data flow. The UE may obtain Service ID for the new multi modal service. Alternatively, the UE 410 may receive a PDU session modification command from the core 440, for a multi modal service which includes more than one service data flow.

[0124] At 422, when the application 415 begins service, the UE application 415 may initiate the QoE measurement collection. The measurement collection takes place on a per data flow basis and the UE records the indicated measurements of the multi modal service per data flow, including a service data flow identifier, a service data flow type identifier, e.g., Video / Audio / Messaging / etc., and optionally the QFI of QoS flow that is associated with the service data flow.

[0125] It is noted that the service data flow identifier may be a number allocated by the UE for the service data flow. It is assumed that a network function may not know how many service data flows the service comprises of and what type (e.g. video, audio) are these flows.

[0126] From 424 to 426, the UE application 415 may notifies the access stratum of the UE 410 that the measurement collection is initiated and the latter informs the gNB 420. At 428, while active, the application 428 may collect measurement reports. When the QMC is completed or at the end of period for periodic report, the recorded information is formatted in a QMC report.

[0127] At 432, When a formatted measurement report is available, the UE application 415 may send it to the UE-AS 410 –the container for the multi modal service includes the measurements per data flow, with a service data flow identifier, a service data flow type identifier, e.g., Video / Audio / Messaging / etc. (or Service A / B / C if the network is aware of the mapping) , and optionally the QFI of QoS flow that is associated with the service data flow.

[0128] At 434 The access stratum of UE 410 may send the message measurement report to the gNB 420 which may in turn send it to the MCE 405. The report contains the QoE reference from 406 and measurements from 432.

[0129] FIG. 5 illustrates a flowchart of a method 500 implemented at a terminal device in accordance with some example embodiments of the present disclosure. For the purpose of discussion, the method 500 will be described from the perspective of the terminal device 110 with reference to FIG. 1A.

[0130] At block 502, the terminal device 110 may receive, from a first network device, a quality of experience (QoE) measurement configuration including a service type identifier of a service for which QoE measurement collection is to be performed, and the service includes multiple data flows. At block 504, the terminal device 110 may perform the QoE measurement collection for the multiple data flows separately to obtain measurements for one or more data flows of the multiple data flows. At block 506, the terminal device 110 may transmit, to the first network device, at least one QoE measurement report including the measurements for one or more data flows of the multiple data flows.

[0131] In some embodiments, QoE measurement configuration may include a data flow type requesting the terminal device to report only one or more data flows of the data flow type; an indicator to report all data flows of the service; a request to report quality of service (QoS) flow identifiers of QoS flows associated with the one or more data flows of the multiple data flows; a request to report a service identity (ID) of the service.

[0132] In some embodiments, the terminal device may record the measurements for one or more data flows of the multiple data flows separately, and the measurements for one or more data flows are identified by the one or more data flow identifiers of the one or more data flows.

[0133] In some embodiments, the measurements for one or more data flows are further associated with one or more quality of service QoS flow identifiers (QFIs) of one or more QoS flows associated with the multiple data flows. In some embodiments, the performing of the QoE measurement collection or the recording of the measurements for one or more data flows may be performed by an application layer of the terminal device.

[0134] In some embodiments, the terminal device may send the at least one QoE measurement report from an application layer of the terminal device to an access stratum (AS) layer of the terminal device. In some embodiments, the measurements for one or more data  flows of the multiple data flows are included in a single container in the at least one QoE measurement report.

[0135] In some example embodiments, the measurements for one or more data flows may be identified in the single container by the one or more data flow identifiers of the one or more data flows. In some example embodiments, the measurements for one or more data flows in the single container are further associated with one or more QFIs of QoS flows associated with the multiple data flows.

[0136] In some embodiments, the terminal device may exchange, between an application layer of the terminal device and a non-access stratum (NAS) layer of the terminal device, mapping relationship between the multiple data flow identifiers and the one or more QFIs of one or more QoS flows associated with the multiple data flows.

[0137] In some embodiments, the measurements for one or more data flows of the multiple data flows are included in separate containers in the at least one QoE measurement report. In some embodiments, the single container or the separate containers comprise the service type identifier of the service; one or more data flow type identifiers of the one or more data flows; one or more data flow identifiers of the one or more data flows; or a service identity (ID) for the service.

[0138] In some embodiments, the terminal device may obtain a service ID for the service during at least one of a protocol data unit (PDU) session establishment procedure or a PDU session modification procedure for the service.

[0139] In some embodiments, the service type identifier comprises a configuration bit in addition to a service type field, wherein the configuration bit indicates that the QoE measurement collection is to be performed separately for the multiple data flows of the service.

[0140] In some embodiments, the terminal device may transmit, to the first network device, capability information indicating capability of the terminal device to perform the QoE measurement collection separately for the multiple data flows of the service.

[0141] In some example embodiments, the service is associated with a single PDU session including the multiple data flows; or the service is associated with multiple PDU sessions, wherein a PDU session among the multiple PDU sessions includes one or more data flows. In some example embodiments, the first network device is a base station or a core network device.

[0142] FIG. 6 illustrates a flowchart of a method 600 implemented at a first network device in accordance with some example embodiments of the present disclosure. For the purpose of discussion, the method 600 will be described from the perspective of the first network device 120 with reference to FIG. 1A.

[0143] At 602, the first network device 120 may transmit, to a terminal device, a quality of experience (QoE) measurement configuration including a service type identifier of a service for which QoE measurement collection is to be performed, wherein the service includes multiple data flows. At 604, the first network device 120 may receive, from the terminal device, at least one QoE measurement report including the measurements for one or more data flows of the multiple data flows. Additionally, the QoE measurement configuration may include one or more data flow type identifiers indicating to the terminal device the types of data flows for which to perform QoE measurement collection.

[0144] In some embodiments, QoE measurement configuration may include a data flow type requesting the terminal device to report only one or more data flows of the data flow type; an indicator to report all data flows of the service; a request to report quality of service (QoS) flow identifiers of QoS flows associated with the one or more data flows ofthe multiple data flows; a request to report a service identity (ID) of the service.

[0145] In some embodiments, the measurements for one or more data flows of the multiple data flows are included in a single container in the at least one QoE measurement report. In some embodiments, the measurements for one or more data flows are identified in the single container by the one or more data flow identifiers of the one or more data flows.

[0146] In some embodiments, the measurements for one or more data flows in the single container are further associated with one or more QoS flow identifiers (QFIs) of one or more QoS flows. In some embodiments, the measurements for one or more data flows of the multiple data flows are included in separate containers in the at least one QoE measurement report.

[0147] In some further embodiments, the single container or the separate containers may comprise the service type identifier of the service; one or more data flow type identifiers of the one or more data flows; one or more data flow identifiers of the one or more data flows; or a service identity (ID) for the service. In some further embodiments, the first network device may transmit, to the terminal device, a service ID for the service during a protocol data unit (PDU) session establishment procedure for PDU session associated with the service.

[0148] In some further embodiments, the service type identifier comprises a configuration bit in addition to a service type field, and the configuration bit indicates that the QoE measurement collection is to be performed separately for the multiple data flows of the service.

[0149] In some further embodiments, the first network device may receive, from the terminal device, capability information indicating capability of the terminal device to perform the QoE measurement collection separately for the multiple data flows of the service.

[0150] In some further example, embodiments, the first network device may receive, from a second network device, a QoE measurement collection (QMC) configuration including the service type identifier of the service for which the QoE measurement collection is to be performed.

[0151] In some further embodiments, the QMC configuration is received directly from the second network device or received via at least one core network device. In some further embodiments, the first network device may transmit, to a third network device, the at least one QoE measurement report including the measurements for one or more data flows of the multiple data flows.

[0152] In some further embodiments, the service is associated with a single PDU session including the multiple data flows, or the service is associated with multiple PDU sessions, and a PDU session among the multiple PDU sessions includes one or more data flows. In some example embodiments, the first network device is a base station or a core network device.

[0153] FIG. 7 illustrates a flowchart of a method 700 implemented at a second network device in accordance with some example embodiments of the present disclosure. For the purpose of discussion, the method 700 will be described from the perspective of the second network device 130 with reference to FIG. 1A.

[0154] At 702, the second network device 130 may transmit, to a first network device, a quality of experience (QoE) measurement collection (QMC) configuration including a service type identifier of a service for which QoE measurement collection is to be performed, wherein the service includes multiple data flows.

[0155] In some further embodiments, the QMC configuration is transmitted directly to the second network device or transmitted via at least one core network device. The first network device may comprise a base station or a core network device, and the second network  device may comprise a management service (MnS) consumer.

[0156] FIG. 8 illustrates a flowchart of a method 800 implemented at a third network device in accordance with some example embodiments of the present disclosure. For the purpose of discussion, the method 800 will be described from the perspective of the second network device 140 with reference to FIG. 1A.

[0157] At 802, the third network device 140 may receive, from a first network device, a quality of experience (QoE) measurement report including measurements for one or more data flows of multiple data flows of a service. The first network device may comprise a base station or a core network device, and the third network device may comprise a measurement collection entity.

[0158] In some embodiments, an apparatus capable of performing any of the method 500 (for example, the terminal device 110) may comprise means for performing the respective steps of the method 500. The means may be implemented in any suitable form. For example, the means may be implemented in a circuitry or software module.

[0159] In some embodiments, the apparatus comprises means for receiving, from a first network device, a quality of experience (QoE) measurement configuration including a service type identifier of a service for which QoE measurement collection is to be performed, and the service includes multiple data flows. The apparatus comprises means for performing the QoE measurement collection for the multiple data flows separately to obtain measurements for one or more data flows of the multiple data flows. The apparatus comprises means for transmitting, to the first network device, at least one QoE measurement report including the measurements for one or more data flows of the multiple data flows.

[0160] In some embodiments, the apparatus comprises means for recording the measurements for one or more data flows of the multiple data flows separately, and the measurements for one or more data flows are identified by one or more data flow identifiers of the one or more data flows.

[0161] In some embodiments, the measurements for one or more data flows are further associated with one or more QoS flow identifiers (QFIs) of one or more QoS flows associated with the multiple data flows. In some embodiments, the performing of the QoE measurement collection or the recording of the measurements for one or more data flows may be performed by an application layer of the terminal device.

[0162] In some embodiments, the apparatus comprises means for sending the at least one  QoE measurement report from an application layer of the terminal device to an access stratum (AS) layer of the terminal device. In some embodiments, the measurements for one or more data flows of the multiple data flows are included in a single container in the at least one QoE measurement report.

[0163] In some example embodiments, the measurements for one or more data flows may be identified in the single container by the one or more data flow identifiers of the one or more data flows. In some example embodiments, the measurements for one or more data flows in the single container are further associated with the one or more QFIs of the one or more QoS flows.

[0164] In some embodiments, the apparatus comprises means for exchanging, between an application layer of the terminal device and a non-access stratum (NAS) layer of the terminal device, mapping relationship between the multiple data flow identifiers and the one or more QoS QFIs of the one or more QoS flows.

[0165] In some embodiments, the measurements for one or more data flows of the multiple data flows are included in separate containers in the at least one QoE measurement report. In some embodiments, the single container or the separate containers comprise the service type identifier of the service; one or more data flow type identifiers of the one or more data flows; one or more data flow identifiers of the one or more data flows; or a service identity (ID) for the service.

[0166] In some embodiments, the apparatus comprises means for obtaining a service ID for the service during at least one of a protocol data unit (PDU) session establishment procedure or a PDU session modification procedure for the service.

[0167] In some embodiments, the service type identifier comprises a configuration bit in addition to a service type field, and the configuration bit indicates that the QoE measurement collection is to be performed separately for the multiple data flows of the service.

[0168] In some embodiments, the apparatus comprises means for transmitting, to the first network device, capability information indicating capability of the terminal device to perform the QoE measurement collection separately for the multiple data flows of the service.

[0169] In some example embodiments, the service is associated with a single PDU session including the multiple data flows; or the service is associated with multiple PDU sessions, wherein a PDU session among the multiple PDU sessions includes one or more data flows. In some example embodiments, the first network device is a base station or a core network  device.

[0170] In some embodiments, the apparatus further comprises means for performing other steps in some embodiments of the method 500. In some embodiments, the means comprises at least one processor and at least one memory including computer program code, the at least one memory and computer program code configured to, with the at least one processor, cause the performance of the apparatus.

[0171] In some embodiments, an apparatus capable of performing any of the method 600 (for example, the first network device 120) may comprise means for performing the respective steps of the method 600. The means may be implemented in any suitable form. For example, the means may be implemented in a circuitry or software module.

[0172] In some embodiments, the apparatus comprises means for transmitting, to a terminal device, a quality of experience (QoE) measurement configuration including a service type identifier of a service for which QoE measurement collection is to be performed, wherein the service includes multiple data flows. In some embodiments, the apparatus comprises means for receiving, from the terminal device, at least one QoE measurement report including the measurements for one or more data flows of the multiple data flows.

[0173] In some embodiments, the measurements for one or more data flows of the multiple data flows are included in a single container in the at least one QoE measurement report. In some embodiments, the measurements for one or more data flows are identified in the single container by the one or more data flow identifiers of the one or more data flows.

[0174] In some embodiments, the measurements for one or more data flows in the single container are further associated with one or more QoS flow identifiers (QFIs) of one or more QoS flows associated with the multiple data flows. In some embodiments, the measurements for one or more data flows of the multiple data flows are included in separate containers in the at least one QoE measurement report.

[0175] In some further embodiments, the single container or the separate containers may comprise the service type identifier of the service; one or more data flow type identifiers of the one or more data flows; one or more data flow identifiers of the one or more data flows; or a service identity (ID) for the service. In some embodiments, the apparatus comprises means for transmitting, to the terminal device, a service ID for the service during a protocol data unit (PDU) session establishment procedure for the service.

[0176] In some further embodiments, the service type identifier comprises a configuration  bit in addition to a service type field, and the configuration bit indicates that the QoE measurement collection is to be performed separately for the multiple data flows of the service.

[0177] In some embodiments, the apparatus comprises means for receiving, from the terminal device, capability information indicating capability of the terminal device to perform the QoE measurement collection separately for the multiple data flows of the service.

[0178] In some embodiments, the apparatus comprises means for receiving, from a second network device, a QoE measurement collection (QMC) configuration including the service type identifier of the service for which the QoE measurement collection is to be performed.

[0179] In some further embodiments, the QMC configuration is received directly from the second network device or received via at least one core network device. In some embodiments, the apparatus comprises means for transmitting, to a third network device, the at least one QoE measurement report including the measurements for one or more data flows of the multiple data flows.

[0180] In some further embodiments, the service is associated with a single PDU session including the multiple data flows, or the service is associated with multiple PDU sessions, and a PDU session among the multiple PDU sessions includes one or more data flows. In some example embodiments, the first network device is a base station or a core network device.

[0181] In some embodiments, the apparatus further comprises means for performing other steps in some embodiments of the method 600. In some embodiments, the means comprises at least one processor and at least one memory including computer program code, the at least one memory and computer program code configured to, with the at least one processor, cause the performance of the apparatus.

[0182] In some embodiments, an apparatus capable of performing any of the method 700 (for example, the second network device 130) may comprise means for performing the respective steps of the method 700. The means may be implemented in any suitable form. For example, the means may be implemented in a circuitry or software module.

[0183] In some embodiments, the apparatus comprises means for transmitting, to a first network device, a quality of experience (QoE) measurement collection (QMC) configuration including a service type identifier of a service for which QoE measurement collection is to be performed, wherein the service includes multiple data flows.

[0184] In some further embodiments, the QMC configuration is transmitted directly to the second network device or transmitted via at least one core network device. The first network device may comprise a base station or a core network device, and the second network device may comprise a management service (MnS) consumer.

[0185] In some embodiments, the apparatus further comprises means for performing other steps in some embodiments of the method 700. In some embodiments, the means comprises at least one processor and at least one memory including computer program code, the at least one memory and computer program code configured to, with the at least one processor, cause the performance of the apparatus.

[0186] In some embodiments, an apparatus capable of performing any of the method 800 (for example, the third network device 140) may comprise means for performing the respective steps of the method 800. The means may be implemented in any suitable form. For example, the means may be implemented in a circuitry or software module.

[0187] In some embodiments, the apparatus comprises means for receiving, from a first network device, a quality of experience (QoE) measurement report including measurements for one or more data flows of multiple data flows of a service. The first network device may comprise a base station or a core network device, and the third network device may comprise a measurement collection entity.

[0188] In some embodiments, the apparatus further comprises means for performing other steps in some embodiments of the method 800. In some embodiments, the means comprises at least one processor and at least one memory including computer program code, the at least one memory and computer program code configured to, with the at least one processor, cause the performance of the apparatus.

[0189] FIG. 9 illustrates simplified block diagram of a device 900 that is suitable for implementing some example embodiments of the present disclosure. The device 900 may be provided to implement a communication device, for example, the terminal device 90 and the network device 120 as shown in FIG. 1A. As shown, the device 900 includes one or more processors 910, one or more memories 920 coupled to the processor 910, and one or more communication modules 940 coupled to the processor 910.

[0190] The communication module 940 is for bidirectional communications. The communication module 940 has at least one antenna to facilitate communication. The  communication interface may represent any interface that is necessary for communication with other network elements.

[0191] The processor 910 may be of any type suitable to the local technical network and may include one or more of the following: general purpose computers, special purpose computers, microprocessors, digital signal processors (DSPs) and processors based on multicore processor architecture, as non-limiting examples. The device 900 may have multiple processors, such as an application specific integrated circuit chip that is slaved in time to a clock which synchronizes the main processor.

[0192] The memory 920 may include one or more non-volatile memories and one or more volatile memories. Examples of the non-volatile memories include, but are not limited to, a Read Only Memory (ROM) 924, an electrically programmable read only memory (EPROM) , a flash memory, a hard disk, a compact disc (CD) , a digital video disk (DVD) , and other magnetic storage and / or optical storage. Examples of the volatile memories include, but are not limited to, a random access memory (RAM) 922 and other volatile memories that will not last in the power-down duration.

[0193] A computer program 930 includes computer executable instructions that are executed by the associated processor 910. The program 930 may be stored in the ROM 924. The processor 910 may perform any suitable actions and processing by loading the program 930 into the RAM 922.

[0194] The embodiments of the present disclosure may be implemented by means of the program 930 so that the device 900 may perform any process of the disclosure as discussed with reference to FIG. 2. The embodiments of the present disclosure may also be implemented by hardware or by a combination of software and hardware.

[0195] In some example embodiments, the program 930 may be tangibly contained in a computer readable medium which may be included in the device 900 (such as in the memory 920) or other storage devices that are accessible by the device 900. The device 900 may load the program 930 from the computer readable medium to the RAM 922 for execution. The computer readable medium may include any types of tangible non-volatile storage, such as ROM, EPROM, a flash memory, a hard disk, CD, DVD, and the like.

[0196] FIG. 10 illustrates a block diagram of an example of a computer readable medium 1000 in accordance with some example embodiments of the present disclosure. The computer readable medium 1000 has the program 930 stored thereon. It is noted that  although the computer readable medium 1000 is depicted in form of CD or DVD in FIG. 10, the computer readable medium 1000 may be in any other form suitable for carry or hold the program 930.

[0197] Generally, various embodiments of the present disclosure may be implemented in hardware or special purpose circuits, software, logic or any combination thereof. Some aspects may be implemented in hardware, while other aspects may be implemented in firmware or software which may be executed by a controller, microprocessor or other computing device. While various aspects of embodiments of the present disclosure are illustrated and described as block diagrams, flowcharts, or using some other pictorial representations, it is to be understood that the block, apparatus, system, technique or method described herein may be implemented in, as non-limiting examples, hardware, software, firmware, special purpose circuits or logic, general purpose hardware or controller or other computing devices, or some combination thereof.

[0198] The present disclosure also provides at least one computer program product tangibly stored on a non-transitory computer readable storage medium. The computer program product includes computer-executable instructions, such as those included in program modules, being executed in a device on a target real or virtual processor, to carry out the method 500 or 600 as described above with reference to FIG. 5 or 6. Generally, program modules include routines, programs, libraries, objects, classes, components, data structures, or the like that perform particular tasks or implement particular abstract data types. The functionality of the program modules may be combined or split between program modules as desired in various embodiments. Machine-executable instructions for program modules may be executed within a local or distributed device. In a distributed device, program modules may be located in both local and remote storage media.

[0199] Program code for carrying out methods of the present disclosure may be written in any combination of one or more programming languages. These program codes may be provided to a processor or controller of a general purpose computer, special purpose computer, or other programmable data processing apparatus, such that the program codes, when executed by the processor or controller, cause the functions / operations specified in the flowcharts and / or block diagrams to be implemented. The program code may execute entirely on a machine, partly on the machine, as a stand-alone software package, partly on the machine and partly on a remote machine or entirely on the remote machine or server.

[0200] In the context of the present disclosure, the computer program codes or related data may be carried by any suitable carrier to enable the device, apparatus or processor to perform various processes and operations as described above. Examples of the carrier include a signal, computer readable medium, and the like.

[0201] The computer readable medium may be a computer readable signal medium or a computer readable storage medium. A computer readable medium may include but not limited to an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any suitable combination of the foregoing. More specific examples of the computer readable storage medium would include an electrical connection having one or more wires, a portable computer diskette, a hard disk, a random access memory (RAM) , a read-only memory (ROM) , an erasable programmable read-only memory (EPROM or Flash memory) , an optical fiber, a portable compact disc read-only memory (CD-ROM) , an optical storage device, a magnetic storage device, or any suitable combination of the foregoing. The term “non-transitory, ” as used herein, is a limitation of the medium itself (i.e., tangible, not a signal) as opposed to a limitation on data storage persistency (e.g., RAM vs. ROM) .

[0202] Further, while operations are depicted in a particular order, this should not be understood as requiring that such operations be performed in the particular order shown or in sequential order, or that all illustrated operations be performed, to achieve desirable results. In certain circumstances, multitasking and parallel processing may be advantageous. Likewise, while several specific implementation details are contained in the above discussions, these should not be construed as limitations on the scope of the present disclosure, but rather as descriptions of features that may be specific to particular embodiments. Certain features that are described in the context of separate embodiments may also be implemented in combination in a single embodiment. Conversely, various features that are described in the context of a single embodiment may also be implemented in multiple embodiments separately or in any suitable sub-combination.

[0203] Although the present disclosure has been described in languages specific to structural features and / or methodological acts, it is to be understood that the present disclosure defined in the appended claims is not necessarily limited to the specific features or acts described above. Rather, the specific features and acts described above are disclosed as example forms of implementing the claims.

Claims

1.A terminal device comprising:at least one processor; andat least one memory storing instructions that, when executed by the at least one processor, cause the terminal device at least to:receive, from a first network device, a quality of experience (QoE) measurement configuration including a service type identifier of a service for which QoE measurement collection is to be performed, wherein the service includes multiple data flows;perform the QoE measurement collection for the multiple data flows separately to obtain measurements for one or more data flows of the multiple data flows; andtransmit, to the first network device, at least one QoE measurement report including the measurements for the one or more data flows of the multiple data flows.2.The terminal device of claim 1, wherein the QoE measurement configuration includes at least one of the following:a data flow type requesting the terminal device to report only one or more data flows of the data flow type;an indicator to report all data flows of the service;a request to report quality of service (QoS) flow identifiers of QoS flows associated with the one or more data flows of the multiple data flows; ora request to report a service identity (ID) of the service.3.The terminal device of claim 1 or 2, wherein the terminal device is further caused to:record the measurements for one or more data flows of the multiple data flows separately, wherein the measurements for one or more data flows are identified by one or more data flow identifiers of the one or more data flows.4.The terminal device of claim 1or 2, wherein the measurements for one or more data flows are associated with one or more QoS flow identifiers (QFIs) of one or more QoS flows.5.The terminal device of any of claims 1-4, wherein at least one of the performing of the QoE measurement collection or the recording of the measurements for one or more data flows is performed by an application layer of the terminal device.6.The terminal device of any of claims 1-5, wherein the terminal device is further caused to:send the at least one QoE measurement report from an application layer of the terminal device to an access stratum (AS) layer of the terminal device.7.The terminal device of any of claims 1-6, wherein the measurements for one or more data flows of the multiple data flows are included in a single container in the at least one QoE measurement report.8.The terminal device of claim 7, wherein the measurements for the one or more data flows are identified in the single container by the one or more data flow identifiers of the one or more data flows.9.The terminal device of claim 8, wherein the measurements for the one or more data flows in the single container are further associated with the one or more QFIs of the one or more QoS flows.10.The terminal device of claim 4 or 9, wherein the terminal device is further caused to:exchange, between an application layer of the terminal device and a non-access stratum (NAS) layer of the terminal device, mapping relationship between the multiple data flow identifiers and the one or more QFIs of the one or more QoS flows.11.The terminal device of any of claims 1-6, wherein the measurements for the one or more data flows of the multiple data flows are included in separate containers in the at least one QoE measurement report.12.The terminal device of any of claims 7-11, wherein the single container or the separate containers comprise at least one of the following:the service type identifier of the service;one or more data flow type identifiers of the one or more data flows;one or more data flow identifiers of the one or more data flows; ora service identity (ID) for the service.13.The terminal device of any of claims 1-12, wherein the terminal device is further caused to:obtain a service ID for the service during at least one of a protocol data unit (PDU) session establishment procedure or a PDU session modification procedure for the service.14.The terminal device of any of claims 1-13, wherein the service type identifier comprises a configuration bit in addition to a service type field, wherein the configuration bit indicates that the QoE measurement collection is to be performed separately for the one or more data flows of the multiple data flows of the service.15.The terminal device of any of claims 1-16, wherein the terminal device is further caused to:transmit, to the first network device, capability information indicating capability of the terminal device to perform the QoE measurement collection separately for the multiple data flows of the service.16.The terminal device of any of claims 1-15, wherein:the service is associated with a single PDU session including the multiple data flows; orthe service is associated with multiple PDU sessions, wherein a PDU session among the multiple PDU sessions includes one or more data flows.17.The terminal device of any of claims 1-16, wherein the first network device is a base station or a core network device.18.A first network device comprising:at least one processor; andat least one memory storing instructions that, when executed by the at least one processor, cause the first network device at least to:transmit, to a terminal device, a quality of experience (QoE) measurement configuration including a service type identifier of a service for which QoE measurement collection is to be performed, wherein the service includes multiple data flows; andreceive, from the terminal device, at least one QoE measurement report including the measurements for one or more data flows of the multiple data flows.19.The first network device of claim 18, wherein the QoE measurement configuration includes at least one of the following:a data flow type requesting the terminal device to report only one or more data flows of the data flow type;an indicator to report all data flows of the service;a request to report quality of service (QoS) flow identifiers of QoS flows associated with the one or more data flows of the multiple data flows; ora request to report a service identity (ID) of the service.20.The first network device of claim 18, wherein the measurements for one or more data flows of the multiple data flows are included in a single container in the at least one QoE measurement report.21.The first network device of claim 20, wherein the measurements for one or more data flows are identified in the single container by the one or more data flow identifiers of the one or more data flows.22.The first network device of claim 18, wherein the measurements for one or more data flows in the single container are further associated with one or more QoS flow identifiers (QFIs) of one or more QoS flows.23.The first network device of claim 18, wherein the measurements for one or more data flows of the multiple data flows are included in separate containers in the at least one QoE measurement report.24.The first network device of any of claims 20-23, wherein the single container or the separate containers comprise at least one of the following:the service type identifier of the service;one or more data flow type identifiers of the one or more data flows;one or more data flow identifiers of the one or more data flows; ora service identity (ID) for the service.25.The first network device of any of claims 18-24, wherein the first network device is further caused to:transmit, to the terminal device, a service ID for the service during a protocol data unit (PDU) session establishment procedure for the service.26.The first network device of any of claims 18-25, wherein the service type identifier comprises a configuration bit in addition to a service type field, wherein the configuration bit indicates that the QoE measurement collection is to be performed separately for the multiple data flows of the service.27.The first network device of any of claims 18-26, wherein the first network device is further caused to:receive, from the terminal device, capability information indicating capability of the terminal device to perform the QoE measurement collection separately for the multiple data flows of the service.28.The first network device of any of claims 18-27, wherein the first network device is further caused to:receive, from a second network device, a QoE measurement collection (QMC) configuration including the service type identifier of the service for which the QoE measurement collection is to be performed.29.The first network device of claim 28, wherein the QMC configuration is received directly from the second network device or received via at least one core network device.30.The first network device of any of claims 18-29, wherein the first network device is further caused to:transmit, to a third network device, the at least one QoE measurement report including the measurements for one or more data flows of the multiple data flows.31.The first network device of any of claims 18-30, wherein:the service is associated with a single PDU session including the multiple data flows; orthe service is associated with multiple PDU sessions, wherein a PDU session among the multiple PDU sessions includes one or more data flows.32.The first network device of any of claims 18-31, wherein the first network device is a base station or a core network device.33.A second network device comprising:at least one processor; andat least one memory storing instructions that, when executed by the at least one processor, cause the second network device at least to:transmit, to a first network device, a quality of experience (QoE) measurement collection (QMC) configuration including a service type identifier of a service for which QoE measurement collection is to be performed, wherein the service includes multiple data flows.34.The second network device of claim 33, wherein the QMC configuration is transmitted directly to the second network device or transmitted via at least one core network device.35.The second network device of claim 33, wherein:the first network device comprises a base station or a core network device; andthe second network device comprises a management service (MnS) consumer.36.A third network device comprising:at least one processor; andat least one memory storing instructions that, when executed by the at least one processor, cause the third network device at least to:receive, from a first network device, a quality of experience (QoE) measurement report including measurements for one or more data flows of multiple data flows of a service.37.The third network device of claim 36, wherein the first network device comprises a base station or a core network device, and the third network device comprises a measurement collection entity.38.A method comprising:receiving, from a first network device, a quality of experience (QoE) measurement configuration including a service type identifier of a service for which QoE measurement collection is to be performed, wherein the service includes multiple data flows;performing the QoE measurement collection for the multiple data flows separately to obtain measurements for one or more data flows of the multiple data flows; andtransmitting, to the first network device, at least one QoE measurement report including the measurements for one or more data flows of the multiple data flows.39.A method comprising:transmitting, to a terminal device, a quality of experience (QoE) measurement configuration including a service type identifier of a service for which QoE measurement collection is to be performed, wherein the service includes multiple data flows; andreceiving, from the terminal device, at least one QoE measurement report including the measurements for one or more data flows of the multiple data flows.40.A method comprising:transmitting, to a first network device, a quality of experience (QoE) measurement collection (QMC) configuration including a service type identifier of a service for which QoE measurement collection is to be performed, wherein the service includes multiple data flows.41.A method comprising:receiving, from a first network device, a quality of experience (QoE) measurement report including measurements for one or more data flows of multiple data flows of a service.42.An apparatus comprising:means for receiving, from a first network device, a quality of experience (QoE) measurement configuration including a service type identifier of a service for which QoE measurement collection is to be performed, wherein the service includes multiple data flows;means for performing the QoE measurement collection for the multiple data flows separately to obtain measurements for one or more data flows of the multiple data flows; andmeans for transmitting, to the first network device, at least one QoE measurement report including the measurements for one or more data flows of the multiple data flows.43.An apparatus comprising:means for transmitting, to a terminal device, a quality of experience (QoE) measurement configuration including a service type identifier of a service for which QoE measurement collection is to be performed, wherein the service includes multiple data flows; andmeans for receiving, from the terminal device, at least one QoE measurement report including the measurements for one or more data flows of the multiple data flows.44.An apparatus comprising:means for transmitting, to a first network device, a quality of experience (QoE) measurement collection (QMC) configuration including a service type identifier of a service for which QoE measurement collection is to be performed, wherein the service includes multiple data flows.45.A apparatus comprising:means for receiving, from a first network device, a quality of experience (QoE) measurement report including measurements for one or more data flows of multiple data flows of a service.46.A computer readable medium comprising program instructions for causing an apparatus to perform at least the methods of claims 38-41.

Images