Synchronization of multi-modality service

Abstract

Embodiments of the present disclosure relate to the synchronization of multi-modality service. In an aspect, a communication device determines an association between a plurality of data flows. Moreover, the communication device processes the plurality of data flows based on the association.

Description

SYNCHRONIZATION OF MULTI-MODALITY SERVICEFIELD

[0001] Various example embodiments relate to the field of communications and in particular, to devices, methods, apparatuses, and computer readable storage media for the synchronization of multi-modality service.BACKGROUND

[0002] A communication network can be seen as a facility that enables communications between two or more communication devices, or provides communication devices access to a data network. A mobile or wireless communication network is one example of a communication network.

[0003] Such communication networks operate in accordance with standards, such as those promulgated by 3GPP (Third Generation Partnership Project) or ETSI (European Telecommunications Standards Institute) . Examples of such standards include the so-called 5G (5th Generation) standard or other standards promulgated by 3GPP.SUMMARY

[0004] In general, example embodiments of the present disclosure provide a solution related to the synchronization of multi-modality service. A multi-modality service is a communication service that consists of several data flows that relate to each other and that are subject to application coordination. The data flows can transfer different types of data (for example audio, video, positioning, haptic data) .

[0005] In a first aspect, there is provided a communication device. The communication device comprises at least one processor and at least one memory storing instructions that, when executed by the at least one processor, cause the communication device at least to: determine an association between a plurality of data flows; and process the plurality of data flows based on the association.

[0006] In a second aspect, there is provided a method. The method comprises determining, at a communication device, an association between a plurality of data flows; and processing, at the communication device, the plurality of data flows based on the association.

[0007] In a third aspect, there is provided an apparatus. The apparatus comprises means for determining, at a communication device, an association between a plurality of data flows; and means for processing, at the communication device, the plurality of data flows based on the association.

[0008] In a fourth aspect, there is provided a non-transitory computer readable medium comprising program instructions for causing an apparatus to perform at least the method according to the above second aspect.

[0009] In a fifth aspect, there is provided a computer program comprising instructions, which, when executed by an apparatus, cause the apparatus at least to perform at least the method according to the above second aspect.

[0010] In a sixth aspect, there is provided a communicaiton device. The communicaiton device comprises determining circuitry configured to determine an association between a plurality of data flows, and processing circuitry configured to process the plurality of data flows based on the association.

[0011] It is to be understood that the summary section is not intended to identify key or essential features of embodiments of the present disclosure, nor is it intended to be used to limit the scope of the present disclosure. Other features of the present disclosure will become easily comprehensible through the following description.BRIEF DESCRIPTION OF THE DRAWINGS

[0012] Some example embodiments will now be described with reference to the accompanying drawings, in which:

[0013] FIG. 1A illustrates an example environment in which example embodiments of the present disclosure can be implemented;

[0014] FIG. 1B illustrates an example of multi-modality in 5G XR service associated with some embodiments of the present disclosure;

[0015] FIGS. 1C and ID illustrate two options for haptic stream and video stream modeling associated with some embodiments of the present disclosure;

[0016] FIG. 1E illustrates example typical synchronization thresholds for the immersive multi-modality virtual reality (VR) applications in the 5G system associated with some embodiments of the present disclosure

[0017] FIG. 2 illustrates a flowchart of a method implemented at a communication device according to some embodiments of the present disclosure;

[0018] FIG. 3 illustrates an example super protocol data unit (PDU) set according to some embodiments of the present disclosure;

[0019] FIG. 4 illustrates a simplified block diagram of a device that is suitable for implementing some example embodiments of the present disclosure; and

[0020] FIG. 5 illustrates a block diagram of an example of a computer readable medium in accordance with some example embodiments of the present disclosure.

[0021] Throughout the drawings, the same or similar reference numerals represent the same or similar element.DETAILED DESCRIPTION

[0022] Principle of the present disclosure will now be described with reference to some example embodiments. It is to be understood that these embodiments are described for the purpose of illustration and help those skilled in the art to understand and implement the present disclosure, without suggesting any limitation as to the scope of the disclosure. The disclosure described herein can be implemented in various manners other than the ones described below.

[0023] In the following description and claims, unless defined otherwise, all technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skills in the art to which this disclosure belongs.

[0024] References in the present disclosure to “one embodiment, ” “an embodiment, ” “an example embodiment, ” and the like indicate that the embodiment described may include a particular feature, structure, or characteristic, but it is not necessary that every embodiment includes the particular feature, structure, or characteristic. Moreover, such phrases are not necessarily referring to the same embodiment. Further, when a particular feature, structure, or characteristic is described in connection with an embodiment, it is submitted that it is within the knowledge of one skilled in the art to affect such feature, structure, or characteristic in connection with other embodiments whether or not explicitly described.

[0025] It shall be understood that although the terms “first” and “second” etc. may be used herein to describe various elements, these elements should not be limited by these terms.  These terms are only used to distinguish one element from another. For example, a first element could be termed a second element, and similarly, a second element could be termed a first element, without departing from the scope of example embodiments. As used herein, the term “and / or” includes any and all combinations of one or more of the listed terms.

[0026] The terminology used herein is for the purpose of describing particular embodiments and is not intended to be limiting of example embodiments. As used herein, the singular forms “a” , “an” and “the” are intended to include the plural forms as well, unless the context clearly indicates otherwise. It will be further understood that the terms “comprises” , “comprising” , “has” , “having” , “includes” and / or “including” , when used herein, specify the presence of stated features, elements, and / or components etc., but do not preclude the presence or addition of one or more other features, elements, components and / or combinations thereof. As used herein, “at least one of the following: <a list of two or more elements>” and “at least one of <a list of two or more elements>” and similar wording, where the list of two or more elements are joined by “and” or “or” , mean at least any one of the elements, or at least any two or more of the elements, or at least all the elements.

[0027] As used in this application, the term “circuitry” may refer to one or more or all of the following:

[0028] (a) hardware-only circuit implementations (such as implementations in only analog and / or digital circuitry) and

[0029] (b) combinations of hardware circuits and software, such as (as applicable) :

[0030] (i) a combination of analog and / or digital hardware circuit (s) with software / firmware and

[0031] (ii) any portions of hardware processor (s) with software (including digital signal processor (s) ) , software, and memory (ies) that work together to cause an apparatus, such as a mobile phone or server, to perform various functions) and

[0032] (c) hardware circuit (s) and or processor (s) , such as a microprocessor (s) or a portion of a microprocessor (s) , that requires software (e.g., firmware) for operation, but the software may not be present when it is not needed for operation.

[0033] This definition of circuitry applies to all uses of this term in this application, including in any claims. As a further example, as used in this application, the term circuitry also covers an implementation of merely a hardware circuit or processor (or multiple  processors) or portion of a hardware circuit or processor and its (or their) accompanying software and / or firmware. The term circuitry also covers, for example and if applicable to the particular claim element, a baseband integrated circuit or processor integrated circuit for a mobile device or a similar integrated circuit in server, a cellular network device, or other computing or network device.

[0034] As used herein, the term “communication network” refers to a network following any suitable communication standards, such as new radio (NR) , long term evolution (LTE) , LTE-advanced (LTE-A) , wideband code division multiple access (WCDMA) , high-speed packet access (HSPA) , narrow band internet of things (NB-IoT) and so on. Furthermore, the communications between a terminal device and a network device in the communication network may be performed according to any suitable generation communication protocols, including, but not limited to, the third generation (3G) , the 4G, 4.5G, 5G, or 6G communication protocols, and / or any other protocols either currently known or to be developed in the future. Embodiments of the present disclosure may be applied in various communication systems. Given the rapid development in communications, there will of course also be future type communication technologies and systems with which the present disclosure may be embodied. It should not be seen as limiting the scope of the present disclosure to only the aforementioned system.

[0035] As used herein, the term “network device” refers to a node in a communication network via which a terminal device can access the communication network and receive services therefrom. The network device may refer to a base station (BS) or an access point (AP) , for example, a node B (NodeB or NB) , a radio access network (RAN) node, an evolved NodeB (eNodeB or eNB) , an NR NB (also referred to as a gNB) , a remote radio unit (RRU) , a radio header (RH) , an infrastructure device for a V2X (vehicle-to-everything) communication, a transmission and reception point (TRP) , a reception point (RP) , a remote radio head (RRH) , a relay, an integrated access and backhaul (IAB) node, a low power node such as a femto BS, a pico BS, and so forth, depending on the applied terminology and technology.

[0036] The term “terminal device” refers to any end device that may be capable of wireless communication. By way of example rather than limitation, a terminal device may also be referred to as a communication device, user equipment (UE) , a subscriber station (SS) , a portable subscriber station, a mobile station (MS) , or an access terminal (AT) . The terminal device may include, but not limited to, a mobile phone, a cellular phone, a smart phone, voice  over IP (VoIP) phones, wireless local loop phones, a tablet, a wearable terminal device, a personal digital assistant (PDA) , portable computers, desktop computer, image capture terminal devices such as digital cameras, gaming terminal devices, music storage and playback appliances, vehicle-mounted wireless terminal devices, wireless endpoints, mobile stations, laptop-embedded equipment (LEE) , laptop-mounted equipment (LME) , USB dongles, smart devices, wireless customer-premises equipment (CPE) , an Internet of Things (IoT) device, a watch or other wearable, a head-mounted display (HMD) , a vehicle, a drone, a medical device and applications (e.g., remote surgery) , an industrial device and applications (e.g., a robot and / or other wireless devices operating in an industrial and / or an automated processing chain contexts) , a consumer electronics device, a device operating on commercial and / or industrial wireless networks, and the like. In the following description, the terms “terminal device” , “communication device” , “terminal” , “user equipment” and “UE” may be used interchangeably.

[0037] Hereinafter, principles and embodiments of the present disclosure will be described in detail below with reference to the accompanying drawings. Reference is first made to FIG. 1A, which illustrates an example environment 100 in which example embodiments of the present disclosure can be implemented.

[0038] The environment 100, which may be a part of a communication network, comprises a terminal device 110 and a network device 120 communicating with each other. The communication between the terminal device 110 and the network device 120 may be direct or indirect. As an example, the terminal device 110 and the network device 120 may communicate with one or more further devices not shown in FIG. 1A.

[0039] To transmit data and / or control information, the terminal device 110 may perform communications with the network device 120. A link from the network device 120 to the terminal device 110 is referred to as a downlink (DL) , while a link from the terminal device 110 to the network device 120 is referred to as an uplink (UL) .

[0040] Although the terminal device 110 and the network device 120 are described in the communication environment 100 of FIG. 1A, embodiments of the present disclosure may equally apply to any other suitable communication devices in communication with one another. That is, embodiments of the present disclosure are not limited to the exemplary scenarios of FIG. 1A. In this regard, it is noted that although the terminal device is schematically depicted as a mobile phone and the network device 120 is schematically  depicted as a base station in FIG. 1A, it is understood that these depictions are exemplary in nature without suggesting any limitation. In other embodiments, the first device 110 and the network device 120 may be any other communication devices, for example, any other wireless communication devices.

[0041] It is to be understood that the particular number of various communication devices and the particular number of various communication links as shown in FIG. 1A is for illustration purpose only without suggesting any limitations. The communication environment 100 may include any suitable number of communication devices and any suitable number of communication links for implementing embodiments of the present disclosure. In addition, it should be appreciated that there may be various wireless as well as wireline communications (if needed) among all of the communication devices.

[0042] The communications in the environment 100 may follow any suitable communication standards or protocols, which are already in existence or to be developed in the future, such as Universal Mobile Telecommunications System (UMTS) , long term evolution (LTE) , LTE-Advanced (LTE-A) , the fifth generation (5G) New Radio (NR) , 6G, Wireless Fidelity (Wi-Fi) and Worldwide Interoperability for Microwave Access (WiMAX) standards, and employs any suitable communication technologies, including, for example, Multiple-Input Multiple-Output (MIMO) , Orthogonal Frequency Division Multiplexing (OFDM) , time division multiplexing (TDM) , frequency division multiplexing (FDM) , code division multiplexing (CDM) , Bluetooth, ZigBee, and machine type communication (MTC) , enhanced mobile broadband (eMBB) , massive machine type communication (mMTC) , ultra-reliable low latency communication (URLLC) , Carrier Aggregation (CA) , Dual Connectivity (DC) , and New Radio Unlicensed (NR-U) technologies.

[0043] In the 5G era, mobile media services, cloud Augmented Reality (AR)  / virtual reality (VR) , cloud gaming (CG) , and video-based tele-control for machines or drones are expected to contribute more and more traffic to the 5G network. 5G-enabled extended reality (XR) and media services will be further enhanced to support the metaverse. The study on XR and media services in release 18 (Rel-18) was derived from the “tactile and multi-modality communication services” as defined in the 3GPP technical report (TR) 22.847.

[0044] In the multi-modality interactive system, modality is a type or representation of information in a specific interactive system. Modal representations consist of video, audio, tactility (vibrations or other movements that provide haptic or tactile feelings to a person) ,  etc. For a typical multi-modality communication service / application, there are different modalities affecting the user experience, e.g.:

[0045] - Video / Audio media;

[0046] - Information perceived by sensors about the environment, e.g. brightness, temperature, humidity, etc.;

[0047] - Haptic data, for example, feelings when touching a surface (e.g., pressure, texture, vibration, temperature) , or kinaesthetic senses (e.g. gravity, pull forces, sense of position awareness) .

[0048] FIG. 1B illustrates an example of multi-modality in 5G XR service associated with some embodiments of the present disclosure. As shown in FIG. 1B, multiple modalities (for example, video media from the glasses and haptic data from the gloves) may be transmitted at the same time to one or more application servers for further processing in a coordinated manner, in terms of quality of service (QoS) coordination, traffic synchronization, power saving, etc.

[0049] Furthermore, new traffic has been identified in 3GPP TR 22.856, i.e., the haptic stream. The haptic stream is time-sensitive and its arrival is aperiodical. The arrival of haptic packets and the arrival of video packets are asynchronous, and the density of haptic packets is much higher than that of video packets. FIGS. 1C and ID illustrate two options for haptic stream and video stream modeling associated with some embodiments of the present disclosure, where FIG. 1C illustrates option 1 for the haptic packet arrival in the time domain following Pareto distribution, and FIG. 1D illustrates option 2 for the haptic packet in each slot (e.g., with massive sensors) .

[0050] In addition, in the 3GPP technical specification (TS) 23.501, as an agreement, a multi-modal service identifier (MMSID) has been introduced for multiple IP data flows associated to a multi-modal service. The multi-modal service ID is used to define the association relationship between multiple IP data flows within a multi-modal service.

[0051] Due to the separate handling of the multiple media components, synchronization between different media components is critical in order to avoid having a negative impact on the user experience. The above multi-modal service ID only concerns the association relationship between multiple IP data flows, but the association relationship per packets of different data flows is not defined. Thus, it is difficult to realize the synchronization transmission of the packets of multi-modality service only based on the multi-modal service  ID.

[0052] Moreover, a multi-modal synchronization threshold may be defined as the maximum tolerable temporal separation of the onset of two stimuli, one of which is presented to one sense and the other to another sense, such that the accompanying sensory objects are perceived as being synchronous. Applying synchronization thresholds in the 5G system may be helpful in support of immersive multi-modal applications when the synchronization threshold between two or more modalities is less than the latency key performance indicator (KPI) for the application, as described in 3GPP TS 22.261. FIG. 1E illustrates example typical synchronization thresholds for the immersive multi-modality VR applications in the 5G system in 3GPP TS 22.261 associated with some embodiments of the present disclosure. However, the synchronization threshold is just considered as a worst requirement for the synchronization of packet-per-packet within multi-modality service. It does not indicate how the actual operation for synchronization is performed.

[0053] In view of the above, optimizing the synchronization of multi-modality service is still an important issue to be solved. Especially, there is a need to design a feasible mechanism in RAN (for example, between the UE and the gNB) to ensure the synchronization transmission of the associated packets within the multi-modality service. Moreover, inventors have noticed that it is not sensible to assume the QoS flows for the same multi-modal service ID to be mapped to the same data radio bearer (DRB) considering the different QoS requirements for the different modalities. Thus, some means for synchronization among different DRBs also need to be considered.

[0054] According to embodiments of the present disclosure, there is provided a scheme for the synchronization of multi-modality service. With this scheme, a communication device determines an association between a plurality of data flows. Moreover, the communication device processes the plurality of data flows based on the association.

[0055] By processing the plurality of data flows based on their association, it is allowed to facilitate the synchronization of the plurality of data flows. In this way, it is allowed to improve the flexibility and effectiveness of the synchronization of multi-modality service.

[0056] FIG. 2 illustrates a flowchart 200 of a method implemented at a communication device according to some embodiments of the present disclosure. For the purpose of discussion, the method 200 will be described with reference to FIG. 1A. Considering both the UL and DL traffic, the communication device may comprise a terminal device 110 or a  network device 120.

[0057] As shown in FIG. 2, at block 210, the communication device determines an association between a plurality of data flows. For example, the plurality of data flows may be associated with a plurality of types of traffic within a multi-modality service respectively. The plurality of data flows may be associated with a multi-modality service ID of the multi-modality service. The plurality of data flows may comprise one or more of a video data flow, an audio data flow, or a haptic data flow. It is to be understood that any other suitable traffic type may be involved, and the scope of the present disclosure will not be limited in this regard.

[0058] In some example embodiments, the association between the plurality of data flows may comprise an association between a plurality of quality of service (QoS) flows mapped from the plurality of data flows. For example, the plurality of QoS flows may be configured with the same multi-modality service ID to indicate the association. The multi-modality service ID may be configured / visible or transparent to the terminal device 110. Alternatively or additionally, the association between the plurality of data flows may comprise an association between a plurality of data radio bearers (DRBs) mapped from the plurality of QoS flows of the plurality of data flows. For example, based on the mapping between the QoS flows and DRBs as well as the multi-modality service ID of the QoS flows, the network device 120 may configure to the terminal device 110 which DRBs need to be considered for the above association.

[0059] In some example implementations, determining the association between the plurality of data flows may comprise determining one or more associated PDUs of the plurality of data flows. In some implementations, a concept or term of “super PDU set” may be introduced for the multi-modality synchronization to define a PDU set comprising the above one or more associated PDUs across the plurality of data flows. In other words, the super PDU set may comprise one or more associated PDUs across multiple QoS flows or DRBs. The super PDU set may also be referred to as a multi-modality synchronization PDU set (MMS-PS) . It is to be understood that the super PDU set may also be referred to any other name, and the scope of the present disclosure will not be limited in this regard. Each super PDU set may be identified by a unique sequence number (SN) . The ordering of a plurality of SNs of a plurality of super PDU sets may based on the ordering of the PDUs of a data flow of the plurality of data flows.

[0060] In some example embodiments, the communication device may determine the association between the plurality of data flows (i.e., the super PDU set) of the plurality of data flows) based on one or more of the above DRB association configuration if any, the multi-modality service ID if visible, the arrival time of the bursts, the jitter (s) of a data flow of the plurality of data flows. As an example, in the data flow level, the plurality of data flows may be identified to be associated based on the above DRB association configuration if any, or the multi-modality service ID if visible. In the PDU level, the super PDU set may be determined in a variety of approaches.

[0061] In some example embodiments where the plurality of data flows comprises at least a first data flow and a second data flow, the communication device may determine a time window based on the arrival time of a PDU of the first data flow and a margin (also referred to as a margin range, a time range, or a range) . In this case, the first data flow may be taken as the baseline. As an example, the video data flow may be used as the baseline. For example, the margin may be determined based on the jitter (s) of the video data flow. Then, based on the time window, the communication device may determine the super PDU set which comprises one or more PDUs of the first data flow whose arrival time is within the time window and one or more PDUs of the second data flow whose arrival time is within the time window.

[0062] Reference is made to FIG. 3 to discuss an example super PDU set and its determination procedure. As shown in FIG. 3, the video frames arrive periodically every 1 / F second, where F represents the frame rate in frame per second (FPS) , e.g., F=30, 60, or 90 FPS. The communication device may choose a video frame (or PDUs of the video frame) as the anchor. Then, centered around this anchor, a time window may be determined as the arrival time of the anchor ± x ms. In this case, the margin is set to ± 4ms. Alternatively or additionally, the margin may be set to any other value. On this basis, there is an association relationship between the PDUs (i.e., the anchor video frame / PDUs and the PDUs of the haptic packets) whose arrival time is within the time window. These PDUs (i.e., the anchor video frame / PDUs and the PDUs of the haptic packets) form the super PDU set. In other words, as shown in FIG. 3, at the moment when the anchor video frame F reaches the buffer of the communication device (i.e., the terminal device 110 for uplink or the network device 120 for downlink) , the haptic frames of the previous 4ms and the subsequent 4ms may form a super PDU set together with the anchor video frame. Alternatively or additionally, if there are other modalities, one or more PDUs of the other modalities whose arrival time is  within this time window may also be included in the super PDU set, for example, the audio data.

[0063] In some example embodiments where the plurality of data flows comprises at least a first data flow and a second data flow, the communication device may determine a time window with a width. The time window may be continuous and non-overlapping. In other words, a sliding window with a specific width may be determined which is not dependent to the anchor in the previous example. On this basis, the super PDU set may be determined to comprise at least one of one or more PDUs of the first data flow whose arrival time is within the time window, or one or more PDUs of the second data flow whose arrival time is within the time window.

[0064] It is to be understood that although only the first and second data flows are discussed in some example embodiments, the plurality of data flows may comprise any number of data flows, and the scope of the present disclosure will not be limited in this regard.

[0065] Referring back to FIG. 2, after determining the association between the plurality of data flows, at block 220, the communication device processes the plurality of data flows based on the association. In some example embodiments, the communication device may process the plurality of data flows based on the association and further based on a time requirement. For example, the time requirement may be determined from a synchronization threshold of the multi-modality service.

[0066] In some example embodiments, the communication device may transmit, to another communication device (i.e., a peer node) , one or more PDUs of the super PDU set when the time requirement is fulfilled. As an example, it would be ideal if the super PDU set could be transmitted to the peer node when the time requirement is fulfilled, such that the synchronization of PDUs in the super PDU set can be realized.

[0067] In the example embodiments for UL transmission where the communication device comprises the terminal device 110, the terminal device 110 may transmit, to the network device 120, a request for an uplink grant for transmitting the super PDU set. For example, the request may comprise the SN of the super PDU set. Accordingly, the network device 120 may identify the super PDU set, and schedule uplink grant considering the synchronization of the super PDU set. Then, the network device 120 may transmit the uplink grant to the terminal device 110.

[0068] In some example implementations, the communication device may transmit the time  requirement to the peer node. In this case, the plurality of data flows may be processed by the peer node based on the received time requirement. For example, for UL transmission, the above uplink grant may be determined by the network device 120 based on the received time requirement.

[0069] In some example implementations, for UL transmission, the time requirement may be configured to the terminal device 110 per set of DRBs with multi-modality synchronization requirement, to ensure that the PDU (s) in the super PDU set may be transmitted within the delay requirement.

[0070] In some example embodiments, the communication device may process PDU discarding for the plurality of data flows based on the time requirement. For example, the communication device may discard one or more remaining PDUs of the super PDU set (if any) after the time requirement is not fulfilled. In some example implementations, similar to the PDU set integrated handling indication (PSIHI) , the per PDU set discarding may be applicable to per super PDU set discarding as well if configured.

[0071] In some example embodiments, the communication device may process a logical channel prioritization procedure for the plurality of data flows based on the time requirement. For example, the super PDU set may be prioritized over one or more other PDUs as they need to be processed according to the time requirement.

[0072] In some example embodiments, the time requirement may be associated with a timer running at the communication device as a time limit for the processing of the plurality of data flows. In this case, the setting of the timer may be made based on the synchronization threshold of the multi-modality service. For example, the timer may be maintained per PDU in the super PDU set and may be started when any data (i.e., any PDU) of the super PDU set is transmitted successfully. Upon the expiry of the timer for the super PDU set, the remaining data within the super PDU set if any may be discarded. For example, for UL transmission, the terminal device 110 may assume the successful transmission of the PDU after the time used for transmission one PDU plus a margin (for example 1 retransmission time) . As another example, for DL transmission, the network device 120 may determine the successful transmission of the PDU after receiving the acknowledgement (ACK) for the PDU from the terminal device 110.

[0073] As an example implementation, the time requirement may be determined based on the strictest time requirement of the plurality of data flows of the multi-modality service.  For example, the timer may be set according to the strictest typical multi-modality synchronization threshold of the plurality of data flows. In other words, the timer may be set with the time length within which any PDU of the super PDU sets is transmitted with the minimum delay requirement for the plurality of data flows of the multi-modality service. Based on the identification of the super PDU set, the timer setting for the super PDU set, and the frames of each data flow transmitting in sequence, it is allowed to ensure the in-sequence and in-window synchronization of the multi-modality service, i.e., all PDUs of different modalities of the multi-modality service may be transmitted based on the time requirement.

[0074] To distinguish the different processing of different time requirements (for example, synchronization thresholds) for different data flows relative to each other, a more precise determination of the time requirement may be given. In the example implementations where the plurality of data flows comprise at least a third data flow and a fourth data flow, the time requirement may be determined based on a delay requirement of the fourth data flow compared to the third data flow, if a PDU of the super PDU set that is firstly transmitted successfully to the peer node is a PDU of the third data flow.

[0075] As an example implementation, considering the typical synchronization thresholds for the immersive multi-modality VR applications in the 5G system as shown in FIG. 1E, for each media component, the delay requirement of its delay compared to the other is different. For example, the synchronization threshold of the visual traffic delayed to the tactile traffic is 15ms, but the synchronization threshold of the tactile traffic delayed to the visual traffic would be up to 50ms. The timer may be dynamically adjusted according to the successful delivery status of the PDU in the super PDU set. Correspondingly, the scheduling for the left PDUs will be based on the timer set.

[0076] In the example implementations where the example super PDU set as shown in FIG. 3 is determined, if the video frame F is firstly scheduled and transmitted successfully at T time, the timer for the haptic PDUs in the super PDU set may be updated based on the synchronization threshold of the haptic packet delayed to the video frame, i.e., Timer=T+ST1. Otherwise, if a haptic PDU is firstly scheduled and transmitted successfully at T time, the timer for the video frame F and the other haptic PDUs in the super PDU set may be updated based on the synchronization threshold of the video frame delayed to the haptic packet, i.e., Timer=T+ST2. The above ST1 and ST2 may refer to the different cases where one component is delayed to the other. For example, ST1=50ms and ST2=15ms.

[0077] The name of the timer may be multifarious. For example, the timer may simply be called a super PDU set discard timer. We can also refer to this concept as a super PDU set delay budget, a super PDU set remaining time, and so on.

[0078] In some example embodiments, the above PDU may comprise at least one of a service data unit (SDU) of a packet data convergence protocol (PDCP) layer, a PDU of the PDCP layer, an SDU of a service data access protocol (SDAP) layer, or a PDU of the SDAP layer. In other words, the PDU discarding may occur at the PDCP layer or the SDAP layer.

[0079] According to some embodiments with reference to FIGS. 2 and 3, based on the synchronization handling for the different media types multiplexed within the multi-modality XR data flows, it is allowed to ensure the associated PDUs of different modalities to be transmitted to the peer node within the synchronization range limited by the synchronization thresholds.

[0080] In some example embodiments, there is provided a method implemented at a communication device. The method comprises determining an association between a plurality of data flows; and processing the plurality of data flows based on the association.

[0081] In some example embodiments, the plurality of data flows are associated with a plurality of types of traffic within a multi-modality service respectively.

[0082] In some example embodiments, the plurality of data flows are associated with a multi-modality service identifier of a multi-modality service.

[0083] In some example embodiments, the association between the plurality of data flows comprises one of the following: an association between a plurality of quality of service (QoS) flows mapped from the plurality of data flows; or an association between a plurality of data radio bearers (DRBs) mapped from the plurality of QoS flows of the plurality of data flows.

[0084] In some example embodiments, determining the association between the plurality of data flows comprises: determining the association between the plurality of data flows based on arrival time of one or more protocol data units (PDUs) of the plurality of data flows.

[0085] In some example embodiments, the plurality of data flows comprises at least a first data flow and a second data flow, and determining the association between the plurality of data flows comprises: determining a time window based on arrival time of a PDU of the first data flow and a margin; determining a super PDU set based on the time window, the super PDU set comprising one or more PDUs of the first data flow whose arrival time is within the  time window, and one or more PDUs of the second data flow whose arrival time is within the time window.

[0086] In some example embodiments, the plurality of data flows comprises at least a first data flow and a second data flow, and determining the association between the plurality of data flows comprises: determining a time window with a width, wherein the time window is continuous and non-overlapping; determining a super PDU set based on the time window, the super PDU set comprising at least one of: one or more PDUs of the first data flow whose arrival time is within the time window, or one or more PDUs of the second data flow whose arrival time is within the time window.

[0087] In some example embodiments, determining the association between the plurality of data flows comprises: determining a super PDU set comprising one or more associated PDUs across the plurality of data flows.

[0088] In some example embodiments, processing the plurality of data flows comprises at least one of: processing a logical channel prioritization procedure for the plurality of data flows; or processing PDU discarding for the plurality of data flows. In some example embodiments, processing the plurality of data flows based on the association is further based on a time requirement. In some example embodiments, the time requirement is determined from a synchronization threshold of a multi-modality service. In some example embodiments, the plurality of data flows comprise at least a third data flow and a fourth data flow, a PDU of one or more associated PDUs of the plurality of data flows that is firstly transmitted successfully to another communication device is a PDU of the third data flow, and the time requirement is determined based on a delay requirement of the fourth data flow compared to the third data flow. In some example embodiments, the time requirement is transmitted to another communication device. In some example embodiments, the plurality of data flows are processed by the other communication device based on the received time requirement. In some example embodiments, the communication device is a terminal device, and the another communication device is a network device, and the method further comprises: transmitting, to the network device, a request for an uplink grant for transmitting a super PDU set comprising one or more associated PDUs of the plurality of data flows, the request comprising a sequence number (SN) of the super PDU set; and receiving the uplink grant, from the network device, the uplink grant being determined based on the time requirement.

[0089] In some example embodiments, processing the plurality of data flows based on the association further comprises: transmitting, to another communication device, one or more PDUs of one or more associated PDUs of the plurality of data flows when a time requirement is fulfilled. In some example embodiments, processing the plurality of data flows based on the association further comprises: discarding one or more remaining PDUs of the one or more associated PDUs of the plurality of data flows after the time requirement is not fulfilled. In some example embodiments, the one or more associated PDUs are one or more PDUs of a super PDU set determined in determining the association between the plurality of data flows.

[0090] In some example embodiments, the time requirement is associated with a timer.

[0091] In some example embodiments, the time requirement is associated with a timer, and the method further comprises starting the timer based on determining that any PDU of the one or more associated PDUs is transmitted successfully.

[0092] In some example embodiments, the PDU comprises at least one of: a service data unit (SDU) of a packet data convergence protocol (PDCP) layer; a PDU of the PDCP layer; an SDU of a service data access protocol (SDAP) layer; or a PDU of the SDAP layer.

[0093] In some example embodiments, the plurality of data flows comprises at least a video data flow.

[0094] In some example embodiments, an apparatus capable of performing the method 300 (for example, the communication) may comprise means for performing the respective steps of the method 200. The means may be implemented in any suitable form. For example, the means may be implemented in a circuitry or software module.

[0095] In some example embodiments, the apparatus comprises means for determining an association between a plurality of data flows; and means for processing the plurality of data flows based on the association.

[0096] In some example embodiments, the plurality of data flows are associated with a plurality of types of traffic within a multi-modality service respectively.

[0097] In some example embodiments, the plurality of data flows are associated with a multi-modality service identifier of a multi-modality service.

[0098] In some example embodiments, the association between the plurality of data flows comprises one of the following: an association between a plurality of quality of service (QoS) flows mapped from the plurality of data flows; or an association between a plurality of data  radio bearers (DRBs) mapped from the plurality of QoS flows of the plurality of data flows.

[0099] In some example embodiments, the means for determining the association between the plurality of data flows comprises: means for determining the association between the plurality of data flows based on arrival time of one or more protocol data units (PDUs) of the plurality of data flows.

[0100] In some example embodiments, the plurality of data flows comprises at least a first data flow and a second data flow, and the means for determining the association between the plurality of data flows comprises: means for determining a time window based on arrival time of a PDU of the first data flow and a margin; means for determining a super PDU set based on the time window, the super PDU set comprising one or more PDUs of the first data flow whose arrival time is within the time window, and one or more PDUs of the second data flow whose arrival time is within the time window.

[0101] In some example embodiments, the plurality of data flows comprises at least a first data flow and a second data flow, and the means for determining the association between the plurality of data flows comprises: means for determining a time window with a width, wherein the time window is continuous and non-overlapping; means for determining a super PDU set based on the time window, the super PDU set comprising at least one of: one or more PDUs of the first data flow whose arrival time is within the time window, or one or more PDUs of the second data flow whose arrival time is within the time window.

[0102] In some example embodiments, the means for determining the association between the plurality of data flows comprises: means for determining a super PDU set comprising one or more associated PDUs across the plurality of data flows.

[0103] In some example embodiments, the means for processing the plurality of data flows comprises at least one of: means for processing a logical channel prioritization procedure for the plurality of data flows; or means for processing PDU discarding for the plurality of data flows. In some example embodiments, processing the plurality of data flows based on the association is further based on a time requirement. In some example embodiments, the time requirement is determined from a synchronization threshold of a multi-modality service. In some example embodiments, the plurality of data flows comprise at least a third data flow and a fourth data flow, a PDU of one or more associated PDUs of the plurality of data flows that is firstly transmitted successfully to another communication device is a PDU of the third data flow, and the time requirement is determined based on a delay requirement of the fourth  data flow compared to the third data flow. In some example embodiments, the time requirement is transmitted to another communication device. In some example embodiments, the plurality of data flows are processed by the other communication device based on the received time requirement. In some example embodiments, the communication device is a terminal device, and the another communication device is a network device, and the apparatus further comprises means for transmitting, to the network device, a request for an uplink grant for transmitting a super PDU set comprising one or more associated PDUs of the plurality of data flows, the request comprising a sequence number (SN) of the super PDU set; and means for receiving the uplink grant, from the network device, the uplink grant being determined based on the time requirement.

[0104] In some example embodiments, the means for processing the plurality of data flows based on the association further comprises: means for transmitting, to another communication device, one or more PDUs of one or more associated PDUs of the plurality of data flows when a time requirement is fulfilled. In some example embodiments, the means for processing the plurality of data flows based on the association further comprises: means for discarding one or more remaining PDUs of the one or more associated PDUs of the plurality of data flows after the time requirement is not fulfilled. In some example embodiments, the one or more associated PDUs are one or more PDUs of a super PDU set determined in determining the association between the plurality of data flows.

[0105] In some example embodiments, the time requirement is associated with a timer.

[0106] In some example embodiments, the time requirement is associated with a timer, and the apparatus further comprises means for starting the timer based on determining that any PDU of the one or more associated PDUs is transmitted successfully.

[0107] In some example embodiments, the PDU comprises at least one of: a service data unit (SDU) of a packet data convergence protocol (PDCP) layer; a PDU of the PDCP layer; an SDU of a service data access protocol (SDAP) layer; or a PDU of the SDAP layer.

[0108] In some example embodiments, the plurality of data flows comprises at least a video data flow.

[0109] In some embodiments, the apparatus further comprises means for performing other steps in some embodiments of the method 200. In some embodiments, the means comprises at least one processor and at least one memory including computer program code, the at least one memory and computer program code configured to, with the at least one processor, cause  the performance of the apparatus.

[0110] FIG. 4 illustrates a simplified block diagram of a device 400 that is suitable for implementing some example embodiments of the present disclosure. The device 400 may be provided to implement the communication device, for example, the terminal device 110, or the network device 120 as shown in FIG. 1A. As shown, the device 400 includes one or more processors 410, one or more memories 420 coupled to the processor 410, and one or more communication modules 440 coupled to the processor 410.

[0111] The communication module 440 is for bidirectional communications. The communication module 440 has at least one antenna to facilitate communication. The communication interface may represent any interface that is necessary for communication with other network elements.

[0112] The processor 410 may be of any type suitable to the local technical network and may include one or more of the following: general purpose computers, special purpose computers, microprocessors, digital signal processors (DSPs) and processors based on multicore processor architecture, as non-limiting examples. The device 400 may have multiple processors, such as an application specific integrated circuit chip that is slaved in time to a clock which synchronizes the main processor.

[0113] The memory 420 may include one or more non-volatile memories and one or more volatile memories. Examples of the non-volatile memories include, but are not limited to, a Read Only Memory (ROM) 424, an electrically programmable read only memory (EPROM) , a flash memory, a hard disk, a compact disc (CD) , a digital video disk (DVD) , and other magnetic storage and / or optical storage. Examples of the volatile memories include, but are not limited to, a random access memory (RAM) 422 and other volatile memories that will not last in the power-down duration.

[0114] A computer program 430 includes computer executable instructions that are executed by the associated processor 410. The program 430 may be stored in the ROM 424. The processor 410 may perform any suitable actions and processing by loading the program 430 into the RAM 422.

[0115] The embodiments of the present disclosure may be implemented by means of the program 430 so that the device 400 may perform any process of the disclosure as discussed with reference to FIGS. 2 and 3. The embodiments of the present disclosure may also be implemented by hardware or by a combination of software and hardware.

[0116] In some example embodiments, the program 430 may be tangibly contained in a computer readable medium which may be included in the device 400 (such as in the memory 420) or other storage devices that are accessible by the device 400. The device 400 may load the program 430 from the computer readable medium to the RAM 422 for execution. The computer readable medium may include any types of tangible non-volatile storage, such as ROM, EPROM, a flash memory, a hard disk, CD, DVD, and the like.

[0117] FIG. 5 illustrates a block diagram of an example of a computer readable medium 500 in accordance with some example embodiments of the present disclosure. The computer readable medium 500 has the program 430 stored thereon. It is noted that although the computer readable medium 500 is depicted in form of CD or DVD in FIG. 5, the computer readable medium 500 may be in any other form suitable for carrying or holding the program 430.

[0118] Generally, various embodiments of the present disclosure may be implemented in hardware or special purpose circuits, software, logic or any combination thereof. Some aspects may be implemented in hardware, while other aspects may be implemented in firmware or software which may be executed by a controller, microprocessor or other computing device. While various aspects of embodiments of the present disclosure are illustrated and described as block diagrams, flowcharts, or using some other pictorial representations, it is to be understood that the block, apparatus, system, technique or method described herein may be implemented in, as non-limiting examples, hardware, software, firmware, special purpose circuits or logic, general purpose hardware or controller or other computing devices, or some combination thereof.

[0119] The present disclosure also provides at least one computer program product tangibly stored on a non-transitory computer readable storage medium. The computer program product includes computer-executable instructions, such as those included in program modules, being executed in a device on a target real or virtual processor, to carry out the method as described above with reference to FIG. 2. Generally, program modules include routines, programs, libraries, objects, classes, components, data structures, or the like that perform particular tasks or implement particular abstract data types. The functionality of the program modules may be combined or split between program modules as desired in various embodiments. Machine-executable instructions for program modules may be executed within a local or distributed device. In a distributed device, program modules may be located in both local and remote storage media.

[0120] Program code for carrying out methods of the present disclosure may be written in any combination of one or more programming languages. These program codes may be provided to a processor or controller of a general purpose computer, special purpose computer, or other programmable data processing apparatus, such that the program codes, when executed by the processor or controller, cause the functions / operations specified in the flowcharts and / or block diagrams to be implemented. The program code may execute entirely on a machine, partly on the machine, as a stand-alone software package, partly on the machine and partly on a remote machine or entirely on the remote machine or server.

[0121] In the context of the present disclosure, the computer program codes or related data may be carried by any suitable carrier to enable the device, apparatus or processor to perform various processes and operations as described above. Examples of the carrier include a signal, computer readable medium, and the like.

[0122] The computer readable medium may be a computer readable signal medium or a computer readable storage medium. A computer readable medium may include but not limited to an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any suitable combination of the foregoing. More specific examples of the computer readable storage medium would include an electrical connection having one or more wires, a portable computer diskette, a hard disk, a random access memory (RAM) , a read-only memory (ROM) , an erasable programmable read-only memory (EPROM or Flash memory) , an optical fiber, a portable compact disc read-only memory (CD-ROM) , an optical storage device, a magnetic storage device, or any suitable combination of the foregoing. The term “non-transitory, ” as used herein, is a limitation of the medium itself (i.e., tangible, not a signal) as opposed to a limitation on data storage persistency (e.g., RAM vs.ROM) .

[0123] Further, while operations are depicted in a particular order, this should not be understood as requiring that such operations be performed in the particular order shown or in sequential order, or that all illustrated operations be performed, to achieve desirable results. In certain circumstances, multitasking and parallel processing may be advantageous. Likewise, while several specific implementation details are contained in the above discussions, these should not be construed as limitations on the scope of the present disclosure, but rather as descriptions of features that may be specific to particular embodiments. Certain features that are described in the context of separate embodiments may also be implemented in combination in a single embodiment. Conversely, various  features that are described in the context of a single embodiment may also be implemented in multiple embodiments separately or in any suitable sub-combination.

[0124] Although the present disclosure has been described in languages specific to structural features and / or methodological acts, it is to be understood that the present disclosure defined in the appended claims is not necessarily limited to the specific features or acts described above. Rather, the specific features and acts described above are disclosed as example forms of implementing the claims.

Claims

1.A communication device comprising:at least one processor; andat least one memory storing instructions that, when executed by the at least one processor, cause the communication device at least to:determine an association between a plurality of data flows; andprocess the plurality of data flows based on the association.2.The communication device of claim 1, wherein the plurality of data flows are associated with a plurality of types of traffic within a multi-modality service respectively.3.The communication device of claim 1, wherein the plurality of data flows are associated with a multi-modality service identifier of a multi-modality service.4.The communication device of any of claims 1-3, wherein the association between the plurality of data flows comprises one of the following:an association between a plurality of quality of service (QoS) flows mapped from the plurality of data flows; oran association between a plurality of data radio bearers (DRBs) mapped from the plurality of QoS flows of the plurality of data flows.5.The communication device of any of claims 1-4, wherein determining the association between the plurality of data flows comprises:determining the association between the plurality of data flows based on arrival time of one or more protocol data units (PDUs) of the plurality of data flows.6.The communication device of any of claims 1-5, wherein the plurality of data flows comprises at least a first data flow and a second data flow, and determining the association between the plurality of data flows comprises:determining a time window based on arrival time of a PDU of the first data flow and a margin;determining a super PDU set based on the time window, the super PDU set comprising one or more PDUs of the first data flow whose arrival time is within the time window, and one or more PDUs of the second data flow whose arrival time is within the time window.7.The communication device of any of claims 1-5, wherein the plurality of data flows comprises at least a first data flow and a second data flow, and determining the association between the plurality of data flows comprises:determining a time window with a width, wherein the time window is continuous and non-overlapping;determining a super PDU set based on the time window, the super PDU set comprising at least one of: one or more PDUs of the first data flow whose arrival time is within the time window, or one or more PDUs of the second data flow whose arrival time is within the time window.8.The communication device of any of claims 1-5, wherein determining the association between the plurality of data flows comprises:determining a super PDU set comprising one or more associated PDUs across the plurality of data flows.9.The communication device of any of claims 1-8, wherein processing the plurality of data flows comprises at least one of:processing a logical channel prioritization procedure for the plurality of data flows; orprocessing PDU discarding for the plurality of data flows.10.The communication device of claim 9, wherein processing the plurality of data flows based on the association is further based on a time requirement.11.The communication device of claim 10, wherein the time requirement is determined from a synchronization threshold of a multi-modality service.12.The communication device of claim 10, wherein the plurality of data flows comprise at least a third data flow and a fourth data flow, a PDU of one or more associated PDUs of the plurality of data flows that is firstly transmitted successfully to another communication device is a PDU of the third data flow, and the time requirement is determined based on a delay requirement of the fourth data flow compared to the third data flow.13.The communication device of any of claims 10-12, wherein the time requirement is transmitted to another communication device.14.The communication device of claim 13, wherein the plurality of data flows are processed by the other communication device based on the received time requirement.15.The communication device of claim 13 or 14, wherein the communication device is a terminal device, and the another communication device is a network device, and the communication device is further caused to:transmit, to the network device, a request for an uplink grant for transmitting a super PDU set comprising one or more associated PDUs of the plurality of data flows, the request comprising a sequence number (SN) of the super PDU set; andreceive the uplink grant, from the network device, the uplink grant being determined based on the time requirement.16.The communication device of claim 1-15, wherein processing the plurality of data flows based on the association further comprises:transmitting, to another communication device, one or more PDUs of one or more associated PDUs of the plurality of data flows when a time requirement is fulfilled.17.The communication device of claim 16, wherein processing the plurality of data flows based on the association further comprises:discarding one or more remaining PDUs of the one or more associated PDUs of the plurality of data flows after the time requirement is not fulfilled.18.The communication device of claim 16 or 17, wherein the one or more associated PDUs are one or more PDUs of a super PDU set determined in determining the association between the plurality of data flows.19.The communication device of any of claims 10-18, wherein the time requirement is associated with a timer.20.The communication device of any of claims 16-18, wherein the time  requirement is associated with a timer, and the communication device is further caused to:start the timer based on determining that any PDU of the one or more associated PDUs is transmitted successfully.21.The communication device of any of claims 5-20, wherein the PDU comprises at least one of:a service data unit (SDU) of a packet data convergence protocol (PDCP) layer;a PDU of the PDCP layer;an SDU of a service data access protocol (SDAP) layer; ora PDU of the SDAP layer.22.The communication device of any of claims 1-21, wherein the plurality of data flows comprises at least a video data flow.23.A method comprising:determining, at a communication device, an association between a plurality of data flows; andprocessing, at the communication device, the plurality of data flows based on the association.24.An apparatus comprising:means for determining, at a communication device, an association between a plurality of data flows; andmeans for processing, at the communication device, the plurality of data flows based on the association.25.A non-transitory computer readable medium comprising program instructions for causing an apparatus to perform at least the method of claim 23.

Images