Apparatus and method for latency-sensitive RTP packet recovery

Abstract

Provided herein is apparatus and method for latency-sensitive Realtime Transport Protocol (RTP) packet recovery. An apparatus includes: interface circuitry; and processing circuitry coupled with the interface circuitry. The processing circuitry is to: divide a frame into a plurality of packets; generate redundant information for a tail packet of one or more tail packets of the plurality of packets that are at the end of the frame but not for a non-tail packet of the plurality of packets; and transmit the plurality of packets along with the redundant information for the tail packet to a receiving device via the interface circuitry. Other embodiments are also claimed and described.

Description

APPARATUS AND METHOD FOR LATENCY-SENSITIVE RTP PACKET RECOVERYTechnical Field

[0001] Embodiments of the present disclosure generally relate to wireless communication, and in particular to apparatus and method for latency-sensitive Realtime Transport Protocol (RTP) packet recovery.Background Art

[0002] Video production has been undergoing a significant transformation with the advent of cloud and edge computing. These technologies bring unprecedented flexibility and scalability, allowing for video production workflows to be deployed and scaled on-demand, anywhere, and at any time. This evolution is being driven by a shift towards Internet Protocol (IP) -based workflows, with standards Society of Motion Picture and Television Engineers (SMPTE) ST2110 playing a central role.Brief Description of the Drawings

[0003] Embodiments of the disclosure will be illustrated, by way of example and not limitation, in the figures of the accompanying drawings in which like reference numerals refer to similar elements.

[0004] FIG. 1 is a network diagram illustrating an example network environment in accordance with one or more example embodiments of the present disclosure.

[0005] FIG. 2 illustrates a comparison between SDI, SMPTE 2022-6 and SMPTE 2110.

[0006] FIG. 3 illustrates an example of packet loss in accordance with some embodiments of the present disclosure.

[0007] FIG. 4 illustrates an example of packet recovery based on a backup stream in  accordance with some embodiments of the present disclosure.

[0008] FIG. 5 illustrates an example of packet recovery based on FEC in accordance with some embodiments of the present disclosure.

[0009] FIG. 6 illustrates an example of RTCP retransmission flow in accordance with some embodiments of the present disclosure.

[0010] FIG. 7 illustrates an example RTCP NACK packet format in accordance with some embodiments of the present disclosure.

[0011] FIG. 8 illustrates an example of ST2110 packet timing scheduling in accordance with some embodiments of the present disclosure.

[0012] FIG. 9 illustrates an example of hybrid packet recovery model in accordance with some embodiments of the present disclosure.

[0013] FIG. 10 illustrates an example effect of the hybrid packet recovery model compared with other packet recovery methods in accordance with some embodiments of the present disclosure.

[0014] FIG. 11 illustrates an example of a VRX model in accordance with some embodiments of the present disclosure.

[0015] FIG. 12 illustrates a flowchart of a method for packet recovery in accordance with some embodiments of the present disclosure.

[0016] FIG. 13 illustrates a flowchart of a method for packet recovery in accordance with some embodiments of the present disclosure.

[0017] FIG. 14 illustrates a block diagram of an example machine upon which any of one or more techniques (e.g., methods) may be performed, in accordance with one or more example embodiments of the present disclosure.

[0018] FIG. 15 illustrates a functional diagram of an exemplary communication station that may be suitable for use as a user device, in accordance with one or more example embodiments of the present disclosure.Detailed Description of Embodiments

[0019] Various aspects of the illustrative embodiments will be described using terms commonly employed by those skilled in the art to convey the substance of the disclosure to others skilled in the art. However, it will be apparent to those skilled in the art that many alternate embodiments may be practiced using portions of the described aspects. For purposes of explanation, specific numbers, materials, and configurations are set forth in order to provide a thorough understanding of the illustrative embodiments. However, it will be apparent to those skilled in the art that alternate embodiments may be practiced without the specific details. In other instances, well known features may have been omitted or simplified in order to avoid obscuring the illustrative embodiments.

[0020] Further, various operations will be described as multiple discrete operations, in turn, in a manner that is most helpful in understanding the illustrative embodiments; however, the order of description should not be construed as to imply that these operations are necessarily order dependent. In particular, these operations need not be performed in the order of presentation.

[0021] The phrases “in an embodiment” “in one embodiment” and “in some embodiments” are used repeatedly herein. The phrase generally does not refer to the same embodiment; however, it may. The terms “comprising, ” “having, ” and “including” are synonymous, unless the context dictates otherwise. The phrases “A or B” and “A / B” mean “ (A) , (B) , or (A and B) . ”

[0022] FIG. 1 is a network diagram illustrating an example network environment according to some example embodiments of the present disclosure. Wireless network 100 may include one or more transmitting devices 110 and one or more receiving devices 120, which may communicate via network 130. The transmitting device (s) 110 or the receiving device (s) may be mobile devices that are non-stationary (e.g., not having fixed locations) or may be stationary devices.

[0023] In some embodiments, the transmitting device (s) 110 or the receiving device (s) 120 may include one or more computer systems similar to that of the functional diagram of FIG. 15 and / or the example machine / system of FIG. 14.

[0024] One or more illustrative transmitting device (s) 110 or receiving device (s) 120 may be operable by one or more user (s) . It should be noted that any addressable unit may be a station (STA) . An STA may take on multiple distinct characteristics, each of which shape its function. For example, a single addressable unit might simultaneously be a portable STA, a quality-of-service (QoS) STA, a dependent STA, and a hidden STA. The one or more illustrative user device (s) 120 and the AP (s) 102 may be STAs. The one or more illustrative transmitting device (s) 110 or receiving device (s) 120 may operate as a personal basic service set (PBSS) control point / access point (PCP / AP) . The transmitting device (s) 110 or receiving device (s) 120 may include any suitable processor-driven device including, but not limited to, a mobile device or a non-mobile, e.g., a static device. For example, transmitting device (s) 110 or receiving device (s) 120 may include, a user equipment (UE) , a station (STA) , an access point (AP) , a software enabled AP (SoftAP) , a personal computer (PC) , a wearable wireless device (e.g., bracelet, watch, glasses, ring, etc. ) , a desktop computer, a mobile computer, a laptop computer, an ultrabookTM computer, a notebook computer, a tablet computer, a server computer, a handheld computer, a handheld device, an internet of things (IoT) device, a sensor device, a PDA device, a handheld PDA device, an on-board device, an off-board device, a hybrid device (e.g., combining cellular phone functionalities with PDA device functionalities) , a consumer device, a vehicular device, a non-vehicular device, a mobile or portable device, a non-mobile or non-portable device, a mobile phone, a cellular telephone, a PCS device, a PDA device which incorporates a wireless communication device, a mobile or portable GPS device, a DVB device, a relatively small computing device, a non-desktop computer, a “carry small live large” (CSLL) device, an ultra mobile device (UMD) , an ultra mobile PC (UMPC) , a mobile internet device (MID) , an “origami” device or computing device, a device that supports dynamically composable computing (DCC) , a context-aware device, a video device, an audio device, an A / V device, a set-top-box (STB) , a blu-ray disc (BD) player, a BD recorder, a digital video disc (DVD) player, a high definition (HD) DVD player, a DVD recorder, a HD DVD recorder, a personal video recorder (PVR) , a broadcast HD receiver, a video  source, an audio source, a video sink, an audio sink, a stereo tuner, a broadcast radio receiver, a flat panel display, a personal media player (PMP) , a digital video camera (DVC) , a digital audio player, a speaker, an audio receiver, an audio amplifier, a gaming device, a data source, a data sink, a digital still camera (DSC) , a media player, a smartphone, a television, a music player, or the like. Other devices, including smart devices such as lamps, climate control, car components, household components, appliances, etc. may also be included in this list.

[0025] As used herein, the term “Internet of Things (IoT) device” is used to refer to any object (e.g., an appliance, a sensor, etc. ) that has an addressable interface (e.g., an Internet protocol (IP) address, a Bluetooth identifier (ID) , a near-field communication (NFC) ID, etc. ) and can transmit information to one or more other devices over a wired or wireless connection. An IoT device may have a passive communication interface, such as a quick response (QR) code, a radio-frequency identification (RFID) tag, an NFC tag, or the like, or an active communication interface, such as a modem, a transceiver, a transmitter-receiver, or the like. An IoT device can have a particular set of attributes (e.g., a device state or status, such as whether the IoT device is on or off, open or closed, idle or active, available for task execution or busy, and so on, a cooling or heating function, an environmental monitoring or recording function, a light-emitting function, a sound-emitting function, etc. ) that can be embedded in and / or controlled / monitored by a central processing unit (CPU) , microprocessor, ASIC, or the like, and configured for connection to an IoT network such as a local ad-hoc network or the Internet. For example, IoT devices may include, but are not limited to, refrigerators, toasters, ovens, microwaves, freezers, dishwashers, dishes, hand tools, clothes washers, clothes dryers, furnaces, air conditioners, thermostats, televisions, light fixtures, vacuum cleaners, sprinklers, electricity meters, gas meters, etc., so long as the devices are equipped with an addressable communications interface for communicating with the IoT network. IoT devices may also include cell phones, desktop computers, laptop computers, tablet computers, personal digital assistants (PDAs) , etc. Accordingly, the IoT network may be comprised of a combination of “legacy” Internet-accessible devices (e.g., laptop or desktop computers, cell phones, etc. ) in  addition to devices that do not typically have Internet-connectivity (e.g., dishwashers, etc. ) .

[0026] The transmitting device (s) 110 or receiving device (s) 120 may include image or video generation and / or replay modules in accordance with one or more video related standards, e. g, SMPTE ST2110 standards.

[0027] The transmitting device (s) 110 or receiving device (s) 120 may also include mesh stations in, for example, a mesh network, in accordance with one or more IEEE 802.11 standards and / or 3GPP standards.

[0028] Any of the transmitting device (s) 110 or receiving device (s) 120 may be configured to communicate with each other via one or more communications networks 130 wirelessly or in a wired manner. Any of the communications networks 130 may include, but not limited to, any one of a combination of different types of suitable communications networks such as, for example, broadcasting networks, cable networks, public networks (e.g., the Internet) , private networks, wireless networks, cellular networks, or any other suitable private and / or public networks. Further, any of the communications networks 130 may have any suitable communication range associated therewith and may include, for example, global networks (e.g., the Internet) , metropolitan area networks (MANs) , wide area networks (WANs) , local area networks (LANs) , or personal area networks (PANs) . In addition, any of the communications networks 130 may include any type of medium over which network traffic may be carried including, but not limited to, coaxial cable, twisted-pair wire, optical fiber, a hybrid fiber coaxial (HFC) medium, microwave terrestrial transceivers, radio frequency communication mediums, white space communication mediums, ultra-high frequency communication mediums, satellite communication mediums, or any combination thereof.

[0029] Any of the transmitting device (s) 110 or receiving device (s) 120 may include one or more communications antennas. The one or more communications antennas may be any suitable type of antennas corresponding to the communications protocols used by the transmitting device (s) 110 or receiving device (s) 120. Some non-limiting examples of suitable communications antennas  include Wi-Fi antennas, Institute of Electrical and Electronics Engineers (IEEE) 802.11 family of standards compatible antennas, directional antennas, non-directional antennas, dipole antennas, folded dipole antennas, patch antennas, multiple-input multiple-output (MIMO) antennas, omnidirectional antennas, quasi-omnidirectional antennas, or the like. The one or more communications antennas may be communicatively coupled to a radio component to transmit and / or receive signals, such as communications signals to and / or from the transmitting device (s) 110 or receiving device (s) 120.

[0030] FIG. 2 illustrates a comparison between Serial Digital Interface (SDI) , SMPTE 2022-6 and SMPTE 2110 in accordance with some embodiments of the present disclosure. Compared to SDI and SMPTE 2022-6, which was simply mapping SDI onto IP, the big news is that SMPTE 2110 breaks apart audio, video and ancillary data into separate elementary streams. This is done to provide flexibility, allowing you to route and work on different streams independently.

[0031] SMPTE ST 2110 is a set of standards developed by the SMPTE that defines a framework for transmitting professional-quality audio and video over IP networks. This suite of standards has been a significant development in the world of broadcast and professional video production, as it replaces traditional SDI and coaxial cable-based infrastructures with IP-based solutions. SMPTE ST 2110 provides a standardized way to transport, synchronize, and process audio and video signals within networked environments.

[0032] SMPTE ST 2110 includes several individual standards that work together to ensure high-quality and efficient transport of media signals in a networked environment. Specifically, ST2110-20 and ST2110-22 define the transport of uncompressed and compressed video streams, respectively. These standards have been instrumental in enabling the transition from traditional SDI-based infrastructures to more flexible and scalable IP-based infrastructures.

[0033] As video production workflows move to the cloud and edge environments, they are faced with new challenges. One of the most significant challenges is the issue of packet loss. FIG. 3 illustrates an example of packet loss in accordance with some embodiments of the present  disclosure. In contrast to traditional SDI-based infrastructures, where signals are transmitted over dedicated and predictable physical links, IP-based infrastructures often have to contend with unpredictable network conditions, especially in cloud and edge environments.

[0034] From a networking transport perspective, several well-established methods exist for managing packet loss and initiating re-transmissions. However, addressing this challenge in the context of SMPTE ST2110 standard is particularly complex. This complexity arises because SMPTE ST2110 is designed for real-time transportation, and it becomes a formidable task to introduce packet re-transmission mechanisms without adversely affecting the real-time aspect.

[0035] Furthermore, the standard imposes stringent requirements on packet pacing, as exemplified by sub-standards like ST2110-21. These requirements demand precise control over the timing and sequencing of packets to ensure that the established packet patterns are not disrupted. This places an additional layer of intricacy on implementing reliable packet re-transmission mechanisms while preserving the integrity of the real-time transport.

[0036] The SMPTE ST 2022-7 standard provides a method for packet recovery by sending redundant streams over separate paths. FIG. 4 illustrates an example of packet recovery based on a backup stream in accordance with some embodiments of the present disclosure. As show, RTP packets are sent from the transmitter to the receiver via both path 1 and path 2. This approach protects against path failures by having a backup stream. However, the backpack path approach requires double the network bandwidth as both streams are transmitted simultaneously. The high bandwidth overhead makes this approach prohibitively expensive for many real-time AV applications, especially on cloud platforms or bandwidth-constrained edge networks.

[0037] The SMPTE ST 2022-5 standard uses Forward Error Correction (FEC) for packet recovery. FIG. 5 illustrates an example of packet recovery based on FEC in accordance with some embodiments of the present disclosure. As shown, at the transmitter, the original data is encoded via the FEC encoder to generate the transmitted data. At the receiver, the received date includes several errored data due to the noisy channel and the received data is decoded via the FEC decoder  to obtain the recovered data. While this avoids retransmission latency, FEC has significant bandwidth overhead (typically 30%) and requires substantial computational resources to encode / decode the redundant data. This can become a latency bottleneck.

[0038] Reliable Internet Stream Transport (RIST) is an open-source and open-specification transport protocol, primarily engineered to ensure the dependable delivery of video over networks prone to loss, such as the Internet. It achieves this while maintaining low latency and superior quality. While it is mostly utilized for the transmission of significantly compressed video formats like H264 and HEVC, it has not been specifically tailored to meet ST2110 standards.

[0039] Quick User Datagram Protocol (UDP) Internet Connections (QUIC) is a novel, encrypted transport layer network protocol. One potential method involves encapsulating ST2110 RTP packets over QUIC. There is an RFC has defined how to deploy RTP over QUIC, but it still has challenge in real-time transport and the need to fit for ST2110 strict packet pacing requirement.

[0040] To provide reliable and real-time ST2110 transportation, the application provides a hybrid packet recovery model which is based on the out-of-band RTCP protocol. The proposed mechanism can perfectly fit into existing ST2110-20 / 22 standards and provide low latency video transport while preserving the real-time capabilities in the standard. More importantly, it is compatible with all existing ST2110 sub-standard especially ST2110-21 packet pacing requirement. Besides data plane, in control plane, the parameters and SDP (Session Description Protocol) formats are defined for ST2110 Tx and Rx RTP sessions.

[0041] This proposed mechanism enhances the reliability of ST2110 streams in edge and cloud environments for the SMPTE ST2110 standard. By introducing an RTCP-based hybrid packet recovery mechanism that aligns with ST2110-21 packet timing requirements, continuous and high-quality media transport can be ensured, despite the inherent complexities and challenges associated with this implementation. It can be implemented in many products such as Intel Media Transport Library as well as other products of other companies.

[0042] The proposed mechanism focuses on tailoring RTCP capabilities to meet real-time  latency and reliability requirements of ST2110 media transport standards. By enhancing RTCP rather than replacing it, the proposed mechanism can be integrated smoothly into existing AV infrastructure. Since the proposed mechanism is based on RTCP, standard or typical RTCP operations will be described below.

[0043] In a standard or typical RTCP, the retransmission process involves the following steps: Transmitter (Tx) Process, Receiver (Rx) Process, and Transmitter (Tx) Response. FIG. 6 illustrates an example of RTCP retransmission flow in accordance with some embodiments of the present disclosure.

[0044] During the Transmitter (Tx) Process, the transmitter buffers the RTP packets as they are sent. This buffer, which has a predefined size, can only store a limited number of packets. Older packets are cleared from the buffer once it reaches its capacity.

[0045] During the Receiver (Rx) Process, the receiver keeps track of the received RTP sequence numbers within a defined window size (e.g., the window size is 128 as shown in FIG. 6) that corresponds to the transmitter's buffer size. It periodically checks for missing sequence numbers, indicating packet loss. Upon detecting missing packets, the receiver composes RTCP Negative Acknowledgement (NACK) packets and sends them back to the transmitter.

[0046] FIG. 7 illustrates an example RTCP NACK packet format in accordance with some embodiments of the present disclosure. As shown, “Start” is the sequence number of first missing packet, “follow” is the number of following missing packets. This merely an example format, and RTCP NACK packet format can be defined in a different way, which is not limited in the disclosure.

[0047] During the Receiver (Rx) Process, the receiver also may maintain a skip window size (e.g., the skip window size is 10 as shown in FIG. 6) to avoid checking the most recent packets, accommodating for possible out-of-order packet delivery. The interval at which the receiver checks for missing packets and sends NACK packets to the transmitter is also defined.

[0048] During the Transmitter (Tx) Response, upon receiving the NACK packets, the transmitter parses them to identify the missing RTP packets. It then retrieves these packets from  the buffer and resends them to the receiver.

[0049] This process ensures that any lost packets are detected and retransmitted, thereby improving the stability of ST2110-20 / 22 streams, particularly in edge and cloud environments where packet loss is more likely to occur.

[0050] In the ST2110 standards, video frames are divided into packets for transmission over IP networks. The packets are evenly distributed within each frame interval for smooth, real-time transport. FIG. 8 illustrates an example of ST2110 packet timing scheduling in accordance with some embodiments of the present disclosure.

[0051] If a standard RTCP-based retransmission mechanism is applied to video over IP streams, two key issues can contribute to increased latency: Retransmission of Lost Tail Packets and Tolerant Latency Limits. Retransmission of Lost Tail Packets means that for video frames divided into packets, the last few packets at the end of each frame may be called tail packets. If these tail packets are lost, requesting retransmission can add significant latency due to the round-trip time (RTT) for the request and reply. Tolerant Latency Limits means that each video frame has a tolerant latency limit, such as the frame interval or line interval. If retransmissions cause the total latency to exceed this limit, it can lead to missed decoding / playback deadlines.

[0052] Considering these issues and other aspects, a hybrid packet recovery model is proposed in the application. In the hybrid packet recovery model, different strategies are applied to different packets. As mentioned above, a frame may be divided into a plurality of packet for transmission. The last few packets at the end of each frame may be called tail packets, and remaining packets may be called non-tail packets. The standard or typical RTCP retransmission mechanism may be applied to the non-tail packets. However, for the tail packets, redundant information may be added for the tail packet and transmitted along with corresponding tail packet. This hybrid packet recovery model enhances RTCP to enable low-latency recovery of lost video packets at frame boundaries. Redundant information for tail packets but not for non-tail packets avoid the latency of a full retransmission.

[0053] In some embodiments, the redundant information for the tail packet includes a copy of the tail packet. The redundant copies are proactively sent without waiting for a retransmission request. This avoids the RTT latency of a retransmit request.

[0054] In some embodiments, the redundant information for the tail packet includes FEC information for the tail packet. This allows lost packets to be recovered without retransmission. FEC overhead is minimized by applying it to tail packets but not to non-tail packets.

[0055] In some embodiments, the copy for tail packet or FEC for tail packet can be used separately or at the same time, which is not limited in the disclosure. For example, the redundant information for a first portion of tail packets includes a copy of corresponding tail packet, while the redundant information for a second portion of tail packets includes FEC information of corresponding tail packet. Or the redundant information for the tail packets includes both a copy and FEC information of corresponding tail packet. The disclosure is not limited in this respect.

[0056] In some embodiments, the redundant information for the tail packet may include other information, such as another error correction codes and the like. The disclosure is not limited in this respect.

[0057] In some embodiments, a number of the tail packets may be determined based on RTT, frame latency limit, or packet interval. For example, for a 1080p video frame with 4320 total packets, with a 1 ms RTT and 600 μs frame latency limit, the number of tail packets needing redundant information may be calculated as: Number of Tail Packets = (RTT -Tolerance)  / Packet Interval = (1 ms -600 μs)  / 3.7 μs = 108 (packets)        (1)

[0058] FIG. 9 illustrates an example of hybrid packet recovery model in accordance with some embodiments of the present disclosure. As shown, non-tail packets 0-4212 are enabled to be retransmitted based on RTCP, and tail packets 4213-4319 are each added corresponding redundant information, e.g., copy or FEC.

[0059] FIG. 10 illustrates an example effect of the hybrid packet recovery model compared with other packet recovery methods in accordance with some embodiments of the present  disclosure. As shown, in the scheme of ST2110 without packet recovery, there is lagging or corruption in the Rx video due to packet lost. In the scheme of ST2110 with complete copy or FEC for all packets, the packets and copies for all the packets needs 200%resources, or the FEC needs 50%resources, for example. In the scheme of traditional RTCP retransmission, last packet latency will be increased due to the interval and RTT. In comparison, in the proposed hybrid packet recovery scheme, traditional RTCP retransmission is applied to non-tail packets and tail packets may be recovered based on respective copy or FEC, so that slightly additional resource is needed and no last packet latency will be occurred.

[0060] Below, integration of the hybrid packet recovery model with ST2110 Packet Pacing will be explained to illustrate how the enhanced RTCP aligns with ST2110 packet pacing models and constraints for real-time streams.

[0061] The ST2110-21 standard details Traffic Shaping and Delivery Timing for Video. It emphasizes two key values for senders: C_max and VRX. As C_max is still under study, focus will be made primarily on VRX.

[0062] VRX, the Virtual Receiver Buffer model, is critical for defining video stream traffic shaping and timing. It simulates the reception and handling of video packets over the network, taking into account the sender's traffic and the receiver's processing capabilities. Its main role is to prevent buffer overflow and underflow, both of which can disrupt video playback. FIG. 11 illustrates an example of a VRX model in accordance with some embodiments of the present disclosure.

[0063] In some embodiments, in cloud (pure software) environment, the 'Wide' type of compliance is considered among the three types (Narrow, Narrow Linear, and Wide) . Compliance can be achieved by adjusting parameters such as the RTCP NACK feedback interval, NACK lookup windows size, and the sender's buffer size.

[0064] In some embodiments, key steps in ensuring ST2110-21 compliance, particularly regarding VRX, may include:

[0065] a) RTCP NACK Feedback Interval: This determines how often the receiver informs the sender about lost packets. If it is too long, it may cause VRX to underflow due to insufficient retransmission time. If it is too short, it could lead to network congestion. Balance is essential.

[0066] b) NACK Lookup Window Size: This defines the number of packets the receiver can hold for reordering and packet loss detection. A too small window can falsely report packet loss, while a too large window can delay loss detection. It should be large enough to handle network jitter but not cause delayed packet loss detection.

[0067] c) Sender's Buffer Size: This determines the number of packets the sender can store for retransmission. A too small buffer can lead to VRX underflow due to insufficient retransmission capacity. A too large buffer can unnecessarily increase delay.

[0068] These parameters' tuning depends on specific network conditions, including packet loss rate, network jitter, and round-trip time. Monitoring these conditions and adjusting parameters accordingly is recommended, along with the use of adaptive algorithms that can make auto-adjustment based on observed network conditions. In some embodiments, these parameters can be determined dynamically or predetermined.

[0069] Below, compatibility of the hybrid packet recovery model with existing ST2110 Rx Hardware will be described.

[0070] In some embodiments, the proposed RTCP enhancements are designed with backward compatibility, ensuring that existing ST2110 compliant receivers (Rx) can continue to operate without requiring hardware modifications. By utilizing a copy path for the transmission of tail packets, the Rx hardware treats these as it would any redundant packets. This is achieved by carefully tuning RTCP parameters such as the window size and interval, which are critical in maintaining the precise timing required for ST2110 streams.

[0071] For a seamless integration, the receiving logic on existing hardware is preserved. In some embodiments, copy transmissions are processed by Rx hardware as additional copies of the same packet, which the receiver can then use in place of any lost packets. This approach requires  no alteration to the existing logic and therefore ensures that current workflows are not disrupted.

[0072] Below, Control Plane Integration and Proposed Standards Changes will be detailed to discuss integration of the proposed hybrid packet recovery mechanism into control plane implementations and propose associated modifications to ST2110 standards to support the enhanced RTCP features.

[0073] The seamless integration of the proposed RTCP enhancements into the control plane is pivotal for the modernization of the ST2110 standard. In some embodiments, the Session Description Protocol (SDP) plays a crucial role in this integration, acting as the mediator for parameters necessary for initiating and maintaining RTP sessions. In some embodiments, to facilitate a smooth interaction between transmitters (Tx) and receivers (Rx) , the following key recovery parameters are introduced within the SDP framework:

[0074] a) RTCP Buffer Size: This parameter indicates the size of the buffer the Tx should maintain for potential retransmissions. A new field, a=rtcp-fb-window: size, allows dynamic negotiation of buffer size, ensuring optimal balance between latency and recovery capabilities.

[0075] b) Tail Packet Number: The number of redundant tail packets, expressed via a=rtcp-tail: number, informs both Tx and Rx of the additional resources dedicated to tail packets, enabling both ends to anticipate and manage these packets effectively.

[0076] c) RTCP Feedback and Redundancy Integration: By specifying a=rtcp-fb: type options, the SDP defines the behavior of feedback mechanisms. The new field, a=rtcp-fb: rt-as-redundant, signals the use of RTCP feedback for redundant packet transmission, facilitating a dual-purpose communication path that serves both as feedback and redundancy channels.

[0077] These additional SDP parameters are carefully designed to not only communicate the operational preferences of the enhanced RTCP system but also ensure backward compatibility. They allow existing hardware to recognize and, if capable, utilize the new features without interrupting standard operations. Transmitters and receivers can negotiate these parameters to reach an agreement on the level of redundancy and recovery tactics employed during the session.  In some embodiments, these parameters can be determined dynamically or predetermined.

[0078] FIG. 12 illustrates a flowchart of a method 1200 for packet recovery in accordance with some embodiments of the present disclosure. The method 1200 may be performed by the transmitting device. In some embodiments, the method 1200 may include operations 1210-1230.

[0079] At 1210, a frame is divided into a plurality of packets. In some embodiments, the frame may be a video frame for example.

[0080] At 1220, redundant information is generated for a tail packet of one or more tail packets of the plurality of packets that are at the end of the frame but not for a non-tail packet of the plurality of packets.

[0081] In some embodiments, the redundant information is generated for all tail packets. In some embodiments, the redundant information is generated for a portion of tail packets, for example, some consecutive tail packets or non-consecutive tail packets. The disclosure is not limited in this respect.

[0082] At 1230, the plurality of packets is transmitted to a receiving device along with the redundant information for the tail packet.

[0083] In some embodiments, the redundant information for the tail packet includes a copy of the tail packet.

[0084] In some embodiments, the redundant information for the tail packet includes FEC information for the tail packet.

[0085] In some embodiments, the method 1220 further includes: receiving, from the receiving device, a RTCP NACK for the non-tail packet to request retransmission of the non-tail packet; and retransmitting the non-tail packet to the receiving device.

[0086] In some embodiments, the number of the one or more tail packets is determined based on a RTT, a frame latency limit, or a packet interval.

[0087] In some embodiments, a buffer is provided to store portion of the plurality of packets. The size of the buffer is determined (e.g., dynamically or predetermined) at least based on balance  between latency and recovery capability.

[0088] In some embodiments, the plurality of packets are transmitted to the receiving device in a cloud environment or an edge environment.

[0089] FIG. 13 illustrates a flowchart of a method 1300 for packet recovery in accordance with some embodiments of the present disclosure. The method 1300 may be performed by the receiving device. In some embodiments, the method 1300 may include operations 1310 and 1320.

[0090] At 1310, a frame is received from a transmitting device. The frame includes a plurality of packets with respective sequence numbers, the plurality of packets include one or more tail packets at the end of the frame with corresponding redundant information and one or more non-tail packets. In some embodiments, the frame may be a video frame for example.

[0091] At 1320, information content corresponding to the frame is provided, for example, for playing to a user.

[0092] In some embodiments, the redundant information for the tail packet includes a copy of the tail packet.

[0093] In some embodiments, the redundant information for the tail packet includes FEC information for the tail packet.

[0094] In some embodiments, there is no redundant information for the one or more non-tail packets.

[0095] In some embodiments, the method 1300 further includes: tracking the sequence number of a non-tail packet of the one or more non-tail packets to detect missing of the non-tail packet; generating, when it is detected that the non-tail packet is missing, a RTCP NACK for the non-tail packet; and receiving a retransmission of the non-tail packet from the transmitting device in response to the RTCP NACK.

[0096] In some embodiments, an RTCP NACK feedback interval or an NACK lookup window size is determined (e.g., dynamically or predetermined) based on network conditions.

[0097] In some embodiments, the number of the one or more tail packets is determined based  on a RTT, a frame latency limit, or a packet interval.

[0098] In some embodiments, the frame is received from the transmitting device in a cloud environment or an edge environment.

[0099] The hybrid packet recovery mechanism proposed in the disclosure can enhance RTCP, so as to achieve reliable delivery including a significant reduction in packet loss and improved stability in ST2110 streams. By optimizing redundant information only for critical tail packets without the 100%bandwidth overhead of full path redundancy or FEC for all packets, it provides cost-effective resilience while meeting real-time latency constraints. This balanced approach is tailored for real-time AV transport. The selective use of redundancy is tuned for efficient operation on both cloud and edge networks. For example, the hybrid packet recovery mechanism optimizes the use of FEC and retransmissions. By selectively applying lightweight FEC to critical packets, and just-in-time retransmissions, it provides timely packet recovery while minimizing overhead.

[0100] The hybrid packet recovery mechanism results in a more robust ST2110 stream, which can be detected by observing the improved stability and reduced packet loss during streaming sessions, particularly in edge and cloud environments.

[0101] The hybrid packet recovery mechanism incorporates a tailored RTCP-based retransmission approach into the ST2110 standards to enable reliable recovery of lost packets. This avoids the latency pitfalls of standard retransmission techniques through copy transmission and / or FEC targeted to high-priority tail packets at frame boundaries. The hybrid packet recovery mechanism provides a robust, low-latency solution to packet loss for time-sensitive ST2110-20 and ST2110-22 streams in cloud and edge environments for example. The hybrid packet recovery mechanism would fill a key gap in the existing ST2110 standards, enhancing reliability and performance for real-time AV over IP.

[0102] FIG. 14 illustrates a block diagram of an example of a machine 1400 or system upon which any one or more of the techniques (e.g., methodologies) discussed herein may be performed. In other embodiments, the machine 1400 may operate as a standalone device or may be connected  (e.g., networked) to other machines. In a networked deployment, the machine 1400 may operate in the capacity of a server machine, a client machine, or both in server-client network environments. In an example, the machine 1400 may act as a peer machine in peer-to-peer (P2P) (or other distributed) network environments. The machine 1400 may be a personal computer (PC) , a tablet PC, a set-top box (STB) , a personal digital assistant (PDA) , a mobile telephone, a wearable computer device, a web appliance, a network router, a switch or bridge, or any machine capable of executing instructions (sequential or otherwise) that specify actions to be taken by that machine, such as a base station. Further, while only a single machine is illustrated, the term “machine” shall also be taken to include any collection of machines that individually or jointly execute a set (or multiple sets) of instructions to perform any one or more of the methodologies discussed herein, such as cloud computing, software as a service (SaaS) , or other computer cluster configurations.

[0103] Examples, as described herein, may include or may operate on logic or a number of components, modules, or mechanisms. Modules are tangible entities (e.g., hardware) capable of performing specified operations when operating. A module includes hardware. In an example, the hardware may be specifically configured to carry out a specific operation (e.g., hardwired) . In another example, the hardware may include configurable execution units (e.g., transistors, circuits, etc. ) and a computer readable medium containing instructions where the instructions configure the execution units to carry out a specific operation when in operation. The configuring may occur under the direction of the executions units or a loading mechanism. Accordingly, the execution units are communicatively coupled to the computer-readable medium when the device is operating. In this example, the execution units may be a member of more than one module. For example, under operation, the execution units may be configured by a first set of instructions to implement a first module at one point in time and reconfigured by a second set of instructions to implement a second module at a second point in time.

[0104] The machine (e.g., computer system) 1400 may include a hardware processor 1402 (e.g., a central processing unit (CPU) , a graphics processing unit (GPU) , a hardware processor core, or any combination thereof) , a main memory 1404 and a static memory 1406, some or all of which may communicate with each other via an interlink (e.g., bus) 1408. The machine 1400 may further include a power management device 1432, a graphics display device 1410, an alphanumeric input device 1412 (e.g., a keyboard) , and a user interface (UI) navigation device 1414 (e.g., a mouse) . In an example, the graphics display device 1410, alphanumeric input device 1412, and UI navigation device 1414 may be a touch screen display. The machine 1400 may additionally include a storage device (i.e., drive unit) 1416, a signal generation device 1418 (e.g., a speaker) , a data continuity and security device 1419, a network interface device / transceiver 1420 coupled to antenna (s) 1430, and one or more sensors 1428, such as a global positioning system (GPS) sensor, a compass, an accelerometer, or other sensor. The machine 1400 may include an output controller 1434, such as a serial (e.g., universal serial bus (USB) ) , parallel, or other wired or wireless (e.g., infrared (IR) , near field communication (NFC) , etc. ) connection to communicate with or control one or more peripheral devices (e.g., a printer, a card reader, etc. ) . The operations in accordance with one or more example embodiments of the present disclosure may be carried out by a baseband processor. The baseband processor may be configured to generate corresponding baseband signals. The baseband processor may further include physical layer (PHY) and medium access control layer (MAC) circuitry, and may further interface with the hardware processor 1402 for generation and processing of the baseband signals and for controlling operations of the main memory 1404, the storage device 1416, and / or the data continuity and security device 1419. The baseband processor may be provided on a single radio card, a single chip, or an integrated circuit (IC) .

[0105] The storage device 1416 may include a machine readable medium 1422 on which is stored one or more sets of data structures or instructions 1424 (e.g., software) embodying or utilized by any one or more of the techniques or functions described herein. The instructions  1424 may also reside, completely or at least partially, within the main memory 1404, within the static memory 1406, or within the hardware processor 1402 during execution thereof by the machine 1400. In an example, one or any combination of the hardware processor 1402, the main memory 1404, the static memory 1406, or the storage device 1416 may constitute machine-readable media.

[0106] The data continuity and security device 1419 may carry out or perform any of the operations and processes described and shown above.

[0107] It is understood that the above are only a subset of what the data continuity and security device 1419 may be configured to perform and that other functions included throughout this disclosure may also be performed by the data continuity and security device 1419.

[0108] While the machine-readable medium 1422 is illustrated as a single medium, the term "machine-readable medium" may include a single medium or multiple media (e.g., a centralized or distributed database, and / or associated caches and servers) configured to store the one or more instructions 1424.

[0109] Various embodiments may be implemented fully or partially in software and / or firmware. This software and / or firmware may take the form of instructions contained in or on a non-transitory computer-readable storage medium. Those instructions may then be read and executed by one or more processors to enable performance of the operations described herein. The instructions may be in any suitable form, such as but not limited to source code, compiled code, interpreted code, executable code, static code, dynamic code, and the like. Such a computer-readable medium may include any tangible non-transitory medium for storing information in a form readable by one or more computers, such as but not limited to read only memory (ROM) ; random access memory (RAM) ; magnetic disk storage media; optical storage media; a flash memory, etc.

[0110] The term “machine-readable medium” may include any medium that is capable of storing, encoding, or carrying instructions for execution by the machine 1400 and that cause the  machine 1400 to perform any one or more of the techniques of the present disclosure, or that is capable of storing, encoding, or carrying data structures used by or associated with such instructions. Non-limiting machine-readable medium examples may include solid-state memories and optical and magnetic media. In an example, a massed machine-readable medium includes a machine-readable medium with a plurality of particles having resting mass. Specific examples of massed machine-readable media may include non-volatile memory, such as semiconductor memory devices (e.g., electrically programmable read-only memory (EPROM) , or electrically erasable programmable read-only memory (EEPROM) ) and flash memory devices; magnetic disks, such as internal hard disks and removable disks; magneto-optical disks; and CD-ROM and DVD-ROM disks.

[0111] The instructions 1424 may further be transmitted or received over a communications network 1426 using a transmission medium via the network interface device / transceiver 1420 utilizing any one of a number of transfer protocols (e.g., frame relay, internet protocol (IP) , transmission control protocol (TCP) , user datagram protocol (UDP) , hypertext transfer protocol (HTTP) , etc. ) . Example communications networks may include a local area network (LAN) , a wide area network (WAN) , a packet data network (e.g., the Internet) , mobile telephone networks (e.g., cellular networks) , plain old telephone (POTS) networks, wireless data networks (e.g., Institute of Electrical and Electronics Engineers (IEEE) 802.11 family of standards known as IEEE 802.16 family of standards known as ) , IEEE 802.15.4 family of standards, and peer-to-peer (P2P) networks, among others. In an example, the network interface device / transceiver 1420 may include one or more physical jacks (e.g., Ethernet, coaxial, or phone jacks) or one or more antennas to connect to the communications network 1426. In an example, the network interface device / transceiver 1420 may include a plurality of antennas to wirelessly communicate using at least one of single-input multiple-output (SIMO) , multiple-input multiple-output (MIMO) , or multiple-input single-output (MISO) techniques. The term “transmission medium” shall be taken to include any intangible medium that is capable of storing, encoding, or  carrying instructions for execution by the machine 1400 and includes digital or analog communications signals or other intangible media to facilitate communication of such software.

[0112] The operations and processes described and shown above may be carried out or performed in any suitable order as desired in various implementations. Additionally, in certain implementations, at least a portion of the operations may be carried out in parallel. Furthermore, in certain implementations, less than or more than the operations described may be performed.

[0113] FIG. 15 shows a functional diagram of an exemplary communication station 1500, in accordance with one or more example embodiments of the present disclosure. In one embodiment, FIG. 15 illustrates a functional block diagram of a communication station that may be suitable for use as a transmitting device 110 (FIG. 1) or a receiving device 120 (FIG. 1) in accordance with some embodiments. The communication station 1500 may also be suitable for use as a handheld device, a mobile device, a cellular telephone, a smartphone, a tablet, a netbook, a wireless terminal, a laptop computer, a wearable computer device, a femtocell, a high data rate (HDR) subscriber station, an access point, an access terminal, or other personal communication system (PCS) device.

[0114] The communication station 1500 may include communications circuitry 1502 and a transceiver 1510 for transmitting and receiving signals to and from other communication stations using one or more antennas 1501. The communications circuitry 1502 may include circuitry that can operate the physical layer (PHY) communications and / or medium access control (MAC) communications for controlling access to the wireless medium, and / or any other communications layers for transmitting and receiving signals. The communication station 1500 may also include processing circuitry 1506 and memory 1508 arranged to perform the operations described herein. In some embodiments, the communications circuitry 1502 and the processing circuitry 1506 may be configured to perform operations detailed in the above figures, diagrams, and flows. The communication station 1500 may include interface circuitry (not shown) coupled with the processing circuitry 1506 arranged to perform the operations described herein.

[0115] In accordance with some embodiments, the communications circuitry 1502 may be arranged to contend for a wireless medium and configure frames or packets for communicating over the wireless medium. The communications circuitry 1502 may be arranged to transmit and receive signals. The communications circuitry 1502 may also include circuitry for modulation / demodulation, upconversion / downconversion, filtering, amplification, etc. In some embodiments, the processing circuitry 1506 of the communication station 1500 may include one or more processors. In other embodiments, two or more antennas 1501 may be coupled to the communications circuitry 1502 arranged for sending and receiving signals. The memory 1508 may store information for configuring the processing circuitry 1506 to perform operations for configuring and transmitting message frames and performing the various operations described herein. The memory 1508 may include any type of memory, including non-transitory memory, for storing information in a form readable by a machine (e.g., a computer) . For example, the memory 1508 may include a computer-readable storage device, read-only memory (ROM) , random-access memory (RAM) , magnetic disk storage media, optical storage media, flash-memory devices and other storage devices and media.

[0116] In some embodiments, the communication station 1500 may be part of a portable wireless communication device, such as a personal digital assistant (PDA) , a laptop or portable computer with wireless communication capability, a web tablet, a wireless telephone, a smartphone, a wireless headset, a pager, an instant messaging device, a digital camera, an access point, a television, a medical device (e.g., a heart rate monitor, a blood pressure monitor, etc. ) , a wearable computer device, or another device that may receive and / or transmit information wirelessly.

[0117] In some embodiments, the communication station 1500 may include one or more antennas 1501. The antennas 1501 may include one or more directional or omnidirectional antennas, including, for example, dipole antennas, monopole antennas, patch antennas, loop antennas, microstrip antennas, or other types of antennas suitable for transmission of RF signals.  In some embodiments, instead of two or more antennas, a single antenna with multiple apertures may be used. In these embodiments, each aperture may be considered a separate antenna. In some multiple-input multiple-output (MIMO) embodiments, the antennas may be effectively separated for spatial diversity and the different channel characteristics that may result between each of the antennas and the antennas of a transmitting station.

[0118] In some embodiments, the communication station 1500 may include one or more of a keyboard, a display, a non-volatile memory port, multiple antennas, a graphics processor, an application processor, speakers, and other mobile device elements. The display may be an LCD screen including a touch screen.

[0119] Although the communication station 1500 is illustrated as having several separate functional elements, two or more of the functional elements may be combined and may be implemented by combinations of software-configured elements, such as processing elements including digital signal processors (DSPs) , and / or other hardware elements. For example, some elements may include one or more microprocessors, DSPs, field-programmable gate arrays (FPGAs) , application specific integrated circuits (ASICs) , radio-frequency integrated circuits (RFICs) and combinations of various hardware and logic circuitry for performing at least the functions described herein. In some embodiments, the functional elements of the communication station 1500 may refer to one or more processes operating on one or more processing elements.

[0120] Certain embodiments may be implemented in one or a combination of hardware, firmware, and software. Other embodiments may also be implemented as instructions stored on a computer-readable storage device, which may be read and executed by at least one processor to perform the operations described herein. A computer-readable storage device may include any non-transitory memory mechanism for storing information in a form readable by a machine (e.g., a computer) . For example, a computer-readable storage device may include read-only memory (ROM) , random-access memory (RAM) , magnetic disk storage media, optical storage media, flash-memory devices, and other storage devices and media. In some embodiments, the  communication station 1500 may include one or more processors and may be configured with instructions stored on a computer-readable storage device.

[0121] The word “exemplary” is used herein to mean “serving as an example, instance, or illustration. ” Any embodiment described herein as “exemplary” is not necessarily to be construed as preferred or advantageous over other embodiments. The terms “computing device, ” “user device, ” “communication station, ” “station, ” “handheld device, ” “mobile device, ” “wireless device” and “user equipment” (UE) as used herein refers to a wireless communication device such as a cellular telephone, a smartphone, a tablet, a netbook, a wireless terminal, a laptop computer, a femtocell, a high data rate (HDR) subscriber station, an access point, a printer, a point of sale device, an access terminal, or other personal communication system (PCS) device. The device may be either mobile or stationary.

[0122] As used within this document, the term “communicate” is intended to include transmitting, or receiving, or both transmitting and receiving. This may be particularly useful in claims when describing the organization of data that is being transmitted by one device and received by another, but only the functionality of one of those devices is required to infringe the claim. Similarly, the bidirectional exchange of data between two devices (both devices transmit and receive during the exchange) may be described as “communicating, ” when only the functionality of one of those devices is being claimed. The term “communicating” as used herein with respect to a wireless communication signal includes transmitting the wireless communication signal and / or receiving the wireless communication signal. For example, a wireless communication unit, which is capable of communicating a wireless communication signal, may include a wireless transmitter to transmit the wireless communication signal to at least one other wireless communication unit, and / or a wireless communication receiver to receive the wireless communication signal from at least one other wireless communication unit.

[0123] As used herein, unless otherwise specified, the use of the ordinal adjectives “first, ” “second, ” “third, ” etc., to describe a common object, merely indicates that different instances of  like objects are being referred to and are not intended to imply that the objects so described must be in a given sequence, either temporally, spatially, in ranking, or in any other manner.

[0124] Some embodiments may be used in conjunction with various devices and systems, for example, a personal computer (PC) , a desktop computer, a mobile computer, a laptop computer, a notebook computer, a tablet computer, a server computer, a handheld computer, a handheld device, a personal digital assistant (PDA) device, a handheld PDA device, an on-board device, an off-board device, a hybrid device, a vehicular device, a non-vehicular device, a mobile or portable device, a consumer device, a non-mobile or non-portable device, a wireless communication station, a wireless communication device, a wireless access point (AP) , a wired or wireless router, a wired or wireless modem, a video device, an audio device, an audio-video (A / V) device, a wired or wireless network, a wireless area network, a wireless video area network (WVAN) , a local area network (LAN) , a wireless LAN (WLAN) , a personal area network (PAN) , a wireless PAN (WPAN) , and the like.

[0125] Some embodiments may be used in conjunction with one way and / or two-way radio communication systems, cellular radio-telephone communication systems, a mobile phone, a cellular telephone, a wireless telephone, a personal communication system (PCS) device, a PDA device which incorporates a wireless communication device, a mobile or portable global positioning system (GPS) device, a device which incorporates a GPS receiver or transceiver or chip, a device which incorporates an RFID element or chip, a multiple input multiple output (MIMO) transceiver or device, a single input multiple output (SIMO) transceiver or device, a multiple input single output (MISO) transceiver or device, a device having one or more internal antennas and / or external antennas, digital video broadcast (DVB) devices or systems, multi-standard radio devices or systems, a wired or wireless handheld device, e.g., a smartphone, a wireless application protocol (WAP) device, or the like.

[0126] Some embodiments may be used in conjunction with one or more types of wireless communication signals and / or systems following one or more wireless communication protocols,  for example, radio frequency (RF) , infrared (IR) , frequency-division multiplexing (FDM) , orthogonal FDM (OFDM) , time-division multiplexing (TDM) , time-division multiple access (TDMA) , extended TDMA (E-TDMA) , general packet radio service (GPRS) , extended GPRS, code-division multiple access (CDMA) , wideband CDMA (WCDMA) , CDMA 2000, single-carrier CDMA, multi-carrier CDMA, multi-carrier modulation (MDM) , discrete multi-tone (DMT) ,  global positioning system (GPS) , Wi-Fi, Wi-Max, ZigBee, ultra-wideband (UWB) , global system for mobile communications (GSM) , 2G, 2.5G, 3G, 3.5G, 4G, fifth generation (5G) mobile networks, 3GPP, long term evolution (LTE) , LTE advanced, enhanced data rates for GSM Evolution (EDGE) , or the like. Other embodiments may be used in various other devices, systems, and / or networks.

[0127] The following paragraphs describe examples of various embodiments.

[0128] Example 1 includes an apparatus, comprising: interface circuitry; and processing circuitry coupled with the interface circuitry, wherein the processing circuitry is to: divide a frame into a plurality of packets; generate redundant information for a tail packet of one or more tail packets of the plurality of packets that are at the end of the frame but not for a non-tail packet of the plurality of packets; and transmit the plurality of packets along with the redundant information for the tail packet to a receiving device via the interface circuitry.

[0129] Example 2 includes the apparatus of Example 1, wherein the redundant information for the tail packet includes a copy of the tail packet.

[0130] Example 3 includes the apparatus of Example 1 or 2, wherein the redundant information for the tail packet includes Forward Error Correction (FEC) information for the tail packet.

[0131] Example 4 includes the apparatus of any of Examples 1 to 3, wherein the processing circuitry is further to: receive, from the receiving device via the interface circuitry, a Real Time Transport Control Protocol (RTCP) Negative Acknowledgement (NACK) for the non-tail packet to request retransmission of the non-tail packet; and retransmit the non-tail packet to the receiving device via the interface circuitry.

[0132] Example 5 includes the apparatus of any of Examples 1 to 4, wherein a number of the one or more tail packets is determined based on a Round-Trip Time (RTT) , a frame latency limit, or a packet interval.

[0133] Example 6 includes the apparatus of any of Examples 1 to 5, wherein the frame includes a video frame.

[0134] Example 7 includes the apparatus of any of Examples 1 to 6, further comprising a buffer to store portion of the plurality of packets, wherein a size of the buffer is determined at least based on balance between latency and recovery capability.

[0135] Example 8 includes the apparatus of any of Examples 1 to 7, wherein the plurality of packets are transmitted to the receiving device in a cloud environment or an edge environment.

[0136] Example 9 includes an apparatus, comprising: interface circuitry; and processing circuitry coupled with the interface circuitry, wherein the processing circuitry is to: receive a frame from a transmitting device via the interface circuitry; and provide information content corresponding to the frame, wherein the frame includes a plurality of packets with respective sequence numbers, the plurality of packets include one or more tail packets at the end of the frame with corresponding redundant information and one or more non-tail packets.

[0137] Example 10 includes the apparatus of Example 9, wherein the redundant information for the tail packet includes a copy of the tail packet or Forward Error Correction (FEC) information for the tail packet.

[0138] Example 11 includes the apparatus of Example 9 or 10, wherein the one or more non-tail packets do not include redundant information.

[0139] Example 12 includes the apparatus of any of Examples 9 to 11, wherein the processing circuitry is further to: track the sequence number of a non-tail packet of the one or more non-tail packets to detect missing of the non-tail packet; generate, when it is detected that the non-tail packet is missing, a Real Time Transport Control Protocol (RTCP) Negative Acknowledgement (NACK) for the non-tail packet; and receive a retransmission of the non-tail packet from the  transmitting device in response to the RTCP NACK.

[0140] Example 13 includes the apparatus of any of Examples 9 to 12, wherein an RTCP NACK feedback interval or an NACK lookup window size is determined based on network conditions.

[0141] Example 14 includes the apparatus of any of Examples 9 to 13, wherein a number of the one or more tail packets is determined based on a Round-Trip Time (RTT) , a frame latency limit, or a packet interval.

[0142] Example 15 includes the apparatus of any of Examples 9 to 14, wherein the frame includes a video frame.

[0143] Example 16 includes the apparatus of any of Examples 9 to 15, wherein the frame is received from the transmitting device in a cloud environment or an edge environment.

[0144] Example 17 includes a method, comprising: dividing a frame into a plurality of packets; generating redundant information for a tail packet of one or more tail packets of the plurality of packets that are at the end of the frame but not for a non-tail packet of the plurality of packets; and transmitting the plurality of packets along with the redundant information for the tail packet to a receiving device.

[0145] Example 18 includes the method of Example 17, wherein the redundant information for the tail packet includes a copy of the tail packet.

[0146] Example 19 includes the method of Example 17 or 18, wherein the redundant information for the tail packet includes Forward Error Correction (FEC) information for the tail packet.

[0147] Example 20 includes the method of any of Examples 17 to 19, further comprising: receiving, from the receiving device, a Real Time Transport Control Protocol (RTCP) Negative Acknowledgement (NACK) for the non-tail packet to request retransmission of the non-tail packet; and retransmitting the non-tail packet to the receiving device.

[0148] Example 21 includes the method of any of Examples 17 to 20, wherein a number of the one or more tail packets is determined based on a Round-Trip Time (RTT) , a frame latency limit, or a packet interval.

[0149] Example 22 includes the method of any of Examples 17 to 21, wherein the frame includes a video frame.

[0150] Example 23 includes the method of any of Examples 17 to 22, a buffer is provided to store portion of the plurality of packets, wherein a size of the buffer is determined at least based on balance between latency and recovery capability.

[0151] Example 24 includes the method of any of Examples 17 to 23, wherein the plurality of packets are transmitted to the receiving device in a cloud environment or an edge environment.

[0152] Example 25 includes a method, comprising: receiving a frame from a transmitting device; and providing information content corresponding to the frame, wherein the frame includes a plurality of packets with respective sequence numbers, the plurality of packets include one or more tail packets at the end of the frame with corresponding redundant information and one or more non-tail packets.

[0153] Example 26 includes the method of Example 25, wherein the redundant information for the tail packet includes a copy of the tail packet.

[0154] Example 27 includes the method of Example 25 or 26, wherein the redundant information for the tail packet includes Forward Error Correction (FEC) information for the tail packet.

[0155] Example 28 includes the method of any of Examples 25 to 27, further comprising: tracking the sequence number of a non-tail packet of the one or more non-tail packets to detect missing of the non-tail packet; generate, when it is detected that the non-tail packet is missing, a Real Time Transport Control Protocol (RTCP) Negative Acknowledgement (NACK) for the non-tail packet; and receiving a retransmission of the non-tail packet from the transmitting device in response to the RTCP NACK.

[0156] Example 29 includes the method of any of Examples 25 to 28, wherein an RTCP NACK feedback interval or an NACK lookup window size is determined based on network conditions.

[0157] Example 30 includes the method of any of Examples 25 to 29, wherein a number of the one or more tail packets is determined based on a Round-Trip Time (RTT) , a frame latency limit,  or a packet interval.

[0158] Example 31 includes the method of any of Examples 25 to 30, wherein the frame includes a video frame.

[0159] Example 32 includes the method of any of Examples 25 to 31, wherein the frame is received from the transmitting device in a cloud environment or an edge environment.

[0160] Example 33 includes a computer-readable medium having instructions stored thereon, wherein the instructions, when executed by processing circuitry, cause the processing circuitry to perform the method of any of Examples 17-24.

[0161] Example 34 includes a computer-readable medium having instructions stored thereon, wherein the instructions, when executed by processing circuitry, cause the processing circuitry to perform the method of any of Examples 25-32.

[0162] Example 35 includes an apparatus, comprising means for performing the operations of the method of any of Examples 17-24.

[0163] Example 36 includes an apparatus, comprising means for performing the operations of the method of any of Examples 25-32.

[0164] Embodiments according to the disclosure are in particular disclosed in the attached claims directed to a method, a storage medium, a device and a computer program product, wherein any feature mentioned in one claim category, e.g., method, can be claimed in another claim category, e.g., system, as well. The dependencies or references back in the attached claims are chosen for formal reasons only. However, any subject matter resulting from a deliberate reference back to any previous claims (in particular multiple dependencies) can be claimed as well, so that any combination of claims and the features thereof are disclosed and can be claimed regardless of the dependencies chosen in the attached claims. The subject-matter which can be claimed comprises not only the combinations of features as set out in the attached claims but also any other combination of features in the claims, wherein each feature mentioned in the claims can be combined with any other feature or combination of other features in the claims. Furthermore, any  of the embodiments and features described or depicted herein can be claimed in a separate claim and / or in any combination with any embodiment or feature described or depicted herein or with any of the features of the attached claims.

[0165] The foregoing description of one or more implementations provides illustration and description, but is not intended to be exhaustive or to limit the scope of embodiments to the precise form disclosed. Modifications and variations are possible in light of the above teachings or may be acquired from practice of various embodiments.

[0166] Certain aspects of the disclosure are described above with reference to block and flow diagrams of systems, methods, apparatuses, and / or computer program products according to various implementations. It will be understood that one or more blocks of the block diagrams and flow diagrams, and combinations of blocks in the block diagrams and the flow diagrams, respectively, may be implemented by computer-executable program instructions. Likewise, some blocks of the block diagrams and flow diagrams may not necessarily need to be performed in the order presented, or may not necessarily need to be performed at all, according to some implementations.

[0167] These computer-executable program instructions may be loaded onto a special-purpose computer or other particular machine, a processor, or other programmable data processing apparatus to produce a particular machine, such that the instructions that execute on the computer, processor, or other programmable data processing apparatus create means for implementing one or more functions specified in the flow diagram block or blocks. These computer program instructions may also be stored in a computer-readable storage media or memory that may direct a computer or other programmable data processing apparatus to function in a particular manner, such that the instructions stored in the computer-readable storage media produce an article of manufacture including instruction means that implement one or more functions specified in the flow diagram block or blocks. As an example, certain implementations may provide for a computer program product, comprising a computer-readable storage medium having a computer- readable program code or program instructions implemented therein, said computer-readable program code adapted to be executed to implement one or more functions specified in the flow diagram block or blocks. The computer program instructions may also be loaded onto a computer or other programmable data processing apparatus to cause a series of operational elements or steps to be performed on the computer or other programmable apparatus to produce a computer-implemented process such that the instructions that execute on the computer or other programmable apparatus provide elements or steps for implementing the functions specified in the flow diagram block or blocks.

[0168] Accordingly, blocks of the block diagrams and flow diagrams support combinations of means for performing the specified functions, combinations of elements or steps for performing the specified functions and program instruction means for performing the specified functions. It will also be understood that each block of the block diagrams and flow diagrams, and combinations of blocks in the block diagrams and flow diagrams, may be implemented by special-purpose, hardware-based computer systems that perform the specified functions, elements or steps, or combinations of special-purpose hardware and computer instructions.

[0169] Conditional language, such as, among others, “can, ” “could, ” “might, ” or “may, ” unless specifically stated otherwise, or otherwise understood within the context as used, is generally intended to convey that certain implementations could include, while other implementations do not include, certain features, elements, and / or operations. Thus, such conditional language is not generally intended to imply that features, elements, and / or operations are in any way required for one or more implementations or that one or more implementations necessarily include logic for deciding, with or without user input or prompting, whether these features, elements, and / or operations are included or are to be performed in any particular implementation.

[0170] Many modifications and other implementations of the disclosure set forth herein will be apparent having the benefit of the teachings presented in the foregoing descriptions and the  associated drawings. Therefore, it is to be understood that the disclosure is not to be limited to the specific implementations disclosed and that modifications and other implementations are intended to be included within the scope of the appended claims. Although specific terms are employed herein, they are used in a generic and descriptive sense only and not for purposes of limitation.

Claims

1.An apparatus, comprising:interface circuitry; andprocessing circuitry coupled with the interface circuitry,wherein the processing circuitry is to:divide a frame into a plurality of packets;generate redundant information for a tail packet of one or more tail packets of the plurality of packets that are at the end of the frame but not for a non-tail packet of the plurality of packets; andtransmit the plurality of packets along with the redundant information for the tail packet to a receiving device via the interface circuitry.2.The apparatus of claim 1, wherein the redundant information for the tail packet includes a copy of the tail packet.3.The apparatus of claim 1, wherein the redundant information for the tail packet includes Forward Error Correction (FEC) information for the tail packet.4.The apparatus of claim 1, wherein the processing circuitry is further to:receive, from the receiving device via the interface circuitry, a Real Time Transport Control Protocol (RTCP) Negative Acknowledgement (NACK) for the non-tail packet to request retransmission of the non-tail packet; andretransmit the non-tail packet to the receiving device via the interface circuitry.5.The apparatus of claim 1, wherein a number of the one or more tail packets is determined based on a Round-Trip Time (RTT) , a frame latency limit, or a packet interval.6.The apparatus of claim 1, wherein the frame includes a video frame.7.The apparatus of claim 1, further comprising a buffer to store portion of the plurality of packets, wherein a size of the buffer is determined at least based on balance between latency and recovery capability.8.The apparatus of claim 1, wherein the plurality of packets are transmitted to the receiving device in a cloud environment or an edge environment.9.An apparatus, comprising:interface circuitry; andprocessing circuitry coupled with the interface circuitry,wherein the processing circuitry is to:receive a frame from a transmitting device via the interface circuitry; andprovide information content corresponding to the frame,wherein the frame includes a plurality of packets with respective sequence numbers, and the plurality of packets include one or more tail packets at the end of the frame with corresponding redundant information and one or more non-tail packets.10.The apparatus of claim 9, wherein the redundant information for the tail packet includes a copy of the tail packet.11.The apparatus of claim 9, wherein the redundant information for the tail packet includes Forward Error Correction (FEC) information for the tail packet.12.The apparatus of claim 9, wherein the one or more non-tail packets do not include redundant information.13.The apparatus of claim 9, wherein the processing circuitry is further to:track the sequence number of a non-tail packet of the one or more non-tail packets to detect missing of the non-tail packet;generate, when it is detected that the non-tail packet is missing, a Real Time Transport Control Protocol (RTCP) Negative Acknowledgement (NACK) for the non-tail packet; andreceive a retransmission of the non-tail packet from the transmitting device in response to the RTCP NACK.14.The apparatus of claim 13, wherein an RTCP NACK feedback interval or an NACK lookup window size is determined based on network conditions.15.The apparatus of claim 9, wherein a number of the one or more tail packets is determined based on a Round-Trip Time (RTT) , a frame latency limit, or a packet interval.16.The apparatus of claim 9, wherein the frame includes a video frame.17.The apparatus of claim 9, wherein the frame is received from the transmitting device in a cloud environment or an edge environment.18.A computer-readable medium having instructions stored thereon, the instructions when executed by processing circuitry cause the processing circuitry to:divide a frame into a plurality of packets;generate redundant information for a tail packet of one or more tail packets of the plurality of packets that are at the end of the frame but not for a non-tail packet of the plurality of packets; andtransmit the plurality of packets along with the redundant information for the tail packet to a receiving device.19.The computer-readable medium of claim 18, wherein the redundant information for the tail packet includes a copy of the tail packet or Forward Error Correction (FEC) information for the tail packet.20.The computer-readable medium of claim 18, wherein the instructions when executed by the processing circuitry further cause the processing circuitry to:receive, from the receiving device, a Real Time Transport Control Protocol (RTCP) Negative Acknowledgement (NACK) for the non-tail packet to request retransmission of the non-tail packet; andretransmit the non-tail packet to the receiving device.

Images