Method, apparatus, and medium for visual data processing

Abstract

Embodiments of the present disclosure provide a solution for visual data processing. A method for visual data processing is proposed. The method comprises: processing, for a conversion between visual data and a bitstream of the visual data, the visual data by performing at least one of a motion compensation scheme or a motion estimation scheme on at least one frame associated with the visual data; and performing the conversion based on the processed visual data.

Description

METHOD, APPARATUS, AND MEDIUM FOR VISUAL DATA PROCESSINGFIELDS

[0001] Embodiments of the present disclosure relates generally to video processing techniques, and more particularly, to joint local and global motion compensation for learning-based video compression.BACKGROUND

[0002] The past decade has witnessed the rapid development of deep learning in a variety of areas, especially in computer vision and image processing. Neural network was invented originally with the interdisciplinary research of neuroscience and mathematics. It has shown strong capabilities in the context of non-linear transform and classification. Neural network-based image / video compression technology has gained significant progress during the past half decade. It is reported that the latest neural network-based image compression algorithm achieves comparable rate-distortion (R-D) performance with Versatile Video Coding (VVC) . With the performance of neural image compression continually being improved, neural network-based video compression has become an actively developing research area. However, coding efficiency and / or coding quality of neural network-based visual data coding is generally expected to be further improved.SUMMARY

[0003] Embodiments of the present disclosure provide a solution for visual data processing.

[0004] In a first aspect, a method for visual data processing is proposed. The method comprises: processing, for a conversion between visual data and a bitstream of the visual data, the visual data by performing at least one of a motion compensation scheme or a motion estimation scheme on at least one frame associated with the visual data; and performing the conversion based on the processed visual data.

[0005] According to the method in accordance with the first aspect of the present disclosure, the visual data is processed by performing at least one of a motion compensation scheme or a motion estimation scheme on at least one frame associated with the visual data. In this way, the proposed method can advantageously improve the coding quality and coding efficiency.

[0006] In a second aspect, an apparatus for visual data processing is proposed. The apparatus comprises a processor and a non-transitory memory with instructions thereon. The instructions upon execution by the processor, cause the processor to perform a method in accordance with the first aspect of the present disclosure.

[0007] In a third aspect, a non-transitory computer-readable storage medium is proposed. The non-transitory computer-readable storage medium stores instructions that cause a processor to perform a method in accordance with the first aspect of the present disclosure.

[0008] In a fourth aspect, another non-transitory computer-readable recording medium is proposed. The non-transitory computer-readable recording medium stores a bitstream of visual data which is generated by a method performed by an apparatus for visual data processing. The method comprises: processing the visual data by performing at least one of a motion compensation scheme or a motion estimation scheme on at least one frame associated with the visual data; and generating the bitstream based on the processed visual data.

[0009] In a fifth aspect, a method for storing a bitstream of visual data is proposed. The method comprises: processing the visual data by performing at least one of a motion compensation scheme or a motion estimation scheme on at least one frame associated with the visual data; generating the bitstream based on the processed visual data; and storing the bitstream in a non-transitory computer-readable recording medium.

[0010] This Summary is provided to introduce a selection of concepts in a simplified form that are further described below in the Detailed Description. This Summary is not intended to identify key features or essential features of the claimed subject matter, nor is it intended to be used to limit the scope of the claimed subject matter.BRIEF DESCRIPTION OF THE DRAWINGS

[0011] Through the following detailed description with reference to the accompanying drawings, the above and other objectives, features, and advantages of example embodiments of the present disclosure will become more apparent. In the example embodiments of the present disclosure, the same reference numerals usually refer to the same components.

[0012] Fig. 1 illustrates a block diagram that illustrates an example visual data coding system, in accordance with some embodiments of the present disclosure;

[0013] Fig. 2 illustrates a block diagram of an example video encoder in accordance with some embodiments of the present disclosure;

[0014] Fig. 3 illustrates a block diagram of an example video decoder in accordance with some embodiments of the present disclosure;

[0015] Fig. 4 illustrates an overall framework of the proposed method;

[0016] Fig. 5 illustrates an illustration of the joint local and global motion compensation module (LGMC) at encoder side;

[0017] Fig. 6 illustrates an illustration of the joint local and global motion compensation module (LGMC) at decoder side;

[0018] Fig. 7 illustrates an overall framework of the proposed method;

[0019] Fig. 8 illustrates an illustration of the joint local and global motion compensation module (LGMC) at encoder side;

[0020] Fig. 9 illustrates an illustration of the joint local and global motion compensation module (LGMC) at decoder side;

[0021] Fig. 10 is an illustration of training on long sequences with limited GPU memory;

[0022] Fig. 11 illustrates visualization of local correlations and non-local correlations;

[0023] Fig. 12 illustrates an illustration of contextual main encoder and decoder

[0024] Fig. 13 illustrates proposed Multiple Frame Non-Local Context Mining (MNLC) ;

[0025] Fig. 14 illustrates proposed Partial Cascaded Finetuning Strategy (PCFS) ;

[0026] Fig. 15 illustrates Rate-Distortion curves on HEVC B, HEVC C, UVG and MCL-JCV dataset;

[0027] Fig. 16 illustrates Rate-Distortion curves on HEVC B, HEVC C, UVG and MCL-JCV dataset;

[0028] Fig. 17 illustrates subjective quality comparison on reconstruction frames of DCVC-DC, DCVC-FM, the proposed ECVC, and the ground truth;

[0029] Fig. 18 illustrates visualization of non-local correlations;

[0030] Fig. 19 illustrates a flowchart of a method for visual data processing in accordance with embodiments of the present disclosure; and

[0031] Fig. 20 illustrates a block diagram of a computing device in which various embodiments of the present disclosure can be implemented.

[0032] Throughout the drawings, the same or similar reference numerals usually refer to the same or similar elements.DETAILED DESCRIPTION

[0033] Principle of the present disclosure will now be described with reference to some embodiments. It is to be understood that these embodiments are described only for the purpose of illustration and help those skilled in the art to understand and implement the present disclosure, without suggesting any limitation as to the scope of the disclosure. The disclosure described herein can be implemented in various manners other than the ones described below.

[0034] In the following description and claims, unless defined otherwise, all technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skills in the art to which this disclosure belongs.

[0035] References in the present disclosure to “one embodiment, ” “an embodiment, ” “an example embodiment, ” and the like indicate that the embodiment described may include a particular feature, structure, or characteristic, but it is not necessary that every embodiment includes the particular feature, structure, or characteristic. Moreover, such phrases are not necessarily referring to the same embodiment. Further, when a particular feature, structure, or characteristic is described in connection with an example embodiment, it is submitted that it is within the knowledge of one skilled in the art to affect such feature, structure, or characteristic in connection with other embodiments whether or not explicitly described.

[0036] It shall be understood that although the terms “first” and “second” etc. may be used herein to describe various elements, these elements should not be limited by these terms. These terms are only used to distinguish one element from another. For example, a first element could be termed a second element, and similarly, a second element could be termed a first element, without departing from the scope of example embodiments. As used herein, the term “and / or” includes any and all combinations of one or more of the listed terms.

[0037] The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of example embodiments. As used herein, the singular forms “a” , “an” and “the” are intended to include the plural forms as well, unless the context clearly indicates otherwise. It will be further understood that the terms “comprises” , “comprising” , “has” , “having” , “includes” and / or “including” , when used herein, specify the presence of stated features, elements, and / or components etc., but do not preclude the presence or addition of one or more other features, elements, components and / or combinations thereof. Example Environment

[0038] Fig. 1 is a block diagram that illustrates an example visual data coding system 100 that may utilize the techniques of this disclosure. As shown, the visual data coding system 100 may include a source device 110 and a destination device 120. The source device 110 can be also referred to as a visual data encoding device, and the destination device 120 can be also referred to as a visual data decoding device. In operation, the source device 110 can be configured to generate encoded visual data and the destination device 120 can be configured to decode the encoded visual data generated by the source device 110. The source device 110 may include a visual data source 112, a visual data encoder 114, and an input / output (I / O) interface 116.

[0039] The visual data source 112 may include a source such as a visual data capture device. Examples of the visual data capture device include, but are not limited to, an interface to receive visual data from a visual data provider, a computer graphics system for generating visual data, and / or a combination thereof.

[0040] The visual data may comprise one or more pictures of a video or one or more images. The visual data encoder 114 encodes the visual data from the visual data source 112 to generate a bitstream. The bitstream may include a sequence of bits that form a coded representation of the visual data. The bitstream may include coded pictures and associated visual data. The coded picture is a coded representation of a picture. The associated visual data may include sequence parameter sets, picture parameter sets, and other syntax structures. The I / O interface 116 may include a modulator / demodulator and / or a transmitter. The encoded visual data may be transmitted directly to destination device 120 via the I / O interface 116 through the network 130A. The encoded visual data may also be stored onto a storage medium / server 130B for access by destination device 120.

[0041] The destination device 120 may include an I / O interface 126, a visual data decoder 124, and a display device 122. The I / O interface 126 may include a receiver and / or a modem. The I / O interface 126 may acquire encoded visual data from the source device 110 or the storage medium / server 130B. The visual data decoder 124 may decode the encoded visual data. The display device 122 may display the decoded visual data to a user. The display device 122 may be integrated with the destination device 120, or may be external to the destination device 120 which is configured to interface with an external display device.

[0042] The visual data encoder 114 and the visual data decoder 124 may operate according to a visual data coding standard, such as video coding standard or still picture coding standard and other current and / or further standards.

[0043] Fig. 2 is a block diagram illustrating an example of a video encoder 200, which may be an example of the video encoder 114 in the system 100 illustrated in Fig. 1, in accordance with some embodiments of the present disclosure.

[0044] The video encoder 200 may be configured to implement any or all of the techniques of this disclosure. In the example of Fig. 2, the video encoder 200 includes a plurality of functional components. The techniques described in this disclosure may be shared among the various components of the video encoder 200. In some examples, a processor may be configured to perform any or all of the techniques described in this disclosure.

[0045] In some embodiments, the video encoder 200 may include a partition unit 201, a prediction unit 202 which may include a mode select unit 203, a motion estimation unit 204, a motion compensation unit 205 and an intra-prediction unit 206, a residual generation unit 207, a transform unit 208, a quantization unit 209, an inverse quantization unit 210, an inverse transform unit 211, a reconstruction unit 212, a buffer 213, and an entropy encoding unit 214.

[0046] In other examples, the video encoder 200 may include more, fewer, or different functional components. In an example, the prediction unit 202 may include an intra block copy (IBC) unit. The IBC unit may perform prediction in an IBC mode in which at least one reference picture is a picture where the current video block is located.

[0047] Furthermore, although some components, such as the motion estimation unit 204 and the motion compensation unit 205, may be integrated, but are represented in the example of Fig. 2 separately for purposes of explanation.

[0048] The partition unit 201 may partition a picture into one or more video blocks. The video encoder 200 and the video decoder 300 may support various video block sizes.

[0049] The mode select unit 203 may select one of the coding modes, intra or inter, e.g., based on error results, and provide the resulting intra-coded or inter-coded block to a residual generation unit 207 to generate residual block data and to a reconstruction unit 212 to reconstruct the encoded block for use as a reference picture. In some examples, the mode select unit 203 may select a combined inter and intra prediction (CIIP) mode in which the prediction is based on an inter prediction signal and an intra prediction signal. The mode select unit 203 may also select a resolution for a motion vector (e.g., a sub-pixel or integer pixel precision) for the block in the case of inter-prediction.

[0050] To perform inter prediction on a current video block, the motion estimation unit 204 may generate motion information for the current video block by comparing one or more reference frames from buffer 213 to the current video block. The motion compensation unit 205 may determine a predicted video block for the current video block based on the motion information and decoded samples of pictures from the buffer 213 other than the picture associated with the current video block.

[0051] The motion estimation unit 204 and the motion compensation unit 205 may perform different operations for a current video block, for example, depending on whether the current video block is in an I-slice, a P-slice, or a B-slice. As used herein, an “I-slice” may refer to a portion of a picture composed of macroblocks, all of which are based upon macroblocks within the same picture. Further, as used herein, in some aspects, “P-slices” and “B-slices” may refer to portions of a picture composed of macroblocks that are not dependent on macroblocks in the same picture.

[0052] In some examples, the motion estimation unit 204 may perform uni-directional prediction for the current video block, and the motion estimation unit 204 may search reference pictures of list 0 or list 1 for a reference video block for the current video block. The motion estimation unit 204 may then generate a reference index that indicates the reference picture in list 0 or list 1 that contains the reference video block and a motion vector that indicates a spatial displacement between the current video block and the reference video block. The motion estimation unit 204 may output the reference index, a prediction direction indicator, and the motion vector as the motion information of the current video block. The motion compensation unit 205 may generate the predicted video block of the current video block based on the reference video block indicated by the motion information of the current video block.

[0053] Alternatively, in other examples, the motion estimation unit 204 may perform bi-directional prediction for the current video block. The motion estimation unit 204 may search the reference pictures in list 0 for a reference video block for the current video block and may also search the reference pictures in list 1 for another reference video block for the current video block. The motion estimation unit 204 may then generate reference indexes that indicate the reference pictures in list 0 and list 1 containing the reference video blocks and motion vectors that indicate spatial displacements between the reference video blocks and the current video block. The motion estimation unit 204 may output the reference indexes and the motion vectors of the current video block as the motion information of the current video block. The motion compensation unit 205 may generate the predicted video block of the current video block based on the reference video blocks indicated by the motion information of the current video block.

[0054] In some examples, the motion estimation unit 204 may output a full set of motion information for decoding processing of a decoder. Alternatively, in some embodiments, the motion estimation unit 204 may signal the motion information of the current video block with reference to the motion information of another video block. For example, the motion estimation unit 204 may determine that the motion information of the current video block is sufficiently similar to the motion information of a neighboring video block.

[0055] In one example, the motion estimation unit 204 may indicate, in a syntax structure associated with the current video block, a value that indicates to the video decoder 300 that the current video block has the same motion information as the another video block.

[0056] In another example, the motion estimation unit 204 may identify, in a syntax structure associated with the current video block, another video block and a motion vector difference (MVD) . The motion vector difference indicates a difference between the motion vector of the current video block and the motion vector of the indicated video block. The video decoder 300 may use the motion vector of the indicated video block and the motion vector difference to determine the motion vector of the current video block.

[0057] As discussed above, video encoder 200 may predictively signal the motion vector. Two examples of predictive signaling techniques that may be implemented by video encoder 200 include advanced motion vector prediction (AMVP) and merge mode signaling.

[0058] The intra prediction unit 206 may perform intra prediction on the current video block. When the intra prediction unit 206 performs intra prediction on the current video block, the intra prediction unit 206 may generate prediction data for the current video block based on decoded samples of other video blocks in the same picture. The prediction data for the current video block may include a predicted video block and various syntax elements.

[0059] The residual generation unit 207 may generate residual data for the current video block by subtracting (e.g., indicated by the minus sign) the predicted video block (s) of the current video block from the current video block. The residual data of the current video block may include residual video blocks that correspond to different sample components of the samples in the current video block.

[0060] In other examples, there may be no residual data for the current video block, for example in a skip mode, and the residual generation unit 207 may not perform the subtracting operation.

[0061] The transform unit 208 may generate one or more transform coefficient video blocks for the current video block by applying one or more transforms to a residual video block associated with the current video block.

[0062] After the transform unit 208 generates a transform coefficient video block associated with the current video block, the quantization unit 209 may quantize the transform coefficient video block associated with the current video block based on one or more quantization parameter (QP) values associated with the current video block.

[0063] The inverse quantization unit 210 and the inverse transform unit 211 may apply inverse quantization and inverse transforms to the transform coefficient video block, respectively, to reconstruct a residual video block from the transform coefficient video block. The reconstruction unit 212 may add the reconstructed residual video block to corresponding samples from one or more predicted video blocks generated by the prediction unit 202 to produce a reconstructed video block associated with the current video block for storage in the buffer 213.

[0064] After the reconstruction unit 212 reconstructs the video block, loop filtering operation may be performed to reduce video blocking artifacts in the video block.

[0065] The entropy encoding unit 214 may receive data from other functional components of the video encoder 200. When the entropy encoding unit 214 receives the data, the entropy encoding unit 214 may perform one or more entropy encoding operations to generate entropy encoded data and output a bitstream that includes the entropy encoded data.

[0066] Fig. 3 is a block diagram illustrating an example of a video decoder 300, which may be an example of the video decoder 124 in the system 100 illustrated in Fig. 1, in accordance with some embodiments of the present disclosure.

[0067] The video decoder 300 may be configured to perform any or all of the techniques of this disclosure. In the example of Fig. 3, the video decoder 300 includes a plurality of functional components. The techniques described in this disclosure may be shared among the various components of the video decoder 300. In some examples, a processor may be configured to perform any or all of the techniques described in this disclosure.

[0068] In the example of Fig. 3, the video decoder 300 includes an entropy decoding unit 301, a motion compensation unit 302, an intra prediction unit 303, an inverse quantization unit 304, an inverse transform unit 305, a reconstruction unit 306 and a buffer 307. The video decoder 300 may, in some examples, perform a decoding pass generally reciprocal to the encoding pass described with respect to video encoder 200.

[0069] The entropy decoding unit 301 may retrieve an encoded bitstream. The encoded bitstream may include entropy coded video data (e.g., encoded blocks of video data) . The entropy decoding unit 301 may decode the entropy coded video data, and from the entropy decoded video data, the motion compensation unit 302 may determine motion information including motion vectors, motion vector precision, reference picture list indexes, and other motion information. The motion compensation unit 302 may, for example, determine such information by performing the AMVP and merge mode. AMVP is used, including derivation of several most probable candidates based on data from adjacent PBs and the reference picture. Motion information typically includes the horizontal and vertical motion vector displacement values, one or two reference picture indices, and, in the case of prediction regions in B slices, an identification of which reference picture list is associated with each index. As used herein, in some aspects, a “merge mode” may refer to deriving the motion information from spatially or temporally neighboring blocks.

[0070] The motion compensation unit 302 may produce motion compensated blocks, possibly performing interpolation based on interpolation filters. Identifiers for interpolation filters to be used with sub-pixel precision may be included in the syntax elements.

[0071] The motion compensation unit 302 may use the interpolation filters as used by the video encoder 200 during encoding of the video block to calculate interpolated values for sub-integer pixels of a reference block. The motion compensation unit 302 may determine the interpolation filters used by the video encoder 200 according to the received syntax information and use the interpolation filters to produce predictive blocks.

[0072] The motion compensation unit 302 may use at least part of the syntax information to determine sizes of blocks used to encode frame (s) and / or slice (s) of the encoded video sequence, partition information that describes how each macroblock of a picture of the encoded video sequence is partitioned, modes indicating how each partition is encoded, one or more reference frames (and reference frame lists) for each inter-encoded block, and other information to decode the encoded video sequence. As used herein, in some aspects, a “slice” may refer to a data structure that can be decoded independently from other slices of the same picture, in terms of entropy coding, signal prediction, and residual signal reconstruction. A slice can either be an entire picture or a region of a picture.

[0073] The intra prediction unit 303 may use intra prediction modes for example received in the bitstream to form a prediction block from spatially adjacent blocks. The inverse quantization unit 304 inverse quantizes, i.e., de-quantizes, the quantized video block coefficients provided in the bitstream and decoded by entropy decoding unit 301. The inverse transform unit 305 applies an inverse transform.

[0074] The reconstruction unit 306 may obtain the decoded blocks, e.g., by summing the residual blocks with the corresponding prediction blocks generated by the motion compensation unit 302 or intra-prediction unit 303. If desired, a deblocking filter may also be applied to filter the decoded blocks in order to remove blockiness artifacts. The decoded video blocks are then stored in the buffer 307, which provides reference blocks for subsequent motion compensation / intra prediction and also produces decoded video for presentation on a display device.

[0075] Some example embodiments of the present disclosure will be described in detailed hereinafter. It should be understood that section headings are used in the present document to facilitate ease of understanding and do not limit the embodiments disclosed in a section to only that section. Furthermore, while certain embodiments are described with reference to Versatile Video Coding or other specific visual data codecs, the disclosed techniques are applicable to other coding technologies also. Furthermore, while some embodiments describe coding steps in detail, it will be understood that corresponding steps decoding that undo the coding will be implemented by a decoder. Furthermore, the term visual data processing encompasses visual data coding or compression, visual data decoding or decompression and visual data transcoding in which visual data are represented from one compressed format into another compressed format or at a different compressed bitrate. 1. Brief Summary

[0076] The present disclosure is related to learning-based end-to-end optimized video coding technologies. Specifically, it is related to flow-based motion estimation and motion compensation. It may be applied to the existing learning-based video coding models like DCVC, DCVC-TCM . It may also be applicable to future video coding standards or video codec powered by AI. 2. Introduction

[0077] Due to the rise and emergence of social media and video applications, it is vital to restore them efficiently, which makes image and video compression become an active area. In recent years, learned video compression attracts lots of attention, most of the learned video compression models are based on predictive coding paradigm. They use an optical flow net or Deformable Convolutional Network (DCN) to predict the motion information between the decoded frame and current frame, use a motion codec to compress the motion information, and use a residual codec or a contextual codec to compress the residuals or contexts. These models are optimized in an end-to-end manner, which makes it flexible to meet a variety of demands, such as perceptual quality. 2.1. Deep Contextual Video Compression

[0078] The learning-based video compression model consists of an independent intra codec, a contextual or encoder EC, a contextual decoder DC, a motion encoder, a motion decoder, and an optical flow net.

[0079] The intra codec is used to compress the key frame (I frame) in each GOP (group of images) . When compress the P frames xt, optical flow net is used to estimate the flow between previous decoded frame  and current P frame xt. Flow map is employed as the motion vector.

[0080] At encoder, a motion codec is used to compress the flow map and the reconstructed flow map is employed for consistency between encoding and decoding. The decoded frame is warped to context  based on the decoded optical flow When compressing P frame xt, xt is concatenated with context  and the result is fed to the contextual codec. The concatenation between xt and is to let the network learn conditional coding.

[0081] At decoder, the key frame or I frame is first decoded using the independent intra codec decoder. The optical flow is decoded using the motion codec decoder. The decoded frame is warped to context based on the decoded optical flow. The inter codec is used to decompress the learned conditional coding information and it is concatenated with the context to obtain the reconstructed frame

[0082] The overall process is as follows: 2.2. Multi-Scale Deep Contextual Video Compression

[0083] The compression of frame xt is taken as an example. Multi-scale features are first extracted from propagated feature The propagated feature is the feature extracted from previous frames.

[0084] Motion vector is adopted to warp the multi-scale features to multi-scale local contexts  The is concatenated to the current frame xt,  is concatenated the to the mid-feature and the is concatenated to mid-feature The concatenation lets the network learn how to conduct conditional coding by itself. When decoding, multi-scale contexts are also concatenated to recover the frame. The overall process can be formulated as:  where EC and ED are the contextual encoder and the contextual decoder. 3. Problems

[0085] The current Flow-based motion estimation and motion compensation has the following problems: 1. Flow-based motion estimation can only handle small motions. The large motions are ignored in the  current design of end-to-end video compression. 2. There can exist global redundancy even in the case of small motions. Limited receptive field makes  them can only capture local redundancy. 4. Detailed solutions

[0086] The detailed solutions below should be considered as examples to explain general concepts. These solutions should not be interpreted in a narrow way. Furthermore, these solutions can be combined in any manner.

[0087] It is noted that the Predictive (P) frame at time t is xt∈R3×H×W, the decoded frame at time t-1 is where H is the height of each frame and W is the width of each frame. The offset or motion vector between frame xt and frame is denoted as vt∈R2×H×W. The decompressed offset or motion vector is denoted as At the encoder, the vt is compressed and decompressed into by a predefined motion codec. At the decoder side, the offsets / motion vector is required to be decompressed firstly. The compressor of the contextual encoder will down-sample the input frame xt for four times. The features are denoted as The decompressor of the contextual decoder will up-sample the quantized input latent representation four times. The features are denoted as

[0088] Firstly, the key symbol / notation or process in pixel-space end-to-end optimized video coding is defined. 1. At the encoder, the frame and decoded offset are warped to The is concatenated with xt  in channel dimension to get the result The is compressed by a predefined contextual codec. Herein, the is denoted as local context 2. At the decoder, the is employed to warp decoded frame to The contextual decoder from  contextual codec decompresses the bit-stream to obtain decoded The is concatenated with in channel dimension to recover the reconstructed frame Herein, the is denoted as local context

[0089] Secondly, the key symbol / notation or process in feature-space end-to-end optimized video coding is defined. 1. At the encoder, the feature is extracted from decoded frame or propagated feature  The is employed to warp feature to local context 2. At the decoder, the feature is extracted from decoded frame or propagated feature  The is employed to warp feature to local context

[0090] Thirdly, the key symbol / notation or process in multiple-feature-space end-to-end optimized video coding is defined. 1. At the encoder, the multi-scale features are extracted from  decoded frame or propagated feature by a predefined neural network. The is employed to warp features to local contexts 2. At the decoder, the multi-scale features are extracted from  decoded frame or propagated feature by a predefined neural network. The is employed to warp features to local contexts Propose GMC 1. It is proposed to use a global motion compensation  / estimation (GMC) scheme in learning-based  video compression. a. In one example, the GMC scheme may be used to generate global motion compensation or  extract motion content / information. b. In one example, the GMC scheme may be built / constructed by learning-based method, such  as neural network. c. In one example, the GMC scheme may be employed in pixel space or feature space. d. In one example, the GMC scheme may be employed for single-scale features or multi-scale  features in feature space. e. It is proposed the GMC can be performed on one or multiple frames. Propose LMC 2. It is proposed to use a local motion compensation / estimation (LMC) scheme in learning-based video  compression. a. In one example, the LMC scheme may be used to generate local motion compensation or  extract motion content / information. b. In one example, the LMC scheme may be built / constructed by learning-based method, such  as neural network. c. In one example, the LMC scheme may be employed in pixel space or feature space. d. In one example, the LMC scheme may be employed for single-scale features or multi-scale  features in feature space. e. It is proposed the GMC can be performed on one or multiple frames. Propose LGMC 3. It is proposed to use a joint the local and global motion compensation / estimation scheme (LGMC) in  learning-based video compression. a. In one example, the LGMC scheme may be used to generate joint local and global motion  compensation or extract motion content / information. b. In one example, the LGMC scheme may be built / constructed by learning-based method, such  as neural network. c. In one example, the LGMC scheme may be combined by an LMC scheme and an GMC  scheme. d. In one example, the LGMC scheme may be employed in pixel space or feature space. e. In one example, the LGMC scheme may be employed for single-scale feature or multi-scale  features in feature space. f. It is proposed the GMC can be performed on one or multiple frames. How to design the LMC. 4. It is proposed to use Optical Flow network (denoted as FlowNet) to construct LMC. a. In one example, the FlowNet is employed to estimate the offsets or motion vector vt between  frame xt and frame i. In one example, the LMC is employed in pixel space. ii. In one example, the LMC is employed in feature space. iii. In one example, the LMC is employed for multi-scale features. 5. It is proposed to use Deformable Neural Network (DCN) to construct LMC. a. In one example, the DCN is employed to estimate the offsets or motion vector vt between  frame xt and frame i. In one example, the LMC is employed in pixel space. ii. In one example, the LMC is employed in feature space. iii. In one example, the LMC is employed for multi-scale features. 6. It is proposed the LMC can be performed on one or multiple reference frames. It is noted that the  number of multiple frames is k, where k≥1. a. In one example, the FlowNet or DCN is employed to estimate the offsets or motion vector  between frame xt and frame where 1≤j≤k. i. In one example,  can be noted as if only considering one reference frame and j is equal to 1. b. In one example, LMC is employed in pixel space. i. In one example, the frame and motion vector are warped to get the fea- ture for reference frame ii. In one example, the LMC between the frame and frame xt may be obtained  after multiple continuous warps by using multiple motion vectors where 1≤i≤j. 1. In one example, the frame and motion vector are warped to  get the internal feature in the first step. 2. In one example, the internal feature can be obtained by warping  the previous internal feature and motion vector until getting the final feature where 1≤ i≤j-1. iii. In one example, one or multiple local features may be used in the encod- ing / decoding process. 1. In one example, multiple local features may be concatenated to get  the final iv. In one example, the may be noted as local feature v. In one example, the may be noted as local feature c. In one example, LMC is employed in feature space. d. In one example, LMC is employed in multi-scale feature space. How to design the GMC. 7. It is proposed to use cross attention network to construct GMC. a. In one example, the GMC is employed in pixel space. i. In one example, at encoder side, the cross attention is computed via  a predefined cross attention method between and xt when conducting global motion compensation. The process is formulated as: 1.  or 2.  or 3.  ii. In one example, at encoder side, the global motion compensation process is formu- lated as follows: 1.  2.  3.  4.  iii. In one example, at decoder side, the cross attention is computed via a predefined  cross attention method between and The process is formulated as: 1.  or 2.  or 3.  iv. In one example, at decoder side, the global motion compensation process is formu- lated as follows: 1.  2.  3.  4.  5.  b. In one example, the GMC is employed in feature space. i. In one example, at encoder side, the cross attention is computed via a predefined  cross attention method between feature and xt.  is extracted from or propagated feature The process is formulated as: 1.  or 2.  or 3.  ii. In one example, at encoder side, the global motion compensation process is formu- lated as follows: 1.  2.  3.  4.  iii. In one example, at decoder side, the cross attention is computed via a predefined  cross attention method between feature and is extracted from or propagated feature The process is formulated as: 1.  or 2.  or 3.  iv. In one example, at decoder side, the global motion compensation process is formu- lated as follows: 1.  2.  3.  4.  5.  c. In one example, GMC is employed for multi-scale features. i. In one example, at encoder side, the cross attention is computed via a predefined  cross attention method between and xt,  and and The process is formulated as follows: 1.  or or 2.  or or 3.  or or ii. In one example, at encoder side, the global motion compensation process is formu- lated as follows: 1.  2.  3.  4.  iii. In one example, at decoder side, the cross attention is computed via a predefined  cross attention method between and and and and The process is formulated as follows: 1.  or or 2.  or or 3.  or or iv. In one example, at decoder side, the motion compensation process is formulated as  follows: 1.  2.  3.  4.  5.  d. In one example, the cross attention G is computed via a predefined cross attention method  between a transform FA (*) of input signal A and a transform FB (*) of input signal B. i. In one example, the process is formulated as follows: 1. G=softmax (FA (A) (FB (B) ) T) FA (B) or 2. G=softmax (FA (A) ) softmax ( (FA (B) ) T) FB (B)  3. G=softmax (FA (A) ) * [softmax ( (FA (B) ) T) *FB (B) ] . 4. G=softmax (FA (A) ) * [softmax (FA (B) ) T*FB (B) ] . ii. In one example, FA (*) and FB (*) may be removed: 1. G=softmax (A* BT) *B or 2. G=softmax (A) *softmax (BT) *B 3. G=softmax (A) * [softmax (BT) *B] 4. G=softmax (A) * [softmax (B) T*B] iii. In one example, FA (*) and FB (*) may be dependent on the input signal. iv. In one example, FA (*) may be same as FB (*) . v. In one example, the transform is conducted by a network such as Depth Residual  Bottleneck (DepthRB) . 1. In one example, the DepthRB is designed as follows: a. The DepthRB consists of a 1×1 convolutional layer, a 3×3 convo- lutional layer and a 1×1 convolutional layer. The output of DepthRB is the summation of the input and the output for the sec-ond 1×1 convolutional layer. vi. In one example, a network is applied to cross attention to get the final cross attention. 1. In one example, the network consists of a convolution layer and a DepthRB  block. 2. In one example, G = DepthRB (conv5x5 (G) ) . vii. In one example, the calculation method of cross attention is suitable for any bullets  mentioned above. 1. In one example, A may be xt or and B may be 2. In one example, A may be xt or and B may be 3. In one example, A may be or and B may be 4. In one example, A may be or and B may be 8. It is proposed the GMC can be performed on multiple frames. It is noted that the number of multiple  frames is k, where k≥1. a. In one example, the GMC is employed in pixel space. i. In one example, at encoder side, the cross attention is computed  via a predefined cross attention method between and xt when conducting global motion compensation, where 1≤j≤k. The process is formulated as: 1.  or 2.  or 3.  4. In one example, one or multiple global features may be used in the  encoding process. 5. In one example, multiple global features may be concatenated to get  the final 6. In one example, the final is ii. In one example, at decoder side, the cross attention is computed via a prede- fined cross attention method between and where 1≤j≤k. The process is formulated as: 1.  or 2.  or 3.  4. In one example, one or multiple global features may be used in the  decoding process. 5. In one example, multiple global features may be concatenated to get  the final 6. In one example, the final is b. In one example, the GMC is employed in feature space. i. In one example, at encoder side, the cross attention is computed via a prede- fined cross attention method between feature and xt.  is extracted from or propagated feature where 1≤j≤k. The process is formulated as: 1.  or 2.  or 3.  4. In one example, one or multiple global features may be used in the  encoding process. 5. In one example, multiple global features may be concatenated to get  the final 6. In one example, the final is ii. In one example, at encoder side, the global motion compensation process is formu- lated as follows: 5.  6.  7.  8.  iii. In one example, at decoder side, the cross attention is computed via a prede- fined cross attention method between feature and is extracted from or propagated feature where 1≤j≤k. The process is formulated as: 1.  or 2.  or 3.  4. In one example, one or multiple global features may be used in the  decoding process. 5. In one example, multiple global features may be concatenated to get  the final 6. In one example, the final is iv. In one example, at decoder side, the global motion compensation process is formu- lated as follows: 1.  2.  3.  4.  5.  c. In one example, GMC is employed for multi-scale features. i. In one example, at encoder side, the cross attention are com- puted via a predefined cross attention method between where 1≤j≤k. The process is formulated as follows: 1. The may be calculated via and xt. a.  b.  c.  2 .The may be calculated via and a.  b.  c.  3. The may be calculated via and a.  b.  c.  4. In one example, one or multiple global features and / or and / or  may be used in the encoding process.  a. In one example, multiple global features may be concatenated  to get the final b. In one example, multiple global features may be concatenated  to get the final c. In one example, multiple global features may be concatenated  to get the final d. In one example, the final is e. In one example, the final is f. In one example, the final is ii. In one example, at encoder side, the global motion compensation process is formu- lated as follows: 1.  2.  3.  4.  iii. In one example, at decoder side, the cross attention is computed via a predefined  cross attention method between and and and where 1≤j≤k. The process is formulated as follows: 1. The may be calculated via and a.  b.  c.  2. The may be calculated via and a.  b.  c.  3. The may be calculated via and a.  b.  c.  4. In one example, one or multiple global features and / or and / or  may be used in the decoding process.  a. In one example, multiple global features may be concatenated  to get the final b. In one example, multiple global features may be concatenated  to get the final c. In one example, multiple global features may be concatenated  to get the final d. In one example, the final is e. In one example, the final is f. In one example, the final is iv. In one example, at decoder side, the motion compensation process is formulated as  follows: 1.  2.  3.  4.  5.  d. In one example, the cross attention G is computed via a predefined cross attention method  between a transform FA (*) of input signal A and a transform FB (*) of input signal B. i. In one example, the process is formulated as follows: 1. G=softmax (FA (A) (FB (B) ) T) FA (B) or 2. G=softmax (FA (A) ) softmax ( (FA (B) ) T) FB (B)  3. G=softmax (FA (A) ) * [softmax ( (FA (B) ) T) *FB (B) ] . 4. G=softmax (FA (A) ) * [softmax (FA (B) ) T*FB (B) ] . ii. In one example, FA (*) and FB (*) may be removed: 1. G=softmax (A* BT) *B or 2. G=softmax (A) *softmax (BT) *B 3. G=softmax (A) * [softmax (BT) *B]  4. G=softmax (A) * [softmax (B) T*B]  iii. In one example, FA (*) and FB (*) may be dependent on the input signal. iv. In one example, FA (*) may be same as FB (*) . v. In one example, the transform is conducted by a network such as Depth Residual Bot- tleneck (DepthRB) . 1. In one example, the DepthRB is designed as follows: a. The DepthRB consists of a 1×1 convolutional layer, a 3×3 convolu- tional layer and a 1×1 convolutional layer. The output of DepthRB is the summation of the input and the output for the second 1×1 con-volutional layer. vi. In one example, a network is applied to cross attention to get the final cross attention. 1. In one example, the network consists of a convolution layer and a DepthRB  block. 2. In one example, G = DepthRB (conv5x5 (G) ) . vii. In one example, the calculation method of cross attention is suitable for any bullets  mentioned above. 1. In one example, A may be xt or and B may be 2. In one example, A may be xt or and B may be 3. In one example, A may be or and B may be 4. In one example, A may be or and B may be How to design the LGMC 9. It is proposed to combine LMC and GMC to get LGMC. a. In one example, combination is concatenation in channel dimension. b. In one example, LGMC is employed in pixel or feature space. i. In one example, the or is obtained via GMC and is obtained via LMC. ii. In one example, the or and are concatenated in the channel dimension. 1. In one example, at encoder side, the are concatenated with xt in the  channel dimension. The process is formulated as follows:  a.  b.  c.  d.  2. In one example, at decoder side, the are concatenated with in the  channel dimension. The process is formulated as follows:  a.  b.  c.  d.  e.  iii. In one example, the or are fused by a network. 1. In one example, at encoder side, the are fused with xt. 2. In one example, at decoder side, the are fused with c. In one example, LGMC is employed for multi-scale features space. i. In one example, the are obtained via GMC in the encoder side, the are obtained via GMC in the decoder side, and are obtained via LMC. ii. In one example, the with are concatenated, and / or with are  concatenated and / or with are concatenated in the channel dimension. 1. In one example, at encoder side, the and are concatenated with xt in  the channel dimension.  and are concatenated the to the mid-feature in the channel dimension and the and are concatenated to mid-feature in the channel dimension. The process is formulated as follows:  a.  b.  c.  d.  2. In one example, at decoder side, the and are concatenated with in  the channel dimension.  and are concatenated the to the mid-feature in the channel dimension and the and are concatenated to mid-feature in the channel dimension. The process is formulated as follows:  a.  b.  c.  d.  e.  iii. In one example, the with are fused and / or with are fused  and / or with are fused by a network. 1. In one example, at encoder side, the are fused with xt, and / or the are fused with and / or the are fused with 2. In one example, at decoder side, the are fused with and / or the are fused with and / or the are fused with Extension to Multiple Frames-based LGMC d. It is proposed to employ LGMC on multiple decoded frames. The number of multiple de- coded frames is k, where k≥ 1. i. In one example, the are obtained via GMC from one or multiple refer- ences among k frames in the encoding process. ii. In one example, the are obtained via GMC from one or multiple refer- ences among k frames in the decoding process. iii. In one example,  are obtained via LMC from one or multiple references  among k frames. How to train LGMC 10. It is proposed to train the LGMC or other learning-based video compression frameworks using mul- tiple sequences. a. In one example, the training may use short sequences of which frames number may be equal  to and / or less than N1. i. In one example, N1 may be 2, 3, 4, 5, 6, 7, 8, 9, 15, 16, 17, 19, 20, 24, 30, 31, 32,  33, 63, 64, 65, 95, 96, 97. b. In one example, the training may use long sequences of which frames number may be equal  to and / or greater than N2. i. In one example, N2 may be 2, 3, 4, 5, 6, 7, 8, 9, 15, 16, 17, 19, 20, 24, 30, 31, 32,  33, 63, 64, 65, 95, 96, 97, 300, 500, 600, 1000. c. In one example, the training objective may be based on rate and distortion. i. In one example, the objective is formulated as L=R+λD where R is the rate or  bit-rate, D is the distortion, measured by a distortion metric, and λ is the weighting factor. d. In one example, the model loss can backward once on the whole sequence. i. In one example, the condition is that the GPU memory may be large enough. e. In one example, the sequences are divided into serval parts. When finished one part, the loss  backward once. i. In one example, the condition is that the GPU memory may be limited. 5. Embodiment 5.1. Embodiment 1

[0091] The paradigm of the proposed LVC-LGMC is illustrated in Fig. 4. We adopt temporal propagated multi-scale features for local compensation. Fig. 4 shows an overall framework of the proposed method. EC is the contextual encoder, and DC is the contextual decoder. EM is the MV encoder, and DMis the MV decoder. LGMC is the proposed joint local and global motion compensation module. Fig. 5 is an illustration of the joint local and global motion compensation module (LGMC) at encoder side. Fig. 6 is an illustration of the joint local and global motion compensation module (LGMC) at decoder side. 5.1.1. Flow-based Local Compensation

[0092] When compressing the t-th frame xt, first, we conduct the local compensation. In particular, multi-scale features are extracted from propagated feature Motion vector is employed to warp the multi-scale features to multi-scale local contexts The are concatenated with the current frame xt, middle-feature and middle-feature respectively. As such, the network could well understand how to conduct conditional coding. During decoding, the multi-scale contexts are also concatenated to recover the frame. The overall process can be formulated as: 5.1.2. Attention-based Global Compensation

[0093] The compression of frame xt is taken as an example. Given multi-scales features and current frame xt, mid features and are taken as an example, where C is the channel number, and L = HW, H is the height and W is the width.  and are first fed into an embedding layer. The vanilla approach adopts cross attention. The process is formulated as:

[0094] Because it can be treated as the similarity metric. It computes the simi-larity between a symbol and all other symbols, which makes it capture global dependency. The is concatenated with to let the network learn to conduct conditional coding on the basis of global de-pendency. The overall process is as follows:

[0095] The computational complexity of Vanilla Approach is O (L2) , which makes the vanilla approach cannot be employed for high-resolution video coding. The quadratic is caused by the softmax operation, which specifies the order of matrix multiplication. To solve the quadratic complexity, the softmax operation on in row and the softmax operation on in column is adopted.

[0096] Since it can be treated as a similarity metric. Larger values mean more similarity.  is computed first in practice, which makes the computational complexity be O (C2L) . The overall process is as follows: 5.1.3. Mixed Flow-Attention for Joint Local and Global Motion Compensation

[0097] Flow is adopted to obtain local contexts and attention is adopted to obtain global contexts  Local context, global context with current frames or mid feature are concatenated to let the network learn to use local and global contexts for conditional coding. The overall process is 5.2. Embodiment 2

[0098] The paradigm of the proposed LVC-LGMC is illustrated in Fig. 7. We adopt temporal propagated multi-scale features for local compensation. Fig. 7 shows overall framework of the proposed method. EC is the contextual encoder, and DC is the contextual decoder. EM is the MV encoder, and DMis the MV decoder. LGMC is the proposed joint local and global motion compensation module. Fig. 8 is an illustration of the joint local and global motion compensation module (LGMC) at encoder side. Fig. 9 is an illustration of the joint local and global motion compensation module (LGMC) at decoder side. 5.2.1. Flow-based Local Compensation

[0099] When compressing the t-th frame xt, first, we conduct the local compensation. In particular, multi-scale features are extracted from propagated feature Motion vector is employed to warp the multi-scale features to multi-scale local contexts The are concatenated with the current frame xt, middle-feature and middle-feature respectively. As such, the network could well understand how to conduct conditional coding. During decoding, the multi-scale contexts are also concatenated to recover the frame. The overall process can be formulated as: 5.2.2. Attention-based Global Compensation

[0100] The compression of frame xt is taken as an example. Given multi-scales features and current frame xt, mid features and are taken as an example, where C is the channel number, and L = HW, H is the height and W is the width.  and are first fed into an embedding layer. The vanilla approach adopts cross attention. The process is formulated as:

[0101] Because it can be treated as the similarity metric. It computes the simi-larity between a symbol and all other symbols, which makes it capture global dependency. The is concatenated with to let the network learn to conduct conditional coding on the basis of global de-pendency. The overall process is as follows:

[0102] The computational complexity of Vanilla Approach is O (L2) , which makes the vanilla approach cannot be employed for high-resolution video coding. The quadratic is caused by the softmax operation, which specifies the order of matrix multiplication. To solve the quadratic complexity, the softmax operation on in row and the softmax operation on in column is adopted.

[0103] Since it can be treated as a similarity metric. Larger values mean more similarity.  is computed first in practice, which makes the computational complexity be O (C2L) . The overall process is as follows: 5.2.3. Mixed Flow-Attention for Joint Local and Global Motion Compensation

[0104] Flow is adopted to obtain local contexts and attention is adopted to obtain global contexts  Local context, global context with current frames or mid feature are concatenated to let the network learn to use local and global contexts for conditional coding. The overall process is 5.3. Embodiment 3

[0105] Fig. 10 is an illustration of training on long sequences with limited GPU memory.

[0106] When the GPU memory is limited and the training sequences are very long, it is proposed to divided the long sequences into serval parts. The loss of each part is independent and the order of backward of each part is serial. The first part is first finished, the loss is calculated and the gradients are calculated to update the model. After that, the second part is fed into the model, the loss is calculated and the gradients are calculated to update the model, and so forth. 5.4. Embodiment 4

[0107] ECVC: Exploiting Non-Local Correlations in Multiple Frames for Contextual Video Compression Abstract

[0108] In Learned Video Compression (LVC) , improving inter prediction, such as enhancing temporal context mining and mitigating accumulated errors, is crucial for boosting rate-distortion performance. Existing LVCs mainly focus on mining the temporal movements within adjacent frames, neglecting non-local correlations among frames. Additionally, current contextual video compression models use a single reference frame, which is insufficient for handling complex movements. To address these issues, we propose leveraging non-local correlations across multiple frames to enhance temporal priors, significantly boosting rate-distortion performance. To mitigate error accumulation, we introduce a partial cascaded fine-tuning strategy that supports fine-tuning on full-length sequences with constrained computational resources. This method reduces the train-test mismatch in sequence lengths and significantly decreases accumulated errors. Based on the proposed techniques, we present a video compression scheme ECVC. Experiments demonstrate that our ECVC achieves state-of-the-art performance, reducing 7.3%and 10.5%more bit-rates than DCVC-DC and DCVC-FM over VTM-13.2 low delay B (LDB) , respectively, when the intra period (IP) is 32. Additionally, ECVC reduces 11.1%more bit-rate than DCVC-FM over VTM-13.2 LDB when the IP is -1. 5.4.1 Introduction

[0109] Video coding aims to compactly represent the visual signals while maintaining acceptable reconstructed quality. Traditional video coding, such as H. 266 / VVC , is established on the block-based hybrid coding framework, which has been developed for several decades. However, as the performance improvement of traditional codecs approaches a plateau, learned video compression (LVC) has emerged as a promising alternative, attracting significant attention from both academic and industrial fields. The end-to-end optimization of LVCs offers the potential to surpass handcrafted traditional codecs with redundancy removal.

[0110] Early LVCs follow the residual coding paradigm, wherein the residuals between the predicted frame (via estimated motion) and the current frame, along with motion information, are compressed. Recently, the conditional coding paradigm has emerged, which leverages temporal information as a prior, enabling a reduction in conditional entropy and offering more flexibility compared to the predefined subtraction used in residual coding. Subsequent research has explored various techniques to enhance the performance of conditional coding. Notably, recent DCVC-DC has outperformed the H. 266 / VVC low delay B (LDB) coding with an intra period (IP) of 32 by exploiting diverse temporal contexts. Additionally, DCVC-FM surpasses the H. 266 / VVC LDB configuration in long coding chains, particularly when the IP is -1, by employing temporal feature modulation.

[0111] Fig. 11 illustrates visualization of local (red lines) correlations and non-local (orange lines) correlations in sequence “HoneyBee” in UVG dataset.  is defined as the distant correlations between the current frame and reference frames.  is beneficial for temporal context mining due to lower conditional entropy for xt, formulated as where is the Shannon entropy.

[0112] Inter prediction is a long-standing challenge in video coding, aimed at characterizing temporal movements in videos to eliminate temporal redundancies. This temporal information serves as a beneficial contextual prior for current frame coding. Recent advancements in LVC, such as DCVC-DC and DCVC-FM, have utilized offset diversity for inter prediction, enabling precise capture of local small-scale movements between frames. However, existing LVC approaches generally overlook non-local correlations. For instance, as illustrated in Fig. 11, while the movement of one flower can be accurately estimated, the similarities among different flowers, representing non-local correlations, remain challenging to represent using existing methods. Moreover, multiple reference frames, a technique commonly adopted in traditional video coding paradigms , are not incorporated in DCVC-DC or DCVC-FM.Exploiting non-local correlations across multiple frames could potentially enhance model performance.

[0113] To address the limitations on non-local correlations across multiple frames, we propose the Multiple Frame Non-Local Context Mining (MNLC) to capture the local and non-local contexts for the t-th frame xt from two previous reference frames achieving enhanced rate-distortion performance with moderate complexity increases. Specifically, regarding the multiple frames’ local correlations, the offset diversity is employed to capture local correlations in The former motion between and xt-1 is reused to exploit local correlations in To capture non-local correlations, we propose the Multi-Head Linear Cross Attention (MHLCA) . Leveraging the flexibility of conditional coding, our model learns non-local correlations through cross-attention between the current mid-feature during transform and multiple temporal priors. The attention mechanism computes similarity among all elements, capturing correlations between distant elements. Additionally, we employ the linear decomposition of vanilla attention to mitigate high complexity. By incorporating both local and non-local priors from multiple frames, our approach significantly enhances rate-distortion performance.

[0114] Error propagation is one of the key issues causing quality degradation in inter frame coding, particularly in scenarios involving long prediction chains (e.g., video conferencing, monitoring scene) . The coding distortions in the previously coded frames are sequentially propagated and accumulated to the current frame through inter prediction, significantly damaging the coding efficiency of the current frame. To reduce accumulated prediction errors, DCVC-FM employs propagated feature refreshment, significantly outperforming DCVC-DC. However, the temporal context refreshment in DCVC-FM is not mature enough in achieving consistent performance improvements, especially on videos with fast movements. The primary factor influencing error accumulation is the train-test mismatch in sequence lengths. Most existing LVCs are trained with only 6 to 7 frames due to the limited computational resources, whereas the testing sequence length may reach to hundreds of frames. Although DCVC-FM attempts to train on long sequences, the vanilla training strategy is still a heavy demand for training resources. To address this issue, we propose the Partial Cascaded Finetuning Strategy (PCFS) , enabling finetuning of LVC on full-length sequences, thereby significantly reducing accumulated errors within the computational resources budget.

[0115] Based on the proposed techniques, we introduce Exploiting Non-Local Correlations in multiple frames for Contextual Video Compression (ECVC) , which is established beyond the DCVC-DC. Experiments demonstrate that our ECVC achieves state-of-the-art performance, reducing 7.3%and 10.5%more bit-rates than DCVC-DC and DCVC-FM over VTM-13.2 LDB, respectively under IP 32. Additionally, ECVC reduces 11.1%more bit-rate than DCVC-FM over VTM-13.2 LDB when the IP is -1. The contributions of this paper are summarized as follows: · Enhanced Temporal Priors: We analyze the potential of exploiting spatial non-local correlations in  multiple frames and propose a novel multiple-frame non-local context context mining module. This module enables the model to aggregate temporal priors to boost performance. To our knowledge, we are the first in the learned video compression community to exploit non-local correlations in multiple frames. · Mitigated Accumulated Errors: We address the train-test mismatch in sequence length and propose  the novel partial cascaded finetuning strategy, enabling finetuning on unlimited-length sequences with error awareness. · Experimental Validation: The ECVC achieves state-of-the-art performance under IP 32 and IP -1  settings. Specifically, our ECVC reduces 7.3%and 10.5%more bit-rates than DCVC-DC and DCVC-FM, respectively over VTM-13.2 LDB under IP 32. Additionally, ECVC reduces 11.1%more bit-rates than DCVC-FM over VTM-13.2 LDB when the IP is -1. 6. Related Works

[0116] DVC is one of the pioneer learned video compression frameworks, wherein an optical flow net is employed for motion estimation. Then the residuals between predicted frame and original frame are calculated and compressed along with the motion information by neural networks. To further enhance the rate-distortion performance, advanced techniques such scale-space warping , adaptive flow coding , deformable convolutions (DCN) , coarse-to-fine mode prediction and pixel-to-feature motion compensation are investigated, leading to the improvement of the prediction accuracy.

[0117] Recently, proposed the conditional coding framework DCVC, wherein the temporal information serves as the context for current frame coding instead of explicitly residual coding. In this way, the network learns the correlations between temporal context and current frame automatically. The conditional coding is more flexible and thus breaks the performance bound of residual coding. propose the multi-scale temporal contexts and temporal propagation mechanism to exploit more temporal priors. further enhances the performance via advanced dual spatial contexts for entropy modeling. In DCVC-DC , a hierarchical quality structure is employed to alleviate the error propagation. In DCVC-FM , the temporal propagated contexts are periodically refreshed to further enhance the performance with a long prediction chain (e.g. only one intra frame for each sequence) .

[0118] However, existing DCVC series only consider the local correlations in inter prediction. The non-adjacent correlations are ignored, which limits the potential for performance improvement of LVCs. In addition, considering that videos contain complex scenes and motions, such as fast movements, affine motions , and occlusion , one single reference frame may not effectively capture such complicated scenario. Multiple reference frames can provide richer motion information. Moreover, although DCVC-FM achieves remarkable performance under a long prediction chain, the temporal context refreshment in DCVC-FM is not mature enough to achieve consistent performance improvements, especially on videos with fast movements. There is room for further reducing the error propagation.

[0119] Fig. 12 illustrates an illustration of contextual main encoder and decoder. x,  are input frame and reconstructed frame.  is the propagated feature for coding xt+1.  are motion vectors.  are mid-features during encoding and decoding. “Res Block” and “Recon Generation” are adopted from DCVC-DC. “Q" denotes quantization. “AE" denotes arithmetic encoding and “AD" denotes arithmetic decoding. μt and σt are estimated means and scales of latent by the entropy model for arithmetic coding. 7. Method 7.1. Overview of ECVC

[0120] The proposed ECVC builds upon the DCVC-DC , but focuses more on exploiting non-local correlations in multiple frames. The architecture of ECVC is presented in Fig. 12 and Fig. 13. The method processes the t-th frame xt by firstly converting the propagated features into multi-scale features  0≤i≤2, targeting at the coding of mid-feature where H, W are the height and width.  denote channel numbers. A key innovation is the Multiple Frame Non-Local Context Mining, which leverages multiple reference frames to extract local and non-local contexts. For local contexts and we use motion vectors and to capture local contexts from the multi-scale features and via the offset diversity and proposed multi-scale refinement module, yielding priors from two reference frames. For non-local contexts, the Multi-Head Linear Cross Attention is proposed to capture non-local contexts and among Those local and non-local contexts are then used for conditional coding of The decoding process mirrors the encoding process but uses as input instead of Besides, a Partial Cascaded Finetuning Strategy (PCFS) is proposed to further mitigate error accumulation, as depicted in Fig. 14.

[0121] Fig. 13 illustrates proposed Multiple Frame Non-Local Context Mining (MNLC) for conditional coding of the

[0122] Fig. 14 illustrates proposed Partial Cascaded Finetuning Strategy (PCFS) . The I frame model is frozen during finetuning.

[0123] Fig. 15 illustrates Rate-Distortion curves on HEVC B, HEVC C, UVG and MCL-JCV dataset. The intra period is 32 with 96 frames.

[0124] Fig. 16 illustrates Rate-Distortion curves on HEVC B, HEVC C, UVG and MCL-JCV dataset. The intra period is -1 with All Frames. 1 The quality indexes of DCVC-FM are 36, 45, 54, 63 to match the bit-rate range of DCVC-DC. 2 Please note that the ECVC is based on our reproduced DCVC-DC* since training scripts of DCVC se- ries are not open-sourced. Table 1: BD-Rate (%) comparison for PSNR (dB) . The anchor is VTM-13.2 LDB. The Intra Period is 32  with 96 frames. 1 The MS-SSIM optimized weights of DCVC-FM are not open-sourced. Table 2: BD-Rate (%) comparison for MS-SSIM. The anchor is DCVC-TCM. The intra period is 32 with 96  frames. Table 3: BD-Rate (%) comparison for PSNR (dB) . The anchor is VTM-13.2 LDB. The Intra Period is -1 with  96 frames. Table 4: BD-Rate (%) comparison for PSNR (dB) . The anchor is DCVC-DC. The Intra Period is -1 with  All frames. Table 5: Complexity comparison among proposed ECVC, DCVC-HEM, DCVC-DC, and DCVC-FM. “Params”  denotes the number of model parameters. “KMACs / pixel” denotes the multiply-add operations per pixel on 1080p sequences. “ET” , “DT” are average encoding and decoding time per frame. Table 6: Ablation Studies on HEVC B, C, D, E. The anchor is our reproduced DCVC-DC*. “IP” denotes the  intra period. Table 7: Influences of finetuning frames. The anchor is our reproduced DCVC-DC*. “IP” denotes the intra  period. 7.2. Exploiting Non-Local Correlations

[0125] As illustrated in Fig. 11, there are both local and non-local correlations between the current frame and reference frames. Existing methods mainly focus on capturing local correlations. It is desirable to capture both local and non-local correlations to boost the performance. In addition, considering that videos contain complex scenes and motions , using a single reference frame may not effectively capture complicated scenarios. Multiple reference frames can provide richer motion information. To tackle these issues, we propose the Multiple Frame Non-Local Context Mining approach, where two reference frames are employed on account of maintaining the complexity. The process of conditionally coding is employed as an example and depicted in Fig. 13. Specifically, the offset diversity is adopted and extended for two reference frames.  is first warped by decoded motion vector to and then refined by offset diversity to Such process is formulated as:

[0126] To capture additional local contexts from the previous local context is reused to avoid additional motion bits.  is firstly warped by and then refined to local context by a multi-scale refinement module which can be formulated as:

[0127] To capture non-local correlations, it is necessary to compare all elements, which implies the receptive field should be large enough. The offset diversity is not sufficient due to its limited kernel sizes of convolutions. The necessity of large receptive fields inspires us to employ attention mechanisms. Thanks to the flexible conditional coding paradigm, the network itself is able to learn the non-local correlations by cross attention between the current feature and given temporal contexts.

[0128] The non-local contexts from for can be captured by,

[0129] where d is the output channel number of embedding.  are the embedding layer for queries, keys, and values. However, the resolutions of input sequences could be 2K or 4K, which means the complexity could not be too high. The complexity of Equation (3) is To make the exploiting of non-local correlations possible, it is important to reduce the complexity. The key of Equation (3) is the non-negativity of the attention map. Therefore the generalized attention mechanism could be Similarity Inspired by recent advancements in linear attention , it is promising to apply a non-negative projection functions ψ, φ to and to make The other key of Equation (3) is the normalized value, which makes it like the probabilities. Inspired by the two factors, we employ the Multi-Head Linear Cross Attention (MHLCA) , which applies two independent softmax operations on row and column on queries and keys according to Theorem 1.

[0130] Theorem 1. Similar to standard vanilla attention, each row of the implicit similarity map Softmax2 (Q) Softmax1 (K) T sums to 1, thereby representing a normalized attention distribution across all positions.

[0131] The softmax-based non-linear projection of queries and keys makes it able to compute the product of keys and values first, resulting in linear complexity The non-local contexts can be learned linearly by

[0132] The captured local contexts and non-local contexts are employed as priors to conditional coding The process of decoding is similar to that of encoding, except that the input is replaced with 7.3. Partial Cascaded Finetuning Strategy

[0133] In low delay scenarios (e.g., video conferencing, monitoring scene) , one sequence may contain hundreds of frames with only one initial intra frame under long coding chains. For better performance, it is desirable to have the model experience long coding chains during training. However, most existing LVCs are trained using a maximum of 6-7 frames, resulting in a significant train-test mismatch in terms of intra period. This discrepancy leads to the accumulation of substantial errors. Addressing the challenge of reducing accumulated errors within limited computational resources remains a critical area of investigation. Conventionally, LVC models are trained using a cascaded loss function : where T is the length of frames used for training,  is the frame bit-rate,  is the frame distortion. As the  number of frames increases, the GPU memory consumption escalates proportionally, presenting a significant computational challenge. To overcome this issue, we propose the partial cascaded finetuning strategy (PCFS) after training with 6 frames. Specifically, the finetuning sequences are first divided into serval groups, when a group is fed into our ECVC, the loss and the gradients are computed to update the model. The process of the proposed PCFS is depicted in Fig. 14. The PCFS alleviates error accumulation due to two aspects. First, fine-tuning on longer sequences reduces the mismatch between training and testing, and second, the calculation of the loss within each group is cascaded, which makes the error propagation within the group aware during fine-tuning owning to the effect of the gradients. 8. Experiments 8.1. Experimental Setup

[0134] The proposed ECVC is implemented with Pytorch 2.2.2 and trained with Vimeo-90K train split and BVI-DVC dataset with 4 Tesla A100-80G GPUs. Following the DCVC-TCM, we apply the multi-stage training on Vimeo-90K. The ECVC is further finetuned on BVI-DVC with the proposed partial cascaded training strategy. The sequences are randomly cropped to 256×256 patches and the batch size is 4 during training and finetuning. In the finetuning stage, 55 frames are involved and divided into 3 groups and the learning rate is 10-6. The loss function is where is the bit-rate and is the distortion. The λ is set to {85, 170, 380, 840} for different bit-rates when ECVC is optimized for MSE and the λ is set to {7.68, 15.36, 30.72, 61.44} when ECVC is optimized for MS-SSIM .

[0135] Following existing literature, ECVC is evaluated on HEVC datasets, including class B, C, D, E, UVG and MCL-JCV . To fully demonstrate the superiority of the ECVC, we compare the ECVC with MLVC , RLVC , DCVC, DCVC-TCM, DCVC-HEM, DCVC-DC, DHVC , B-CANF , and DCVC-FM. The testing scenarios are low delay with IP 32 and IP -1 . The distortion metric is PSNR and MS-SSIM in RGB color format. 8.2. Comparisons with Previous SOTA Methods 8.2.1. Under IP 32

[0136] The results under IP 32 are presented in Table 1, Table 2 and Fig. 15. Our ECVC outperforms DCVC-DC and DCVC-FM on all datasets. Specifically, the ECVC achieves an average of 29.3%bit-rate saving over the VTM. The bit-rate savings of DCVC-DC and DCVC-FM are 22%and 18.8%, respectively. The performance improvements over DCVC-DC demonstrate the superiority of the proposed techniques. In addition, regarding the MS-SSIM optimized models, we employ the DCVC-TCM as the anchor for comparison. The proposed ECVC outperforms the DCVC-DC by reducing 3.1%more bit-rate.

[0137] Fig. 17 illustrates subjective quality comparison on reconstruction frames of DCVC-DC, DCVC-FM, the proposed ECVC, and the ground truth.

[0138] Fig. 18 illustrates visualization of non-local correlations. The inputs are the first 3 frames in “BasketballPass_416x240_50" . 8.2.2. Under IP -1

[0139] The results under IP -1 are presented in Table 3, Table 4 and Fig. 16. Since DCVC-FM is mainly optimized for better performance under IP -1, we compare our ECVC with DCVC-FM in addition to the baseline DCVC-DC. Following DCVC-FM, the performance under IP -1 is evaluated on 96 frames and all frames. When evaluated on 96 frames, our ECVC reduces 11.1%more bit-rate compared to DCVC-FM.When evaluated on all frames, The significant performance improvement of our ECVC over DCVC-DC and DCVC-FM demonstrates the effectiveness of the proposed techniques. 8.2.3. Subjective quality comparison

[0140] The subjective quality comparison is presented in Fig. 14. Compared with DCVC-FM, the ECVC consumes lower bit-rates and the reconstruction frame achieves 1 dB improvements in PSNR. In terms of subjective quality, our ECVC has significant improvements compared to previous SOTA methods, such as DCVC-DC and DCVC-FM. 8.3. Complexity Analysis

[0141] We compare the complexity of ECVC with recent DCVC-HEM and DCVC-FM and the baseline DCVC-DC. The results are presented in Table 5. Since the ECVC is based on DCVC-DC with the involvement of MNLC, the complexity of ECVC is slightly higher than that of DCVC-DC. Considering the rate-distortion performance advancement of ECVC over DCVC-DC, the introduction of MNLC is worthwhile. 8.4. Ablation Studies

[0142] In ablation studies, all models are optimized with MSE, and PSNR is adopted to evaluate distortion. Table 6 presents the improvements of each component under IP 32 and IP -1 with 96 frames setting. “LNC" denotes only one reference frame for local and non-local context mining (meaning DCVC-DC* +one reference frame non-local context mining) . 8.4.1. Under IP 32

[0143] LNC is able to capture non-local correlations, which effectively improves the rate-distortion performance. Compared with LNC, the MNLC adopts one more reference frame, enhancing the performance. Thanks to the proposed PCFS, the mismatch of frames between training and inference can be alleviated. The error accumulation is reduced and the performance of the model is further improved. 8.4.2. Under IP -1

[0144] Under a long prediction chain, the influence of PCFS is more significant, due to the impacts of error accumulation. Specifically, when equipped with PCFS, the model reduces 45.1%bit-rate over the baseline DCVC-DC* on HEVC E. Our proposed PCFS is able to finetune the model on much longer sequences, thereby reducing accumulated errors. 8.4.3. Visualization of captured non-local correlations

[0145] To demonstrate the effectiveness of the proposed MNLC on capturing non-local correlations, the attention maps captured by MNLC are visualized in Fig. 15. Redder colors indicate higher attention scores. It is obvious that the MNLC captures the non-local contexts between walls and floors (the color and texture of walls and floors are similar) . The captured non-local contexts are employed as priors for conditional encoding, thereby saving the bit-rate for inter coding. 8.4.4. Influences of finetuning frames

[0146] With the proposed PCFS, the model can be finetuned with long sequences under limited computational resources. To further analyze the PCFS, we compare the performance of fine-tuning with sequences of different lengths. The results are reported in Table 7. The frame numbers are {6, 20, 38, 55} with {1, 1, 2, 3} groups, respectively. When involving more frames for finetuning, the performance is further improved under both IP -1 and IP 32 scenarios. Notably, for sequences with smaller movements (HEVC E) , the gain of using more frames for fine-tuning is substantial. 9. Conclusion

[0147] In this paper, we demonstrate the effectiveness of exploiting non-local correlations for learned video compression. To extract more temporal priors from multiple frames, we propose the Multiple Frame Non-Local Context Mining approach. The offset diversity, successive flow warping and multi-scale refinement are employed to capture local correlations across multiple frames, while multi-head linear cross attention is employed to capture non-local correlations among them. To reduce the temporal error accumulation, we introduce the partial cascaded finetuning strategy to optimize the model under limited resources. However, while ECVC achieves SOTA performance, it may perform worse than VTM on out-of-domain sequences (e.g., anime videos) because ECVC is trained on natural videos. To address this issue, we will investigate the instance-adaptive optimization techniques in the future.

[0148] Fig. 19 illustrates a flowchart of a method 1900 for video processing in accordance with embodiments of the present disclosure. The method 1900 is implemented during a conversion between visual data and a bitstream of the visual data.

[0149] At block 1910, for a conversion between visual data and a bitstream of the visual data, the visual data is processed by performing at least one of a motion compensation scheme or a motion estimation scheme on at least one frame associated with the visual data. In some embodiments, the at least one of the motion compensation scheme or the motion estimation scheme may include: a global motion compensation (GMC) scheme, a global motion estimation scheme, a local motion compensation (LMC) scheme, a local motion estimation scheme, a joint local and global motion compensation (LGMC) scheme, or a joint local and global motion estimation scheme.

[0150] At block 1920, the conversion is performed based on the processed visual data. In some embodiments, the conversion may include encoding the visual data into the bitstream. In some other embodiments, the conversion may include decoding the visual data from the bitstream.

[0151] The method 1900 enables the visual data to be processed by performing at least one of a motion compensation scheme or a motion estimation scheme on at least one frame associated with the visual data. In this way, the method 1900 can advantageously improve the coding quality and coding efficiency.

[0152] In some embodiments, a local motion compensation scheme and / or a local motion estimation scheme may be performed on a first number of reference frames. In this case, the first number may be greater than or equal to 1. In some embodiments, an optical flow network or a deformable neural network may be applied to determine between xt and In this case,  represents a decompressed offset or motion vector between xt and xt represents a predictive frame at a time point, and represents a decoded reference frame at the time point minus a time interval. The time interval may be greater than or equal to 1 and less than or equal to the first number. As an example, if the first number of reference frame is one reference frame,  may be a decompressed offset or motion vector between the first frame and another decoded reference frame at the time point minus one. In other words,  may be noted as if only considering one reference frame and j is equal to 1.

[0153] In some embodiments, the local motion compensation scheme and / or the local motion estimation scheme may be applied in pixel space. In some embodiments,  may be determined by warping and In this case,  represents a feature associated with represents a decoded reference frame at a time point minus a time interval, and represents a decompressed motion vector between xt and and xt represents a predictive frame at a time point. In some other embodiments, the local motion compensation scheme and / or the local motion estimation scheme between and xt may be obtained after a plurality of continuous warps by using a plurality of motion vectors In this case, xt represents a predictive frame at a time point,  represents a decoded reference frame at the time point minus a time interval, the plurality of motion vectors represent decompressed motion vectors between a predictive frame at the time point minus a further time interval plus one and a decoded reference frame at the time point minus the further time interval. The further time interval may be greater than or equal to one and less than or equal to the time interval.

[0154] In some embodiments, in the first step,  may be determined by warping and  In this case,  represents the first internal feature, and represents a decompressed motion vector which corresponds to the first internal feature, and the further time interval equal to the time interval. In some embodiments,  may be determined by warping and  In this case,  represents an internal feature, and represents a further internal feature pervious to the internal feature. In some other embodiments,  may be determined by warping  and In this case,  represents a final feature and represents another internal feature previous to the final feature. In other words, the frame and motion vector are warped to get the internal feature in the first step, and the internal feature may be obtained by warping the previous internal feature and motion vector until getting the final feature where 1≤ i≤j-1.

[0155] In some embodiments, at least one local feature may be used in an encoding process and / or a decoding process. For example, a plurality of local features may be concatenated to determine a final local feature In some other embodiments, a local feature may be determined as corresponding local context. In other words, the may be noted as local feature In addition, the may be noted as local feature

[0156] In some embodiments, the local motion compensation scheme and / or the local motion estimation scheme may be applied in feature space. Alternatively, the local motion compensation scheme and / or the local motion estimation scheme is applied in multi-scale feature space.

[0157] In some embodiments, a local motion compensation scheme and / or a local motion estimation scheme may be performed on a first number of reference frame. In this case, the first number is greater than or equal to 1. In some other embodiments, a global motion compensation scheme and / or a global motion estimation scheme may be performed on a first number of frames. In this case, the first number is greater than or equal to 1.

[0158] In some embodiments, the global motion compensation scheme and / or the global motion estimation scheme may be applied in a pixel space. In some embodiments, if the global motion compensation is performed,  may be determined at encoder side by a predetermined cross attention approach between and xt. In this case,  represents a cross attention, xt represents a predictive frame at a time point, and represents a decoded frame at the time point minus a time interval. The time interval may be greater than or equal to 1 and less than or equal to the first number.

[0159] In some examples, the cross attention may be determined by one of the following:  or In some embodiments, at least one global feature may be used in an encoding process. In some other embodiments, a plurality of global features may be concatenated to get a final feature In some embodiments, the final feature may be

[0160] In some embodiments,  may be determined at decoder side by a further predetermined cross attention approach between and In this case,  represents a further cross attention,  represents a reconstructed frame, and represents a decoded frame at a time point minus a time interval. The time interval may be greater than or equal to 1 and less than or equal to the first number.

[0161] In some examples, the further cross attention may be determined by one of the following:  or In some embodiments, at least one global feature may be used in a decoding process. In some other embodiments, a plurality of global features may be concatenated to get a further final feature In some embodiments, the further final feature may be

[0162] In some embodiments, the global motion compensation scheme and / or the global motion estimation scheme may be applied to a feature space. In some embodiments,  may be determined at encoder side by a predetermined cross attention approach between and xt. In this case,  represents a cross attention, xt represents a predictive frame at a time point, and represents a feature extracted from or a propagated feature and represents a decoded frame at the time point minus a time interval. The time interval may be greater than or equal to 1 and less than or equal to the first number.

[0163] In some examples, the cross attention may be determined by one of the following:  or In some embodiments, at least one global feature may be used in an encoding process. In some other embodiments, a plurality of global features may be concatenated to get a final feature In some embodiments, the final feature may be

[0164] In some embodiments, a global motion compensation process at encoder side may be performed as the following:  In this case,  represents a cross attention, xt represents a predictive frame at a time point,  represents a first down-sample feature,  represents a second down-sample feature,  represents a third down-sample feature, and represents a fourth down-sample feature.

[0165] In some embodiments,  may be determined at decoder side by a further predetermined cross attention approach between and In this case,  represents a further cross attention,  represents a reconstructed frame, and represents a feature extracted from or a propagated feature and represents a decoded frame at the time point minus a time interval. The time interval may be greater than or equal to 1 and less than or equal to the first number.

[0166] In some examples, the further cross attention may be determined by one of the following:  or In some embodiments, at least one global feature may be used in a decoding process. In some other embodiments, a plurality of global features may be concatenated to get a final feature In some embodiments, the final feature may be

[0167] In some embodiments, a global motion compensation process at decoder side may be performed as the following:  In this case,  represents a first up-sample feature,  represents a second up-sample feature,  represents a third up-sample feature,  represents a fourth up-sample feature,  represents a reconstructed frame, and represents a further cross attention.

[0168] In some embodiments, the global motion compensation scheme and / or the global motion estimation scheme may be applied to multi-scale features. In some embodiments, cross attention and may be determined at encoder side by a predetermined cross attention approach between  and xt,  and and In this case, xt represents a predictive frame at a time point,  represents a first down-sample feature, yt2 represents a second down-sample feature, and and represent multi-scale extracted from or a propagated feature and represents a decoded frame at the time point minus a time interval. The time interval may be greater than or equal to 1 and less than or equal to the first number.

[0169] In some embodiments, the cross attention may be determined based on and xt by one of the following:  or In some other embodiments, the cross attention may be determined based on and by one of the following:  or In some other embodiments, the cross attention may be determined based on and by one of the following:  or

[0170] In some embodiments, at least one global feature and / or may be used in an encoding process. In some examples, a plurality of global features may be concatenated to get a final feature As an example, the final feature may be In some embodiments, a plurality of global features may be concatenated to get a final feature As an example, the final feature may be In some other embodiments, a plurality of global features may be concatenated to get a final feature As an example, the final feature  may be

[0171] In some embodiments, a global motion compensation process at encoder side may be performed as the following:  In this case,  represents a first cross attention,  represents a second cross attention,  represents a third cross attention, xt represents a predictive frame at a time point,  represents a first down-sample feature,  represents a second down-sample feature,  represents a third down-sample feature, and represents a fourth down-sample feature.

[0172] In some embodiments, a further cross attention may be determined at decoder side by a further predetermined cross attention approach between and and and In this case,  represents a reconstructed frame,  represents a fourth up-sample feature,  represents a third up-sample feature, and and represent multi-scale extracted from or a propagated feature and represents a decoded frame at the time point minus a time interval. The time interval may be greater than or equal to 1 and less than or equal to the first number.

[0173] In some embodiments, the cross attention may be determined based on and by one of the following:  or In some embodiments, the cross attention may be determined based on and by one of the following:  or In some other embodiments, the cross attention  may be determined based on and by one of the following:  or

[0174] In some embodiments, at least one global feature and / or may be used in a decoding process. In some embodiments, a plurality of global features may be concatenated to get a final feature As an example, the final feature may be In some embodiments, a plurality of global features may be concatenated to get a final feature As an example, the final feature may be In some other embodiments, a plurality of global features may be concatenated to get a final feature As an example, the final feature  may be

[0175] In some embodiments, a motion compensation process at decoder side may be performed as the following:  In this case,  represents a first up-sample feature,  represents a second up-sample feature,  represents a third up-sample feature,  represents a fourth up-sample feature,  represents a reconstructed frame,  represents a fourth cross attention,  represents a sixth cross attention, and  represents a sixth cross attention.

[0176] In some embodiments, G may be derived by a predetermined cross attention approach between FA (A) and FB (B) . In this case, G represents a cross attention, FA (A) represents a first transform of A, FB (B) represents a second transform of B, and A represents a first input signal, B represents a second input signal.

[0177] In some embodiments, G may be derived by one of the following: G= softmax (FA (A) (FB (B) ) T) FA (B) , or G=softmax (FA (A) ) softmax ( (FA (B) ) T) FB (B) , or G= softmax (FA (A) ) * [softmax ( (FA (B) ) T) *FB (B) ] , or G=softmax (FA (A) ) * [softmax (FA (B) ) T*FB (B) ] . Alternatively, G may be derived by one of the following: G=softmax (A* BT) *B, or G= softmax (A) *softmax (BT) *B, or G=softmax (A) * [softmax (BT) *B] , or G=softmax (A) * [softmax (B) T*B] . In other words, FA (*) and FB (*) may be removed.

[0178] In some embodiments, the first transform and / or the second transform may be based on an input signal. In some other embodiments, the first transform may be same as the second transform.

[0179] In some embodiments, the first transform and / or the second transform may be performed by a network. For example, the network may include a depth residual bottleneck (DepthRB) . In some examples, the DepthRB may include a first 1×1 convolutional layer, a 3×3 convolutional layer, and a second 1×1 convolutional layer, and an output of the DepthRB may be a sum of an input and an output of the second 1×1 convolutional layer.

[0180] In some embodiments, a network may be applied to the cross attention to determine a final cross attention. As an example, the network may include a convolution layer and a DepthRB block. In some other examples, G may equal to DepthRB (conv5x5 (G) ) . In this case, DepthRB represents a depth residual bottleneck and conv5x5 represents a 5×5 convolutional layer.

[0181] In some embodiments, the first input signal may include xt or and the second input signal may include In this case, xt represents a predictive frame at a time point,  represents a reconstructed frame, and represents a decoded frame at the time point minus a time interval. In some other embodiments, the first input signal may include xt or and the second input signal may include In this case, xt represents a predictive frame at a time point,  represents a reconstructed frame, and  represents a first multi-scale feature extracted from or a propagated feature and represents a decoded frame at the time point minus a time interval. The time interval may be greater than or equal to 1 and less than or equal to the first number.

[0182] In some embodiments, the first input signal may include or and the second input signal may include In this case,  represents a first down-sample feature,  represents a fourth up-sample feature, and represents a second multi-scale feature extracted from or a propagated feature  and represents a decoded frame at the time point minus a time interval. The time interval may be greater than or equal to 1 and less than or equal to the first number. In some other embodiments, the first input signal may include or and the second input signal may include In this case,  represents a second down-sample feature,  represents a third up-sample feature, and represents a third multi-scale feature extracted from or a propagated feature and represents a decoded frame at the time point minus a time interval. The time interval may be greater than or equal to 1 and less than or equal to the first number.

[0183] In some embodiments, a joint local and global motion compensation scheme may be obtained by combining a global motion compensation scheme and a local motion compensation scheme. In some other embodiments, a joint local and global motion estimation scheme may be obtained by combining a global motion estimation scheme and a local motion estimation scheme.

[0184] In some embodiments, the joint local and global motion compensation scheme and / or the joint local and global motion estimation scheme may be applied to at least one of a pixel or a feature space. In some embodiments,  or may be obtained by the global motion compensation scheme and / or the global motion estimation scheme, and is obtained by the local motion compensation scheme and / or the local motion estimation scheme. In this case,  represents a first cross attention,  represents a fourth cross attention and represents first local context.

[0185] In some embodiments,  or and may be concatenated in a channel dimension. In this case,  represents a first cross attention,  represents a fourth cross attention and represents first local context. In some examples, at decoder side,  and may be concatenated with in the channel dimension, which is performed as the following:  In this case,  represents a first up-sample feature,  represents a second up-sample feature,  represents a third up-sample feature,  represents a fourth up-sample feature,  represents a reconstructed frame.

[0186] In some other embodiments,  or and may be fused by a network. In this case,  represents a first cross attention,  represents a fourth cross attention and represents first local context. As an example, at decoder side,  and may be fused with In this case,  represents a reconstructed frame.

[0187] In some embodiments, the joint local and global motion compensation scheme and / or the joint local and global motion estimation scheme may be applied in a multi-scale features space. In some examples,  and may be obtained by the global motion compensation scheme and / or the global motion estimation scheme in encoder side,  and may be obtained by the global motion compensation scheme and / or the global motion estimation scheme in decoder side, and and may be obtained by the local motion compensation scheme and / or the local motion estimation scheme. In this case,  represents a first cross attention,  represents a second cross attention,  represents a third cross attention,  represents a fourth cross attention,  represents a fifth cross attention,  represents a sixth cross attention,  represents first local context,  represents second local context, and represents third local context.

[0188] In some embodiments,  or and may be concatenated in a channel dimension, and / or or  and may be concatenated in the channel dimension, and / or or and may be concatenated in the channel dimension. In this case,  represents a first cross attention,  represents a second cross attention,  represents a third cross attention,  represents a fourth cross attention,  represents a fifth cross attention,  represents a sixth cross attention,  represents first local context,  represents second local context, and represents third local context.

[0189] In some embodiments,  or and may be fused by a network, and / or or and may be fused by the network, and / or or and may be fused by the network. In this case,  represents a first cross attention,  represents a second cross attention,  represents a third cross attention,  represents a fourth cross attention,  represents a fifth cross attention,  represents a sixth cross attention,  represents first local context,  represents second local context, and represents third local context. In some embodiments, at decoder side,  and may be fused with and / or and may be fused with and / or and may be fused with In this case,  represents a third up-sample feature,  represents a fourth up-sample feature, and represents a reconstructed frame.

[0190] In some embodiments, a joint local and global motion compensation scheme and / or a joint local and global motion estimation scheme may be performed on a first number of decoded frames. In this case, the first number may be greater than or equal to 1. In some embodiments,  and may be obtained by a global motion compensation scheme and / or a global motion estimation scheme from a plurality of references among the first number of decoded frames in an encoding process. In this case,  represents a first cross attention,  represents a second cross attention,  represents a third cross attention. In some other embodiments,  and may be obtained by a global motion compensation scheme and / or a global motion estimation scheme from a plurality of references among the first number of decoded frames in a decoding process. In this case,  represents a fourth cross attention,  represents a fifth cross attention,  represents a sixth cross attention. In some embodiments,  and may be obtained by a local motion compensation scheme and / or a local motion estimation scheme from a plurality of references among the first number of decoded frames. In this case,  represents first local context,  represents second local context, and represents third local context.

[0191] In some embodiments, a learning-based video compression framework including a joint local and global motion compensation scheme and / or a joint local and global motion estimation scheme may be trained based on a plurality of sequences. In other words, the LGMC or other learning-based video compression frameworks may be trained using multiple sequences.

[0192] In some embodiments, the training may be based on a set of sequences of which frame number is equal to or less than a second number, and the second number is an integer. As an example, the second number may equal to one of: 2, 3, 4, 5, 6, 7, 8, 9, 15, 16, 17, 19, 20, 24, 30, 31, 32, 33, 63, 64, 65, 95, 96, or 97. In other words, the training may use short sequences of which frames number may be equal to and / or less than N1, and N1 may be 2, 3, 4, 5, 6, 7, 8, 9, 15, 16, 17, 19, 20, 24, 30, 31, 32, 33, 63, 64, 65, 95, 96, 97.

[0193] In some embodiments, the training may be based on a further set of sequences of which frame number is equal to or greater than a third number, and the third number is an integer. As an example, the third number may equal to one of: 2, 3, 4, 5, 6, 7, 8, 9, 15, 16, 17, 19, 20, 24, 30, 31, 32, 33, 63, 64, 65, 95, 96, 97, 300, 500, 600, or 1000. In other words, the training may use long sequences of which frames number may be equal to and / or greater than N2, and N2 may be 2, 3, 4, 5, 6, 7, 8, 9, 15, 16, 17, 19, 20, 24, 30, 31, 32, 33, 63, 64, 65, 95, 96, 97, 300, 500, 600, 1000.

[0194] In some embodiments, a training objective may be based on a rate and a distortion. As an example, the training objective may be determined by the following: L=R+λD. In this case, R represents the rate or a bit-rate, D represents the distortion based on a distortion metric, and λ represents a weighting factor.

[0195] In some embodiments, a model loss may be backward propagated on the plurality of sequences. For example, if a graphics processing unit (GPU) memory is large enough, the model loss may be backward propagated on the plurality of sequences. In other words, the model loss may backward once on the whole sequence, and the condition may be that the GPU memory may be large enough.

[0196] In some embodiments, the plurality of sequences may be divided into a plurality of parts, and if one of the plurality of parts is finished, a model loss may be backward propagated. For example, if a graphics processing unit (GPU) memory is limited, the model loss may be backward propagated in response to that one of the plurality of parts is finished. In other words, the sequences may be divided into serval parts, and when finished one part, the loss backward once. In addition, the condition may be that the GPU memory may be limited.

[0197] According to further embodiments of the present disclosure, a non-transitory computer-readable recording medium is provided. The non-transitory computer-readable recording medium stores a bitstream of visual data which is generated by a method performed by an apparatus for visual data processing. The method comprises: processing the visual data by performing at least one of a motion compensation scheme or a motion estimation scheme on at least one frame associated with the visual data; and generating the bitstream based on the processed visual data.

[0198] According to still further embodiments of the present disclosure, a method for storing bitstream of visual data is provided. The method comprises: processing the visual data by performing at least one of a motion compensation scheme or a motion estimation scheme on at least one frame associated with the visual data; generating the bitstream based on the processed visual data; and storing the bitstream in a non-transitory computer-readable recording medium.

[0199] Implementations of the present disclosure can be described in view of the following clauses, the features of which can be combined in any reasonable manner.

[0200] Clause 1. A method of visual data processing, comprising: processing, for a conversion between visual data and a bitstream of the visual data, the visual data by performing at least one of a motion compensation scheme or a motion estimation scheme on at least one frame associated with the visual data; and performing the conversion based on the processed visual data.

[0201] Clause 2. The method of clause 1, wherein the at least one of the motion compensation scheme or the motion estimation scheme comprises: a global motion compensation (GMC) scheme, a global motion estimation scheme, a local motion compensation (LMC) scheme, a local motion estimation scheme, a joint local and global motion compensation (LGMC) scheme, or a joint local and global motion estimation scheme.

[0202] Clause 3. The method of clause 1, wherein a local motion compensation scheme and / or a local motion estimation scheme is performed on a first number of reference frames, wherein the first number is greater than or equal to 1.

[0203] Clause 4. The method of clause 3, wherein an optical flow network or a deformable neural network is applied to determine between xt and wherein represents a decompressed offset or motion vector between xt and xt represents a predictive frame at a time point, and represents a decoded reference frame at the time point minus a time interval, wherein the time interval is greater than or equal to 1 and less than or equal to the first number.

[0204] Clause 5. The method of clause 4, wherein if the first number of reference frame is one reference frame,  is a decompressed offset or motion vector between the first frame and another decoded reference frame at the time point minus one.

[0205] Clause 6. The method of clause 3, wherein the local motion compensation scheme and / or the local motion estimation scheme is applied in pixel space.

[0206] Clause 7. The method of clause 6, wherein is determined by warping and wherein  represents a feature associated with represents a decoded reference frame at a time point minus a time interval, and represents a decompressed motion vector between xt and wherein xt represents a predictive frame at a time point.

[0207] Clause 8. The method of clause 6, wherein the local motion compensation scheme and / or the local motion estimation scheme between and xt is obtained after a plurality of continuous warps by using a plurality of motion vectors wherein xt represents a predictive frame at a time point,  represents a decoded reference frame at the time point minus a time interval, the plurality of motion vectors represent decompressed motion vectors between a predictive frame at the time point minus a further time interval plus one and a decoded reference frame at the time point minus the further time interval, wherein the further time interval is greater than or equal to one and less than or equal to the time interval.

[0208] Clause 9. The method of clause 8, wherein is determined by warping and wherein represents the first internal feature, and represents a decompressed motion vector which corresponds to the first internal feature, wherein the further time interval equal to the time interval.

[0209] Clause 10. The method of clause 8, wherein is determined by warping and  wherein represents an internal feature, and represents a further internal feature pervious to the internal feature.

[0210] Clause 11. The method of clause 10, wherein is determined by warping and wherein represents a final feature and represents another internal feature previous to the final feature.

[0211] Clause 12. The method of clause 6, wherein at least one local feature is used in an encoding process and / or a decoding process.

[0212] Clause 13. The method of clause 12, wherein a plurality of local features are concatenated to determine a final local feature

[0213] Clause 14. The method of clause 6, wherein a local feature is determined as corresponding local context.

[0214] Clause 15. The method of clause 3, wherein the local motion compensation scheme and / or the local motion estimation scheme is applied in feature space.

[0215] Clause 16. The method of clause 3, wherein the local motion compensation scheme and / or the local motion estimation scheme is applied in multi-scale feature space.

[0216] Clause 17. The method of clause 1, wherein a local motion compensation scheme and / or a local motion estimation scheme is performed on a first number of reference frames, wherein the first number is greater than or equal to 1.

[0217] Clause 18. The method of clause 1, wherein a global motion compensation scheme and / or a global motion estimation scheme is performed on a first number of frames, wherein the first number is greater than or equal to 1.

[0218] Clause 19. The method of clause 18, wherein the global motion compensation scheme and / or the global motion estimation scheme is applied in a pixel space.

[0219] Clause 20. The method of clause 19, wherein if the global motion compensation is performed,  is determined at encoder side by a predetermined cross attention approach between and xt, wherein represents a cross attention, xt represents a predictive frame at a time point, and represents a decoded frame at the time point minus a time interval, wherein the time interval is greater than or equal to 1 and less than or equal to the first number.

[0220] Clause 21. The method of clause 20, wherein the cross attention is determined by one of the following:  or

[0221] Clause 22. The method of clause 20, wherein at least one global feature is used in an encoding process.

[0222] Clause 23. The method of clause 20, wherein a plurality of global features are concatenated to get a final feature

[0223] Clause 24. The method of clause 23, wherein the final feature is

[0224] Clause 25. The method of clause 19, wherein is determined at decoder side by a further predetermined cross attention approach between and wherein represents a further cross attention,  represents a reconstructed frame, and represents a decoded frame at a time point minus a time interval, wherein the time interval is greater than or equal to 1 and less than or equal to the first number.

[0225] Clause 26. The method of clause 25, wherein the further cross attention is determined by one of the following:  or

[0226] Clause 27. The method of clause 26, wherein at least one global feature is used in a decoding process.

[0227] Clause 28. The method of clause 26, wherein a plurality of global features are concatenated to get a further final feature

[0228] Clause 29. The method of clause 28, wherein the further final feature is

[0229] Clause 30. The method of clause 18, wherein the global motion compensation scheme and / or the global motion estimation scheme is applied to a feature space.

[0230] Clause 31. The method of clause 30, wherein is determined at encoder side by a predetermined cross attention approach between and xt, wherein represents a cross attention, xt represents a predictive frame at a time point, and represents a feature extracted from  or a propagated feature wherein represents a decoded frame at the time point minus a time interval, wherein the time interval is greater than or equal to 1 and less than or equal to the first number.

[0231] Clause 32. The method of clause 31, wherein the cross attention is determined by one of the following:  or

[0232] Clause 33. The method of clause 31, wherein at least one global feature is used in an encoding process.

[0233] Clause 34. The method of clause 31, wherein a plurality of global features are concatenated to get a final feature

[0234] Clause 35. The method of clause 34, wherein the final feature is

[0235] Clause 36. The method of clause 30, wherein a global motion compensation process at encoder side is performed as the following:  wherein represents a cross attention, xt represents a predictive frame at a time point,  represents a first down-sample feature,  represents a second down-sample feature,  represents a third down-sample feature, and represents a fourth down-sample feature.

[0236] Clause 37. The method of clause 30, wherein is determined at decoder side by a further predetermined cross attention approach between and wherein represents a further cross attention,  represents a reconstructed frame, and represents a feature extracted from or a propagated feature wherein represents a decoded frame at the time point minus a time interval, wherein the time interval is greater than or equal to 1 and less than or equal to the first number.

[0237] Clause 38. The method of clause 37, wherein the further cross attention is determined by one of the following:  or

[0238] Clause 39. The method of clause 37, wherein at least one global feature is used in a decoding process.

[0239] Clause 40. The method of clause 37, wherein a plurality of global features are concatenated to get a final feature

[0240] Clause 41. The method of clause 40, wherein the final feature is

[0241] Clause 42. The method of clause 30, wherein a global motion compensation process at decoder side is performed as the following:  wherein represents a first up-sample feature,  represents a second up-sample feature,  represents a third up-sample feature,  represents a fourth up-sample feature,  represents a reconstructed frame, and represents a further cross attention.

[0242] Clause 43. The method of clause 18, wherein the global motion compensation scheme and / or the global motion estimation scheme is applied to multi-scale features.

[0243] Clause 44. The method of clause 43, wherein cross attention and are determined at encoder side by a predetermined cross attention approach between and xt,  and yt1,  and wherein xt represents a predictive frame at a time point,  represents a first down-sample feature,  represents a second down-sample feature, and and represent multi-scale extracted from or a propagated feature wherein represents a decoded frame at the time point minus a time interval, wherein the time interval is greater than or equal to 1 and less than or equal to the first number.

[0244] Clause 45. The method of clause 44, wherein the cross attention is determined based on  and xt by one of the following:  or

[0245] Clause 46. The method of clause 44, wherein the cross attention is determined based on  and by one of the following:  or

[0246] Clause 47. The method of clause 44, wherein the cross attention is determined based on  and by one of the following:  or

[0247] Clause 48. The method of clause 44, wherein at least one global feature and / or is used in an encoding process.

[0248] Clause 49. The method of clause 48, wherein a plurality of global features are concatenated to get a final feature

[0249] Clause 50. The method of clause 49, wherein the final feature is

[0250] Clause 51. The method of clause 48, wherein a plurality of global features are concatenated to get a final feature

[0251] Clause 52. The method of clause 51, wherein the final feature is

[0252] Clause 53. The method of clause 48, wherein a plurality of global features are concatenated to get a final feature

[0253] Clause 54. The method of clause 53, wherein the final feature is

[0254] Clause 55. The method of clause 43, wherein a global motion compensation process at encoder side is performed as the following:  wherein represents a first cross attention,  represents a second cross attention,  represents a third cross attention, xt represents a predictive frame at a time point,  represents a first down-sample feature,  represents a second down-sample feature,  represents a third down-sample feature, and represents a fourth down-sample feature.

[0255] Clause 56. The method of clause 43, wherein a further cross attention is determined at decoder side by a further predetermined cross attention approach between and and and wherein represents a reconstructed frame,  represents a fourth up-sample feature,  represents a third up-sample feature, and and represent multi-scale extracted from  or a propagated feature wherein represents a decoded frame at the time point minus a time interval, wherein the time interval is greater than or equal to 1 and less than or equal to the first number.

[0256] Clause 57. The method of clause 56, wherein the cross attention is determined based on  and by one of the following:  or

[0257] Clause 58. The method of clause 56, wherein the cross attention is determined based on  and by one of the following:  or

[0258] Clause 59. The method of clause 56, wherein the cross attention is determined based on  and by one of the following:  or

[0259] Clause 60. The method of clause 56, wherein at least one global feature and / or is used in a decoding process.

[0260] Clause 61. The method of clause 60, wherein a plurality of global features are concatenated to get a final feature

[0261] Clause 62. The method of clause 61, wherein the final feature is

[0262] Clause 63. The method of clause 60, wherein a plurality of global features are concatenated to get a final feature

[0263] Clause 64. The method of clause 63, wherein the final feature is

[0264] Clause 65. The method of clause 60, wherein a plurality of global features are concatenated to get a final feature

[0265] Clause 66. The method of clause 65, wherein the final feature is

[0266] Clause 67. The method of clause 43, wherein a motion compensation process at decoder side is performed as the following:  wherein represents a first up-sample feature,  represents a second up-sample feature,  represents a third up-sample feature,  represents a fourth up-sample feature,  represents a reconstructed frame,  represents a fourth cross attention,  represents a sixth cross attention, and represents a sixth cross attention.

[0267] Clause 68. The method of clause 18, wherein G is derived by a predetermined cross attention approach between FA (A) and FB (B) , wherein G represents a cross attention, FA (A) represents a first transform of A, FB (B) represents a second transform of B, wherein A represents a first input signal, B represents a second input signal.

[0268] Clause 69. The method of clause 68, wherein G is derived by one of the following: G= softmax (FA (A) (FB (B) ) T) FA (B) , or G=softmax (FA (A) ) softmax ( (FA (B) ) T) FB (B) , or G= softmax (FA (A) ) * [softmax ( (FA (B) ) T) *FB (B) ] , or G=softmax (FA (A) ) * [softmax (FA (B) ) T*FB (B) ] .

[0269] Clause 70. The method of clause 68, wherein G is derived by one of the following: G= softmax (A* BT) *B, or G=softmax (A) *softmax (BT) *B, or G=softmax (A) * [softmax (BT) *B] , or G=softmax (A) * [softmax (B) T*B] .

[0270] Clause 71. The method of clause 68, wherein the first transform and / or the second transform is based on an input signal.

[0271] Clause 72. The method of clause 68, wherein the first transform is same as the second transform.

[0272] Clause 73. The method of clause 68, wherein the first transform and / or the second transform is performed by a network, wherein the network comprises a depth residual bottleneck (DepthRB) .

[0273] Clause 74. The method of clause 73, wherein the DepthRB comprises a first 1×1 convolutional layer, a 3×3 convolutional layer, and a second 1×1 convolutional layer, and an output of the DepthRB is a sum of an input and an output of the second 1×1 convolutional layer.

[0274] Clause 75. The method of clause 68, wherein a network is applied to the cross attention to determine a final cross attention.

[0275] Clause 76. The method of clause 75, wherein the network comprises a convolution layer and a DepthRB block.

[0276] Clause 77. The method of clause 75, wherein G equals to DepthRB (conv5x5 (G) ) , wherein DepthRB represents a depth residual bottleneck and conv5x5 represents a 5×5 convolutional layer.

[0277] Clause 78. The method of clause 68, wherein the first input signal comprises xt or and the second input signal comprises wherein xt represents a predictive frame at a time point,  represents a reconstructed frame, and represents a decoded frame at the time point minus a time interval.

[0278] Clause 79. The method of clause 68, wherein the first input signal comprises xt or and the second input signal comprises wherein xt represents a predictive frame at a time point,  represents a reconstructed frame, and represents a first multi-scale feature extracted from or a propagated feature wherein represents a decoded frame at the time point minus a time interval, wherein the time interval is greater than or equal to 1 and less than or equal to the first number.

[0279] Clause 80. The method of clause 68, wherein the first input signal comprises or and the second input signal comprises wherein represents a first down-sample feature,  represents a fourth up-sample feature, and represents a second multi-scale feature extracted from or a propagated feature wherein represents a decoded frame at the time point minus a time interval, wherein the time interval is greater than or equal to 1 and less than or equal to the first number.

[0280] Clause 81. The method of clause 68, wherein the first input signal comprises or and the second input signal comprises wherein represents a second down-sample feature,  represents a third up-sample feature, and represents a third multi-scale feature extracted from or a propagated feature wherein represents a decoded frame at the time point minus a time interval, wherein the time interval is greater than or equal to 1 and less than or equal to the first number.

[0281] Clause 82. The method of clause 1, wherein a joint local and global motion compensation scheme is obtained by combining a global motion compensation scheme and a local motion compensation scheme, or wherein a joint local and global motion estimation scheme is obtained by combining a global motion estimation scheme and a local motion estimation scheme.

[0282] Clause 83. The method of clause 82, wherein the joint local and global motion compensation scheme and / or the joint local and global motion estimation scheme is applied to at least one of a pixel or a feature space.

[0283] Clause 84. The method of clause 83, wherein or is obtained by the global motion compensation scheme and / or the global motion estimation scheme, and is obtained by the local motion compensation scheme and / or the local motion estimation scheme, wherein represents a first cross attention,  represents a fourth cross attention and represents first local context.

[0284] Clause 85. The method of clause 83, wherein or and are concatenated in a channel dimension, wherein represents a first cross attention,  represents a fourth cross attention and represents first local context.

[0285] Clause 86. The method of clause 85, wherein at decoder side,  and are concatenated with in the channel dimension, which is performed as the following:  wherein represents a first up-sample feature,  represents a second up-sample feature,  represents a third up-sample feature,  represents a fourth up-sample feature,  represents a reconstructed frame.

[0286] Clause 87. The method of clause 83, wherein or and are fused by a network, wherein represents a first cross attention,  represents a fourth cross attention and represents first local context.

[0287] Clause 88. The method of clause 87, wherein at decoder side,  and are fused with wherein  represents a reconstructed frame.

[0288] Clause 89. The method of clause 82, wherein the joint local and global motion compensation scheme and / or the joint local and global motion estimation scheme is applied in a multi-scale features space.

[0289] Clause 90. The method of clause 89, wherein and are obtained by the global motion compensation scheme and / or the global motion estimation scheme in encoder side,  and are obtained by the global motion compensation scheme and / or the global motion estimation scheme in decoder side, and and are obtained by the local motion compensation scheme and / or the local motion estimation scheme, wherein represents a first cross attention,  represents a second cross attention,  represents a third cross attention,  represents a fourth cross attention,  represents a fifth cross attention,  represents a sixth cross attention,  represents first local context,  represents second local context, and represents third local context.

[0290] Clause 91. The method of clause 89, wherein or and are concatenated in a channel dimension, and / or or and are concatenated in the channel dimension, and / or or and are concatenated in the channel dimension, wherein represents a first cross attention,  represents a second cross attention,  represents a third cross attention,  represents a fourth cross attention,  represents a fifth cross attention,  represents a sixth cross attention,  represents first local context,  represents second local context, and represents third local context.

[0291] Clause 92. The method of clause 89, wherein or and are fused by a network, and / or or and are fused by the network, and / or or and are fused by the network, wherein represents a first cross attention,  represents a second cross attention,  represents a third cross attention,  represents a fourth cross attention,  represents a fifth cross attention,  represents a sixth cross attention,  represents first local context,  represents second local context, and represents third local context.

[0292] Clause 93. The method of clause 92, wherein at decoder side,  and are fused with and / or  and are fused with and / or and are fused with wherein represents a third up-sample feature,  represents a fourth up-sample feature, and represents a reconstructed frame.

[0293] Clause 94. The method of clause 1, wherein a joint local and global motion compensation scheme and / or a joint local and global motion estimation scheme is performed on a first number of decoded frames, wherein the first number is greater than or equal to 1.

[0294] Clause 95. The method of clause 94, wherein and are obtained by a global motion compensation scheme and / or a global motion estimation scheme from a plurality of references among the first number of decoded frames in an encoding process, wherein represents a first cross attention,  represents a second cross attention,  represents a third cross attention.

[0295] Clause 96. The method of clause 94, wherein and are obtained by a global motion compensation scheme and / or a global motion estimation scheme from a plurality of references among the first number of decoded frames in a decoding process, wherein represents a fourth cross attention,  represents a fifth cross attention,  represents a sixth cross attention.

[0296] Clause 97. The method of clause 94, wherein and are obtained by a local motion compensation scheme and / or a local motion estimation scheme from a plurality of references among the first number of decoded frames, wherein represents first local context,  represents second local context, and represents third local context.

[0297] Clause 98. The method of clause 1, wherein a learning-based video compression framework comprising a joint local and global motion compensation scheme and / or a joint local and global motion estimation scheme is trained based on a plurality of sequences.

[0298] Clause 99. The method of clause 98, wherein the training is based on a set of sequences of which frame number is equal to or less than a second number, wherein the second number is an integer.

[0299] Clause 100. The method of clause 99, wherein the second number equals to one of: 2, 3, 4, 5, 6, 7, 8, 9, 15, 16, 17, 19, 20, 24, 30, 31, 32, 33, 63, 64, 65, 95, 96, or 97.

[0300] Clause 101. The method of clause 98, wherein the training is based on a further set of sequences of which frame number is equal to or greater than a third number, wherein the third number is an integer.

[0301] Clause 102. The method of clause 101, wherein the third number equals to one of: 2, 3, 4, 5, 6, 7, 8, 9, 15, 16, 17, 19, 20, 24, 30, 31, 32, 33, 63, 64, 65, 95, 96, 97, 300, 500, 600, or 1000.

[0302] Clause 103. The method of clause 98, wherein a training objective is based on a rate and a distortion.

[0303] Clause 104. The method of clause 103, wherein the training objective is determined by the following: L=R+λD, wherein R represents the rate or a bit-rate, D represents the distortion based on a distortion metric, and λ represents a weighting factor.

[0304] Clause 105. The method of clause 98, wherein a model loss is backward propagated on the plurality of sequences.

[0305] Clause 106. The method of clause 105, wherein if a graphics processing unit (GPU) memory is large enough, the model loss is backward propagated on the plurality of sequences.

[0306] Clause 107. The method of clause 98, wherein the plurality of sequences are divided into a plurality of parts, and if one of the plurality of parts is finished, a model loss is backward propagated.

[0307] Clause 108. The method of clause 107, wherein if a graphics processing unit (GPU) memory is limited, the model loss is backward propagated in response to that one of the plurality of parts is finished.

[0308] Clause 109. The method of any of clauses 1-108, wherein the conversion includes encoding the visual data into the bitstream.

[0309] Clause 110. The method of any of clauses 1-108, wherein the conversion includes decoding the visual data from the bitstream.

[0310] Clause 111. An apparatus for visual data processing comprising a processor and a non-transitory memory with instructions thereon, wherein the instructions upon execution by the processor, cause the processor to perform a method in accordance with any of clauses 1-110.

[0311] Clause 112. A non-transitory computer-readable storage medium storing instructions that cause a processor to perform a method in accordance with any of clauses 1-110.

[0312] Clause 113. A non-transitory computer-readable recording medium storing a bitstream of visual data which is generated by a method performed by an apparatus for visual data processing, wherein the method comprises: processing the visual data by performing at least one of a motion compensation scheme or a motion estimation scheme on at least one frame associated with the visual data; and generating the bitstream based on the processed visual data.

[0313] Clause 114. A method for storing a bitstream of visual data, comprising: processing the visual data by performing at least one of a motion compensation scheme or a motion estimation scheme on at least one frame associated with the visual data; generating the bitstream based on the processed visual data; and storing the bitstream in a non-transitory computer-readable recording medium. Example Device

[0314] Fig. 20 illustrates a block diagram of a computing device 2000 in which various embodiments of the present disclosure can be implemented. The computing device 2000 may be implemented as or included in the source device 110 (or the visual data encoder 114) or the destination device 120 (or the visual data decoder 124) .

[0315] It would be appreciated that the computing device 2000 shown in Fig. 20 is merely for purpose of illustration, without suggesting any limitation to the functions and scopes of the embodiments of the present disclosure in any manner.

[0316] As shown in Fig. 20, the computing device 2000 includes a general-purpose computing device 2000. The computing device 2000 may at least comprise one or more processors or processing units 2010, a memory 2020, a storage unit 2030, one or more communication units 2040, one or more input devices 2050, and one or more output devices 2060.

[0317] In some embodiments, the computing device 2000 may be implemented as any user terminal or server terminal having the computing capability. The server terminal may be a server, a large-scale computing device or the like that is provided by a service provider. The user terminal may for example be any type of mobile terminal, fixed terminal, or portable terminal, including a mobile phone, station, unit, device, multimedia computer, multimedia tablet, Internet node, communicator, desktop computer, laptop computer, notebook computer, netbook computer, tablet computer, personal communication system (PCS) device, personal navigation device, personal digital assistant (PDA) , audio / video player, digital camera / video camera, positioning device, television receiver, radio broadcast receiver, E-book device, gaming device, or any combination thereof, including the accessories and peripherals of these devices, or any combination thereof. It would be contemplated that the computing device 2000 can support any type of interface to a user (such as “wearable” circuitry and the like) .

[0318] The processing unit 2010 may be a physical or virtual processor and can implement various processes based on programs stored in the memory 2020. In a multi-processor system, multiple processing units execute computer executable instructions in parallel so as to improve the parallel processing capability of the computing device 2000. The processing unit 2010 may also be referred to as a central processing unit (CPU) , a microprocessor, a controller or a microcontroller.

[0319] The computing device 2000 typically includes various computer storage medium. Such medium can be any medium accessible by the computing device 2000, including, but not limited to, volatile and non-volatile medium, or detachable and non-detachable medium. The memory 2020 can be a volatile memory (for example, a register, cache, Random Access Memory (RAM) ) , a non-volatile memory (such as a Read-Only Memory (ROM) , Electrically Erasable Programmable Read-Only Memory (EEPROM) , or a flash memory) , or any combination thereof. The storage unit 2030 may be any detachable or non-detachable medium and may include a machine-readable medium such as a memory, flash memory drive, magnetic disk or another other media, which can be used for storing information and / or data and can be accessed in the computing device 2000.

[0320] The computing device 2000 may further include additional detachable / non-detachable, volatile / non-volatile memory medium. Although not shown in Fig. 20, it is possible to provide a magnetic disk drive for reading from and / or writing into a detachable and non-volatile magnetic disk and an optical disk drive for reading from and / or writing into a detachable non-volatile optical disk. In such cases, each drive may be connected to a bus (not shown) via one or more data medium interfaces.

[0321] The communication unit 2040 communicates with a further computing device via the communication medium. In addition, the functions of the components in the computing device 2000 can be implemented by a single computing cluster or multiple computing machines that can communicate via communication connections. Therefore, the computing device 2000 can operate in a networked environment using a logical connection with one or more other servers, networked personal computers (PCs) or further general network nodes.

[0322] The input device 2050 may be one or more of a variety of input devices, such as a mouse, keyboard, tracking ball, voice-input device, and the like. The output device 2060 may be one or more of a variety of output devices, such as a display, loudspeaker, printer, and the like. By means of the communication unit 2040, the computing device 2000 can further communicate with one or more external devices (not shown) such as the storage devices and display device, with one or more devices enabling the user to interact with the computing device 2000, or any devices (such as a network card, a modem and the like) enabling the computing device 2000 to communicate with one or more other computing devices, if required. Such communication can be performed via input / output (I / O) interfaces (not shown) .

[0323] In some embodiments, instead of being integrated in a single device, some or all components of the computing device 2000 may also be arranged in cloud computing architecture. In the cloud computing architecture, the components may be provided remotely and work together to implement the functionalities described in the present disclosure. In some embodiments, cloud computing provides computing, software, data access and storage service, which will not require end users to be aware of the physical locations or configurations of the systems or hardware providing these services. In various embodiments, the cloud computing provides the services via a wide area network (such as Internet) using suitable protocols. For example, a cloud computing provider provides applications over the wide area network, which can be accessed through a web browser or any other computing components. The software or components of the cloud computing architecture and corresponding data may be stored on a server at a remote position. The computing resources in the cloud computing environment may be merged or distributed at locations in a remote data center. Cloud computing infrastructures may provide the services through a shared data center, though they behave as a single access point for the users. Therefore, the cloud computing architectures may be used to provide the components and functionalities described herein from a service provider at a remote location. Alternatively, they may be provided from a conventional server or installed directly or otherwise on a client device.

[0324] The computing device 2000 may be used to implement visual data encoding / decoding in embodiments of the present disclosure. The memory 2020 may include one or more visual data coding modules 2025 having one or more program instructions. These modules are accessible and executable by the processing unit 2010 to perform the functionalities of the various embodiments described herein.

[0325] In the example embodiments of performing visual data encoding, the input device 2050 may receive visual data as an input 2070 to be encoded. The visual data may be processed, for example, by the visual data coding module 2025, to generate an encoded bitstream. The encoded bitstream may be provided via the output device 2060 as an output 2080.

[0326] In the example embodiments of performing visual data decoding, the input device 2050 may receive an encoded bitstream as the input 2070. The encoded bitstream may be processed, for example, by the visual data coding module 2025, to generate decoded visual data. The decoded visual data may be provided via the output device 2060 as the output 2080.

[0327] While this disclosure has been particularly shown and described with references to example embodiments thereof, it will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present application as defined by the appended claims. Such variations are intended to be covered by the scope of this present application. As such, the foregoing description of embodiments of the present application is not intended to be limiting.

Claims

A method of visual data processing, comprising:processing, for a conversion between visual data and a bitstream of the visual data, the visual data by performing at least one of a motion compensation scheme or a motion estimation scheme on at least one frame associated with the visual data; andperforming the conversion based on the processed visual data.The method of claim 1, wherein the at least one of the motion compensation scheme or the motion estimation scheme comprises: a global motion compensation (GMC) scheme, a global motion estimation scheme, a local motion compensation (LMC) scheme, a local motion estimation scheme, a joint local and global motion compensation (LGMC) scheme, or a joint local and global motion estimation scheme.The method of claim 1, wherein a local motion compensation scheme and / or a local motion estimation scheme is performed on a first number of reference frames, wherein the first number is greater than or equal to 1.The method of claim 3, wherein an optical flow network or a deformable neural network is applied to determinebetween xt andwhereinrepresents a decompressed offset or motion vector be-tween xt andxt represents a predictive frame at a time point, andrepresents a decoded reference frame at the time point minus a time interval, wherein the time interval is greater than or equal to 1 and less than or equal to the first number.The method of claim 4, wherein if the first number of reference frame is one reference frame, is a decompressed offset or motion vector between the first frame and another decoded reference frame at the time point minus one.The method of claim 3, wherein the local motion compensation scheme and / or the local motion esti-mation scheme is applied in pixel space.The method of claim 6, whereinis determined by warpingandwhereinrepre-sents a feature associated withrepresents a decoded reference frame at a time point minus a time interval, andrepresents a decompressed motion vector between xt andwherein xt represents a pre-dictive frame at a time point.The method of claim 6, wherein the local motion compensation scheme and / or the local motion esti-mation scheme betweenand xt is obtained after a plurality of continuous warps by using a plurality of motion vectorswherein xt represents a predictive frame at a time point, represents a decoded reference frame at the time point minus a time interval, the plurality of motion vectorsrepresent de-compressed motion vectors between a predictive frame at the time point minus a further time interval plus one and a decoded reference frame at the time point minus the further time interval, wherein the further time interval is greater than or equal to one and less than or equal to the time interval.The method of claim 8, whereinis determined by warpingandwhereinrepresents the first internal feature, andrepresents a decompressed motion vector which corresponds to the first internal feature, wherein the further time interval equal to the time interval.The method of claim 8, whereinis determined by warpingandwhereinrepresents an internal feature, andrepresents a further internal feature pervious to the internal feature.The method of claim 10, whereinis determined by warpingandwhereinrepresents a final feature andrepresents another internal feature previous to the final feature.The method of claim 6, wherein at least one local featureis used in an encoding process and / or a decoding process.The method of claim 12, wherein a plurality of local featuresare concatenated to determine a final local featureThe method of claim 6, wherein a local feature is determined as corresponding local context.The method of claim 3, wherein the local motion compensation scheme and / or the local motion esti-mation scheme is applied in feature space.The method of claim 3, wherein the local motion compensation scheme and / or the local motion esti-mation scheme is applied in multi-scale feature space.The method of claim 1, wherein a local motion compensation scheme and / or a local motion estimation scheme is performed on a first number of reference frames, wherein the first number is greater than or equal to 1.The method of claim 1, wherein a global motion compensation scheme and / or a global motion esti-mation scheme is performed on a first number of frames, wherein the first number is greater than or equal to 1.The method of claim 18, wherein the global motion compensation scheme and / or the global motion estimation scheme is applied in a pixel space.The method of claim 19, wherein if the global motion compensation is performed, is determined at encoder side by a predetermined cross attention approach betweenand xt, whereinrepresents a cross attention, xt represents a predictive frame at a time point, andrepre-sents a decoded frame at the time point minus a time interval, wherein the time interval is greater than or equal to 1 and less than or equal to the first number.The method of claim 20, wherein the cross attention is determined by one of the following:orThe method of claim 20, wherein at least one global featureis used in an encoding process.The method of claim 20, wherein a plurality of global featuresare concatenated to get a final featureThe method of claim 23, wherein the final featureisThe method of claim 19, whereinis determined at decoder side by a further predetermined cross attention approach betweenandwhereinrepresents a further cross attention, represents a reconstructed frame, andrepresents a decoded frame at a time point minus a time interval, wherein the time interval is greater than or equal to 1 and less than or equal to the first number.The method of claim 25, wherein the further cross attention is determined by one of the following:orThe method of claim 26, wherein at least one global featureis used in a decoding process.The method of claim 26, wherein a plurality of global featuresare concatenated to get a further final featureThe method of claim 28, wherein the further final featureisThe method of claim 18, wherein the global motion compensation scheme and / or the global motion estimation scheme is applied to a feature space.The method of claim 30, whereinis determined at encoder side by a predetermined cross at-tention approach betweenand xt, whereinrepresents a cross attention, xt represents a predictive frame at a time point, andrepresents a feature extracted fromor a propagated featurewhereinrepresents a decoded frame at the time point minus a time interval, wherein the time interval is greater than or equal to 1 and less than or equal to the first number.The method of claim 31, wherein the cross attention is determined by one of the following:orThe method of claim 31, wherein at least one global featureis used in an encoding process.The method of claim 31, wherein a plurality of global featuresare concatenated to get a final featureThe method of claim 34, wherein the final featureisThe method of claim 30, wherein a global motion compensation process at encoder side is performed as the following:whereinrepresents a cross attention, xt represents a predictive frame at a time point, represents a first down-sample feature, represents a second down-sample feature, represents a third down-sample fea-ture, andrepresents a fourth down-sample feature.The method of claim 30, whereinis determined at decoder side by a further predetermined cross attention approach betweenandwhereinrepresents a further cross attention, repre-sents a reconstructed frame, andrepresents a feature extracted fromor a propagated featurewhereinrepresents a decoded frame at the time point minus a time interval, wherein the time interval is greater than or equal to 1 and less than or equal to the first number.The method of claim 37, wherein the further cross attention is determined by one of the following:orThe method of claim 37, wherein at least one global featureis used in a decoding process.The method of claim 37, wherein a plurality of global featuresare concatenated to get a final featureThe method of claim 40, wherein the final featureisThe method of claim 30, wherein a global motion compensation process at decoder side is performed as the following:whereinrepresents a first up-sample feature, represents a second up-sample feature, represents a third up-sample feature, represents a fourth up-sample feature, represents a reconstructed frame, andrepresents a further cross attention.The method of claim 18, wherein the global motion compensation scheme and / or the global motion estimation scheme is applied to multi-scale features.The method of claim 43, wherein cross attentionandare determined at encoder side by a predetermined cross attention approach betweenand xt, andandwherein xt represents a predictive frame at a time point, represents a first down-sample feature, represents a second down-sample feature, andandrepresent multi-scale extracted fromor a propagated featurewhereinrepresents a decoded frame at the time point minus a time interval, wherein the time interval is greater than or equal to 1 and less than or equal to the first number.The method of claim 44, wherein the cross attentionis determined based onand xt by one of the following:orThe method of claim 44, wherein the cross attentionis determined based onandby one of the following:orThe method of claim 44, wherein the cross attentionis determined based onandby one of the following:orThe method of claim 44, wherein at least one global featureand / oris used in an encoding process.The method of claim 48, wherein a plurality of global featuresare concatenated to get a final featureThe method of claim 49, wherein the final featureisThe method of claim 48, wherein a plurality of global featuresare concatenated to get a final featureThe method of claim 51, wherein the final featureisThe method of claim 48, wherein a plurality of global featuresare concatenated to get a final featureThe method of claim 53, wherein the final featureisThe method of claim 43, wherein a global motion compensation process at encoder side is performed as the following:whereinrepresents a first cross attention, represents a second cross attention, represents a third cross attention, xt represents a predictive frame at a time point, represents a first down-sample feature, represents a second down-sample feature, represents a third down-sample feature, andrepresents a fourth down-sample feature.The method of claim 43, wherein a further cross attention is determined at decoder side by a further predetermined cross attention approach betweenandandandwhereinrep-resents a reconstructed frame, represents a fourth up-sample feature, represents a third up-sample feature, andandrepresent multi-scale extracted fromor a propagated featurewhereinrepresents a decoded frame at the time point minus a time interval, wherein the time interval is greater than or equal to 1 and less than or equal to the first number.The method of claim 56, wherein the cross attentionis determined based onandby one of the following:orThe method of claim 56, wherein the cross attentionis determined based onandby one of the following:orThe method of claim 56, wherein the cross attentionis determined based onandby one of the following:orThe method of claim 56, wherein at least one global featureand / oris used in a decoding process.The method of claim 60, wherein a plurality of global featuresare concatenated to get a final featureThe method of claim 61, wherein the final featureisThe method of claim 60, wherein a plurality of global featuresare concatenated to get a final featureThe method of claim 63, wherein the final featureisThe method of claim 60, wherein a plurality of global featuresare concatenated to get a final featureThe method of claim 65, wherein the final featureisThe method of claim 43, wherein a motion compensation process at decoder side is performed as the following:whereinrepresents a first up-sample feature, represents a second up-sample feature, represents a third up-sample feature, represents a fourth up-sample feature, represents a reconstructed frame, rep-resents a fourth cross attention, represents a sixth cross attention, andrepresents a sixth cross attention.The method of claim 18, wherein G is derived by a predetermined cross attention approach between FA (A) and FB (B) , wherein G represents a cross attention, FA (A) represents a first transform of A, FB (B) repre-sents a second transform of B, wherein A represents a first input signal, B represents a second input signal.The method of claim 68, wherein G is derived by one of the following:G=softmax (FA (A) (FB (B) ) T) FA (B) , orG=softmax (FA (A) ) softmax ( (FA (B) ) T) FB (B) , orG=softmax (FA (A) ) * [softmax ( (FA (B) ) T) *FB (B) ] , orG=softmax (FA (A) ) * [softmax (FA (B) ) T*FB (B) ] .The method of claim 68, wherein G is derived by one of the following:G=softmax (A* BT) *B, orG=softmax (A) *softmax (BT) *B, orG=softmax (A) * [softmax (BT) *B] , orG=softmax (A) * [softmax (B) T*B] .The method of claim 68, wherein the first transform and / or the second transform is based on an input signal.The method of claim 68, wherein the first transform is same as the second transform.The method of claim 68, wherein the first transform and / or the second transform is performed by a network, wherein the network comprises a depth residual bottleneck (DepthRB) .The method of claim 73, wherein the DepthRB comprises a first 1×1 convolutional layer, a 3×3 convolutional layer, and a second 1×1 convolutional layer, and an output of the DepthRB is a sum of an input and an output of the second 1×1 convolutional layer.The method of claim 68, wherein a network is applied to the cross attention to determine a final cross attention.The method of claim 75, wherein the network comprises a convolution layer and a DepthRB block.The method of claim 75, wherein G equals to DepthRB (conv5x5 (G) ) , wherein DepthRB represents a depth residual bottleneck and conv5x5 represents a 5×5 convolutional layer.The method of claim 68, wherein the first input signal comprises xt orand the second input signal compriseswherein xt represents a predictive frame at a time point, represents a reconstructed frame, andrepresents a decoded frame at the time point minus a time interval.The method of claim 68, wherein the first input signal comprises xt orand the second input signal compriseswherein xt represents a predictive frame at a time point, represents a reconstructed frame, andrepresents a first multi-scale feature extracted fromor a propagated featurewhereinrepresents a decoded frame at the time point minus a time interval, wherein the time interval is greater than or equal to 1 and less than or equal to the first number.The method of claim 68, wherein the first input signal comprisesorand the second input signal compriseswhereinrepresents a first down-sample feature, represents a fourth up-sample feature, andrepresents a second multi-scale feature extracted fromor a propagated featurewhereinrepresents a decoded frame at the time point minus a time interval, wherein the time interval is greater than or equal to 1 and less than or equal to the first number.The method of claim 68, wherein the first input signal comprisesorand the second input signal compriseswhereinrepresents a second down-sample feature, represents a third up-sample feature, andrepresents a third multi-scale feature extracted fromor a propagated featurewhereinrepresents a decoded frame at the time point minus a time interval, wherein the time interval is greater than or equal to 1 and less than or equal to the first number.The method of claim 1, wherein a joint local and global motion compensation scheme is obtained by combining a global motion compensation scheme and a local motion compensation scheme, orwherein a joint local and global motion estimation scheme is obtained by combining a global motion estimation scheme and a local motion estimation scheme.The method of claim 82, wherein the joint local and global motion compensation scheme and / or the joint local and global motion estimation scheme is applied to at least one of a pixel or a feature space.The method of claim 83, whereinoris obtained by the global motion compensation scheme and / or the global motion estimation scheme, andis obtained by the local motion compensation scheme and / or the local motion estimation scheme, whereinrepresents a first cross attention, represents a fourth cross attention andrepresents first local context.The method of claim 83, whereinorandare concatenated in a channel dimension, whereinrepresents a first cross attention, represents a fourth cross attention andrepresents first local context.The method of claim 85, wherein at decoder side, andare concatenated within the channel dimension, which is performed as the following:whereinrepresents a first up-sample feature, represents a second up-sample feature, represents a third up-sample feature, represents a fourth up-sample feature, represents a reconstructed frame.The method of claim 83, whereinorandare fused by a network, whereinrepresents a first cross attention, represents a fourth cross attention andrepresents first local context.The method of claim 87, wherein at decoder side, andare fused withwhereinrepresents a reconstructed frame.The method of claim 82, wherein the joint local and global motion compensation scheme and / or the joint local and global motion estimation scheme is applied in a multi-scale features space.The method of claim 89, whereinandare obtained by the global motion compensation scheme and / or the global motion estimation scheme in encoder side, andare obtained by the global motion compensation scheme and / or the global motion estimation scheme in decoder side, andandare obtained by the local motion compensation scheme and / or the local motion estimation scheme, whereinrep-resents a first cross attention, represents a second cross attention, represents a third cross attention, represents a fourth cross attention, represents a fifth cross attention, represents a sixth cross attention, represents first local context, represents second local context, andrepresents third local context.The method of claim 89, whereinorandare concatenated in a channel dimension, and / ororandare concatenated in the channel dimension, and / ororandare concatenated in the chan-nel dimension, whereinrepresents a first cross attention, represents a second cross attention, repre-sents a third cross attention, represents a fourth cross attention, represents a fifth cross attention, rep-resents a sixth cross attention, represents first local context, represents second local context, andrepre-sents third local context.The method of claim 89, whereinorandare fused by a network, and / ororandare fused by the network, and / ororandare fused by the network, whereinrepresents a first cross at-tention, represents a second cross attention, represents a third cross attention, represents a fourth cross attention, represents a fifth cross attention, represents a sixth cross attention, represents first local con-text, represents second local context, andrepresents third local context.The method of claim 92, wherein at decoder side, andare fused withand / orandare fused withand / orandare fused withwhereinrepresents a third up-sample feature, repre-sents a fourth up-sample feature, andrepresents a reconstructed frame.The method of claim 1, wherein a joint local and global motion compensation scheme and / or a joint local and global motion estimation scheme is performed on a first number of decoded frames, wherein the first number is greater than or equal to 1.The method of claim 94, whereinandare obtained by a global motion compensation scheme and / or a global motion estimation scheme from a plurality of references among the first number of decoded frames in an encoding process, whereinrepresents a first cross attention, represents a second cross attention, represents a third cross attention.The method of claim 94, whereinandare obtained by a global motion compensation scheme and / or a global motion estimation scheme from a plurality of references among the first number of decoded frames in a decoding process, whereinrepresents a fourth cross attention, represents a fifth cross attention, represents a sixth cross attention.The method of claim 94, whereinandare obtained by a local motion compensation scheme and / or a local motion estimation scheme from a plurality of references among the first number of decoded frames, whereinrepresents first local context, represents second local context, andrepresents third local context.The method of claim 1, wherein a learning-based video compression framework comprising a joint local and global motion compensation scheme and / or a joint local and global motion estimation scheme is trained based on a plurality of sequences.The method of claim 98, wherein the training is based on a set of sequences of which frame number is equal to or less than a second number, wherein the second number is an integer.The method of claim 99, wherein the second number equals to one of: 2, 3, 4, 5, 6, 7, 8, 9, 15, 16, 17, 19, 20, 24, 30, 31, 32, 33, 63, 64, 65, 95, 96, or 97.The method of claim 98, wherein the training is based on a further set of sequences of which frame number is equal to or greater than a third number, wherein the third number is an integer.The method of claim 101, wherein the third number equals to one of: 2, 3, 4, 5, 6, 7, 8, 9, 15, 16, 17, 19, 20, 24, 30, 31, 32, 33, 63, 64, 65, 95, 96, 97, 300, 500, 600, or 1000.The method of claim 98, wherein a training objective is based on a rate and a distortion.The method of claim 103, wherein the training objective is determined by the following:L=R+λD,wherein R represents the rate or a bit-rate, D represents the distortion based on a distortion metric, and λrepresents a weighting factor.The method of claim 98, wherein a model loss is backward propagated on the plurality of sequences.The method of claim 105, wherein if a graphics processing unit (GPU) memory is large enough, the model loss is backward propagated on the plurality of sequences.The method of claim 98, wherein the plurality of sequences are divided into a plurality of parts, and if one of the plurality of parts is finished, a model loss is backward propagated.The method of claim 107, wherein if a graphics processing unit (GPU) memory is limited, the model loss is backward propagated in response to that one of the plurality of parts is finished.The method of any of claims 1-108, wherein the conversion includes encoding the visual data into the bitstream.The method of any of claims 1-108, wherein the conversion includes decoding the visual data from the bitstream.An apparatus for visual data processing comprising a processor and a non-transitory memory with instructions thereon, wherein the instructions upon execution by the processor, cause the processor to perform a method in accordance with any of claims 1-110.A non-transitory computer-readable storage medium storing instructions that cause a processor to perform a method in accordance with any of claims 1-110.A non-transitory computer-readable recording medium storing a bitstream of visual data which is generated by a method performed by an apparatus for visual data processing, wherein the method comprises:processing the visual data by performing at least one of a motion compensation scheme or a motion estimation scheme on at least one frame associated with the visual data; andgenerating the bitstream based on the processed visual data.A method for storing a bitstream of visual data, comprising:processing the visual data by performing at least one of a motion compensation scheme or a motion estimation scheme on at least one frame associated with the visual data;generating the bitstream based on the processed visual data; andstoring the bitstream in a non-transitory computer-readable recording medium.

Images