Systems and methods for image data encoding and decoding

Abstract

The present disclosure provides methods for image data decoding and encoding. The method for image data decoding may be implemented by a decoder. The method for image data decoding may include, for a current frame, determining, based on whether the current frame is a refresh frame, buffer information that needs to be enabled for the current frame from candidate buffer information relating to one or more previous frames that have been decoded before the current frame. The method for image data decoding may further include decoding, based on the enabled buffer information, bitstream data of the current frame.

Description

SYSTEMS AND METHODS FOR IMAGE DATA ENCODING AND DECODINGCROSS-REFERENCE TO RELATED APPLICATIONS

[0001] This application claims priority of Chinese Patent Application No. 202411104598.9 filed on August 12, 2024, Chinese Patent Application No. 202411146620.6 filed on August 20, 2024, and Chinese Patent Application No. 202411642413. X filed on November 15, 2024, the contents of each of which are hereby incorporated by reference.TECHNICAL FIELD

[0002] The present disclosure generally relates to encoding and decoding technology, and more particularly, relates to systems and methods for image data encoding and decoding based on end-to-end compression frameworks / platforms.BACKGROUND

[0003] Image encoding and decoding techniques are widely used in image data (e.g., videos, images) processing to facilitate data interaction (e.g., transmission or storage) , which can reduce the data volume of the image data, thereby reducing network bandwidth consumption during data transmission and storage requirements. For instance, encoding and compression operations are necessary due to the substantial data volume of video data. The compressed video data, also referred to as a video stream, can be transmitted to a user terminal via a wired or wireless network, where it is subsequently decoded for viewing. The encoding process often involves data acquisition, prediction, transformation, quantization, and encoding. However, conventional image encoding and decoding techniques often suffer from limitations, such as, low decoding performance, low decoding accuracy, etc.

[0004] Therefore, it is desirable to provide systems and methods for image data encoding and decoding based on end-to-end compression frameworks / platforms, which can enhance decoding performance and accuracy.SUMMARY

[0005] According to an aspect of the present disclosure, a method for image data decoding may be provided. The method may be implemented by a decoder. The method may include, for a current frame, determining, based on whether the current frame is a refresh frame, buffer information that needs to be enabled for the current frame from candidate buffer information relating to one or more previous frames that have been decoded before the current frame. The method may further include decoding, based on the enabled buffer information, bitstream data of the current frame.

[0006] According to another aspect of the present disclosure, a system for image data decoding may be provided. The system may include a decoder. The decoder may include a determination module and an obtaining module. The determination module may be configured to, for a current frame, determine, based on whether the current frame is a refresh frame, buffer information that needs to be enabled for the current frame from candidate buffer information relating to one or more previous frames that have been decoded before the current frame. The obtaining module may be configured to decode, based on the enabled buffer information, bitstream data of the current frame.

[0007] According to still another aspect of the present disclosure, a method for image data encoding may be provided. The method may be implemented by an encoder. The method may include, for a current frame, determining, based on whether the current frame is a refresh frame, buffer information that needs to be enabled for the current frame from candidate buffer information relating to one or more previous frames that have been decoded before the current frame. The method may further include encoding, based on the enabled buffer information, bitstream data of the current frame.

[0008] According to yet another aspect of the present disclosure, a system for image data encoding may be provided. The system may include an encoder. The encoder may include a determination module and a generation module. The determination module may be configured to, for a current frame, determine, based on whether the current frame is a refresh frame, buffer information that needs to be enabled for the current frame from candidate buffer information relating to one or more previous frames that have been decoded before the current frame. The generation module may be configured to generate, based on the enabled buffer information, bitstream data of the current frame.

[0009] Additional features will be set forth in part in the description which follows, and in part will become apparent to those skilled in the art upon examination of the following and the accompanying drawings or may be learned by production or operation of the examples. The features of the present disclosure may be realized and attained by practice or use of various aspects of the methodologies, instrumentalities, and combinations set forth in the detailed examples discussed below.BRIEF DESCRIPTION OF THE DRAWINGS

[0010] The present disclosure is further described in terms of exemplary embodiments. These exemplary embodiments are described in detail with reference to the drawings. These embodiments are non-limiting exemplary embodiments, in which like reference numerals represent similar structures throughout the several views of the drawings, and wherein:

[0011] FIG. 1 is a schematic diagram illustrating an exemplary system for image data encoding and decoding according to some embodiments of the present disclosure;

[0012] FIG. 2A-2D are schematic diagrams illustrating exemplary end-to-end video compression frameworks according to some embodiments of the present disclosure;

[0013] FIG. 3 is a block diagram illustrating an exemplary decoder according to some embodiments of the present disclosure;

[0014] FIG. 4 is a flowchart illustrating an exemplary process for image data decoding according to some embodiments of the present disclosure;

[0015] FIG. 5 is a schematic diagram illustrating an exemplary process for obtaining motion information of a current frame through a motion information entropy model according to some embodiments of the present disclosure;

[0016] FIG. 6 is a schematic diagram illustrating an exemplary process for obtaining residual information of a current frame through a residual information entropy model according to some embodiments of the present disclosure;

[0017] FIG. 7 is a schematic diagram illustrating an exemplary process for determining a first alignment feature according to some embodiments of the present disclosure;

[0018] FIG. 8 is a schematic diagram illustrating an exemplary process for optimizing a residual feature to be encoded through a first optimization module according to some embodiments of the present disclosure;

[0019] FIG. 9 is a schematic diagram illustrating an exemplary process for determining a second feature of a reference frame according to some embodiments of the present disclosure;

[0020] FIG. 10A is a schematic diagram illustrating an exemplary process for selecting reference information according to some embodiments of the present disclosure;

[0021] FIG. 10B is a schematic diagram illustrating an exemplary process for selecting reference information according to some embodiments of the present disclosure;

[0022] FIG. 11 is a flowchart illustrating an exemplary process for image data decoding according to some embodiments of the present disclosure;

[0023] FIG. 12 is a schematic diagram illustrating an exemplary process for determining a reference feature according to some embodiments of the present disclosure;

[0024] FIG. 13 is a schematic diagram illustrating an exemplary process for obtaining a fused long-term reference feature through a feature fusion network according to some embodiments of the present disclosure;

[0025] FIG. 14 is a schematic diagram illustrating an exemplary process for obtaining an updated long-term reference feature through a feature update module according to some embodiments of the present disclosure;

[0026] FIG. 15 is a schematic diagram illustrating an exemplary process for determining reference information to be preserved for use in decoding second bitstream data of a subsequent frame according to some embodiments of the present disclosure;

[0027] FIG. 16 is a schematic diagram illustrating an exemplary process for decoding bitstream data of a current frame based on preserved reference information according to some embodiments of the present disclosure;

[0028] FIG. 17 is a schematic diagram illustrating an exemplary process for obtaining prediction information of a current frame according to some embodiments of the present disclosure;

[0029] FIG. 18 is a schematic diagram illustrating an exemplary process for obtaining reconstruction information of a current frame according to some embodiments of the present disclosure;

[0030] FIG. 19 is a schematic diagram illustrating an exemplary process for obtaining reconstruction information of a current frame according to some embodiments of the present disclosure;

[0031] FIG. 20 is a schematic diagram illustrating an exemplary process for performing a non-local attention through a non-local attention network according to some embodiments of the present disclosure;

[0032] FIG. 21 is a flowchart illustrating an exemplary process for image data encoding according to some embodiments of the present disclosure;

[0033] FIG. 22 is a schematic diagram illustrating an exemplary process for refreshing a reconstruction feature of a current frame according to some embodiments of the present disclosure;

[0034] FIG. 23 is a schematic diagram illustrating an exemplary process for optimizing a reconstruction feature of a current frame according to some embodiments of the present disclosure;

[0035] FIG. 24 is a schematic diagram illustrating an exemplary process for refreshing a reconstruction feature of a current frame according to some embodiments of the present disclosure;

[0036] FIG. 25 is a schematic diagram illustrating an exemplary process for refreshing a decoding feature of a current frame according to some embodiments of the present disclosure;

[0037] FIG. 26 is a schematic diagram illustrating an exemplary process for optimizing a residual feature according to some embodiments of the present disclosure;

[0038] FIG. 27 is a schematic diagram illustrating an exemplary process for optimizing a residual feature according to some embodiments of the present disclosure;

[0039] FIG. 28 is a schematic diagram illustrating an exemplary process for optimizing a motion feature according to some embodiments of the present disclosure;

[0040] FIG. 29 is a block diagram illustrating an exemplary encoder according to some embodiments of the present disclosure;

[0041] FIG. 30 is a flowchart illustrating an exemplary process for image data encoding according to some embodiments of the present disclosure;

[0042] FIG. 31 is a schematic diagram illustrating an exemplary electronic device according to some embodiments of the present disclosure; and

[0043] FIG. 32 is a schematic diagram illustrating an exemplary computer-readable storage medium according to some embodiments of the present disclosure.DETAILED DESCRIPTION

[0044] In the following detailed description, numerous specific details are set forth by way of examples in order to provide a thorough understanding of the relevant disclosure. However, it should be apparent to those skilled in the art that the present disclosure may be practiced without such details. In other instances, well-known methods, procedures, systems, components, and / or circuitry have been described at a relatively high level, without detail, in order to avoid unnecessarily obscuring aspects of the present disclosure. Various modifications to the disclosed embodiments will be readily apparent to those skilled in the art, and the general principles defined herein may be applied to other embodiments and applications without departing from the spirit and scope of the present disclosure. Thus, the present disclosure is not limited to the embodiments shown, but to be accorded the widest scope consistent with the claims.

[0045] The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting. As used herein, the singular forms “a, ” “an, ” and “the” may be intended to include the plural forms as well, unless the context clearly indicates otherwise. It will be further understood that the terms “comprise, ” “comprises, ” and / or “comprising, ” “include, ” “includes, ” and / or “including, ” when used in this specification, specify the presence of stated features, integers, steps, operations, elements, and / or components, but do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, and / or groups thereof.

[0046] It will be understood that when a unit, engine, module, or block is referred to as being “on, ” “connected to, ” or “coupled to, ” another unit, engine, module, or block, it may be directly on, connected or coupled to, or communicate with the other unit, engine, module, or block, or an intervening unit, engine, module, or block may be present, unless the context clearly indicates otherwise. As used herein, the term “and / or” includes any and all combinations of one or more of the associated listed items.

[0047] In addition, it should be understood that in the description of the present disclosure, the terms “first” , “second” , or the like, are only used for the purpose of differentiation, and cannot be interpreted as indicating or implying relative importance, nor can be understood as indicating or implying the order.

[0048] These and other features, and characteristics of the present disclosure, as well as the methods of operation and functions of the related elements of structure and the combination of parts and economies of manufacture, may become more apparent upon consideration of the following description with reference to the accompanying drawings, all of which form a part of this disclosure. It is to be expressly understood, however, that the drawings are for the purpose of illustration and description only and are not intended to limit the scope of the present disclosure. It is understood that the drawings are not to scale.

[0049] An aspect of the present disclosure provides systems and methods for image data decoding. The methods may be implemented by a decoder. For a current frame, the methods may include determining, based on whether the current frame is a refresh frame, buffer information that needs to be enabled for the current frame from candidate buffer information relating to a previous frame that has been decoded before the current frame. The methods may also include decoding, based on the enabled buffer information, bitstream data of the current frame.

[0050] Another aspect of the present disclosure provides systems and methods for image data encoding. The methods may be implemented by an encoder. For a current frame, the methods may include determining, based on whether the current frame is a refresh frame, buffer information that needs to be enabled for the current frame from candidate buffer information relating to a previous frame that has been decoded before the current frame. The methods may also include generating bitstream data of the current frame based on the enabled buffer information.

[0051] According to some embodiments of the present disclosure, by enabling the enabled buffer information (i.e., disabling a portion of the candidate buffer information) when the current frame is not a refresh frame, error transmission of the previous frame can be reduced, and the error accumulation can be truncated, thereby reducing the error accumulation in the decoding / encoding process, and improving the compression effect and reconstruction effect of subsequent data.

[0052] In addition, decoding information can be obtained by decoding the bitstream data of the current frame, and reference information to be preserved for use in decoding second bitstream data of a subsequent frame can be determined based on the decoding information. This can strengthen the transmission of the reference information between frames, thereby improving the prediction accuracy and the decoding performance.

[0053] Furthermore, in some embodiments, the reference information may include an optimized decoding feature. The optimized decoding feature can be obtained by refreshing a decoding feature (in the decoding information) based on relevant reference information. The relevant reference information may include at least one of spatial prior information of the current frame or the buffer information. By optimizing the decoding feature, important information in the decoding feature can be focused on. This can reduce / eliminate the transmission of error information between frames, further strengthening the transmission of the reference information between frames and improving the decoding performance and accuracy.

[0054] FIG. 1 is a schematic diagram illustrating an exemplary system 100 for image data encoding and decoding according to some embodiments of the present disclosure. As shown in FIG. 1, the system 100 may include an encoder 112, a decoder 114, a network 120, an acquisition device 130, a user device 140, and a storage device 150.

[0055] The encoder 112 and the decoder 114 may be configured to encode and decode image data, respectively. For example, the encoder 112 may generate bitstream data by encoding the image data and transmit the bitstream data to the decoder 114, and the decoder 114 may decode the bitstream data. Merely by way of example, for a current frame, the decoder 114 may determine, based on whether the current frame is a refresh frame, buffer information that needs to be enabled for the current frame from candidate buffer information relating to a previous frame that has been decoded before the current frame. The decoder 114 may decode bitstream data of the current frame based on the enabled buffer information to obtain decoding information. As another example, the decoder 114 may determine, based on the decoding information, reference information to be preserved for use in decoding second bitstream data of a subsequent frame. As still another example, the decoder 114 may buffer the reference information. As yet another example, the encoder 112 may obtain the bitstream data of the current frame by encoding, based on the enabled buffer information, the current frame.

[0056] In some embodiments, the encoder 112 may be further configured to pre-process the image data. Exemplary pre-processing operations may include an image denoising, an image enhancement, an image normalization, an image scaling and cropping, an image de-blurring, an image segmentation, or the like, or any combination thereof.

[0057] In some embodiments, the decoder 114 may be further configured to post-process the decoded bitstream data (e.g., a decoded image) . Exemplary post-processing operations may include an image sharpening, an image smoothing, an image enhancement, an artifact removal, an image restoration, an image fusion, an image reconstruction, a post-processing denoising, or the like, or any combination thereof.

[0058] In some embodiments, the encoder 112 is the acquisition device 130, which will be described in detail below. The acquisition device 130 is configured to acquire image data and encode the image data into bitstream data. In some embodiments, the decoder 114 is the user device 140, which will be described in detail below. The user device 140 is configured to decode the bitstream data into a decoded image and display the decoded image to users.

[0059] In some embodiments, each of the encoder 112 and the decoder 114 is implemented by a processing device. The processing device may process information and / or data relating to image coding to perform one or more functions described in the present disclosure. In some embodiments, the processing device may include one or more processing devices (e.g., single-core processing device (s) or multi-core processor (s) ) . Merely by way of example, the processing device may include a central processing unit (CPU) , an application-specific integrated circuit (ASIC) , an application-specific instruction-set processor (ASIP) , a graphics processing unit (GPU) , a physics processing unit (PPU) , a digital signal processor (DSP) , a field programmable gate array (FPGA) , a programmable logic device (PLD) , a controller, a microcontroller unit, a reduced instruction-set computer (RISC) , a microprocessor, or the like, or any combination thereof. In some embodiments, the processing device may be implemented on a cloud platform. Merely by way of example, the cloud platform may include a private cloud, a public cloud, a hybrid cloud, a community cloud, a distributed cloud, an inter-cloud, a multi-cloud, or the like, or any combination thereof. In some embodiments, the encoder 112 and the decoder 114 are implemented by the same processing device or different processing devices.

[0060] Merely by way of example, the encoder 112 and the decoder 114 may be included in an end-to-end compression framework / platform (e.g., an end-to-end video compression framework) . Exemplary end-to-end video compression frameworks may include an end-to-end deep video compression (DVC) framework, a deep contextual video compression (DCVC) framework, a TimeSformer based on Transformer, or the like, or any combination thereof. More descriptions regarding the end-to-end video compression framework may be found elsewhere in the present disclosure. See, e.g., FIGs. 2A-2D and relevant descriptions thereof.

[0061] For illustration purposes, the following descriptions are described with reference to the encoder 112 and the decoder 114 included in the end-to-end video compression framework. It should be noted that the end-to-end video compression framework is merely provided for illustration, and is not intended to limit the scope of the present disclosure.

[0062] The network 120 may facilitate exchange of information and / or data for the system 100. In some embodiments, one or more components (e.g., the encoder 112, the decoder 114, the acquisition device 130, the user device 140, the storage device 150) of the system 100 may transmit information and / or data to other component (s) of the system 100 via the network 120. For example, the encoder 112 may obtain the current frame from the acquisition device 130 via the network 120. As another example, the encoder 112 may transmit the bitstream data of the current frame to the decoder 114 via the network 120. In some embodiments, the network 120 may be any type of wired or wireless network, or combination thereof. Merely by way of example, the network 120 may include a cable network (e.g., a coaxial cable network) , a wireline network, an optical fiber network, a telecommunications network, an intranet, an Internet, a local area network (LAN) , a wide area network (WAN) , a wireless local area network (WLAN) , a metropolitan area network (MAN) , a public telephone switched network (PSTN) , a Bluetooth network, a ZigBee network, a near field communication (NFC) network, or the like, or any combination thereof.

[0063] The acquisition device 130 may be configured to acquire an image (the “image” herein refers to a single image or an image frame of a video) . In some embodiments, the acquisition device 130 may include a camera 130-1, a video recorder 130-2, an image sensor 130-3, etc. The camera 130-1 may include a gun camera, a dome camera, an integrated camera, a monocular camera, a binocular camera, a multi-view camera, or the like, or any combination thereof. The video recorder 130-2 may include a PC Digital Video Recorder (DVR) , an embedded DVR, or the like, or any combination thereof. The image sensor 130-3 may include a Charge Coupled Device (CCD) , a Complementary Metal Oxide Semiconductor (CMOS) , or the like, or any combination thereof. The image acquired by the acquisition device 130 may be a two-dimensional image, a three-dimensional image, a four-dimensional image, etc. In some embodiments, the acquisition device 130 may include a plurality of components each of which can acquire an image. For example, the acquisition device 130 may include a plurality of sub-cameras that can capture images or videos simultaneously. In some embodiments, the acquisition device 130 may transmit the acquired image to one or more components (e.g., the encoder 112, the decoder 114, the user device 140, the storage device 150) of the system 100 via the network 120.

[0064] The user device 140 may be configured to receive information and / or data from the encoder 112, the decoder 114, the acquisition device 130, and / or the storage device 150 via the network 120. For example, the user device 140 may receive the bitstream data of the current frame from the encoder 112. In some embodiments, the user device 140 may process information and / or data received from the encoder 112, the decoder 114, the acquisition device 130, and / or the storage device 150 via the network 120. For example, the user device 140 may decode the bitstream data received from the encoder 112. In some embodiments, the user device 140 may provide a user interface via which a user may view information and / or input data and / or instructions to the system 100. For example, the user may view the decoded image via the user interface. As another example, the user may input an instruction associated with an encoding parameter via the user interface. In some embodiments, the user device 140 may include a mobile phone 140-1, a computer 140-2, a wearable device 140-3, or the like, or any combination thereof. In some embodiments, the user device 140 may include a display that can display information in a human-readable form, such as text, image, audio, video, graph, animation, or the like, or any combination thereof. The display of the user device 140 may include a cathode ray tube (CRT) display, a liquid crystal display (LCD) , a light emitting diode (LED) display, a plasma display panel (PDP) , a three dimensional (3D) display, or the like, or any combination thereof. In some embodiments, the user device 140 may be connected to one or more components (e.g., the encoder 112, the decoder 114, the acquisition device 130, the storage device 150) of the system 100 via the network 120.

[0065] The storage device 150 may be configured to store data and / or instructions. The data and / or instructions may be obtained from, for example, the encoder 112, the decoder 114, the acquisition device 130, the user device 140, and / or any other component of the system 100. In some embodiments, the storage device 150 may store data and / or instructions that the encoder 112 and / or the decoder 114 may execute or use to perform exemplary methods described in the present disclosure. In some embodiments, the storage device 150 may include a mass storage, a removable storage, a volatile read-and-write memory, a read-only memory (ROM) , or the like, or any combination thereof. Exemplary mass storage may include a magnetic disk, an optical disk, a solid-state drive, etc. Exemplary removable storage may include a flash drive, a floppy disk, an optical disk, a memory card, a zip disk, a magnetic tape, etc. In some embodiments, the storage device 150 may be implemented on a cloud platform. Merely by way of example, the cloud platform may include a private cloud, a public cloud, a hybrid cloud, a community cloud, a distributed cloud, an inter-cloud, a multi-cloud, or the like, or any combination thereof.

[0066] In some embodiments, the storage device 150 may be connected to the network 120 to communicate with one or more components (e.g., the encoder 112, the decoder 114, the acquisition device 130, the user device 140) of the system 100. One or more components of the system 100 may access the data or instructions stored in the storage device 150 via the network 120. In some embodiments, the storage device 150 may be directly connected to or communicate with one or more components (e.g., the encoder 112, the decoder 114, the acquisition device 130, the user device 140) of the system 100. In some embodiments, the storage device 150 may be part of other components of the system 100, such as the encoder 112, the decoder 114, the acquisition device 130, or the user device 140.

[0067] It should be noted that the above description is merely provided for the purposes of illustration, and is not intended to limit the scope of the present disclosure. For persons having ordinary skills in the art, multiple variations and modifications may be made under the teachings of the present disclosure. Features, structures, methods, and other characteristics of the exemplary embodiments described herein may be combined in various ways to obtain additional and / or alternative exemplary embodiments. However, those variations and modifications do not depart from the scope of the present disclosure. For example, the system 100 may include a first sub-system and a second sub-system, wherein the first sub-system may be configured to encode the current frame and generate the bitstream data of the current frame, and the second sub-system may be configured to decode the bitstream data of the current frame.

[0068] FIG. 2A is a schematic diagram illustrating an exemplary end-to-end video compression framework 200 according to some embodiments of the present disclosure.

[0069] As illustrated in FIG. 2A, the end-to-end video compression framework 200 may include a first feature extraction module, a second feature extraction module, a motion estimation module, a motion information encoder, a motion information entropy model, a motion information decoder, a motion compensation module, a residual information encoder, a residual information entropy model, a residual information decoder, a frame reconstruction module, and a buffer module. As used herein, the end-to-end video compression framework 200 may include the encoder 112 and the decoder 114. For example, the motion estimation module, the motion information encoder, the motion information entropy model, the residual information encoder, and the residual information entropy model may be included in the encoder 112, and the motion information decoder, the motion compensation module, the residual information decoder, and the frame reconstruction module may be included in the decoder 114. The first feature extraction module and the second feature extraction module may be included in a same component or different components. For instance, the first feature extraction module and the second feature extraction module may be included in the encoder 112 or the decoder 114. As another example, the first feature extraction module may be included in one of the encoder 112 or the decoder 114, while the second feature extraction module may be included in another of the encoder 112 or the decoder 114. The buffer module may be included in the encoder 112 or the decoder 114. Alternatively, the buffer module may include a first buffer unit and a second buffer unit, the first buffer unit is included in the encoder 112, and the second buffer unit is included in the decoder 114.

[0070] A current frame in image data (e.g., a video stream including a plurality of frames) to be encoded / decoded may be input into the first feature extraction module and the motion estimation module, respectively. The first feature extraction module may obtain a first feature of the current frame by performing a first feature extraction on the current frame, and the motion estimation module may obtain motion information of the current frame by performing a motion estimation on the current frame and a reference frame (e.g., a previous frame that has been encoded and / or decoded before the current frame) . The motion information of the current frame may include a motion vector and / or a motion residual between the current frame and the reference frame (also referred to as a motion vector and / or a motion residual of the current frame) .

[0071] The motion information encoder may obtain motion information to be encoded by reducing the motion information in dimension and extracting compression information. For example, the second feature extraction module may obtain a reconstruction image and / or a reconstruction feature of the reference frame stored in the buffer module, and generate a second feature of the reference frame based on the reconstruction image and / or the reconstruction feature of the reference frame. The motion information encoder may obtain the motion information to be encoded by processing the motion information based on the first feature, the second feature, and motion information of the reference frame (also referred to as reference motion information) stored in the buffer information.

[0072] The motion information entropy model may obtain a first probability of occurrence of each first character in the motion information to be encoded after quantization, and output motion information bitstream data by performing arithmetic encoding on the first probability of occurrence of each first character. In some embodiments, the motion information entropy model may be a first hyperprior entropy model.

[0073] The motion information decoder may obtain reconstructed motion information of the current frame by decoding and reconstructing the motion information bitstream data. For example, the motion information decoder may obtain decoded motion information (similar to the motion information to be encoded) , and obtain reconstructed motion information by decoding (e.g., upgrading and reconstructing) the motion information bitstream data based on the decoded motion information. In some embodiments, the reconstructed motion information of the current frame (e.g., the motion residual of the current frame) may be buffered in the buffer module as second candidate buffer information for a subsequent frame.

[0074] In some embodiments, the motion compensation module may obtain prediction information (e.g., a prediction frame, a prediction feature of the prediction frame) of the current frame by performing motion compensation / temporal prediction on the second feature of the reference frame based on the reconstructed motion information. Further, the motion compensation module may transmit the prediction information to the residual information encoder and the residual information decoder for encoding and decoding, respectively.

[0075] The residual information encoder may obtain residual information to be encoded by reducing residual information (also referred to as contextual information) between the current frame and the prediction frame in dimension and volume. The residual information may include difference information, cascade information, etc., between the current frame and the prediction frame. For example, the residual information encoder may obtain the first feature of the current frame and the prediction feature of the prediction frame, determine the residual information between the current frame and the prediction frame based on the first feature and the prediction feature, and obtain the residual information to be encoded by processing the residual information. The residual information entropy model may obtain a second probability of occurrence of each second character in the residual information to be encoded after quantization, and output residual information bitstream data by performing arithmetic encoding on the second probability of occurrence of each second character. In some embodiments, the residual information entropy model may be a second hyperprior entropy model.

[0076] The residual information decoder may obtain reconstructed residual information by decoding and reconstructing the residual information bitstream data. For example, the residual information decoder may obtain decoded residual information (similar to the residual information to be encoded) , and obtain the reconstructed residual information by decoding (e.g., upgrading and reconstructing) the residual information bitstream data based on the decoded residual information. In some embodiments, the residual information decoder may further obtain preliminary reconstruction information based on the reconstructed residual information and the prediction information of the current frame.

[0077] The frame reconstruction module may obtain a reconstruction image and a reconstruction feature by processing (e.g., reconstructing) the preliminary reconstruction information. In some embodiments, the reconstruction image and the reconstruction feature may be buffered in the buffer module as the second candidate buffer information for the subsequent frame.

[0078] The buffer module may be configured to buffer information generated by the modules during the encoding / decoding process of the image data. For example, the buffer module may buffer the residual information, the motion information, the reconstruction image, the reconstruction feature, etc., of the current frame and the reference image.

[0079] In some embodiments, the end-to-end video compression framework 200 may further include an optimization module. The optimization module may be configured to optimize the outputs (e.g., the residual information to be encoded and / or the residual information bitstream data) of the residual information encoder and / or the residual information entropy model. Merely by way of example, referring to FIG. 2B, FIG. 2B is a schematic diagram illustrating an exemplary end-to-end video compression framework 220 according to some embodiments of the present disclosure. The end-to-end video compression framework 220 may be similar to the end-to-end video compression framework 200, but further includes a first optimization module and a second optimization module. The first optimization module is disposed between the residual information entropy model and the residual information decoder, and a second optimization module is disposed between the residual information encoder and the residual information entropy model. Correspondingly, the first optimization module may optimize the residual information bitstream data output by the residual information entropy model based on the prediction information and / or residual information of the reference frame (also referred to as reference residual information) , and the second optimization module may optimize the residual information to be encoded output by the residual information encoder based on the reference residual information. More descriptions regarding the optimization module may be found elsewhere in the present disclosure. See, e.g., FIGs. 4-10B and relevant descriptions thereof.

[0080] By introducing the optimization module (e.g., the first optimization module and the second optimization module) , the residual information can be optimized, thereby reducing the compression rate and improving the quality of the reconstruction image.

[0081] In some embodiments, the end-to-end video compression framework 200 may further include a long-term dependency generation network. The long-term dependency generation network may be configured to generate reference information (e.g., a reference feature) to be preserved for use in decoding second bitstream data of a subsequent frame. Merely by way of example, referring to FIG. 2C, FIG. 2C is a schematic diagram illustrating an exemplary end-to-end video compression framework 240 according to some embodiments of the present disclosure. The end-to-end video compression framework 240 may be similar to the end-to-end video compression framework 200, but further includes a first long-term dependency generation network and a second long-term dependency generation network. The first long-term dependency generation network is disposed between the frame reconstruction module and the buffer module, and the second long-term dependency generation network is disposed between the motion compensation module and the buffer module. The first long-term dependency generation network may generate a first reference feature by processing the reconstruction feature of the current frame and previous reference features of one or more previous frames, and the second long-term dependency generation network may generate a second reference feature by processing the prediction feature of the prediction frame and the previous reference features of the one or more previous frames. More descriptions regarding the long-term dependency generation network may be found elsewhere in the present disclosure. See, e.g., FIGs. 11-20 and relevant descriptions thereof.

[0082] By introducing the long-term dependency generation network, more accurate reference information can be preserved for use in decoding the second bitstream data of the subsequent frame, which can strengthen the transmission of the reference information, thereby improving the prediction accuracy and the encoding / decoding performance.

[0083] In some embodiments, the end-to-end video compression framework 200 may further include a feature refresh module. The feature refresh module may be configured to obtain an optimized decoding feature by refreshing a decoding feature. Merely by way of example, referring to FIG. 2D, FIG. 2D is a schematic diagram illustrating an exemplary end-to-end video compression framework 260 according to some embodiments of the present disclosure. The end-to-end video compression framework 260 may be similar to the end-to-end video compression framework 200, but further includes first to fourth feature refresh modules. The first feature refresh module is disposed between the frame reconstruction module and the buffer module, the second feature refresh module is disposed between the residual information entropy model and the buffer module, the third feature refresh module is disposed between the motion information entropy model and the buffer module, and the fourth feature refresh module is disposed between the motion information decoder and the buffer module. The first feature refresh module may generate an optimized reconstruction feature by refreshing the reconstruction feature of the current frame output by the frame reconstruction module, the second feature refresh module may generate an optimized residual feature by refreshing a residual feature of the current frame output by the residual information entropy model, the third feature refresh module may generate an optimized motion feature by refreshing a motion feature of the current frame output by the motion information entropy model, and the fourth feature refresh module may generate an optimized motion residual by refreshing a motion residual of the current frame output by the motion information decoder. More descriptions regarding the feature refresh module may be found elsewhere in the present disclosure. See, e.g., FIGs. 21-28 and relevant descriptions thereof.

[0084] By introducing the feature refresh module, the optimized decoding feature can be obtained by refreshing the decoding feature to improve the prediction accuracy and the encoding / decoding performance.

[0085] In some embodiments, at least one module in the end-to-end video compression framework may be constructed based on a neural network. Exemplary neural networks may include a residual network, a recurrent network, a regression network, a convolutional network, an attention network, a hyperprior network, a generative adversarial network, or the like, or any combination thereof.

[0086] In some embodiments, some modules in the end-to-end video compression framework may be jointly trained. For example, at least one training sample may be used to train the end-to-end video compression framework. Each of the at least one training sample may include sample image data (e.g., a sample video stream) as a training input and sample bitstream data of the sample image data as a training label. For instance, the sample image data may be input into an initial end-to-end video compression framework, and parameter (s) of the initial end-to-end video compression framework may be updated through one or more iterations.

[0087] By constructing the end-to-end video compression frameworks based on the neural networks, the nonlinear representation capability of the neural networks can be leveraged in conjunction with the joint optimization of the end-to-end framework. This enables the joint optimization of the encoding and decoding process from input to output, thereby enhancing compression efficiency and improving reconstruction quality and accuracy.

[0088] It should be noted that the above descriptions of the end-to-end video compression frameworks are provided for the purposes of illustration, and are not intended to limit the scope of the present disclosure. For example, the end-to-end video compression framework 200 may include two or more of the optimization module, the long-term dependency generation network, or the feature refresh module.

[0089] FIG. 3 is a block diagram illustrating an exemplary decoder 114 according to some embodiments of the present disclosure. In some embodiments, the decoder 114 may be in communication with a computer-readable storage medium (e.g., the storage device 150 illustrated in FIG. 1) and may execute instructions stored in the computer-readable storage medium. The decoder 114 may include a determination module 310 and an obtaining module 320.

[0090] The determination module 310 may be configured to, for a current frame, determine, based on whether the current frame is a refresh frame, buffer information that needs to be enabled for the current frame from candidate buffer information relating to one or more previous frames that have been decoded before the current frame. The current frame refers to a frame that is currently decoded or a frame whose bitstream data is currently decoded. Buffer information refers to information stored in a buffer module connected to the decoder 114. The refresh frame may be a frame that triggers the refresh of the buffer information. More descriptions regarding the determination of the enabled buffer information may be found elsewhere in the present disclosure. See, e.g., operation 402 and relevant descriptions thereof.

[0091] The obtaining module 320 may be configured to decode, based on the enabled buffer information, the bitstream data of the current frame. The bitstream data refers to a sequence of binary bits (0s and 1s) that represent the current frame. In some embodiments, the bitstream data may include residual information bitstream data (also referred to as contextual information bitstream data) and motion information bitstream data. More descriptions regarding the decoding the bitstream data of the current frame may be found elsewhere in the present disclosure. See, e.g., operation 404 and relevant descriptions thereof.

[0092] In some embodiments, the obtaining module 320 may be further configured to obtain decoding information by decoding the bitstream data of the current frame based on the enabled buffer information. The decoding information refers to information relating to the decoding of the current frame. More descriptions regarding the obtaining the decoding information may be found elsewhere in the present disclosure. See, e.g., operation 404 and relevant descriptions thereof.

[0093] In some embodiments, the determination module 310 may be further configured to determine reference information to be preserved for use in decoding second bitstream data of the subsequent frame based on the decoding information and buffer the reference information. More descriptions regarding the determination and the buffer of the reference information may be found elsewhere in the present disclosure. See, e.g., operations 406 and 408 and relevant descriptions thereof.

[0094] It should be noted that the above descriptions of the decoder 114 are provided for the purposes of illustration, and are not intended to limit the scope of the present disclosure. For persons having ordinary skills in the art, various variations and modifications may be conducted under the guidance of the present disclosure. However, those variations and modifications do not depart from the scope of the present disclosure. In some embodiments, the decoder 114 may include one or more other modules. For example, the decoder 114 may include a storage module to store data generated by the modules in the decoder 114. In some embodiments, any two of the modules may be combined as a single module, and any one of the modules may be divided into two or more units.

[0095] FIG. 4 is a flowchart illustrating an exemplary process 400 for image data decoding according to some embodiments of the present disclosure.

[0096] In 402, for a current frame, the decoder 114 (e.g., the determination module 310) may determine, based on whether the current frame is a refresh frame, buffer information that needs to be enabled for the current frame from candidate buffer information relating to one or more previous frames that have been decoded before the current frame.

[0097] The current frame refers to a frame that is currently decoded or a frame whose bitstream data is currently decoded. For example, if image data to be decoded is a video stream including a plurality of frames, a frame being currently decoded is referred to as the current frame, one or more frames that have been decoded before the current frame are referred to as one or more previous frames, and one or more frames that will be decoded after the current frame are referred to as one or more subsequent frames.

[0098] Buffer information refers to information stored in a buffer module connected to the decoder 114. For example, the buffer module may be an interior buffer memory of the decoder 114, or an external buffer memory in communication with the decoder 114. Referring to FIG. 2A, the buffer module is in communication with the residual information decoder, the motion compensation module, the motion information decoder, the frame reconstruction module, etc., of the decoder 114. Merely by way of example, information generated during a decoding process of image data (e.g., the current frame, the previous frame, the subsequent frame) may be stored in the buffer module as the buffer information.

[0099] In some embodiments, for the current frame, the candidate buffer information refers to information generated in the decoding process of the one or more previous frames before the current frame, and the buffer information that needs to be enabled for the current frame (also referred to as enabled buffer information) refers to information among the candidate buffer information used for decoding the current frame. The term “enable” (including “enabled” and “enabling” ) refers to that information stored in a memory is allowed to be accessed and used. For example, the decoder 114 may be allowed to access the buffer module and retrieve at least a portion of the candidate buffer information (e.g., the enabled buffer information) .

[0100] In some embodiments, the previous frame (s) may include a reference frame. The reference frame refers to a frame for reference in the decoding process of the current frame. For example, the reference frame may be an intra frame (also referred to as an I-frame) , which is a key frame decoded through an intra prediction mode. As another example, the reference frame may be a previous frame adjacent to the current frame.

[0101] In some embodiments, the candidate buffer information may include a reconstruction image of the reference frame (also referred to as a reference reconstruction image) , a reconstruction feature of the reference frame (also referred to as a reference reconstruction feature) , residual information of the reference frame (also referred to as reference residual information) , motion information of the reference frame (also referred to as reference motion information) , or the like, or any combination thereof. The reference reconstruction image, the reference reconstruction feature, the reference residual information, and the reference motion information may be obtained in a decoding process of the reference frame, which is similar to the decoding process of the current frame. Alternatively, the reference reconstruction image, the reference reconstruction feature, the reference residual information, and the reference motion information may be obtained according to a conventional decoding technique.

[0102] In some embodiments, the candidate buffer information may further include preserved reference information (e.g., a preserved reference feature, a preserved optimized decoding feature) . The preserved reference information may be determined in a similar manner as how reference information is determined as described in FIGs. 11 and 21, which is not repeated herein.

[0103] It should be noted that the enabled buffer information can be used for the decoding, but not be necessary for the decoding. For example, when the enabled buffer information includes the reference reconstruction image, the reference reconstruction feature, the reference residual information, and the reference motion information, the decoder 114 may decode the current frame merely based on the reference reconstruction feature.

[0104] For the decoding process of the video stream, a first frame in the video stream may be designated as the I-frame (the key frame) . The I-frame includes complete image information, so that a complete image (i.e., a reconstruction image of the I-frame) can be reconstructed based on bitstream data of the I-frame in the decoding process of the I-frame, and a reconstruction feature can be obtained based on the reconstruction image of the I-frame (e.g., by performing a feature extraction on the reconstruction image of the I-frame) . When a second frame in the video stream is decoded, buffer information only includes the reconstruction image and the reconstruction feature of the I-frame. A processing model corresponding to a predictive frame (also referred to as a P-frame model) may be used to decode bitstream data of the second frame based on the reconstruction image and / or the reconstruction feature of the I-frame, and output a reconstruction image, a reconstruction feature, residual information, motion information, etc., of the second frame. The reconstruction image, the reconstruction feature, the residual information, the motion information, etc., of the second frame are also stored as the buffer information. Subsequently, a third frame and subsequent frames thereof (i.e., subsequent frames of the second frame) in the video stream can be decoded based on the buffer information (e.g., the reconstruction image and / or the reconstruction feature of the I-frame, and the reconstruction image, the reconstruction feature, the residual information, the motion information, etc., of the second frame and corresponding previous frames) . In order to improve data processing efficiency (e.g., the efficiency of the decoding process) , the reconstruction images are not used preferentially when the buffer information is used.

[0105] Although decoding based on the reconstruction feature, the residual information, and / or the motion information improves the efficiency of the decoding process, error accumulation occurs by using the reconstruction feature, the residual information, and / or the motion information for e.g., prediction processing, estimation processing, etc. In order to eliminate the error accumulation, the decoder 114 may determine a portion of the frames in the video stream as the refresh frame.

[0106] The refresh frame is a frame that triggers the refresh of the buffer information. For example, if the current frame is not a refresh frame, the decoder 114 may determine that the buffer information needs to be enabled includes all the candidate buffer information. If the current frame is a refresh frame, the decoder 114 may determine that the buffer information needs to be enabled includes a portion of the candidate buffer information. For example, the enabled buffer information may only include the reconstruction feature of the reference frame. As another example, the enabled buffer information may include the reconstruction image and the reconstruction feature of the reference frame. As still another example, the enabled buffer information may only include the reconstruction image of the reference frame.

[0107] Merely by way of example, if the current frame is a refresh frame, the decoder 114 may disable the residual information of the reference frame and the motion information of the reference frame, and enable the reconstruction image and / or the reconstruction feature of the reference frame. The term “disable” refers to that information stored in a memory is not allowed to be used. For example, the decoder 114 may not be allowed to retrieve the residual information, the motion information, etc., of the reference frame. As another example, the residual information, the motion information, etc., of the reference frame stored in the buffer memory may be cleared.

[0108] In some embodiments, the refresh frame may be set according to a decoding parameter. The decoding parameter refers to a parameter relating to a decoding situation when the current frame is being decoded. Exemplary decoding parameters may include a frame number of the current frame, a frame number of the reference frame, loss information of the decoding process, a loss before and after quantization, a size of the video stream, or the like, or any combination thereof.

[0109] For example, the decoder 114 may determine whether the current frame is a refresh frame based on the frame number of the current frame. For instance, the decoder 114 may determine whether the frame number of the current frame reaches a refresh cycle. If the frame number of the current frame does not reach a refresh cycle, the decoder 114 may determine that the current frame is not a refresh frame. If the frame number of the current frame reaches the refresh cycle, the decoder 114 may determine that the current frame is a refresh frame.

[0110] The refresh cycle may be decoded from bitstream data of the current frame or be preset. For example, the refresh cycle may be preset to be a positive integer, such as, 2, 4, 6, 8, 10, 12, 16, 32, etc. When the frame number of the current frame does not reach the positive integer or a multiple of the positive integer, the decoder 114 may determine that the current frame is not a refresh frame. When the frame number of the current frame reaches the positive integer or the multiple of the positive integer, the decoder 114 may determine that the current frame is a refresh frame. As another example, the encoder 112 may encode the refresh cycle into the bitstream data of the current frame, and the decoder 114 may obtain the refresh cycle by decoding the bitstream data of the current frame. For instance, the encoder 112 may determine the refresh cycle based on a distortion condition of encoded frames in the video stream. Merely by way of example, the encoder 112 may determine that a distortion situation of a K-th frame exceeds a distortion threshold when K frames in the video stream are continuously encoded with all the candidate buffer information. Furthermore, the value of (K-1) may be encoded as the refresh cycle into the bitstream data of the current frame and transmitted to the decoder 114. As still another example, a plurality of sets of different numbers of frames may be preset, and the encoder 112 may encode the plurality of sets, and determine a loss value of each of the plurality of sets by performing the error truncation on the data in the set. Then, the encoder 112 may determine a minimum loss value among the plurality of sets, and encode the number of frames in the set corresponding to the minimum loss as the refresh cycle into the bitstream data of the current frame and transmitted to the decoder 114. In some embodiments, the minimum loss value may correspond to multiple sets, and the numbers of frames of the multiple sets may be designated as the refresh cycle. For example, if the minimum loss value corresponds to a set including 32 frames and a set including 48 frames, both 32 and 48 may be designated as the refresh cycle.

[0111] By disabling the residual information of the reference frame and the motion information of the reference frame, and enabling the reconstruction feature of the reference frame when the current frame is a refresh frame, error transmission of the previous frames can be reduced, and the error accumulation can be truncated, thereby reducing the error accumulation in the decoding process of the video stream, and improving the compression effect and reconstruction effect of subsequent data.

[0112] In 404, the decoder 114 (e.g., the obtaining module 220) may decode, based on the enabled buffer information, the bitstream data of the current frame.

[0113] The bitstream data refers to a sequence of binary bits (0s and 1s) that represent the current frame. For example, the decoder 114 may obtain the bitstream data of the current frame from the encoder 112, and obtain a reconstruction image of the current frame (also referred to as a current reconstruction image) by decoding the bitstream data of the current frame based on the enabled buffer information.

[0114] In some embodiments, the bitstream data may include residual information bitstream data (also referred to as contextual information bitstream data) and motion information bitstream data. For example, referring to FIG. 2A, the motion information decoder may obtain the motion information bitstream data of the current frame from the motion information entropy model, and the residual information decoder may obtain the residual information bitstream data of the current frame from the residual information entropy model. In some embodiments, the motion information bitstream data may include motion feature bitstream data and hyperprior motion bitstream data, and the residual information bitstream data may include residual feature bitstream data and hyperprior residual bitstream data.

[0115] In some embodiments, the decoder 114 may decode the bitstream data of the current frame based on the enabled buffer information. For example, if the current frame is a refresh frame, the decoder 114 may decode the bitstream data of the current frame based on the reconstruction image and / or the reconstruction feature of the reference frame. Referring to FIG. 2B, the reference residual information (e.g., a residual feature of the reference frame) and the reference motion information (e.g., a motion feature and a motion residual of the reference frame) stored in the buffer module may be disabled, and only the reconstruction image and / or the reconstruction feature of the reference frame are enabled. That is, the second feature of the reference frame may be obtained based on the reconstruction image and / or the reconstruction feature of the reference frame. The motion information bitstream data may be obtained merely based on the motion information to be encoded through the motion information entropy model without referring to the reference residual information and the reference motion information, and the reconstructed motion information of the current frame may be obtained by processing the motion information bitstream data through the motion information decoder. The prediction information (e.g., the prediction frame, the prediction feature of the prediction frame) of the current frame may be obtained by performing the motion compensation / temporal prediction on the second feature of the reference frame based on the reconstructed motion information through the motion compensation module. Furthermore, the residual information bitstream data may be obtained based on the residual information to be encoded through the residual information entropy model without referring to the reference residual information, and the reconstructed residual information may be obtained by decoding and reconstructing the residual information bitstream data through the residual information decoder. The reconstruction image of the current frame may be obtained based on the reconstructed residual information and the prediction information of the current frame. In some embodiments, the optimization module (e.g., the first optimization module and the second optimization module) may not be used to optimize the residual information bitstream data output by the residual information entropy model based on the prediction information and / or the reference residual information or optimize the residual information to be encoded output by the residual information encoder based on the reference residual information.

[0116] As another example, if the current frame is not a refresh frame, the decoder 114 may decode the bitstream data of the current frame based on the reference residual information and the reference motion information. For instance, referring to FIG. 2B, the motion information bitstream data may be obtained based on the motion information to be encoded, the reference residual information, and the reference motion information through the motion information entropy model, and the reconstructed motion information of the current frame may be obtained by processing the motion information bitstream data through the motion information decoder. The prediction information (e.g., the prediction frame, the prediction feature of the prediction frame) of the current frame may be obtained by performing the motion compensation / temporal prediction on the second feature of the reference frame based on the reconstructed motion information through the motion compensation module. Furthermore, the residual information bitstream data may be obtained based on the residual information to be encoded and the reference residual information through the residual information entropy model, and the reconstructed residual information may be obtained by decoding and reconstructing the residual information bitstream data through the residual information decoder. The reconstruction image of the current frame may be obtained based on the reconstructed residual information and the prediction information of the current frame. In some embodiments, the optimization module (e.g., the first optimization module and the second optimization module) may be used to optimize the residual information bitstream data output by the residual information entropy model based on the prediction information and / or the reference residual information, and optimize the residual information to be encoded output by the residual information encoder based on the reference residual information. That is, the optimized residual information bitstream data output by the first optimization module may be input into the residual information decoder, and the optimized residual information to be encoded output by the second optimization module may be input into the residual information entropy model.

[0117] In some embodiments, if the enabled buffer information includes the residual information of the reference frame, the decoder 114 may obtain a first fusion feature by fusing a hyperprior decoding motion feature of the current frame and a reference residual feature. The reference residual feature may be determined based on the reference residual information. The decoder 114 may obtain motion information of the current frame (also referred to as current motion information) by decoding the motion information bitstream data of the current frame based on the first fusion feature. Further, the decoder 114 may decode the bitstream data of the current frame based on the current motion information. Merely by way of example, the current motion information may be obtained by processing the motion information to be encoded through the motion information entropy model.

[0118] For illustration purposes, the motion information entropy model being a first hyperprior entropy model is taken as an example. Referring to FIG. 5, FIG. 5 is a schematic diagram illustrating an exemplary process 500 for obtaining motion information of a current frame through a motion information entropy model according to some embodiments of the present disclosure.

[0119] As illustrated in FIG. 5, the motion information entropy model may be a bi-level network architecture including a first main network and a first hyperprior network. The first main network may include a first quantization module, a first entropy encoding module, a first entropy decoding module, a first inverse quantization module, etc. The first hyperprior network may include a first hyperprior encoding module, a second quantization module, a second entropy encoding module, a second entropy decoding module, a first hyperprior decoding module, a first fusion module, etc.

[0120] For ease of processing through the motion information entropy model, information may be transformed into a corresponding feature. For example, a motion feature to be encoded may be obtained by performing a feature extraction on the motion information to be encoded. As another example, the reference residual feature may be determined based on the reference residual information. It should be noted that the difference between the information and the corresponding feature is merely the format difference.

[0121] The first hyperprior encoding module may be configured to obtain a hyperprior motion encoding result of the current frame by processing the motion feature to be encoded. For example, the first hyperprior encoding module may obtain the hyperprior motion encoding result by processing the motion feature to be encoded based on the first feature of the current frame and / or the reference residual feature. The first feature of the current frame may be obtained by performing a first feature extraction on the current frame. For example, referring to FIGs. 2A and 2B, the first feature of the current frame may be obtained by performing the first feature extraction on the current frame through the first feature extraction module.

[0122] The second quantization module may be configured to quantize the hyperprior motion encoding result of the current frame. The second entropy encoding module may be configured to obtain hyperprior motion bitstream data by performing an entropy encoding on an output of the second quantization module. The hyperprior motion bitstream data may be binary bitstream data.

[0123] The second entropy decoding module may be configured to perform an entropy decoding on the hyperprior motion bitstream data. The first hyperprior decoding module may be configured to obtain the hyperprior decoding motion feature by performing a hyperprior decoding on an output of the second entropy decoding module.

[0124] The first fusion module may be configured to obtain the first fusion feature by processing the hyperprior decoding motion feature. For example, the first fusion module may obtain the first fusion feature by fusing the hyperprior decoding motion feature of the current frame and at least one of the reference residual feature or a second feature of the reference frame. The second feature of the reference frame may be obtained by performing a second feature extraction on the reference reconstruction image and / or the reference reconstruction feature (e.g., through the second feature extraction module as described in FIGs. 2A and 2B) . In some embodiments, the reference reconstruction image and / or the reference reconstruction feature may be determined to obtain the second feature of the reference frame based on the frame number of the current frame. More descriptions regarding the determination of the reconstruction image and / or the reconstruction feature of the reference frame may be found elsewhere in the present disclosure. See, e.g., FIGs. 9-10B and relevant descriptions thereof.

[0125] In some embodiments, a scaled reference residual feature may be obtained by processing the reference residual feature based on a first scaling factor. Correspondingly, the first hyperprior encoding module may obtain the hyperprior motion encoding result by processing the motion feature to be encoded based on the first feature of the current frame and / or the scaled reference residual feature. Alternatively, the first fusion module may obtain the first fusion feature by fusing the hyperprior decoding motion feature of the current frame and at least one of the scaled reference residual feature or the second feature of the reference frame. The first scaling factor may relate to the reference residual feature. For example, by introducing the first scaling factor, the reference residual feature may be adjusted within a value range. In some embodiments, the first scaling factor may be manually determined. Alternatively, the first scaling factor may be a learnable parameter obtained during the training of the motion information entropy module, and pre-stored in the motion information entropy module. In some embodiments, the first scaling factor may include a plurality of values, and the plurality of values may be used in sequence or randomly.

[0126] In some embodiments, the first fusion module may be further configured to obtain parameters of the motion feature to be encoded by processing the first fusion feature. Exemplary parameters of the motion feature to be encoded may include a probability parameter (e.g., a variance, a mean value, etc. ) , a quantization parameter, or the like, or any combination thereof, of the motion feature to be encoded. The probability parameter may be used for entropy decoding of the motion feature bitstream data. The quantization parameter may be used for inversely quantizing the motion feature bitstream data to obtain a decoded motion feature (similar to the motion feature to be encoded) .

[0127] The first fusion module may include a residual network, a recurrent network, a convolutional network, an attention network, or the like, or any combination thereof. For example, the first fusion module may include the convolutional network and the residual network. The convolutional network may be used for channel dimensionality reduction, and the residual network may be used to obtain a residual (i.e., difference information) . It should be noted that the first fusion module can also be other networks, which is not limited herein.

[0128] The first quantization module may be configured to quantize a first difference feature. The first difference feature may be the difference between the motion feature to be encoded and the mean value (also referred to as a first mean value) of the first fusion feature. For example, the first quantization module may quantize the first difference feature based on the quantization parameter in the first fusion feature.

[0129] The first entropy encoding module may be configured to obtain the motion feature bitstream data by performing an entropy encoding on an output of the first quantization module. The motion feature bitstream data may be binary bitstream data. For example, the first entropy encoding module may perform the entropy encoding on the output of the first quantization module based on the variance (also referred to as a first variance) of the first fusion feature.

[0130] The first entropy decoding module may be configured to perform an entropy decoding on the motion feature bitstream data. For example, the first entropy decoding module may perform an entropy decoding on the motion feature bitstream data based on the first variance in the first fusion feature.

[0131] The first inverse quantization module may be configured to obtain an inverse quantization result of the motion feature to be encoded by inversely quantizing an output of the first entropy decoding module. For example, the first inverse quantization module may inversely quantize the output of the first entropy decoding module based on the quantization parameter in the first fusion feature.

[0132] In some embodiments, the decoded motion feature may be obtained by adding the inverse quantization result and the first mean value in the first fusion feature. Furthermore, the decoder 114 (e.g., the motion information decoder) may obtain reconstructed motion information (i.e., the current motion information) of the current frame by decoding and reconstructing the motion information bitstream data based on the decoded motion feature.

[0133] By introducing the first feature (i.e., a current frame feature) , the second feature (i.e., a reference frame feature) , and the reference residual feature, the parameters of the motion feature to be encoded can be predicted more accurately, thereby improving the compression effect and reconstruction effect of the image data.

[0134] In some embodiments, if the enabled buffer information includes the residual information of the reference frame, the decoder 114 may obtain a second fusion feature by fusing a hyperprior decoding residual feature of the current frame and a first alignment feature. The first alignment feature may be obtained by performing a motion compensation on a first temporal residual feature, and the first temporal residual feature may include residual information (also referred to as first previous residual information) corresponding to one or more first previous frames that have been decoded before the current frame. The decoder 114 may obtain residual information of the current frame (also referred to as current residual information) by decoding the residual information bitstream data of the current frame based on the second fusion feature. Further, the decoder 114 may decode the bitstream data of the current frame based on the current residual information. Merely by way of example, the current residual information may be obtained by processing the residual information to be encoded through the residual information entropy model.

[0135] For illustration purposes, the residual information entropy model being a second hyperprior entropy model is taken as an example. The second hyperprior entropy model may be similar to the first hyperprior entropy model. Referring to FIG. 6, FIG. 6 is a schematic diagram illustrating an exemplary process 600 for obtaining residual information of a current frame through a residual information entropy model according to some embodiments of the present disclosure.

[0136] As illustrated in FIG. 6, the residual information entropy model may be a bi-level network architecture including a second main network and a second hyperprior network. The second main network may include a third quantization module, a third entropy encoding module, a third entropy decoding module, a third inverse quantization module, etc. The second hyperprior network may include a second hyperprior encoding module, a first motion compensation module, a fourth quantization module, a fourth entropy encoding module, a fourth entropy decoding module, a second hyperprior decoding module, a second motion compensation module, a second fusion module, etc.

[0137] For ease of processing through the residual information entropy model, information may be transformed into a corresponding feature. For example, a residual feature to be encoded may be obtained by performing a feature extraction on the residual information to be encoded.

[0138] The second hyperprior encoding module may be configured to obtain a hyperprior residual encoding result of the current frame by processing the residual feature to be encoded. For example, the second hyperprior encoding module may obtain the hyperprior residual encoding result by processing the residual feature to be encoded based on the first feature of the current frame and / or the first alignment feature.

[0139] The first alignment feature may be obtained through the first motion compensation module. For example, the first motion compensation module may obtain the first alignment feature by performing the motion compensation on the first temporal residual feature based on first motion information. The first motion information may include a motion feature output by the motion information entropy model, motion information output by the motion information decoder, etc. For example, the motion feature output by the motion information entropy model may include a current motion feature of the current frame and / or a previous motion feature of the previous frame output by the motion information entropy model, and the motion information output by the motion information decoder may include current motion information of the current frame and / or previous motion information of the previous frame output by the motion information decoder. The first temporal residual feature may include the first previous residual information. For example, the first previous residual information may include the reference residual information. In some embodiments, the decoder 114 may obtain the first temporal residual feature from the buffer module. The first alignment feature may be the aligned first temporal residual feature.

[0140] In some embodiments, the first temporal residual feature may be scaled based on a second scaling factor, and the first alignment feature may be obtained by performing the motion compensation on the scaled first temporal residual feature based on the first motion information. The second scaling factor may be similar to the first scaling factor, which is not repeated herein.

[0141] In some embodiments, second motion information may be obtained by converting the first motion information. For example, the first motion information may be converted through dimension transformation and / or information adjustment. Further, the first alignment feature may be obtained by performing the motion compensation on the first temporal residual feature (or the scaled first temporal residual feature) based on the second motion information.

[0142] In some embodiments, third motion information may be obtained by processing (e.g., matching) the first motion information (or the second motion information) , the first temporal residual feature (or the scaled first temporal residual feature) , and the residual feature to be encoded. Further, the first alignment feature may be obtained by performing the motion compensation on the first temporal residual feature (or the scaled first temporal residual feature) based on the third motion information.

[0143] Merely by way of example, referring to FIG. 7, FIG. 7 is a schematic diagram illustrating an exemplary process 700 for determining a first alignment feature according to some embodiments of the present disclosure. As illustrated in FIG. 7, the first motion compensation module may include a first conversion unit, a first fine adjustment unit, and a first alignment unit. The first conversion unit may be configured to convert the first motion information into the second motion information through dimension transformation and / or information adjustment. The first fine adjustment unit may be configured to generate the third motion information by processing the first motion information (or the second motion information) , the scaled first temporal residual feature (or the first temporal residual feature) , and the residual feature to be encoded. The first alignment unit may be configured to generate the first alignment feature by performing the motion compensation on the scaled first temporal residual feature (or the first temporal residual feature) based on the third motion information.

[0144] The first fine adjustment unit may include a residual network, an attention network, or the like, or any combination thereof. It should be noted that the fine adjustment unit can also be other networks, which is not limited herein.

[0145] The motion compensation may be performed through an alignment technique, such as, a warp technique based on interpolation, a deformable convolution technique, etc., which is not limited herein.

[0146] By performing the motion compensation on the first temporal residual feature, the first temporal residual feature after the motion compensation (i.e., the first alignment feature) can be aligned to the hyperprior decoding residual feature, which can eliminate a motion offset between the first temporal residual feature and the hyperprior decoding residual feature, thereby improving the accuracy of the second fusion feature.

[0147] The fourth quantization module may be configured to quantize the hyperprior residual encoding result of the current frame. The fourth entropy encoding module may be configured to obtain hyperprior residual bitstream data by performing an entropy encoding on an output of the fourth quantization module. The hyperprior residual bitstream data may be binary bitstream data.

[0148] The fourth entropy decoding module may be configured to perform an entropy decoding on the hyperprior residual bitstream data. The second hyperprior decoding module may be configured to obtain the hyperprior decoding residual feature by performing a hyperprior decoding on an output of the fourth entropy decoding module.

[0149] The second fusion module may be configured to obtain the second fusion feature by processing the hyperprior decoding residual feature. For example, the second fusion module may obtain the second fusion feature by fusing the hyperprior decoding residual feature of the current frame and at least one of motion information, a second alignment feature, or a prediction feature of a prediction frame.

[0150] The second alignment feature may be obtained through a second motion compensation module. The second motion compensation module may be similar to the first motion compensation module, and the second alignment feature may be obtained in a similar manner as how the first alignment feature is obtained. For example, the second motion compensation module may obtain the second alignment feature by performing the motion compensation on the first temporal residual feature based on first motion information. As another example, the second alignment feature may be obtained by performing the motion compensation on the scaled first temporal residual feature based on the first motion information. As still another example, the second alignment feature may be obtained by performing the motion compensation on the first temporal residual feature (or the scaled first temporal residual feature) based on the second motion information. As yet another example, fourth motion information may be obtained by processing the first motion information (or the second motion information) , the first temporal residual feature (or the scaled first temporal residual feature) , and the hyperprior decoding residual feature, and the second alignment feature may be obtained by performing the motion compensation on the first temporal residual feature (or the scaled first temporal residual feature) based on the fourth motion information. In some embodiments, the first temporal residual feature for determining the second alignment feature may be the same as or different from that for determining the first alignment feature.

[0151] In some embodiments, the second fusion module may be further configured to obtain a second probability parameter (e.g., a second variance, a second mean value, etc. ) , a second quantization parameter (not shown in FIG. 6) , etc., of the residual feature to be encoded by processing the second fusion feature. The second probability parameter may be used for entropy decoding of the residual feature bitstream data. The second quantization parameter may be used for inversely quantizing the residual feature bitstream data to obtain a decoded residual feature (similar to the residual feature to be encoded) .

[0152] The second fusion module may be similar to the first fusion module, which is not repeated herein.

[0153] The third quantization module may be configured to quantize a second difference feature. The second difference feature may be the difference between the residual feature to be encoded and the second mean value in the second fusion feature. For example, the third quantization module may quantize the second difference feature based on the second quantization parameter in the second fusion feature.

[0154] The third entropy encoding module may be configured to obtain the residual feature bitstream data by performing an entropy encoding on an output of the third quantization module. The residual feature bitstream data may be binary bitstream data. For example, the third entropy encoding module may perform the entropy encoding on the output of the third quantization module based on the second variance in the second fusion feature.

[0155] The third entropy decoding module may be configured to perform an entropy decoding on the residual feature bitstream data. For example, the third entropy decoding module may perform an entropy decoding on the residual feature bitstream data based on the second variance in the second fusion feature.

[0156] The third inverse quantization module may be configured to obtain an inverse quantization result of the residual feature to be encoded by inversely quantizing an output of the third entropy decoding module. For example, the third inverse quantization module may inversely quantize the output of the third entropy decoding module based on the second quantization parameter in the second fusion feature.

[0157] In some embodiments, the decoded residual feature may be obtained by adding the inverse quantization result of the residual feature to be encoded and the second mean value of the second fusion feature. Furthermore, the decoder 114 (e.g., the residual information decoder) may obtain reconstructed residual information (i.e., the current residual information) of the current frame by decoding and reconstructing the residual information bitstream data based on the decoded residual feature.

[0158] By introducing the motion and the temporal residual feature, the parameters of the residual feature to be encoded can be predicted more accurately, thereby improving the compression effect and reconstruction effect of the image data.

[0159] As used herein, information processed in the first main network and the second main network is priori information of the decoding process, and information processed in the first hyperprior network and the second hyperprior network is priori information of the first main network and the second main network, which is hyperprior information of the decoding process.

[0160] In some embodiments, the decoder 114 may further optimize a residual feature of the current frame through an optimization module. The residual feature of the current frame may include the decoded residual feature and / or the residual feature to be encoded. Correspondingly, the optimization module may include a first optimization module and a second optimization module. The first optimization module may optimize the decoded residual feature (determined based on the residual information bitstream data) output by the residual information entropy model based on the prediction information and / or the reference residual information, and the second optimization module may optimize the residual feature to be encoded (determined based on the residual information to be encoded) output by the residual information encoder based on the reference residual information.

[0161] Merely by way of example, if the enabled buffer information includes the residual information of the reference frame, the decoder 114 may obtain a first optimization feature by optimizing the residual feature of the current frame (e.g., the decoded residual feature) based on a second temporal residual feature and / or the prediction feature of the current frame (i.e., the prediction feature of the prediction frame corresponding to the current frame) . The second temporal residual feature may include residual information (also referred to as second previous residual information) corresponding to one or more second previous frames that have been decoded before the current frame. The decoder 114 may obtain the current residual information by reconstructing the first optimization feature, and decode the bitstream data of the current frame based on the current residual information.

[0162] In some embodiments, the second temporal residual feature may be the same as or different from the first temporal residual feature. For example, the second previous residual information and the first temporal residual feature may include the reference residual information. As another example, at least one of the one or more second previous frames may be different from the one or more first previous frames. In some embodiments, the decoder 114 may obtain the second temporal residual feature from the buffer module.

[0163] For illustration purposes, the optimization of the residual feature to be encoded by the first optimization module is taken as an example. Referring to FIG. 8, FIG. 8 is a schematic diagram illustrating an exemplary process 800 for optimizing a residual feature to be encoded through a first optimization module according to some embodiments of the present disclosure.

[0164] As illustrated in FIG. 8, the first optimization module (as indicated by a dashed box) may include a second conversion unit, a second fine adjustment unit, a second alignment unit, a third conversion unit, a fusion unit, etc.

[0165] The second conversion unit, the second fine adjustment unit, and the second alignment unit may be similar to the first fine adjustment unit, the first fine adjustment unit, and the first alignment unit, respectively. For example, the second conversion unit may be configured to convert the first motion information into the second motion information. The second fine adjustment unit may be configured to generate fifth motion information by processing the first motion information (or the second motion information) , the second temporal residual feature (or a scaled second temporal residual feature obtained by processing the second temporal residual feature based on a third scaling factor, which is similar to the first scaling factor and / or the second scaling factor) , and the residual feature to be encoded. The second alignment unit may be configured to generate a third alignment feature by performing the motion compensation on the second temporal residual feature (or the scaled second temporal residual feature) based on the fifth motion information. The third alignment feature may be generated in a similar manner as how the first alignment feature / the second alignment feature is generated, which is not repeated herein.

[0166] The third conversion unit may be configured to obtain a converted prediction feature by converting the prediction information (e.g., the prediction feature) through dimension transformation and / or information adjustment.

[0167] The fusion unit may be configured to generate the first optimization feature by processing the residual feature to be encoded obtained from the residual information encoder. For example, the first optimization feature may be generated by optimizing the residual feature to be encoded based on the prediction feature (or the converted prediction feature) . As another example, the first optimization feature may be generated by optimizing the residual feature to be encoded based on the second temporal residual feature (or the scaled second temporal residual feature) . As still another example, the first optimization feature may be generated by optimizing the residual feature to be encoded based on the second temporal residual feature (or the scaled second temporal residual feature) and the prediction feature (or the converted prediction feature) . As yet another example, the first optimization feature may be generated by optimizing the residual feature to be encoded based on the third alignment feature. As yet another example, the first optimization feature may be generated by optimizing the residual feature to be encoded based on the third alignment feature and the prediction feature (or the converted prediction feature) .

[0168] In some embodiments, the first optimization module may transmit the first optimization feature to the residual information entropy model, and the residual information entropy model may obtain the decoded residual feature by processing the first optimization feature in a similar manner as how the residual feature to be encoded is processed.

[0169] In some embodiments, the second optimization module may be similar to the first optimization module. For example, sixth motion information may be generated by processing the first motion information (or the second motion information) , the second temporal residual feature (or the scaled second temporal residual feature) , and the decoded residual feature. A fourth alignment feature may be generated by performing the motion compensation on the scaled second temporal residual feature (or the second temporal residual feature) based on the sixth motion information. The second optimization feature may be generated by processing the decoded residual feature from the residual information entropy model. For example, the second optimization feature may be generated by optimizing the decoded residual feature based on the prediction feature (or the converted prediction feature) . As another example, the second optimization feature may be generated by optimizing the decoded residual feature based on the second temporal residual feature (or the scaled second temporal residual feature) . As still another example, the second optimization feature may be generated by optimizing the decoded residual feature based on the second temporal residual feature (or the scaled second temporal residual feature) and the prediction feature (or the converted prediction feature) . As yet another example, the second optimization feature may be generated by optimizing the decoded residual feature based on the fourth alignment feature. As yet another example, the second optimization feature may be generated by optimizing the decoded residual feature based on the fourth alignment feature and the prediction feature (or the converted prediction feature) .

[0170] In some embodiments, the second optimization module may transmit the second optimization feature to the residual information decoder, and the residual information decoder may transform the second optimization feature to the current residual information in a similar manner as how the decoded residual feature is transformed to the current residual information.

[0171] By introducing the temporal residual feature and the prediction feature, the residual feature of the current frame (e.g., the decoded residual feature and / or the residual feature to be encoded) can be optimized through the optimization module, thereby improving the compression rate.

[0172] In some embodiments, if the enabled buffer information includes the preserved reference information (e.g., the preserved reference feature, the preserved optimized decoding feature) , the decoder 114 may decode the bitstream data of the current frame based on the preserved reference information.

[0173] For example, the decoder 114 may obtain second prediction information of the current frame by performing the motion compensation / temporal prediction on the second feature of the reference frame based on the reconstructed motion information and the preserved reference feature. Further, the decoder 114 may use the second prediction information in the decoding process of the current frame in a similar manner as how the prediction information of the current frame is used as described above.

[0174] As another example, the decoder 114 may obtain the preserved optimized decoding feature by optimizing a preserved decoding feature through the feature refresh module, and decode the bitstream data of the current frame based on the preserved optimized decoding feature in a similar manner as how the bitstream data of the current frame is decoded as described above. More descriptions regarding the decoding the bitstream data of the current frame based on the preserved reference information may be found elsewhere in the present disclosure. See, e.g., FIGs. 11-28 and relevant descriptions thereof.

[0175] In some embodiments, the decoder 114 may obtain decoding information by decoding the bitstream data of the current frame based on the enabled buffer information.

[0176] The decoding information refers to information relating to the decoding of the current frame. For example, the decoding information may include information generated during the decoding of the current frame, such as, the current motion information, the current residual information, the prediction feature of the prediction frame, etc. As another example, the decoding information may include information generated after the decoding of the current frame. For instance, a reconstruction image and a reconstruction feature may be obtained by processing the current residual information and the prediction feature of the prediction frame, and the decoding information may include the reconstruction image and the reconstruction feature of the current frame.

[0177] In some embodiments, the process 400 may proceed to operations 406 and 408. In 406, the decoder 114 (e.g., the determination module 310) may determine reference information to be preserved for use in decoding second bitstream data of the subsequent frame based on the decoding information.

[0178] In 408, the decoder 114 (e.g., the determination module 310) may buffer the reference information. More descriptions regarding the determination and the buffer of the reference information may be found elsewhere in the present disclosure. See, e.g., FIGs. 11-28 and relevant descriptions thereof.

[0179] According to some embodiments of the present disclosure, by determining whether the current frame is a refresh frame, the enabled buffer information can be determined. Specifically, when the current frame is a refresh frame, a portion of the buffer information is disabled, which reduces error transmission from the previous frames, and truncates the error accumulation. Consequently, this approach diminishes error accumulation in the decoding process of the video stream, and improves the compression effect and reconstruction effect of subsequent data.

[0180] FIG. 9 is a schematic diagram illustrating an exemplary process 900 for determining a second feature of a reference frame according to some embodiments of the present disclosure.

[0181] As illustrated in FIG. 9, for a current frame 910, the decoder 114 may determine a second feature of a reference frame corresponding to the current frame 910 based on reference information, including a reconstruction image and / or a reconstruction feature of the reference frame. For example, if the reconstruction image and the reconstruction feature of the reference frame are used for determining the second feature, a feature extraction module 920 is used to perform feature fusion and extraction on the reconstruction image and the reconstruction feature of the reference frame, so as to obtain the second feature. As another example, if the reconstruction image of the reference frame is used for determining the second feature, a feature extraction module 930 is used to perform a feature extraction on the reconstruction image of the reference frame, so as to obtain the second feature. As still another example, if the reconstruction feature of the reference frame is used for determining the second feature, a feature extraction module 940 is used to perform a feature extraction on the reconstruction feature of the reference frame, so as to obtain the second feature.

[0182] In some embodiments, a feature extraction module 950 may be further connected to the feature extraction module 920, the feature extraction module 930, and the feature extraction module 940. One of the feature extraction module 920, the feature extraction module 930, and the feature extraction module 940 may be input into the feature extraction module 950, and the feature extraction module 950 may output the second feature. At this time, one of the feature extraction module 920, the feature extraction module 930, and the feature extraction module 940 may generate a preliminary second feature, and the feature extraction module 950 may generate the second feature by processing the preliminary second feature. For example, the feature extraction module 950 may perform a feature extraction on the preliminary second feature. As another example, the feature extraction module 950 may perform a post-processing (e.g., normalization, scaling, etc. ) on the preliminary second feature.

[0183] Each of the feature extraction modules 920-950 may include a convolution network, a residual network, an attention network, or the like, or any combination thereof. In some embodiments, the feature extraction modules 920-950 may include same network (s) . For example, each feature extraction module may include the convolution network and the residual network. In some embodiments, the feature extraction modules 920-950 may include different networks. For example, the feature extraction module 920 may include the convolution network, the residual network, and the attention network. The feature extraction module 930 may include the convolution network and the residual network. The feature extraction module 940 may include the convolution network and the residual network. The feature extraction module 950 may include the convolution network and the residual network.

[0184] In some embodiments, the reference information for determining the second feature may be selected based on a frame number of the current frame 910. For example, when decoding a video stream including a plurality of frames needs to be decoded, each assigned with a sequential frame number, the decoder 114 may divide the frame numbers of the plurality of frames into three continuous ranges, and select the reference information for determining the second feature with respect to each range. Further, the decoder 114 may select the reference information for determining the second feature based on the frame number of the current frame 910 and frame numbers corresponding to the three ranges.

[0185] Merely by way of example, referring to FIG. 10A, FIG. 10A is a schematic diagram illustrating an exemplary process 1000A for selecting reference information according to some embodiments of the present disclosure. As illustrated in FIG. 10A, frame numbers of the frames in a video stream may be divided into three ranges. For frames whose frame numbers are within a first range 1010, a reconstruction image of a reference frame is selected to determine the second feature of the reference frame. For frames whose frame numbers are within a second range 1020, the reconstruction image and a reconstruction feature of the reference frame are selected to determine the second feature of the reference frame. For frames whose frame numbers are within a third range 1030, the reconstruction feature of the reference frame is selected to determine the second feature of the reference frame. If the frame number of the current frame 910 is within the first range 1010, the reconstruction image of the reference frame is selected to determine the second feature of the reference frame. It should be noted that each range may correspond to any number of frames.

[0186] As another example, referring to FIG. 10B, FIG. 10B is a schematic diagram illustrating an exemplary process 1000B for determining a reconstruction image and / or a reconstruction feature of a reference frame according to some embodiments of the present disclosure. The process 1000B is similar to the process 1000A, except that a reconstruction feature of a reference frame is selected as the reference information corresponding to the first range 1010, and the reconstruction feature of the reference frame is selected as the reference information corresponding to the third range 1030.

[0187] In some embodiments, the reference information may be selected based on a frame number of the current frame 910 and a refresh cycle. For example, the decoder 114 may divide the plurality of frames into multiple sets of frames based on the refresh cycle, and divide the frame numbers of frames in each set into three continuous ranges. Further, the decoder 114 may select the reference reconstruction image and / or the reference reconstruction feature for determining the second feature with respect to each range, and select the reference reconstruction image and / or the reference reconstruction feature for determining the second feature based on the frame number of the current frame 910 and frame numbers corresponding to the three ranges.

[0188] In some embodiments, the reference information may be selected based on a frame number of the current frame 910 and a distortion threshold. For example, when the encoder 112 determines a target frame whose distortion situation exceeds the distortion threshold when the target frame is encoded based on a reconstruction feature of a reference frame of the target frame, the encoder 112 may determine the reconstruction image of the reference frame as the reference information of the target frame, and encode the target frame based on the reconstruction image of the reference frame. At the same time, a frame number of the target frame may be encoded as a frame number corresponding to the first range. For a few frames (e.g., 2, 3, 5, etc., frames) subsequent to the target frame, the reconstruction image and the reconstruction feature of the reference frame may be selected to determine the second feature of the reference frame, and a frame number of a first frame among the few frames may be encoded as a frame number corresponding to the second range. For some frames (e.g., 2, 3, 5, etc., frames) subsequent to the few frames, the reconstruction feature of the reference frame may be selected to determine the second feature of the reference frame, and a frame number of a first frame among the some frames may be encoded as a frame number corresponding to the third range. Counts of the few frames and the some frames may be determined based on a system default or set manually.

[0189] In some embodiments, the reference information for determining the second feature may be pre-determined. For example, a determination manner of the reference information may be pre-determined and encoded in bitstream data of the video stream. When the bitstream data of the video stream is decoded, the decoder 114 may obtain the determination manner. For instance, the determination manner may include: for a first P-frame, only the reconstruction image of the reference frame (e.g., I-frame (s)  / P-frame (s) ) is selected to determine the second feature of the reference frame; for a second P-frame, the reconstruction image and the reconstruction feature of the reference frame are selected to determine the second feature of the reference frame; and for a third or subsequent P-frame, the reconstruction feature of the reference frame is selected to determine the second feature of the reference frame. At this time, no ranges need to be determined based on the frame numbers of the frames or encoded into the bitstream data of the video stream.

[0190] By determining the second feature of the reference frame corresponding to each frame in the intermediate range (i.e., the second range) based on both the reference reconstruction image and the reference reconstruction feature, the impact of great change of reference information (e.g., changing from the reference reconstruction image to the reference reconstruction feature) on the decoding quality can be reduced.

[0191] FIG. 11 is a flowchart illustrating an exemplary process 1100 for image data decoding according to some embodiments of the present disclosure.

[0192] In an end-to-end video compression technique, one or more previous frames that have been decoded need to be referred to for decoding bitstream data of a current frame, which can remove temporal redundancy and improve the compression rate. When one or more previous frames closer to the current frame (also referred to as previous neighbor frames) have occlusion or information loss, one or more previous frames away from the current frame (also referred to as previous remote frames) can be referred to. As used herein, a frame whose frame number has a difference greater than a threshold from the frame number of the current frame is referred to a remote frame, and a frame whose frame number has a difference not greater than the threshold from the frame number of the current frame is referred to a close frame. However, with the increase of the number of decoded frames, less information can be transferred to the current frame from the one or more previous remote frames. In order to obtain more information from the one or more previous remote frames for use in decoding bitstream data of a subsequent frame, the process 1100 may be performed.

[0193] In 1102, the decoder 114 (e.g., the obtaining module 320) may obtain decoding information by decoding bitstream data of a current frame.

[0194] The bitstream data refers to a sequence of binary bits (0s and 1s) that represent the current frame. In some embodiments, the bitstream data may include residual information bitstream data (also referred to as contextual information bitstream data) and motion information bitstream data. More descriptions regarding the bitstream data of the current frame may be found elsewhere in the present disclosure. See, e.g., FIG. 4 and relevant descriptions thereof.

[0195] The decoding information (also referred to as first decoding information) refers to information relating to the decoding of the current frame. For example, the decoding information may include information generated during the decoding of the current frame, such as, current motion information, current residual information, a prediction feature of a prediction frame corresponding to the current frame (also referred to as the prediction feature of the current frame) , etc. As another example, the decoding information may include information generated after the decoding of the current frame. For instance, a reconstruction image and a reconstruction feature of the current frame may be obtained by processing the current residual information and the prediction feature of the prediction frame, and the decoding information may include the reconstruction image and the reconstruction feature.

[0196] In some embodiments, the decoder 114 may decode the bitstream data of the current frame based on buffer information. For example, the decoder 114 may determine, based on whether the current frame is a refresh frame, buffer information that needs to be enabled for the current frame from candidate buffer information relating to a previous frame that has been decoded before the current frame, and obtain the decoding information by decoding the bitstream data of the current frame based on the enabled buffer information. More descriptions regarding the obtaining the decoding information may be found elsewhere in the present disclosure. See, e.g., FIG. 4 and relevant descriptions thereof.

[0197] In some embodiments, the candidate buffer information may include preserved reference information (e.g., a preserved reference feature, a preserved optimized decoding feature) . The preserved reference information may be determined based on one or more previous frames and stored in a storage device (e.g., the buffer module) . In some embodiments, the preserved reference information may be determined in a similar manner as how reference information is determined as described below.

[0198] In 1104, the decoder 114 (e.g., the determination module 310) may determine, based on the decoding information, reference information to be preserved for use in decoding second bitstream data of a subsequent frame.

[0199] In some embodiments, the reference information (also referred to as current reference information) determined based on the decoding information may be stored in a buffer module, and be determined as a portion of second candidate buffer information for decoding the second bitstream data of the subsequent frame. In some embodiments, the current reference information may include a reference feature. The reference feature may include a long-term reference feature and / or a short-term reference feature. The long-term reference feature refers to a feature that is transmitted from previous remote frames. The short-term reference feature refers to a feature that is obtained based on previous neighbor frames.

[0200] In some embodiments, the decoder 114 may obtain the reference feature corresponding to the decoding information by processing, through a long-term dependency generation network, previous reference features of the one or more previous frames and the decoding information. The previous reference feature may include one or more previous long-term reference features and / or one or more previous short-term reference features.

[0201] The long-term dependency generation network may be configured to generate the reference feature by processing the previous reference features of the one or more previous frames and the decoding information. When the current frame is a first frame, the previous reference features of the one or more previous frames may be an initial reference feature. For example, a value of each parameter in the initial reference feature may be 0. Exemplary long-term dependency generation networks may include a recurrent neural network (RNN) , a long short-term memory (LSTM) network, a convolutional-LSTM (ConvLSTM) network, or the like, or any combination thereof.

[0202] Referring to FIG. 12, FIG. 12 is a schematic diagram illustrating an exemplary process 1200 for determining a reference feature according to some embodiments of the present disclosure. As illustrated in FIG. 12, for a first frame, an initial reference feature 1210 and decoding information 1212 of the first frame (e.g., a prediction feature of the first frame, a reconstruction feature of a reconstruction image of the first frame, etc. ) may be input into a long-term dependency generation network 1250, and the long-term dependency generation network 1250 may output a reference feature 1232. The reference feature 1232 may include a long-term reference feature and / or a short-term reference feature of the first frame. For a second frame, the reference feature 1232 and decoding information 1214 of the second frame (e.g., a prediction feature of the second frame, a reconstruction feature of a reconstruction image of the second frame, etc. ) may be input into the long-term dependency generation network 1250, and the long-term dependency generation network 1250 may output a reference feature 1234. The reference feature 1234 may include a long-term reference feature and / or a short-term reference feature of the second frame. For an Nth frame, a reference feature of an (N-1) th frame and decoding information 1220 of the Nth frame (e.g., a prediction feature of the Nth frame, a reconstruction feature of a reconstruction image of the Nth frame, etc. ) may be input into the long-term dependency generation network 1250, and the long-term dependency generation network 1250 may output a reference feature 1240. The reference feature 1240 may include a long-term reference feature and / or a short-term reference feature of the Nth frame. N may be a positive integer larger than 1.

[0203] For example, when the long-term dependency generation network is an RNN, the reference feature may include the long-term reference feature or the short-term reference feature. As another example, when the long-term dependency generation network is an LSTM network or a ConvLSTM network, the reference feature may include the long-term reference feature and the short-term reference feature.

[0204] In some embodiments, the long-term dependency generation network may be disposed before, in, or after a decoding module. The decoding module refers to a module configured to decode the bitstream data of the current frame. For example, the decoding module may include any module in the end-to-end video compression framework 240, such as, the motion information decoder, the residual information decoder, the motion compensation module, the frame reconstruction module, the buffer module, etc. The motion information decoder may be configured to decode the motion information bitstream data. The residual information decoder may be configured to decode the residual information bitstream data. The frame reconstruction module may be configured to obtain the reconstruction feature of the current frame. The motion compensation module may be configured to obtain the prediction feature of the current frame.

[0205] By disposing the long-term dependency generation network before, in, or after the decoding module in the end-to-end video compression framework, the transmission of the reference feature (e.g., the long-term reference feature and / or the short-term reference feature) between frames during the decoding process can be enhanced.

[0206] In some embodiments, the long-term dependency generation network may include multiple long-term dependency generation networks. For example, referring to FIG. 2C, the long-term dependency generation network may include a first long-term dependency generation network disposed between the frame reconstruction module and the buffer module, and a second long-term dependency generation network disposed between the motion compensation module and the buffer module. The first long-term dependency generation network may generate a first reference feature (e.g., a first long-term reference feature and / or a first short-term reference feature) relating to the reconstruction feature by processing the reconstruction feature of the current frame and the previous reference features, and the second long-term dependency generation network may generate a second reference feature (e.g., a second long-term reference feature and / or a second short-term reference feature) relating to the prediction feature by processing the prediction feature of the prediction frame and the previous reference features. And then, the first reference feature and the second reference feature may be stored in the buffer module.

[0207] By disposing the multiple long-term dependency generation networks, different reference features can be generated, which can provide more information for the subsequent frame, thereby improving the decoding accuracy. In addition, each long-term dependency generation network corresponds to one type of feature, and the accuracy of the reference features can be improved, further improving the decoding accuracy.

[0208] In some embodiments, the reference feature may include a plurality of long-term reference features (e.g., the first long-term reference feature and the second long-term reference feature) , and the decoder 114 may obtain a fused long-term reference feature by fusing the plurality of long-term reference features. For example, the decoder 114 may obtain the fused long-term reference feature by fusing the first reference feature and the second reference feature. The fused long-term reference feature may include information that represents the first reference feature and the second reference feature.

[0209] In some embodiments, the fused long-term reference feature may be obtained by a feature fusion network. For example, the feature fusion network may include a splicing network, a convolutional network, an attention network, a residual network, or the like, or any combination thereof.

[0210] Merely by way of example, referring to FIG. 13, FIG. 13 is a schematic diagram illustrating an exemplary process 1300 for obtaining a fused long-term reference feature through a feature fusion network according to some embodiments of the present disclosure.

[0211] As illustrated in FIG. 13, a long-term reference feature 1302, a long-term reference feature 1304, etc., may be input into a feature fusion network 1350, and the feature fusion network 1350 may output a fused long-term reference feature 1310. The feature fusion network 1350 may include an attention network (e.g., a channel attention network) and a convolutional network. The channel attention network may be used to obtain attention processing results by processing the long-term reference feature 1302 and the long-term reference feature 1304, respectively. The convolutional network may be used to obtain the fused long-term reference feature 1310 by convolving the attention processing results.

[0212] By fusing the plurality of long-term reference features, more information can be provided. This can adaptively extract the reference information for use in decoding the second bitstream data of the subsequent frame, thereby improving the decoding accuracy.

[0213] In some embodiments, when the reference feature is a single long-term reference feature, the single long-term reference feature may also be input into the feature fusion network for fusion. At this time, the single long-term reference feature may be optimized by the feature fusion network.

[0214] In some embodiments, the decoder 114 may obtain an updated long-term reference feature by updating the long-term reference feature (or the fused long-term reference feature) based on a short-term reference feature of the reconstruction image of the current frame (also referred to as a third short-term reference feature) . The short-term reference feature of the reconstruction image may be obtained by performing feature extraction on the reconstruction image. In some embodiments, the short-term reference feature of the reconstruction image may be obtained in a similar manner as how the second feature of the reference frame is obtained as described in FIGs. 2A-10B.

[0215] In some embodiments, the decoder 114 may obtain the updated long-term reference feature through a preset updating manner. Exemplary preset updating manners may include a direct splicing manner, a weight updating manner, or the like, or any combination thereof.

[0216] For example, by using the direct splicing manner, the long-term reference feature (or the fused long-term reference feature) and the third short-term reference feature may be spliced and fused. For instance, the updated long-term reference feature may be obtained by splicing the long-term reference feature (or the fused long-term reference feature) and the third short-term reference feature through a splicing network, and fusing the spliced reference feature through a convolutional network.

[0217] As another example, by using the weight updating manner, the decoder 114 may obtain weighted values corresponding to the long-term reference feature and the third short-term reference feature, respectively, by processing the long-term reference feature and the third short-term reference feature through a weighting network. The decoder 114 may obtain a short-term modulation feature and a long-term modulation feature by modulating the long-term reference feature and the third short-term reference feature based on the corresponding weighted values, respectively. Further, the decoder 114 may obtain the updated long-term reference feature based on the short-term modulation feature and the long-term modulation feature.

[0218] Merely by way of example, referring to FIG. 14, FIG. 14 is a schematic diagram illustrating an exemplary process 1400 for obtaining an updated long-term reference feature through a feature update module according to some embodiments of the present disclosure.

[0219] As illustrated in FIG. 14, a feature update module may include a weighting network 1410, a first modulation module 1415, a second modulation module 1420, and a fusion module 1430.

[0220] A long-term reference feature 1402 of the current frame may be input into the weighting network 1410, and the weighting network 1410 may output a first weighting value corresponding to the long-term reference feature 1402. A short-term reference feature 1404 of the reconstruction image (i.e., the third short-term reference feature) may be input into the weighting network 1410, and the weighting network 1410 may output a second weighting value corresponding to the short-term reference feature 1404. The weighting network 1410 may be an attention network, such as, a channel attention network, a spatial attention network, a non-local attention network, etc.

[0221] The first modulation module 1415 may obtain a long-term modulation feature by processing the long-term reference feature 1402 based on the first weighting value, and the second modulation module 1420 may obtain a short-term modulation feature by processing the short-term reference feature 1404 based on the second weighting value. A modulation technique used by the first modulation module 1415 and / or the second modulation module 1420 may include a multiplication technique (e.g., a channel level multiplication technique, a space level multiplication technique, etc. ) , an addition technique (e.g., a channel level addition technique, a space level addition technique, etc. ) , or the like, or any combination thereof.

[0222] The fusion module 1430 may obtain an updated long-term reference feature 1450 by fusing the long-term modulation feature and the short-term modulation feature. The fusion module 1430 may include a splicing network, a convolutional network, an attention network, a residual network, or the like, or any combination thereof. For example, the fusion module 1430 may include a convolutional network and a residual network.

[0223] By updating the long-term reference feature based on the short-term reference feature, the long-term error accumulation can be reduced. Furthermore, the long-term reference feature and / or the short-term reference feature can be selected through the weight updating manner for fusion, thereby improving the accuracy of the updated long-term reference feature.

[0224] For illustration purposes, referring to FIG. 15, FIG. 15 is a schematic diagram illustrating an exemplary process 1500 for determining reference information to be preserved for use in decoding second bitstream data of a subsequent frame according to some embodiments of the present disclosure.

[0225] As illustrated in FIG. 15, in a decoding process of a current frame, a frame reconstruction module may generate a reconstruction image of the current frame and a reconstruction feature of the reconstruction image. The reconstruction feature and previous reference features of one or more previous frames may be input into a first long-term dependency generation network, and the first long-term dependency generation network may output a first reference feature (e.g., a first long-term reference feature and a first short-term reference feature) relating to the reconstruction feature. A prediction feature of the current frame output by a motion compensation module and the previous reference features may be input into a second long-term dependency generation network, and the second long-term dependency generation network may output a second reference feature (e.g., a second long-term reference feature and a second short-term reference feature) relating to the prediction feature. The first long-term reference feature and the second long-term reference feature may be input into a feature fusion network, and the feature fusion network may output a fused long-term reference feature. A second feature extraction module may generate a short-term reference feature (also referred to as the third short-term reference feature) of the reconstruction image of the current frame. The fused long-term reference feature and the third short-term reference feature may be input into a feature update module, and the feature update module may output an updated long-term reference feature.

[0226] In some embodiments, the reconstruction feature, the prediction feature, the first reference feature (including the first long-term reference feature and the first short-term reference feature) , the second reference feature (including the second long-term reference feature and the second short-term reference feature) , the fused long-term reference feature, the updated long-term reference feature, the third short-term reference feature, etc., of the current frame and decoding information of the one or more previous frames may be determined as the reference information used in decoding second bitstream data of a subsequent frame. For example, the decoder 114 may decode the second bitstream data of the subsequent frame based on the reference information. As another example, the reference information may be stored in the buffer module and be a portion of second candidate buffer information of the subsequent frame. The decoder 114 may determine, based on whether the subsequent frame is a refresh frame, second buffer information that needs to be enabled for the subsequent frame from the second candidate buffer information, and decode the second bitstream data of the current frame based on the second enabled buffer information. The second candidate buffer information of the subsequent frame may include the reference information (e.g., the first reference feature, the second reference feature, the fused long-term reference feature, the third short-term reference feature, the updated long-term reference feature, the reconstruction image and / or the reconstruction feature, etc. ) , of the current frame, current motion information, current residual information, or the like, or any combination thereof.

[0227] Similarly, the bitstream data of the current frame may be decoded based on the preserved reference information that is obtained in the decoding third bitstream data of the previous frame (e.g., a previous frame adjacent to the current frame) . For example, referring to FIG. 5, the first fusion module may obtain the first fusion feature by fusing the hyperprior decoding motion feature of the current frame and the preserved reference information.

[0228] In some embodiments, the preserved reference information may be further adjusted. For example, adjustment reference information may be obtained by performing a feature adjustment on the preserved reference information (e.g., the second feature) , and the first fusion feature may be obtained by fusing the hyperprior decoding motion feature of the current frame and the adjustment reference information. Exemplary feature adjustment may include a scale adjustment, a dimension adjustment, an information adjustment, a feature optimization, or the like, or any combination thereof. For instance, if a scale of the preserved reference information exceeds (e.g., is larger / smaller than) a scale range of an input of the first fusion module (or the motion information entropy model) , the adjustment reference information may be obtained by adjusting the scale of the preserved reference information to be within the scale range. In some embodiments, the feature adjustment may be performed through a feature adjustment module. The feature adjustment module may include a convolution network, a residual network, an attention network, or the like, or any combination thereof.

[0229] By adjusting the reference information (e.g., the preserved reference information) , the reference information may be matched with the motion information entropy model, thereby improving the accuracy of the parameter (e.g., the first fusion feature and subsequent parameters) determination.

[0230] As another example, referring to FIG. 2A, the prediction information of the current frame may be obtained by performing the motion compensation / temporal prediction on the preserved reference information based on the reconstructed motion information.

[0231] As still another example, referring to FIG. 2A, a reconstruction image and a reconstruction feature may be obtained by processing (e.g., reconstructing) the preliminary reconstruction information based on the preserved reference information.

[0232] For illustration purposes, referring to FIG. 16, FIG. 16 is a schematic diagram illustrating an exemplary process 1600 for decoding bitstream data of a current frame based on preserved reference information according to some embodiments of the present disclosure.

[0233] As illustrated in FIG. 16, for a current frame, preserved reference information (e.g., a preserved reference feature) and motion information to be encoded may be input into a motion information entropy model, and the motion information entropy model may obtain a first probability of occurrence of each first character in the motion information to be encoded, and output motion information bitstream data by performing arithmetic encoding on the first probability of occurrence of each first character. A motion information decoder may obtain reconstructed motion information of the current frame by decoding and reconstructing the motion information bitstream data.

[0234] When the preserved reference information includes a preserved long-term reference feature and a preserved short-term reference feature, a fused preserved reference feature may be obtained by fusing the preserved long-term reference feature and the preserved short-term reference feature, and then the fused preserved reference feature may be processed by the motion information entropy model and the motion information decoder, so as to obtain the reconstructed motion information. Alternatively, the preserved long-term reference feature and the preserved short-term reference feature may be processed by the motion information entropy model and the motion information decoder, respectively, so as to obtain first reconstructed motion information corresponding to the preserved long-term reference feature and second reconstructed motion information corresponding to the preserved short-term reference feature. The reconstructed motion information may be further obtained based on the first reconstructed motion information and the second reconstructed motion information.

[0235] In some embodiments, the preserved reference information may be adjusted through a feature adjustment module (also referred to as a first feature adjustment module) . For example, an adjusted short-term reference feature may be obtained by performing a feature adjustment on the preserved short-term reference feature, and the motion information bitstream data may be obtained based on the motion information to be encoded and the adjusted short-term reference feature.

[0236] In some embodiments, only the preserved short-term reference feature (or the adjusted short-term reference feature) may be input into the motion information entropy model (i.e., the preserved long-term reference feature is not input into the motion information entropy model) for decoding the motion information. Therefore, the subsequent quantification can be simplified, and the consistency of the subsequent decoding of the motion information can be improved, which can reduce the link dependence, thereby improving the consistency and efficiency of the decoding of subsequent frames.

[0237] Further, the reconstructed motion information and the preserved reference information (or the adjusted preserved reference information) may be input into a motion compensation module, and the motion compensation module may output prediction information of the current frame by performing motion compensation / temporal prediction (e.g., a warp operation) on the preserved reference information (or the adjusted preserved reference information) based on the reconstructed motion information. The prediction information of the current frame may include a prediction frame and / or a prediction feature of the prediction frame.

[0238] In some embodiments, the prediction information of the current frame may include first prediction information for reconstruction and second prediction information for use in decoding second bitstream data of a subsequent frame. The first prediction information may be the same as or different from the second prediction information.

[0239] In some embodiments, the motion compensation may be performed on the preserved long-term reference feature and the preserved short-term reference feature based on the reconstructed motion information, respectively, so as to obtain a plurality of motion compensation results. Further, the prediction information of the current frame may be obtained by fusing the plurality of motion compensation results.

[0240] For illustration purposes, referring to FIG. 17, FIG. 17 is a schematic diagram illustrating an exemplary process 1700 for obtaining prediction information of a current frame according to some embodiments of the present disclosure.

[0241] As illustrated in FIG. 17, preserved reference information may include a preserved short-term reference feature 1702 and a preserved long-term reference feature 1704.

[0242] First motion information 1714 corresponding to the preserved short-term reference feature 1702 may be obtained by converting motion information 1712 (e.g., based on the preserved short-term reference feature 1702) through a conversion module 1710, and second motion information 1716 corresponding to the preserved long-term reference feature 1704 may be obtained by converting the motion information 1712 (e.g., based on the preserved long-term reference feature 1704) through the conversion module 1710. The first motion information 1714 may be the same as or different from the second motion information 1716. In some embodiments, the conversion module 1710 may be a neural network, such as, a convolutional network, which is not limited herein.

[0243] The preserved short-term reference feature 1702 and the first motion information 1714 may be input into a first alignment module 1720, and the first alignment module 1720 may output a short-term compensation result 1732 by performing an alignment operation on the preserved short-term reference feature 1702 based on the first motion information 1714. Similarly, the preserved long-term reference feature 1704 and the second motion information 1716 may be input into a second alignment module 1725, and the second alignment module 1725 may output a long-term compensation result 1734 by performing the alignment operation on the preserved long-term reference feature 1704 based on the second motion information 1716. In some embodiments, the first alignment module 1720 may be the same as or different from the second alignment module 1725.

[0244] The alignment operation may include a warp operation based on interpolation, a deformable convolution operation, or the like, or any combination thereof. The warp operation refers to performing a transformation operation (e.g., translating, rotating, etc. ) on first macroblocks of the preserved reference information (e.g., the preserved short-term reference feature 1702 and the preserved long-term reference feature 1704) based on the motion information, so as to simulate positions of second macroblocks in the current frame corresponding to the first macroblocks. That is, the motion compensation can indicate the difference between the preserved reference information and the current frame. For instance, the motion compensation describes how to minimize the spatial redundancy in the image sequence by transforming each block in the preserved reference information to a certain position in the current frame.

[0245] In some embodiments, no conversion may be performed on the motion information 1712, and the preserved short-term reference feature 1702 and the preserved long-term reference feature 1704 may be directly aligned with the motion information 1712.

[0246] In some embodiments, prediction information of the current frame may be obtained by fusing the short-term compensation result 1732 and the long-term compensation result 1734 through a fusion module 1740. The prediction information of the current frame may include first prediction information 1750 for reconstruction and second prediction information 1755 for use in decoding second bitstream data of a subsequent frame. The first prediction information 1750 may be the same as or different from the second prediction information 1755.

[0247] The fusion module 1740 may include a convolution network, a residual network, an attention network, or the like, or any combination thereof. For example, the fusion module 1740 may be a combination of the convolution network and the residual network. The fusion module 1740 may be used to obtain the first prediction information 1750 and the second prediction information 1755 by fusing the short-term compensation result 1732 and the long-term compensation result 1734.

[0248] In some embodiments, the preserved reference information may include a plurality of preserved short-term reference features at different scales and a plurality of preserved long-term reference features at different scales. For example, the plurality of preserved short-term reference features may be obtained by performing a scale transformation on the preserved short-term reference feature 1702, and the plurality of preserved long-term reference features may be obtained by performing the scale transformation on the preserved long-term reference feature 1704. In some embodiments, the scale transformation may include different multiples of up-sampling or down-sampling, etc., which is not limited herein.

[0249] Correspondingly, a plurality of short-term compensation results at different scales and a plurality of long-term compensation results at different scales may be obtained by performing the alignment operation on the plurality of preserved short-term reference features and the plurality of preserved long-term reference features based on the motion information, respectively. As illustrated in FIG. 17, the short-term compensation result 1732 and a short-term compensation result 1736 are short-term compensation results at different scales, and the long-term compensation result 1734 and a long-term compensation result 1738 are long-term compensation results at different scales. For example, the plurality of short-term compensation results may be obtained by performing the alignment operation on the plurality of preserved short-term reference features based on the first motion information 1714 through the first alignment module 1720, and the plurality of long-term compensation results may be obtained by performing the alignment operation on the plurality of preserved long-term reference features based on the second motion information 1716 through the second alignment module 1725. As another example, for each of the plurality of short-term compensation results, the corresponding short-term compensation result may be obtained by performing the alignment operation on the preserved short-term reference feature based on corresponding first motion information through a corresponding first alignment module.

[0250] Furthermore, the prediction information of the current frame may be obtained by fusing the plurality of short-term compensation results at different scales and the plurality of long-term compensation results at different scales. For example, the plurality of short-term compensation results at different scales and the plurality of long-term compensation results at different scales may be fused simultaneously. For instance, the fusion module 1740 may obtain the first prediction information 1750 and the second prediction information 1755 by simultaneously fusing the short-term compensation result 1732, the short-term compensation result 1736, the long-term compensation result 1734, and the long-term compensation result 1738.

[0251] As another example, the plurality of short-term compensation results at different scales and the plurality of long-term compensation results at different scales may be fused according to the scales. For instance, the plurality of short-term compensation results at different scales may include a first short-term compensation result at a first scale, a second short-term compensation result at a second scale, and a third short-term compensation result at a third scale. The third short-term compensation result at the third scale may be up-sampled to a third short-term compensation result at the second scale, and an intermediate fused result may be obtained by splicing and convolutionally fusing the second short-term compensation result at the second scale and the third short-term compensation result at the second scale. And then, the intermediate fused result may be up-sampled to an intermediate fused feature at the first scale, and the prediction information of the current frame may be obtained by splicing and convolutionally fusing the intermediate fused feature at the first scale and the first short-term compensation result at the first scale.

[0252] By fusing the reference features multiple times (e.g., fusing the plurality of long-term reference features, fusing the long-term reference feature and the short-term reference feature, fusing the short-term compensation result and the long-term compensation result, etc. ) , rich long / short-term reference information can be referred to obtain the prediction information, thereby improving the accuracy of the prediction information (i.e., improving the accuracy of inter-frame prediction) . Furthermore, the motion compensation can be performed on the long-term reference feature and / or the short-term reference feature, the flexibility of the motion compensation and the accuracy of the prediction information can be improved.

[0253] In some embodiments, referring to FIG. 16, a second long-term dependency generation network may generate a second reference feature (e.g., a second long-term reference feature and / or a second short-term reference feature) relating to the prediction feature of the current frame by processing the prediction feature of the prediction frame and the previous reference features.

[0254] In some embodiments, the prediction feature of the prediction frame and residual information to be encoded may be input into a residual information entropy model, and the residual information entropy model may obtain a second probability of occurrence of each second character in the residual information to be encoded, and output residual information bitstream data by performing the arithmetic encoding on the second probability of occurrence of each second character. A residual information decoder may obtain reconstructed residual information of the current frame by decoding and reconstructing the residual information bitstream data.

[0255] A frame reconstruction module may obtain a preliminary reconstruction feature based on the reconstructed residual information and the prediction feature. For example, the preliminary reconstruction feature may be obtained by adding the reconstructed residual information and the prediction feature. In some embodiments, the prediction feature and / or the preserved reference information may be adjusted through a second feature adjustment module. The second feature adjustment module may be similar to the first feature adjustment module, which is not repeated herein.

[0256] In some embodiments, reconstruction information (e.g., a reconstruction image and / or a reconstruction feature) of the current frame may be obtained by processing the preliminary reconstruction feature based on the preserved reference information. For example, the preliminary reconstruction feature may be processed based on the preserved reference information through a preset processing technique. Exemplary preset processing techniques may include a convolutional network technique, a recurrent network technique, a temporal correlation technique, or the like, or any combination thereof.

[0257] Through the convolutional network technique, a spliced reconstruction feature may be obtained by splicing the preliminary reconstruction feature and the preserved reference feature, and input into a preset convolutional network. The preset convolutional network may output a reconstruction weighting value by processing the spliced reconstruction feature. Then, the reconstruction information of the current frame may be obtained by weighting the preliminary reconstruction feature based on the reconstruction weighting value. The convolutional network technique can automatically learn useful long / short-term reference information to compensate for the preliminary reconstruction feature, thereby improving the accuracy of the reconstruction information (i.e., the reconstruction feature and / or the reconstruction image of the current frame) .

[0258] Through the recurrent network technique, the reconstruction information of the current frame may be obtained by processing the preliminary reconstruction feature and the preserved reference feature through a preset recurrent network. For example, the preset recurrent network may include an RNN network, an LSTM network, etc. Since the preset recurrent network includes a gating mechanism similar to attention, the preliminary reconstruction feature can be enhanced by using important preserved long / short-term reference features, and long-term reference information can be transmitted as the reference information.

[0259] Referring to FIG. 18, FIG. 18 is a schematic diagram illustrating an exemplary process 1800 for obtaining reconstruction information of a current frame according to some embodiments of the present disclosure.

[0260] As illustrated in FIG. 18, a preset recurrent network 1830 may include an LSTM recurrent network. For a current frame, a preliminary reconstruction feature 1820, a preserved reference feature, and a network hidden state (i.e., a hidden state of the LSTM recurrent network) 1840 may be input into the preset recurrent network 1830. The hidden state of the LSTM recurrent network is a set of hidden states at each time step when the LSTM recurrent network processes sequential data. The hidden state plays a key role in the LSTM recurrent network, which not only relies on current inputs, but also on a hidden state of a previous time step. Therefore, the hidden state may be updated at each time step and carry the information to a next time step. As used herein, the preserved reference feature may be a fused reference feature 1812 by fusing a preserved short-term reference feature 1802 and a preserved long-term reference feature 1804 through a fusion module 1810, and the fusion module 1810 may be a convolutional network.

[0261] The preset recurrent network 1830 may output a reconstruction feature 1832 and a network hidden state 1845 for a next frame. For example, the reconstruction feature 1832 may be used to generate a short-term reference feature and a long-term reference feature for use in decoding second bitstream data of a subsequent frame, such as, through the first long-term dependency generation network as described in FIGs. 2C, 12, and 15. Further, a reconstruction module 1850 may obtain reconstruction information (e.g., a reconstruction feature 1852 and / or a reconstruction image 1854) by reconstructing the reconstruction feature 1832. The reconstruction module 1850 may include a convolution network, a first residual network, an up-sampling network, and a second residual network. For example, the convolution network and the first residual network may output the reconstruction feature 1852, and the up-sampling network and the second residual network may output the reconstruction image 1854.

[0262] Through the temporal correlation technique, the reconstruction information of the current frame may be obtained by processing the preliminary reconstruction feature based on a regional correlation between the preliminary reconstruction feature and the preserved reference feature (e.g., a fused reference feature) .

[0263] In some embodiments, the regional correlation between the preliminary reconstruction feature and the preserved reference feature may be obtained. The regional correlation may include a correlation between corresponding regions, a correlation between corresponding feature points, etc. Prediction values of the reconstruction information (i.e., prediction values of regions and feature points corresponding to the preliminary reconstruction feature) may be obtained by weighting the preserved reference feature based on the regional correlation, and the reconstruction information of the current frame may be obtained by fusing the preliminary reconstruction feature and the prediction values of the reconstruction information.

[0264] Merely by way of example, the preserved reference feature may be a fused reference feature by fusing a preserved short-term reference feature and a preserved long-term reference feature through a fusion module, and the temporal correlation technique may be performed based on the fused reference feature. The fusion module may include a convolution network, a residual network, an attention network, or the like, or any combination thereof.

[0265] Referring to FIG. 19, FIG. 19 is a schematic diagram illustrating an exemplary process 1900 for obtaining reconstruction information of a current frame according to some embodiments of the present disclosure.

[0266] As illustrated in FIG. 19, a plurality of reconstruction feature blocks (i.e., A1-AN) and preserved reference blocks (i.e., B1-BN) may be obtained by dividing a preliminary reconstruction feature 1910 and a fused reference feature 1920 (which is similar to the fused reference feature 1812) based on a preset blocking manner, respectively. As used herein, the preset blocking manner may include a uniform / non-uniform blocking manner with a target number of blocks. A first size of each reconstruction feature block may be the same as a second size of a corresponding preserved reference block. In some embodiments, N is a positive integer. For example, if N is 4, the reconstruction feature blocks may include A1, A2, A3, and A4, and the preserved reference blocks may include B1, B2, B3, and B4.

[0267] A regional correlation between the reconstruction feature blocks and the preserved reference blocks may be determined, and prediction values of reconstruction information 1940 may be obtained by weighting each preserved reference block based on the regional correlation. In some embodiments, the prediction values of reconstruction information 1940 may be obtained through a non-local attention network 1930. For example, the non-local attention network 1930 may obtain the prediction values of reconstruction information 1940 by performing non-local attention on each reconstruction feature block and the corresponding preserved reference block. For instance, the non-local attention network 1930 may be used to obtain the regional correlation, and obtain the prediction values of reconstruction information 1940 by weighting each preserved reference block based on the regional correlation. The weighting may include a weighted sum manner. For example, a prediction value of each feature point in the reconstruction information may be obtained by a weighted sum of all feature points in the preserved reference block based on the regional correlation. The prediction values of reconstruction information 1940 may be prediction points of the reconstruction information or prediction values of the reconstruction information.

[0268] The prediction values of reconstruction information may be taken as an example, and the prediction values of reconstruction information may be referred to as prediction values for ease of description.

[0269] Merely by way of example, as illustrated in FIG. 19, a prediction value C1 corresponding to a reconstruction feature block A1 and a preserved reference block B1 may be obtained by performing a non-local attention on the reconstruction feature block A1 and the preserved reference block B1 through the non-local attention network 1930. A prediction value C2 corresponding to a reconstruction feature block A2 and a preserved reference block B2 may be obtained by performing the non-local attention on the reconstruction feature block A2 and the preserved reference block B2 through the non-local attention network 1930. Similarly, a prediction value CN corresponding to a reconstruction feature block AN and a preserved reference block BN may be obtained by performing the non-local attention on the reconstruction feature block AN and the preserved reference block BN through the non-local attention network 1930.

[0270] In some embodiments, referring to FIG. 20, a process of performing the non-local attention on the reconstruction feature block A1 and the preserved reference block B1 through the non-local attention network 1930 is taken as an example. Each block may include a plurality of feature points. A regional correlation W1 between the reconstruction feature block A1 and the preserved reference block B1 may be determined by performing a regional correlation computation between the reconstruction feature block A1 and the preserved reference block B1. The regional correlation W1 represents a weighting value of each feature point in each block. A prediction value C1 may be obtained by weighting the preserved reference block B1 based on the regional correlation W1. For example, each feature point may be obtained by a weighted sum of all feature points in the preserved reference block B1. In this way, the prediction value of each block may be obtained.

[0271] Then, referring to FIG. 19, the preliminary reconstruction feature 1910 and the prediction values of reconstruction information 1940 may be input into a fusion network 1950, and the fusion network 1950 may output a reconstruction feature 1952 and a reconstruction image 1954. The fusion network 1950 may be a neural network, such as, a residual network, a recurrent network, a convolutional network, an attention network, or the like, or any combination thereof. Merely by way of example, the fusion network 1950 may include a convolution network, a first residual network, an up-sampling network, and a second residual network. The convolution network and the first residual network may output the reconstruction feature 1952, and the up-sampling network and the second residual network may output the reconstruction image 1954.

[0272] By introducing the fused reference feature for reconstruction, the reconstruction information of the current frame can be obtained by processing the preliminary reconstruction feature based on the preserved reference feature, which can make full use of temporal information for the reconstruction of the current frame, thereby improving the accuracy of the reconstruction information, the reconstruction effect, and the decoding performance.

[0273] In some embodiments, the decoding information may include a decoding feature of the current frame, and the decoder 114 may obtain the preserved optimized decoding feature by optimizing a preserved decoding feature through the feature refresh module. More descriptions regarding the obtaining of the preserved optimized decoding feature may be found elsewhere in the present disclosure. See, e.g., FIGs. 21-28 and relevant descriptions thereof.

[0274] In some embodiments, the process 1100 may proceed to operation 1106. In 1106, the decoder 114 (e.g., the determination module 310) may buffer the reference information. For example, the decoder 114 may buffer the reference information (e.g., the reconstruction feature, the prediction feature, the first reference feature (including the first long-term reference feature and the first short-term reference feature) , the second reference feature (including the second long-term reference feature and the second short-term reference feature) , the fused long-term reference feature, the updated long-term reference feature, the third short-term reference feature, etc., of the current frame and the decoding information of the one or more previous frames in the buffer module.

[0275] According to some embodiments of the present disclosure, the reference information to be preserved for use in decoding second bitstream data of a subsequent frame can be determined based on the decoding information. This can strengthen the transmission of the reference information between frames, thereby improving the prediction accuracy of and the decoding performance.

[0276] FIG. 21 is a flowchart illustrating an exemplary process 2100 for image data encoding according to some embodiments of the present disclosure.

[0277] In 2102, the decoder 114 (e.g., the obtaining module 320) may obtain a decoding feature of a current frame.

[0278] The decoding feature refers to a feature relating to the decoding of the current frame. For example, the decoding feature may include feature (s) generated during the decoding of the current frame, such as, a motion feature, a residual feature, a prediction feature, etc., of the current frame. As another example, the decoding feature may include feature (s) generated after the decoding of the current frame. For instance, the decoding feature may include a reconstruction feature of the current frame obtained by processing the residual feature and the prediction feature of the current frame.

[0279] In some embodiments, the decoder 114 may obtain the decoding feature during a decoding process of bitstream data of the current frame. For example, referring to FIG. 2A and 4-20, the decoding feature may include features output by the motion information entropy model, the motion information decoder, the motion compensation module, the residual information entropy model, the residual information decoder, the frame reconstruction module, etc.

[0280] In some embodiments, the decoder 114 may obtain the decoding feature based on decoding information. For example, the decoding information may include the decoding feature, such as, the motion feature, the residual feature, the prediction feature, the reconstruction feature, etc., of the current frame. As another example, the decoder 114 may obtain the decoding feature by performing a feature extraction on the decoding information.

[0281] In some embodiments, the decoder 114 may determine whether the decoding feature of the current frame needs to be optimized. For example, the decoder 114 may determine whether the decoding feature satisfies an optimization condition. If the decoding feature satisfies the optimization condition, the decoder 114 may determine that the decoding feature of the current frame needs to be optimized. For example, the optimization condition may include that a count of frames that have been decoded exceeds a count threshold (e.g., 10, 20, 30, 50, 80, 100, etc. ) , a redundancy degree of the decoding feature exceeds a redundancy threshold (e.g., 5%, 10%, 15%, 20%, 30%, 50%, etc. ) , a distortion situation of a reconstruction image of the current frame exceeds a distortion threshold, or the like, or any combination thereof. The redundancy degree refers to a ratio of information that needs to be optimized (e.g., repeat information, error information, etc. ) in the decoding feature to the whole decoding feature.

[0282] If the decoding feature of the current frame needs to be optimized, the process 2100 may proceed to operation 2104. At this time, the decoding feature may be also referred to as a decoding feature to be optimized.

[0283] If the decoding feature of the current frame does not need to be optimized, the decoding feature is directly buffered as the reference information (or a portion thereof) for use in decoding second bitstream data of a subsequent frame.

[0284] In 2104, the decoder 114 (e.g., the obtaining module 320) may obtain an optimized decoding feature by refreshing, based on relevant reference information, the decoding feature.

[0285] The relevant reference information may include spatial prior information of the current frame, buffer information in a buffer module, or the like, or any combination thereof.

[0286] The spatial prior information of the current frame may indicate second decoding information having a preset correlation degree with image information of the current frame. For example, the spatial prior information may be the second decoding information that has the preset correlation degree with the image information of the current frame among first decoding information as described in FIG. 4. In some embodiments, the spatial prior information may focus on a correlation of pixel values in the image information. For example, the spatial prior information may denote decoding information that has a strong correlation with the image information of the current frame, and the strong correlation refers to as a high correlation with the image information (e.g., an original image, a reconstruction image, etc. ) of the current frame. Exemplary spatial prior information may include reconstruction information, prediction information, residual information, or the like, or any combination thereof, of the current frame.

[0287] The buffer information refers to information stored in a buffer module (e.g., preserved reference information) connected to the decoder 114. In some embodiments, the buffer information may represent temporal information of decoded frame (s) , intermediate information (e.g., intermediate variables) and the decoding information generated in the decoding process of the decoded frame (s) , etc. For example, the buffer information may include buffered decoding information of the decoded frame (s) buffered, previous short-term reference information and / or previous long-term reference information of the decoded frame (s) , or the like, or any combination thereof.

[0288] The previous short-term reference information may include third decoding information of the decoded frame, and the previous long-term reference information may include a second optimized decoding feature of the decoded frame. Exemplary buffer information may include the motion feature (e.g., a motion residual, a motion vector, etc. ) , the residual feature, a feature of a reconstruction image, supplementary information output by a feature refresh module, an optimized motion feature (e.g., an optimized motion residual) , an optimized residual feature, an optimized reconstruction features, or the like, or any combination thereof. The feature of the reconstruction image may include a feature extracted from a reconstruction feature and / or a reconstruction image of a reference frame of the decoded frame. For example, the feature of the reconstruction image of the decoded frame includes the second feature of the reference frame as described in FIGs. 2A-10B.

[0289] In some embodiments, the decoding feature and the relevant reference information may be input into the feature refresh module, and the feature refresh module may output the optimized decoding feature.

[0290] In some embodiments, before obtaining the optimized decoding feature, the decoder 114 may determine, based on a type of the decoding feature, the relevant reference information corresponding to the type. The type of the decoding feature may be determined based on a relevance between the decoding feature and the reconstruction image of the current frame, based on the used relevant reference information, based on a refreshing manner of the decoding feature, based on whether the decoding feature is a type of the spatial prior information, or the like, or any combination thereof.

[0291] In some embodiments, the type of the decoding feature may include a first type and a second type. The first type may include the reconstruction feature, and the second type may include the residual feature, the motion feature (e.g., the motion residual) or the like, or any combination thereof.

[0292] If the type of the decoding feature is the first type, the decoder 114 may determine that the spatial prior information includes at least one of the reconstruction image or the prediction information of the current frame.

[0293] Since the reconstruction feature contains rich information, which is conducive to inter-frame propagation of the information, the reconstruction feature can be used as reference information (as described in FIG. 11) used in decoding second bitstream data of a subsequent frame and obtain prediction information of the subsequent frame. However, the reconstruction feature is prone to accumulating errors and including erroneous information, thereby leading to error propagation as the inter-frame propagation of the information. Therefore, the quality of the reconstruction feature has a great impact on the inter-frame propagation of the information.

[0294] To solve the above problem, an optimized reconstruction feature may be obtained by optimizing the reconstruction feature of the current frame based on at least one of the reconstruction image (pixel-domain information) of the current frame, the prediction information of the current frame, or the temporal information of the decoded frames (i.e., the buffer information, including the long-term reference information and / or the short-term reference information) . This can reduce error information in the reconstruction feature, thereby reducing the propagation of the error information and enhancing the propagation of the long-term reference information.

[0295] By optimizing the reconstruction feature of the current frame, the feature of the reference frame for the subsequent frame may further include the reconstruction image and the reconstruction feature, as well as the optimized reconstruction feature of the current frame, which can provide more reference information for the subsequent frame, thereby improving the accuracy of the second feature, subsequent modules, and the decoding process of the subsequent frame.

[0296] For example, since the reconstruction image of the current frame includes pixel information of only a few channels and the training is supervised using a loss of the pixel domain, the quality of the reconstruction image may be relatively high. Therefore, the reconstruction feature of the current frame may be optimized only based on the reconstruction image of the current frame.

[0297] As another example, the reconstruction feature of the current frame may be optimized based on the reconstruction image of the current frame, the prediction information of the current frame, and the buffer information.

[0298] If the type of the decoding feature is the second type, the decoder 114 may determine that the spatial prior information includes at least one of the reconstruction information, the prediction information, or the residual information of the current frame. The reconstruction information may include the reconstruction image and / or the reconstruction feature. The reconstruction feature may be the reconstruction feature of the current frame that has not been optimized or the optimized reconstruction feature.

[0299] In some embodiments, the residual feature and / or the motion feature may be optimized based on the spatial prior information and / or the buffer information. For example, when the type of the decoding feature is the second type, the decoder 114 may obtain the optimized decoding feature by optimizing the decoding feature based on the reconstruction feature of the current frame, the prediction feature of the current frame, the optimized reconstruction feature corresponding to the current frame, the buffer information, or the like, or any combination thereof.

[0300] In some embodiments, the feature refresh module may include a preset fusion network. The preset fusion network may obtain the optimized decoding feature based on the spatial prior information of the current frame and / or the buffer information. For example, the decoder 114 may obtain the optimized decoding feature by refreshing, through the preset fusion model, the decoding feature and the at least one of the spatial prior information of the current frame or the buffer information. The preset fusion network may be a neural network with an information filtering mechanism that influences and refreshes the decoding feature to be optimized based on the relevant reference information (e.g., the spatial prior information of the current frame and / or the buffer information) . In some embodiments, the preset fusion network may include an attention network, a Transformer, an LSTM recurrent network, or the like, or any combination thereof.

[0301] In some embodiments, when the relevant reference information includes the spatial prior information of the current frame, the decoder 114 may obtain transformed spatial prior information by performing a preset transformation on the spatial prior information, and fuse the decoding feature to be optimized and the transformed spatial prior information. For example, the decoder 114 may obtain a transformation feature by performing the preset transformation on the spatial prior information. The preset transformation may include an image-to-feature transformation, information adjustment, dimension adjustment, or the like, or any combination thereof. Then, the decoder 114 may obtain the optimized decoding feature of the current frame by refreshing the decoding feature and the at least one of the transformation feature or the buffer information.

[0302] For example, when the type of the decoding feature to be optimized is the second type, the decoder 114 may obtain the transformation feature by performing the preset transformation on the spatial prior information, and obtain the optimized decoding feature by refreshing the decoding feature and the transformation feature.

[0303] As another example, when the type of the decoding feature to be optimized is the first type (i.e., the decoding feature to be optimized is the reconstruction feature) , the decoder 114 may obtain the transformation feature by performing the image-to-feature transformation on the reconstruction image. Alternatively, the decoder 114 may obtain the transformation feature by performing a feature extraction on the reconstruction image.

[0304] In some embodiments, the decoding feature may be optimized based on supplementary information, an optimized intermediate feature, etc. The supplementary information refers to additional input information needed by the preset fusion network. For example, the supplementary information may include a network hidden state output by the preset fusion network in a previous time step. For example, the preset fusion network may be a recurrent network or a network including a structure of an LSTM recurrent network. The hidden state of the LSTM recurrent network is a set of hidden states at each time step when the LSTM recurrent network processes sequential data. The hidden state plays a key role in the LSTM recurrent network, which not only relies on current inputs, but also on a hidden state of a previous time step. For example, if the preset fusion network includes the LSTM recurrent network, the preset fusion network may output the optimized decoding feature and the network hidden state. The optimized decoding feature and the network hidden state may be stored in the buffer module to be used in the LSTM recurrent network for the subsequent frame, so as to assist in the optimization. The optimized intermediate feature may represent an intermediate feature generated during a refreshing process of a decoding feature of a previous frame.

[0305] In some embodiments, the preset fusion network may at least include the recurrent network. For example, the preset fusion network may include the recurrent network and at least another network.

[0306] In some embodiments, the buffer information may include at least one of first supplementary information, an optimized intermediate feature of the previous frame, a third optimized decoding feature of the previous frame, or a second decoding feature of the previous frame. When the relevant reference information includes multiple types of relevant reference information, the optimized intermediate feature may be obtained by refreshing a portion of the relevant reference information.

[0307] In some embodiments, the optimized decoding feature and second supplementary information of the current frame may be obtained by processing the decoding feature and the buffer information through the recurrent network. The buffer information may at least include the first supplementary information. The first supplementary information may include a first network hidden state transmitted by the previous frame, and the second supplementary information may include a second network hidden state transmitted to the subsequent frame.

[0308] In some embodiments, if the relevant reference information includes multiple types of relevant reference information, the optimized intermediate feature and the second supplementary information of the current frame may be obtained by processing the decoding feature and the buffer information through the recurrent network, and the optimized decoding feature may be obtained by fusing the optimized intermediate feature and the spatial prior information.

[0309] For illustration purposes, some embodiments are provided.

[0310] Referring to FIG. 22, FIG. 22 is a schematic diagram illustrating an exemplary process for refreshing a reconstruction feature of a current frame according to some embodiments of the present disclosure.

[0311] For a first type of a decoding feature, the decoding feature may be a reconstruction feature of a current frame, and relevant reference information may include a reconstruction image (pixel information) of the current frame, prediction information of the current frame, buffer information, or the like, or any combination thereof. An optimized reconstruction feature of the current frame may be obtained by refreshing the reconstruction feature based on at least one of the reconstruction image, the prediction information, or the buffer information.

[0312] The buffer information may include a decoded motion feature, a decoded residual feature, a feature of a reference frame and / or supplementary information output by a preset fusion network in processing a previous frame, or the like, or any combination thereof. Alternatively, an output of the preset fusion network in processing the previous frame may be connected to an input of the preset fusion network in processing the current frame according to a feedback refresh principle. In some embodiments, the preset fusion network may obtain an image feature (e.g., the second feature) by performing a feature extraction on the reconstruction image, and obtain the optimized reconstruction feature by fusing the image feature of the current frame, the prediction information of the current frame, and / or the buffer information. The preset fusion network may include an attention network, a Transformer, an LSTM recurrent network, or the like, or any combination thereof. In some embodiments, the preset fusion network may further output supplementary information.  Embodiment 1

[0313] Referring to FIG. 23, FIG. 23 is a schematic diagram illustrating an exemplary process for optimizing a reconstruction feature of a current frame according to some embodiments of the present disclosure.

[0314] As illustrated in FIG. 23, a reconstruction feature may be optimized based on a reconstruction image of a current frame. In response to determining that a decoding feature is the reconstruction feature, and relevant reference information includes the reconstruction image of the current frame, an image feature may be obtained by processing the reconstruction image through a residual block, and a first spliced feature may be obtained by performing a channel splice on the image feature and the reconstruction image. Then, an optimized reconstruction feature of the current frame may be obtained by performing a channel-attention operation on the first spliced feature through a channel-attention network. Embodiment 2

[0315] Referring to FIG. 24, FIG. 24 is a schematic diagram illustrating an exemplary process for refreshing a reconstruction feature of a current frame according to some embodiments of the present disclosure.

[0316] As illustrated in FIG. 24, a reconstruction feature may be refreshed based on buffer information and prediction information. The buffer information may include an optimized reconstruction feature or a reconstruction feature of a previous frame (e.g., a reference frame) . In some embodiments, the buffer information may further include first supplementary information, i.e., a first network hidden state output by the LSTM when decoding the previous frame.

[0317] In response to determining that a decoding feature is the reconstruction feature, an optimized intermediate feature and second supplementary information (i.e., a second network hidden state) of the current frame may be obtained by processing the reconstruction feature of the current frame, the first supplementary information (i.e., the first network hidden state) , an optimized intermediate feature of the previous frame, and / or the optimized reconstruction feature of the previous frame. Then, an optimized reconstruction feature of the current frame may be obtained by processing (e.g., fusing, registering, etc. ) the optimized intermediate feature of the current frame and the prediction information of the current frame. In some embodiments, the optimized intermediate feature may also be used as the optimized reconstruction feature.

[0318] Referring to FIG. 25, FIG. 25 is a schematic diagram illustrating an exemplary process for refreshing a decoding feature of a current frame according to some embodiments of the present disclosure.

[0319] For a second type of a decoding feature, the decoding feature of a current frame may be a motion feature (e.g., a motion residual) and / or a residual feature. The motion residual refers to reconstructed motion information generated by a motion inverse transform at a motion information decoder. The decoding feature may include intermediate information generated by an entropy model (e.g., a motion information entropy model, a residual information entropy model) . The second type of the decoding feature may be optimized (refreshed) based on spatial prior information of the current frame or buffer information through a preset fusion module. For example, the preset fusion module may output an optimized motion feature and / or an optimized residual feature. In some embodiments, the preset fusion module may further output supplementary information. In some embodiments, a feature transformation may be performed on the spatial prior information when the spatial prior information is used to optimize the decoding feature. Embodiment 3

[0320] Referring to FIG. 26, FIG. 26 is a schematic diagram illustrating an exemplary process for optimizing a residual feature according to some embodiments of the present disclosure.

[0321] As illustrated in FIG. 26, a residual feature of the current frame may be optimized based on buffer information. The buffer information may include an optimized residual feature of a previous frame and a first network hidden state. An optimized residual feature may be obtained by processing the residual feature of the current frame and the buffer information through an LSTM recurrent network. In some embodiments, the LSTM recurrent network may further output a second network hidden state. Embodiment 4

[0322] Referring to FIG. 27, FIG. 27 is a schematic diagram illustrating an exemplary process for optimizing a residual feature according to some embodiments of the present disclosure.

[0323] As illustrated in FIG. 27, a residual feature of the current frame may be optimized based on spatial prior information. The spatial prior information may include a feature of a reconstruction image of the current frame. The feature of the reconstruction image of the current frame may include an optimized reconstruction feature, a reconstruction feature, a feature extracted from the reconstruction image, etc., of the current frame. The feature of the reconstruction image of the current frame may include rich information of the current frame and a previous frame (e.g., a reference frame) . An optimized residual feature may be obtained by processing the residual feature and the feature of the reference frame through a residual block.  Embodiment 5

[0324] Referring to FIG. 28, FIG. 28 is a schematic diagram illustrating an exemplary process for optimizing a motion feature according to some embodiments of the present disclosure.

[0325] As illustrated in FIG. 28, a motion feature of the current frame may be optimized based on buffer information. The buffer information may include a residual feature buffered in a buffer module. Since the residual feature indicates a difference between a current frame and predicted information, and is determined based on the motion feature, the residual feature may be used to optimize the motion feature. For example, the buffer information may include a long-term residual feature (i.e., a residual feature of a previous frame) and / or a short-term residual feature (i.e., an optimized residual feature) . A second spliced feature may be obtained by performing a channel splice on the residual feature and the motion feature. Then, an optimized motion feature may be obtained by performing a space-attention operation and a residual operation on the second spliced feature through a space-attention network and a residual block, respectively.

[0326] By refreshing feature information of the current frame based on the spatial prior information and the temporal information, important information to be transmitted to the subsequent frames can be mined, thereby improving the decoding performance and accuracy. By optimizing the feature of the reconstruction image of the current frame, and refreshing the reconstruction feature generated by the current frame based on the high-quality pixel information (the reconstruction image) , the prediction information, and / or the temporal information, important information to be transmitted to the subsequent frames can be further mined, thereby improving a positive effect on a compression process of the subsequent frames. By effectively refreshing the residual / motion feature, and introducing the spatial prior information and / or the temporal information to optimize the intermediate feature output from the entropy module, the effective transfer of the long-term reference information can be promoted, thereby improving the accuracy of the prediction of the subsequent frames. By introducing the spatial prior information and / or the temporal information, the motion residual can be optimized, which can adaptively transmit the motion residual that are beneficial to the subsequent frames, thereby improving the decoding accuracy and performance.

[0327] In 2106, the decoder 114 (e.g., the determination module 310) may buffer the optimized decoding feature.

[0328] After the decoding feature is optimized, the optimized decoding feature may be buffered in the buffer module.

[0329] In some embodiments, the decoding feature without the optimizing may also be buffered in the buffer module.

[0330] In some embodiments, the decoder 114 may store the optimized decoding feature as the long-term reference information, and store the decoding feature without the optimizing as the short-term reference information.

[0331] According to some embodiments of the present disclosure, the decoding feature can be optimized by refreshing the decoding feature (in the decoding information) based on relevant reference information. Therefore, important information in the decoding feature can be focused on. This can reduce / eliminate the transmission of error information between frames, further strengthening the transmission of the reference information between frames and improving the decoding performance and accuracy.

[0332] FIG. 29 is a block diagram illustrating an exemplary encoder 112 according to some embodiments of the present disclosure. In some embodiments, the encoder 112 may be in communication with a computer-readable storage medium (e.g., the storage device 150 illustrated in FIG. 1) and may execute instructions stored in the computer-readable storage medium. The encoder 112 may include a determination module 2910 and a generation module 2920.

[0333] The determination module 2910 may be configured to, for a current frame, determine, based on whether the current frame is a refresh frame, buffer information that needs to be enabled for the current frame from candidate buffer information relating to one or more previous frames that have been decoded before the current frame. Buffer information refers to information stored in a buffer module connected to the encoder 112. More descriptions regarding the determination of the enabled buffer information may be found elsewhere in the present disclosure. See, e.g., operation 3002 and relevant descriptions thereof.

[0334] The generation module 2920 may be configured to generate bitstream data of the current frame based on the enabled buffer information. The bitstream data may include motion information bitstream data and residual information bitstream data. More descriptions regarding the generation of the bitstream data of the current frame may be found elsewhere in the present disclosure. See, e.g., operation 3004 and relevant descriptions thereof.

[0335] It should be noted that the above descriptions of the encoder 112 are provided for the purposes of illustration, and are not intended to limit the scope of the present disclosure. For persons having ordinary skills in the art, various variations and modifications may be conducted under the guidance of the present disclosure. However, those variations and modifications do not depart from the scope of the present disclosure. In some embodiments, the encoder 112 may include one or more other modules. For example, the encoder 112 may include a storage module to store data generated by the modules in the encoder 112. In some embodiments, any two of the modules may be combined as a single module, and any one of the modules may be divided into two or more units.

[0336] FIG. 30 is a flowchart illustrating an exemplary process 3000 for image data encoding according to some embodiments of the present disclosure.

[0337] In 3002, for a current frame, the encoder 112 (e.g., the determination module 2910) may determine, based on whether the current frame is a refresh frame, buffer information that needs to be enabled for the current frame from candidate buffer information relating to one or more previous frames that have been decoded before the current frame.

[0338] Buffer information refers to information stored in a buffer module connected to the encoder 112.

[0339] ore descriptions regarding the buffer information and the refresh frame may be found elsewhere in the present disclosure. See, e.g., FIG. 4 and relevant descriptions thereof.

[0340] In 3004, the encoder 112 (e.g., the generation module 2920) may generate bitstream data of the current frame based on the enabled buffer information.

[0341] The bitstream data may include motion information bitstream data and residual information bitstream data. More descriptions regarding the bitstream data may be found elsewhere in the present disclosure. See, e.g., FIGs. 2A and 4 and relevant descriptions thereof.

[0342] Processes 400-900, 1100-2100, and 3000 may be implemented in the system 100 illustrated in FIG. 1. For example, the processes 400-900, 1100-2100, and 3000 may be stored in the storage device 150 as a form of instructions, and invoked and / or executed by the processing device of the encoder or decoder. The operations of the illustrated process presented below are intended to be illustrative. In some embodiments, the processes 400-900, 1100-2100, and 3000 may be accomplished with one or more additional operations not described, and / or without one or more of the operations discussed.

[0343] FIG. 31 is a schematic diagram illustrating an exemplary electronic device 3100 according to some embodiments of the present disclosure.

[0344] The electronic device 3100 may include a microcomputer, a server, a laptop, a tablet, or the like, or any combination thereof. As illustrated in FIG. 31, the electronic device 3100 may include at least one processor 3110 and at least one storage device 3120 coupled to the at least one processor 3110. In some embodiments, the encoder 112 and the decoder 114 may be implemented by the electronic device 3100. A specific connection medium between the processor (s) 3110 and the storage device (s) 3120 is not limited in the embodiments of the present disclosure. As illustrated in FIG. 31, the processor (s) 3110 and the storage device (s) 3120 may be connected via bus. It should be noted that the description of the bus is provided for the purposes of illustration, and is not intended to limit the scope of the present disclosure. The bus may include an address bus, a data bus, a control bus, etc. In some embodiments, the processor (s) 3110 may also be referred to as a controller, which is not limited herein.

[0345] The storage device (s) 3120 may store programs and / or instructions for implementing the processes in the above embodiments of the present disclosure. The processor (s) 3110 may be configured to execute the programs and / or instructions stored in the storage device (s) 3120 to implement operations of the processes in the above embodiments of the present disclosure. In some embodiments, the storage device (s) 3120 may include a buffer module for store buffer information as described in the above embodiments of the present disclosure. The processor (s) 3110 may include a central processing unit (CPU) . The processor (s) 3110 may be an integrated circuit chip that can process a signal. The processor (s) 3110 may include a general processor, a digital signal processor (DSP) , an application-specific integrated circuit (ASIC) , a field-programmable gate array (FPGA) or other programmable logic devices, a discrete gate or transistor logic devices, a discrete hardware component, etc. The general processor may be a microprocessor, or any conventional processor.

[0346] Some embodiments of the present disclosure also provide a computer-readable storage medium. Referring to FIG. 32, a computer-readable storage medium 3200 may store computer-executable instructions 3210, and the computer-executable instructions 3210 may be used to cause a computer to implement the processes in the above embodiments of the present disclosure. In some embodiments, the computer-readable storage medium 3200 may include a buffer module for store buffer information as described in the above embodiments of the present disclosure.

[0347] Having thus described the basic concepts, it may be rather apparent to those skilled in the art after reading this detailed disclosure that the foregoing detailed disclosure is intended to be presented by way of example only and is not limiting. Various alterations, improvements, and modifications may occur and are intended for those skilled in the art, though not expressly stated herein. These alterations, improvements, and modifications are intended to be suggested by this disclosure, and are within the spirit and scope of the exemplary embodiments of this disclosure.

[0348] Moreover, certain terminology has been used to describe embodiments of the present disclosure. For example, the terms “one embodiment, ” “an embodiment, ” and / or “some embodiments” mean that a particular feature, structure, or characteristic described in connection with the embodiment is included in at least one embodiment of the present disclosure. Therefore, it is emphasized and should be appreciated that two or more references to “an embodiment” or “one embodiment” or “an alternative embodiment” in various portions of this disclosure are not necessarily all referring to the same embodiment. Furthermore, the particular features, structures, or characteristics may be combined as suitable in one or more embodiments of the present disclosure.

[0349] Furthermore, the recited order of processing elements or sequences, or the use of numbers, letters, or other designations therefore, is not intended to limit the claimed processes and methods to any order except as may be specified in the claims. Although the above disclosure discusses through various examples what is currently considered to be a variety of useful embodiments of the disclosure, it is to be understood that such detail is solely for that purpose, and that the appended claims are not limited to the disclosed embodiments, but, on the contrary, are intended to cover modifications and equivalent arrangements that are within the spirit and scope of the disclosed embodiments. For example, although the implementation of various components described above may be embodied in a hardware device, it may also be implemented as a software only solution, e.g., an installation on an existing server or mobile device.

[0350] Similarly, it should be appreciated that in the foregoing description of embodiments of the present disclosure, various features are sometimes grouped together in a single embodiment, figure, or description thereof for the purpose of streamlining the disclosure aiding in the understanding of one or more of the various inventive embodiments. This method of disclosure, however, is not to be interpreted as reflecting an intention that the claimed subject matter requires more features than are expressly recited in each claim. Rather, inventive embodiments lie in less than all features of a single foregoing disclosed embodiment.

[0351] In some embodiments, the numbers expressing quantities or properties used to describe and claim certain embodiments of the application are to be understood as being modified in some instances by the term “about, ” “approximate, ” or “substantially. ” For example, “about, ” “approximate, ” or “substantially” may indicate ±20%variation of the value it describes, unless otherwise stated. Accordingly, in some embodiments, the numerical parameters set forth in the written description and attached claims are approximations that may vary depending upon the desired properties sought to be obtained by a particular embodiment. In some embodiments, the numerical parameters should be construed in light of the number of reported significant digits and by applying ordinary rounding techniques. Notwithstanding that the numerical ranges and parameters setting forth the broad scope of some embodiments of the application are approximations, the numerical values set forth in the specific examples are reported as precisely as practicable.

[0352] Each of the patents, patent applications, publications of patent applications, and other material, such as articles, books, specifications, publications, documents, things, and / or the like, referenced herein is hereby incorporated herein by this reference in its entirety for all purposes, excepting any prosecution file history associated with same, any of same that is inconsistent with or in conflict with the present document, or any of same that may have a limiting effect as to the broadest scope of the claims now or later associated with the present document. By way of example, should there be any inconsistency or conflict between the description, definition, and / or the use of a term associated with any of the incorporated material and that associated with the present document, the description, definition, and / or the use of the term in the present document shall prevail.

[0353] In closing, it is to be understood that the embodiments of the application disclosed herein are illustrative of the principles of the embodiments of the application. Other modifications that may be employed may be within the scope of the application. Thus, by way of example, but not of limitation, alternative configurations of the embodiments of the application may be utilized in accordance with the teachings herein. Accordingly, embodiments of the present application are not limited to that precisely as shown and described.

Claims

1.A method for image data decoding, implemented by a decoder, comprising:for a current frame, determining, based on whether the current frame is a refresh frame, buffer information that needs to be enabled for the current frame from candidate buffer information relating to one or more previous frames that have been decoded before the current frame; anddecoding, based on the enabled buffer information, bitstream data of the current frame.2.The method of claim 1, wherein the one or more previous frames include a reference frame, the candidate buffer information includes a reconstruction image of the reference frame, a reconstruction feature of the reference frame, residual information of the reference frame, and motion information of the reference frame.3.The method of claim 2, wherein the decoding, based on the enabled buffer information, bitstream data of the current frame includes:in response to determining that the enabled buffer information includes the residual information of the reference frame, obtaining a first fusion feature by fusing a hyperprior decoding motion feature of the current frame and a residual feature, the residual feature being determined based on the residual information of the reference frame;obtaining motion information of the current frame by decoding, based on the first fusion feature, motion information bitstream data of the current frame; anddecoding the bitstream data of the current frame based on the motion information of the current frame.4.The method of claim 2, wherein the decoding, based on the enabled buffer information, bitstream data of the current frame includes:in response to determining that the enabled buffer information includes the residual information of the reference frame, obtaining a second fusion feature by fusing a hyperprior decoding residual feature of the current frame and an alignment feature, wherein the alignment feature is obtained by performing a motion compensation on a first temporal residual feature, and the first temporal residual feature includes residual information corresponding to one or more first previous frames that have been decoded before the current frame;obtaining residual information of the current frame by decoding, based on the second fusion feature, residual information bitstream data of the current frame; anddecoding the bitstream data of the current frame based on the residual information of the current frame.5.The method of claim 2, wherein the decoding, based on the enabled buffer information, bitstream data of the current frame includes:in response to determining that the enabled buffer information includes the residual information of the reference frame, obtaining an optimization feature by optimizing, based on a second temporal residual feature and / or a prediction feature of the current frame, a residual feature of the current frame, wherein the second temporal residual feature includes residual information corresponding to one or more second previous frames that have been decoded before the current frame;obtaining residual information of the current frame by reconstructing the optimization feature; anddecoding the bitstream data of the current frame based on the residual information of the current frame.6.The method of claim 1, further comprising:determining, based on decoding information, reference information to be preserved for use in decoding second bitstream data of a subsequent frame, wherein the decoding information is obtained by decoding, based on the enabled buffer information, the bitstream data of the current frame.7.The method of claim 6, wherein the reference information includes a reference feature determined by:obtaining the reference feature corresponding to the decoding information by processing, through a long-term dependency generation network, previous reference features of the one or more previous frames and the decoding information, wherein the previous reference feature includes one or more previous long-term reference features and / or one or more previous short-term reference features.8.The method of claim 7, wherein the decoding information is obtained by decoding, through a decoding module in the decoder, the bitstream data of the current frame,the long-term dependency generation network is disposed before, in, or after the decoding module,the decoding module includes at least one of a frame reconstruction module or a motion compensation module, the frame reconstruction module being configured to obtain a reconstruction feature of the current frame, and the motion compensation module being configured to obtain a prediction feature of the current frame.9.The method of claim 7, wherein the reference feature includes a plurality of long-term reference features, and the method further comprises:obtaining a fused long-term reference feature by fusing the plurality of long-term reference features.10.The method of claim 6, wherein the reference information includes a long-term reference feature of the current frame, and the method further comprises:obtaining an updated long-term reference feature by updating the long-term reference feature based on a short-term reference feature of a reconstruction image of the current frame, wherein the short-term reference feature is obtained by performing feature extraction on the reconstruction image.11.The method of claim 10, wherein the obtaining an updated long-term reference feature by updating the long-term reference feature based on a short-term reference feature of the reconstruction image includes:obtaining weighted values corresponding to the long-term reference feature and the short-term reference feature, respectively, by processing the long-term reference feature and the short-term reference feature through a weighting network;obtaining a short-term modulation feature and a long-term modulation feature by modulating the long-term reference feature and the short-term reference feature based on the corresponding weighted values, respectively; andobtaining the updated long-term reference feature based on the short-term modulation feature and the long-term modulation feature.12.The method of claim 6, wherein the decoding information includes a decoding feature of the current frame,the determining reference information to be preserved for use in decoding second bitstream data of a subsequent frame comprises: obtaining an optimized decoding feature by refreshing, based on relevant reference information, the decoding feature, wherein the relevant reference information includes at least one of spatial prior information of the current frame or the buffer information, the reference information includes the optimized decoding feature, andthe method further comprises: buffering the reference information.13.The method of claim 12, whereinthe spatial prior information of the current frame indicates second decoding information having a preset correlation degree with image information of the current frame;the spatial prior information includes at least one of reconstruction information, prediction information, or the residual information of the current frame;the buffer information includes previous short-term reference information and / or previous long-term reference information of the one or more previous frames, the previous short-term reference information including third decoding information of the one or more previous frames, and the previous long-term reference information including a second optimized decoding feature of the one or more previous frames.14.The method of claim 12, wherein before obtaining the optimized decoding feature, the method further comprises:determining, based on a type of the decoding feature, the relevant reference information corresponding to the type.15.The method of claim 14, wherein the determining, based on a type of the decoding feature, the relevant reference information corresponding to the type includes:in response to determining that the type of the decoding feature is a first type, determining that the spatial prior information includes at least one of a reconstruction image or prediction information of the current frame, the first type including a reconstruction feature; orin response to determining that the type of the decoding feature is a second type, determining that the spatial prior information includes at least one of reconstruction information, prediction information, or the residual information of the current frame, the second type including at least one of a residual feature or a motion feature.16.The method of claim 12, wherein the obtaining an optimized decoding feature by refreshing, based on the relevant reference information, the decoding feature includes:obtaining the optimized decoding feature by refreshing, through a preset fusion model, the decoding feature and the at least one of the spatial prior information of the current frame or the buffer information.17.The method of claim 16, wherein the obtaining the optimized decoding feature by refreshing, through a preset fusion model, the decoding feature and the at least one of the spatial prior information of the current frame or the buffer information includes:in response to determining that the relevant reference information includes the spatial prior information, obtaining a transformation feature by performing a preset transformation on the spatial prior information; andobtaining the optimized decoding feature of the current frame by refreshing the decoding feature and the at least one of the transformation feature or the buffer information.18.The method of claim 16, whereinthe preset fusion model include at least a preset recurrent network; and / orthe buffer information includes at least one of first supplementary information, an optimized intermediate feature of a previous frame, a third optimized decoding feature of the one or more previous frames, or a second decoding feature of the one or more previous frames, wherein when the relevant reference information includes multiple types of relevant reference information, the optimized intermediate feature is obtained by refreshing a portion of the relevant reference information; and / orthe obtaining the optimized decoding feature by refreshing, through a preset fusion model, the decoding feature and the at least one of the spatial prior information of the current frame or the buffer information includes:in response to determining that the relevant reference information includes multiple types of relevant reference information, obtaining the optimized intermediate feature and second supplementary information of the current frame; andobtaining the optimized decoding feature by fusing the optimized intermediate feature and the spatial prior information, wherein the buffer information at least include the first supplementary information, the first supplementary information including a first network hidden state transmitted by the one or more previous frames, and the second supplementary information including a second network hidden state transmitted to the subsequent frame.19.The method of claim 12, further comprising:in response to determining that the optimized decoding feature is obtained by refreshing the decoding feature, designating the optimized decoding feature as long-term reference information; and / orin response to determining that the optimized decoding feature is obtained without refreshing the decoding feature, designating the optimized decoding feature as short-term reference information; and / or the buffering the optimized decoding feature of the current frame includes:buffering the optimized decoding feature of the current frame; orbuffering the decoding feature and the optimized decoding feature of the current frame, wherein the decoding feature and the optimized decoding feature are configured to participate in decoding the subsequent frame after the current frame.20.A system for image data decoding, comprising:a decoder including a determination module and an obtaining module, whereinthe determination module is configured to, for a current frame, determine, based on whether the current frame is a refresh frame, buffer information that needs to be enabled for the current frame from candidate buffer information relating to one or more previous frames that have been decoded before the current frame; andthe obtaining module is configured to decode, based on the enabled buffer information, bitstream data of the current frame.21.A method for image data encoding, implemented by an encoder, comprising:for a current frame, determining, based on whether the current frame is a refresh frame, buffer information that needs to be enabled for the current frame from candidate buffer information relating to one or more previous frames that have been encoded before the current frame; andgenerating bitstream data of the current frame based on the enabled buffer information.22.A system for image data encoding, comprising:an encoder including a determination module and a generation module, whereinthe determination module is configured to, for a current frame, determine, based on whether the current frame is a refresh frame, buffer information that needs to be enabled for the current frame from candidate buffer information relating to one or more previous frames that have been decoded before the current frame; andthe obtaining module is configured to generate bitstream data of the current frame based on the enabled buffer information.

Images