Neural video coding

Abstract

According to implementations of the present disclosure, there is provided a solution for neural video coding. In this solution, a target information set is selected from a plurality of information sets based on a target quantization parameter for a conversion between a target image and a bitstream, the plurality of information sets being obtained during training of a codec, and an information set corresponding to a quantization parameter and comprising reference assistance information for visual data coding. Target assistance information for coding the target image is determined based on the target information set. Then, the conversion is performed based on the target assistance information by using the codec. In this way, assistance information for visual data coding is allowed to vary at different rates, thereby enhancing the performance of the codec.

Description

NEURAL VIDEO CODING

[0001] CROSS REFERENCE

[0002] This application claims the benefit of Chinese Patent Application No. 202410070123.6 filed on January 17, 2024, entitled “NEURAL VIDEO CODING” , which is hereby incorporated by reference in its entirety.BACKGROUND

[0003] Traditional standard codec, which relies on a hybrid residual coding-based framework, has been in development for several years and is still being refined. However, the improvement in compression ratio has diminished, while the increase in complexity has grown significantly. This makes further advancements within the traditional framework more and more challenging. Recently, neural video codec (NVC) has gained considerable attention, as it holds the potential to break this development bottleneck.SUMMARY

[0004] According to implementations of the present disclosure, there is provided a solution for visual data coding, for example neural video coding. In this solution, a target information set is selected from a plurality of information sets based on a target quantization parameter for a conversion between a target image and a bitstream. The plurality of information sets is obtained during training of a codec, and an information set corresponds to a quantization parameter and comprises reference assistance information for visual data coding. Target assistance information for coding the target image is determined based on the target information set. Then, the conversion between the target image and the bitstream is performed based on the target assistance information by using the codec. In implementations of the present disclosure, different assistance information sets for coding visual data at respective different rates are predetermined. The assistance information sets may include a variety of information items for coding, for example, estimated distribution of hyper representation, quantization modulation information, etc. In this way, assistance information for coding is allowed to vary at different rates, thereby enhancing the performance of the codec.

[0005] The Summary is to introduce a selection of concepts in a simplified form that are further described below in the Detailed Description. The Summary is not intended to identify key features or essential features of the present disclosure, nor is it intended to be used to limit  the scope of the present disclosure.BRIEF DESCRIPTION OF THE DRAWINGS

[0006] FIG. 1 illustrates a block diagram of an example environment in which various implementations of the present disclosure may be implemented;

[0007] FIG. 2A illustrates a schematic block diagram of a partial structure of a video codec model in accordance with some implementations of the present disclosure;

[0008] FIG. 2B illustrates a schematic diagram of a process of selection of a target information set in accordance with some implementations of the present disclosure;

[0009] FIG. 3 illustrates a schematic block diagram of an example architecture of a frame coding model in accordance with some implementations of the present disclosure;

[0010] FIG. 4 illustrates a flow chart of a method in accordance with implementations of the present disclosure; and

[0011] FIG. 5 illustrates a block diagram of an electronic device in which various embodiments of the present disclosure can be implemented;

[0012] Throughout the drawings, the same or similar reference symbols refer to the same or similar elements.

[0013] DETAILED DESCRIPTION OF IMPLEMENTATIONS

[0014] Principles of the present disclosure will now be described with reference to some example implementations. It is to be understood that these implementations are described only for the purpose of illustration and help those skilled in the art to better understand and thus implement the present disclosure, without suggesting any limitations to the scope of the subject matter disclosed herein.

[0015] As used herein, the term “includes” and its variants are to be read as open terms that mean “includes, but is not limited to. ” The term “based on” is to be read as “based at least in part on. ” The terms “an implementation” and “one implementation” are to be read as “at least one implementation. ” The term “another implementation” is to be read as “at least one other implementation. ” The term “first, ” “second, ” and the like may refer to different or the same objects. Other definitions, either explicit or implicit, may be included below.

[0016] As used herein, a “machine learning model” is an AI model, which may also be referred to as a “learning model” , “learning network” , “network model” , or “model. ” These  terms are used interchangeably hereinafter. A deep learning model is one example machine learning model, examples of which include a “neural network. ” A parameter set of the machine learning model is determined through a training phrase of the model based on training data. The trained machine learning model maps a received input to a corresponding output using the trained parameter set. Therefore, the training process of a machine learning model may be considered as learning, from the training data, a mapping or association between the input and the output.

[0017] Example environment

[0018] FIG. 1 illustrates a block diagram of an example environment 100 in which various implementations of the subject matter described herein can be implemented. In the environment of FIG. 1, an electronic device 110 includes a video codec 112 configured to encode and / or decode a video. An electronic device 120 includes a video codec 122 configured to encode and / or decode a video. The video codec 112 or video codec 122 may include encoders and / or decoders. In the encoding, an encoder may encode a video 130 into a bitstream 132. In the decoding, a decoder may decode the bitstream 132 into the video 130.

[0019] The electronic devices 110 and 120 can communicate with each other through any appropriate communication network. In some codec scenarios, the electronic device 110 and the electronic device 120 may perform video communication, and the video codec 112 and 122 may both implement the encoding and decoding of the video. For example, the electronic device 110 may provide a bitstream obtained after video encoding to the electronic device 120 for decoding, and the electronic device 120 may decode the received bitstream to obtain the corresponding video. In addition, the electronic device 120 may also provide a video encoding result to the electronic device 110 for decoding. In some codec scenarios, the video codec 112 in the electronic device 110 may include an encoder for encoding a video into a bitstream. The electronic device 120 may include a video playback tool, where the video codec 122 includes a decoder for decoding the bitstream generated by the video codec 112 to obtain the video for playback.

[0020] It would be appreciated that the devices and elements shown in FIG. 1 are only examples. In practical applications, there may exist more electronic devices, and each electronic device may have video encoding and / or decoding functions.

[0021] As briefly mentioned above, NVC has gained considerable attention. As an important requirement for a practical NVC, variable-rate coding has been investigated in some related  solutions. Typically, these related solutions multiply the scalar to the latent to modulate the amplitude to achieve different rates. However, these solutions use the same factorized prior module to model the hyper representation z (sometimes also referred to as hyper latent) , while z follows different distributions at different rates. It means that these solutions might fail in accurately estimating the distribution of z, leading to sub-optimal performance.

[0022] According to implementations of the present disclosure, there is provided a solution for visual data coding, for example, neural video coding. In this solution, a target information set is selected from a plurality of information sets based on a target quantization parameter for a conversion between a target image and a bitstream, the plurality of information sets being obtained during training of a codec, and an information set corresponding to a quantization parameter and comprising reference assistance information for visual data coding. Target assistance information for coding the target image is determined based on the target information set. Then, the conversion is performed based on the target assistance information by using the codec.

[0023] In implementations of the present disclosure, different assistance information sets for coding visual data at respective different rates are predetermined. The assistance information sets may include a variety of information items for coding, for example, estimated distribution of hyper representation z, quantization modulation information, etc. In this way, assistance information for visual data coding is allowed to vary at different rates, thereby enhancing the performance of the codec.

[0024] Example implementations of the present disclosure will be discussed in detail below with reference to FIGS. 2-5. In the following, some implementations may be described with respect to a video. However, this is merely for purposes of illustration without any limitation, and implementations of the present disclosure may be used for visual data of other types, for example, an image, an image set, etc.

[0025] Example architecture of video codec model

[0026] To better understand the implementations of the present disclosure, an example architecture of a video codec model is first described. FIG. 2A illustrates a schematic block diagram of a partial structure of a video codec model 200 in accordance with some implementations of the present disclosure. The respective components in the video codec model 200 may be implemented in hardware, software, firmware or any combination thereof. The video codec model 200 may be implemented in the video codec 112 and / or 122 of FIG. 1.  It is to be noted that FIG. 2A only shows a partial structure of the entire video codec model, and the model may have more other components.

[0027] In the example of FIG. 2, the video codec model 200 may include a motion vector coding (containing motion estimation) model 210, a context extraction model 220, and a frame coding model 230. Those models may be implemented based on the machine learning techniques, for example, the neural network architecture. In some implementations, to obtain a higher compression ratio, the video codec model 200 may be implemented based on condition coding, which is more flexible and can guide the coding of frames under the condition of the extracted context information.

[0028] The video codec model 200 may implement a conversion between each frame in a video and a bitstream of the video. The conversion includes an encoding process of the video, a decoding process of the video, or both. In the encoding process, the video codec model 200 receives a sequence of frames of the video, and may perform video encoding on respective frames to obtain the bitstream of the video. In the decoding process, the video codec model 200 receives the bitstream of the video and decodes the sequence of frames of the video. In the following, except for the operations that are explicitly specified, other operations may be considered to be performed at both the encoding and decoding sides of the video. For ease of understanding, the basic working principle of the video codec model 200 will be briefly described in the following.

[0029] In the present disclosure, a target image (sometimes also referred to as a target frame) xt refers to the current frame to be coded in the video. As shown in FIG. 2A, to encode and decode the target image xt with an index t, the motion vector coding model 210 is configured to determine motion information vt of the target image xt based on a quantization parameter qpt of the target image, encode the motion information vt and then decode it as estimated motion information The above operations are performed at the encoding side of the video. At the decoding side of the video, the encoded motion information vt may be transmitted to the decoding side for decoding the estimated motion information The processing of the motion vector coding model 210 is represented as fmotion.

[0030] The motion information indicates motion offsets of elements in the target image xt relative to a reference frame, including the offset sizes and directions. For example, the motion information may include a motion vector (MV) . The reference frame may also be used as an input for the motion estimation of the target image xt. In some implementations, the  reference frame of the target image xt may be one or more previous frames of the target image xt. In the following, only a single reference frame is taken as an example for illustration, although a plurality of reference frames are also feasible. As shown in FIG. 2A, a previous frame xt-1 before the target image xt or its decoded reconstruction result is used as the reference frame. In some implementations, the motion vector coding model 210 may be configured to determine the estimated motion information based on an optical flow network. In addition to the optical flow network, the motion vector coding model 210 may also be implemented based on any other appropriate models that can determine the motion information of the frame.

[0031] The context extraction model 220 is configured to determine context information Ct for the target image xt. In the implementations of the present disclosure described herein, the context extraction model 220 is configured to determine the context information Ct for the target image xt based on the estimated motion information of the target image xt and the relevant information of the reference frame (the frame xt-1) . The used relevant information of the reference frame includes reference feature information Ft-1 and a reference reconstructed frame  for the reference frame xt-1. The reference feature information Ft-1 of the reference frame xt-1 may characterize feature parameter representations of the reference frame in the feature space of the reference frame. The reference reconstructed frame is the reconstruction result for the reference frame xt-1. In the encoding and decoding, the respective frames may be reconstructed. The reference feature information Ft-1 and the reference reconstructed frame  may complement each other to provide richer and more relevant context information of the target image xt. Moreover, on the basis of the estimated motion information of the target image xt, the context extraction model 220 may extract motion-aligned context information Ct. The processing of the context extraction model 220 is represented as fTcontext.

[0032] The frame coding model 230 is configured to generate a target reconstructed frame of the target image xt based on at least the quantization parameter qpt of the target image and the context information Ct. In addition, the frame coding model 230 is further configured to generate target feature information Ft of the target image based on at least the context information Ct. The target feature information Ft and the target reconstructed frame are buffered and transferred for coding of a next frame until the coding of the whole video is completed. At the decoding side, the target reconstructed frame may be output as the decoding target.

[0033] At the encoding side, conditioned on the context information Ct, the frame coding  model 230 may encode the target image xt into a quantized code representation At the decoding side, the quantized code representation may be determined from the bitstream of the video. After entropy-coding on the quantized code representation the target reconstructed frame and the target feature information Ft are reconstructed based on the entropy coding result. The processing of the frame coding model 230 is represented as fframe.

[0034] FIG. 2A illustrates the coding pipeline for respective frames xt-2, xt-1, xt and so on by the video codec model 200. For each frame, the motion vector coding model 210, the context extraction model 220, and the frame coding model 230 in the model 200 perform the similar operations.

[0035] It should be understood that FIG. 2A illustrates that the video codec model 200 is a part of the codec and not a complete codec. Moreover, it is to be understood that the video codec model 200 is merely an example architecture in which implementations of the present disclosure can be implemented. In some implementations, one or more portion of the video codec model 200 may be omitted. For example, the motion vector coding model 210 may be omitted. Example implementations of selection of a target information set given a quantization parameter will be discussed in more detail below.

[0036] Example implementations of use of information sets

[0037] FIG. 2B illustrates a schematic diagram of a process of use of information sets in accordance with some implementations of the present disclosure. As illustrated in FIG. 2B, a plurality of information sets 254 are obtained during training of a codec (e.g., the video codec model 200) . An information set corresponds to a quantization parameter (qp) and includes reference assistance information for visual data coding at the corresponding quantization parameter. In the example of FIG. 2B, the plurality of information sets 254 may include N information sets and corresponds to N quantization parameters, where N is an integer. For example, the information set with an index i may correspond to the quantization parameter value of i. In other words, the plurality of information sets may include assistance information for visual data coding at different rates and thus coding at different rates can be adjusted. Accordingly, the plurality of information sets 254 may be also referred to as a rate-adjustment module bank, and an information set may be referred to as a rate-adjustment module.

[0038] During a conversion between a target image and a bitstream, a target quantization parameter 256 for the conversion may be determined. A target information set (for example, a target rate-adjustment module) 252 is selected from the plurality of information sets based on  the target quantization parameter 256. The target information set corresponds to reference assistance information 258.

[0039] In some implementations, the reference assistance information 258 may include prior distribution information 260 (also referred to as factorized prior) for hyper representation coding. In an example, the prior distribution information 260 may be used to compress or model the hyper representation z. In this way, estimated distribution of hyper representation is allowed to vary at different rates, thereby enhancing the accuracy of distribution estimation and the capability of codec model.

[0040] Alternatively, or in addition, the reference assistance information 258 may include quantization modulation information (also referred to as q-vectors) for at least one of latent representation coding (that is coding of the latent y) , or motion vector coding. In an example, the quantization modulation information may be used to modulate the latent y and / or the motion information vt, for example as those described with reference to FIG. 2A.

[0041] In some implementations, the quantization modulation information may include at least one of: a quantization vector (e.g., qe-vector 262) for latent representation encoding, a quantization vector (e.g., qe-vector 262) for motion vector encoding, a dequantization vector (e.g., qd-vector 264) for latent representation decoding, or a dequantization vector (e.g., qd-vector 264) for motion vector decoding. In these implementations of the present disclosure, a vector based latent modulation is proposed to replace the scalar-based modulation. This vector design allows channel-wise distribution variations of the latent y, which is more flexible and can achieve finer-grained latent modulation for variable-rate coding.

[0042] In some implementations, in order to select the target information set 252 from the plurality of information sets, the target quantization parameter 256 may be compared to a plurality of quantization parameters corresponding to the plurality of information sets 254, respectively. A first quantization parameter matched with the target quantization parameter may be determined, based on the comparison, from the plurality of quantization parameters. The target quantization parameter 256 may be equal to or may not be equal to a quantization parameter in the plurality of quantization parameters. If the target quantization parameter 256 is equal to a quantization parameter in the plurality of quantization parameters, the first quantization parameter matched with the target quantization parameter 256 may be the quantization parameter which is equal to the target quantization parameter 256. If the target quantization parameter 256 is not equal to a quantization parameter in the plurality of  quantization parameters, the first quantization parameter matched with the target quantization parameter 256 may be the quantization parameter which is closest to the target quantization parameter 256. After the first quantization parameter is determined, an information set corresponding to the first quantization parameter may be determined.

[0043] After the target information set 252 is determined, the target assistance information for coding the target image xt may be determined based on the target information set 252. In some implementations, if the target quantization parameter 256 is equal to the first quantization parameter corresponding to the target information set 252, the reference assistance information 258 in the target information set 252 may be determined as the target assistance information.

[0044] In an example, the plurality of information sets 254 may learn N different hyperprior information sets, where N is the number of support rates. Given a quantization parameter qp=i, i∈ {1, …, N} , the i-th information set may be selected, as the target information set 252, from the plurality of information sets 254. The target information set 252 may be used to estimate the probability of the hyper representation z. In this way, different distributions for the hyper representation z are enabled at different rates to enhance the rate-distortion performance. When compared with only using single prior distribution information, selection of an information set makes the estimated distribution of the hyper representation z more consistent with the actual distribution. This can significantly reduce the cross entropy and reduce the bitrate during entropy coding.

[0045] To encompass a wide quality range, N may be set to 64 as the number of information sets in the plurality of information sets 254. Given the lightweight nature of both prior distribution information and quantization modulation information, the plurality of information sets 254 incurs a negligible increase of model parameters. Furthermore, since only one information set is selected in each inference pass, there is no impact on the coding speed.

[0046] In some implementations, if the target quantization parameter 256 is not equal to the first quantization parameter corresponding to the target information set, an addition information set may be determined from the plurality of information sets 254. The target quantization parameter 256 may be located between the first quantization parameter and a second quantization parameter corresponding to the additional information set. In an example, the target quantization parameter may have a value between i and i+1. In this case, the first quantization parameter may have a value of i, and the second quantization parameter may have a value of i+1.

[0047] After determining the addition information set, at least one portion of the target assistance information may be determined based on reference assistance information in the target information set and reference assistance information in the additional information set.

[0048] In some implementations, the at least one portion of the target assistance information may include quantization modulation information for at least one of latent representation coding of the target image, or motion vector coding of the target image. The quantization modulation information in the target assistance information may be obtained by performing linear interpolation between quantization modulation information in the target information set and quantization modulation information in the additional information set.

[0049] In some implementations, the prior distribution information in the target assistance information may be obtained by selecting prior distribution information in the nearest information set.

[0050] As an example, in the plurality of information sets 254, it is assumed that there are 64 information sets to accommodate different rates within a single codec, where 64 is the number of supported rates. These information sets include prior distribution information for hyper representation coding and quantization modulation information for at least one of latent representation coding, or motion vector coding. In practice, the number of supported rates may be expanded to arbitrary larger by performing interpolation in the plurality of information sets 254. In order to determine at least one portion of the target assistance information, linear interpolation may be performed between the reference assistance information in the target information set (corresponding to the first quantization parameter equaling to i) and reference assistance information in the additional information set (corresponding to the second quantization parameter equaling to i+1) .

[0051] After the target assistance information is determined, the conversion may be performed based on the target assistance information by using the codec (such as the video codec model 200) . Reference is now made to FIG. 3 to illustrate example combination of the rate adjustment bank and the visual data codec.

[0052] FIG. 3 illustrates a schematic block diagram of an example architecture of a frame coding model 230 in accordance with some implementations of the present disclosure. As illustrated in the example of FIG. 3, an encoder 310 may include a Ehigh 312, a quantizer 313 and a Elow 314. The Ehigh 312 indicates an encoder processing at a high resolution, the Elow 314 indicates an encoder processing at a low resolution, and the quantizer 313 is configured to  perform quantization on the output result of the Ehigh 312 and provide the quantization result to the Elow 314 as an input. A decoder 320 may include a Dhigh 322, an inverse quantizer 323 and a Dlow 324. The Dhigh 322 indicates a decoder processing at the high resolution, the Dlow 324 indicates a decoder processing at the low resolution, and the inverse quantizer 323 is configured to perform inverse quantization on the output result of the Dlow 324 and provide the inverse quantization result to the Dhigh 322 as an input. At the decoding side of the video, the encoder 310 may be omitted. In some implementations, the encoder 310 may include any number of encoders and the decoder 320 may include any number of corresponding decoders.

[0053] As shown in FIG. 3, to perform quantization on the target image xt, the quantization parameter qp for the target image xt in the video may be obtained. Here, the quantization parameter qp may be set by a user or set by default in the video codec model 200.

[0054] In some implementations, the conversion may include encoding the target image into the bitstream. In the encoding process, the target assistance information may include quantization modulation information for at least one of latent representation encoding of the target image, or motion vector encoding of the target image. For example, in FIG. 3, the quantization vector qe 340 is shown as an example of quantization modulation information for latent representation encoding. The process of determining the quantization vector qe 340 is mentioned above, that is, quantization vector qe 340 may be determined according to the reference assistance information in the target information, or according to reference assistance information in the target information set and reference assistance information in the additional information set.

[0055] After determining the quantization vector qe340, in the frame encoding process of the target image xt, the quantization vector qe 340 may be used to perform quantization, by the quantizer 313, on the output result of the Ehigh 312, to obtain the quantized representation yt of the target image xt.

[0056] In some implementations, the quantization vector qe 340 may be used to perform quantization on the output result of the Elow 314, to obtain the quantized representation of the target frame xt. The quantization vector qe 340 may be used to perform quantization on the target image xt at any position of the encoder 310, and implementations of the present disclosure are not limited in this regard.

[0057] Similarly, the quantization operation performed on the target image xt in the frame encoding process may be applied to the motion vector coding model 210 in the video codec  model 200. Using the motion vector coding model 210, in the motion estimation and motion vector encoding process of the target image xt, the quantization vector qe may be used to perform quantization on the target image xt, to obtain the quantized representation yt of the target image xt.

[0058] Although the quantizer 313 is shown between the Ehigh 312 and the Elow 314 in FIG. 3, the quantizer 313 may also be located after the Elow 314 depending on the specific model design. In addition, although only a single quantizer is shown in FIG. 3, in actual model design, the encoder 310 may include a plurality of network processing layers, and similar quantizers may be deployed in the plurality of network processing layers. For quantizers deployed at different network processing layers, the upper and lower limits of quantization scaling may be configured to be a pair of identical values, or multiple pairs of different values can be learned in the training process of the video codec model 200.

[0059] Alternatively, or in addition, in the encoding process, the target assistance information may include prior distribution information for hyper representation encoding of the target image. The prior distribution information is provided to arithmetic encoder (AE) 342 which generates bitstream 344 for target image xt the with the prior distribution information.

[0060] In some implementations, the conversion may include decoding the target image from the bitstream. In the decoding process, the target assistance information may include quantization modulation information qd 346 for at least one of latent representation decoding of the target image, or motion vector decoding of the target image. For example, in FIG. 3, the dequantization vector qd 346 is shown as an example of quantization modulation information for latent representation decoding.

[0061] In some implementations, as shown in FIG. 3, a corresponding inverse quantization for quantization on the target image xt, may be performed to restore the information of the original target image xt to a certain extent. The inverse quantization may be performed based on the dequantization vector qd 346 and the process of determining the qd346 is mentioned above, that is, the dequantization vector qd 346 may be determined according to the reference assistance information in the target information, or reference assistance information in the target information set and reference assistance information in the additional information set.

[0062] After determining the dequantization vector qd 346 in the frame decoding process of the target frame xt, the dequantization vector qd 346 may be used to perform, by the inverse quantizer 323, inverse quantization on the output result of the Dlow 324, thereby performing  inverse quantization on the quantized code representation corresponding to the quantized representation yt.

[0063] In some implementations, the dequantization vector qd 346 may be used to perform inverse quantization on the input of the Dlow 324, thereby performing inverse quantization on quantized code representation corresponding to the quantized representation yt . The qd346 may be used to perform inverse quantization on the quantized code representation at any position of the decoder 320, and implementation of the present disclosure are not limited in this regard.

[0064] Similarly, the above inverse quantization operation performed on the quantized code representation in the frame encoding process may be applied to the motion vector decoding model 210 in the video codec model 200. In the motion estimation and motion vector decoding process of the target frame xt, inverse quantization may be performed on the quantized code representation

[0065] Although the inverse quantizer 323 is shown between the Dhigh 322 and the Dlow 324 in FIG. 3, the inverse quantizer 323 may also be located before the Dlow 324 depending on the specific model design. In addition, although only a single inverse quantizer is shown in FIG. 3, in actual model design, the decoder 320 may include a plurality of network processing layers, and similar inverse quantizers may be deployed in the plurality of network processing layers. For inverse quantizers deployed at different network processing layers, the upper and lower limits of inverse quantization scaling may be configured to be a pair of identical values, or multiple pairs of different values can be learned in the training process of the video codec model 200.

[0066] Alternatively, or in addition, in the decoding process, the target assistance information may include prior distribution information for hyper representation decoding of the target image. The prior distribution information is provided to arithmetic decoder (AD) 348 which decodes the bitstream 344 for target image xt the with the prior distribution information.

[0067] It is to be understood that the example combination of the rate adjustment module bank to the codec is given as example without any limitation. The rate adjustment module bank may be combined with a visual data codec (for example, a neural video codec) with any suitable structure.

[0068] Example methods

[0069] FIG. 4 illustrates a flow chart of a method 400 according to implementations of the present disclosure. The method 400 may be implemented by the electronic device 110 or the electronic device 120.

[0070] As shown in FIG. 4, at block 410, a target information set is selected from a plurality of information sets based on a target quantization parameter for a conversion between a target image and a bitstream, the plurality of information sets being obtained during training of a codec, and an information set corresponding to a quantization parameter and comprising reference assistance information for visual data coding. At block 420, target assistance information for coding the target image is determined based on the target information set. At block 430, the conversion is performed based on the target assistance information by using the codec.

[0071] In some implementations, the reference assistance information comprises at least one of:prior distribution information for hyper representation coding, or quantization modulation information for at least one of latent representation coding, or motion vector coding.

[0072] In some implementations, the quantization modulation information comprises at least one of: a quantization vector for latent representation encoding, a quantization vector for motion vector encoding, a dequantization vector for latent representation decoding, or a dequantization vector for motion vector decoding.

[0073] In some implementations, selecting the target information set from the plurality of information sets comprises: comparing the target quantization parameter to a plurality of quantization parameters corresponding to the plurality of information sets, respectively; determining, based on the comparison, a first quantization parameter matched with the target quantization parameter from the plurality of quantization parameters; and determining, as the target information set, an information set corresponding to the first quantization parameter.

[0074] In some implementations, determining target assistance information for coding the target image based on the target information set comprises: in response to the target quantization parameter being equal to a first quantization parameter corresponding to the target information set, determining the reference assistance information in the target information set as the target assistance information.

[0075] In some implementations, determining target assistance information for coding the target image based on the target information set comprises: in response to the target quantization parameter being not equal to a first quantization parameter corresponding to the target  information set, determining an addition information set from the plurality of information sets, the target quantization parameter located between the first quantization parameter and a second quantization parameter corresponding to the additional information set; and determining at least one portion of the target assistance information based on reference assistance information in the target information set and reference assistance information in the additional information set.

[0076] In some implementations, the at least one portion of the target assistance information comprises quantization modulation information for at least one of latent representation coding of the target image, or motion vector coding of the target image.

[0077] In some implementations, the conversion comprises encoding the target image into the bitstream.

[0078] In some implementations, the target assistance information comprises at least one of: prior distribution information for hyper representation encoding of the target image, or quantization modulation information for at least one of latent representation encoding of the target image, or motion vector encoding of the target image.

[0079] In some implementations, the conversion comprises decoding the target image from the bitstream.

[0080] In some implementations, the target assistance information comprises at least one of: prior distribution information for hyper representation decoding of the target image, or quantization modulation information for at least one of latent representation decoding of the target image, or motion vector decoding of the target image.

[0081] In some implementations, the codec comprises a neural video codec, and the target image comprises a frame of a video.

[0082] Example implementations

[0083] FIG. 5 illustrates a block diagram of an electronic device 500 in which various embodiments of the present disclosure can be implemented. It would be appreciated that the electronic device 500 shown in FIG. 5 is merely for purpose of illustration, without suggesting any limitation to the functions and scopes of the present disclosure in any manner. The electronic device 500 may be used to implement the above method 400. As shown in FIG. 5, the electronic device 500 may be a general-purpose electronic device. The electronic device 500 may at least comprise one or more processors or processing units 510, a memory 520, a storage unit 530, one or more communication units 540, one or more input devices 550, and  one or more output devices 560.

[0084] The processing unit 510 may be a physical or virtual processor and can implement various processes based on programs 525 stored in the memory 520. In a multi-processor system, multiple processing units execute computer executable instructions in parallel so as to improve the parallel processing capability of the electronic device 500. The processing unit 710 may also be referred to as a central processing unit (CPU) , a graphics processing unit (GPU) , a neural processing unit (NPU) , a microprocessor, a controller, or a microcontroller.

[0085] The electronic device 500 typically includes various computer storage medium. Such medium can be any medium accessible by the electronic device 500, including, but not limited to, volatile and non-volatile medium, or detachable and non-detachable medium. The memory 520 can be a volatile memory (for example, a register, cache, Random Access Memory (RAM) ) , a non-volatile memory (such as a Read-Only Memory (ROM) , Electrically Erasable Programmable Read-Only Memory (EEPROM) , or a flash memory) , or any combination thereof. The storage unit 530 may be any detachable or non-detachable medium and may include a machine-readable medium such as a memory, flash memory drive, magnetic disk, or another other media, which can be used for storing information and / or data and can be accessed in the electronic device 500.

[0086] The electronic device 500 may further include additional detachable / non-detachable, volatile / non-volatile memory medium. Although not shown in FIG. 5, it is possible to provide a magnetic disk drive for reading from and / or writing into a detachable and non-volatile magnetic disk and an optical disk drive for reading from and / or writing into a detachable non-volatile optical disk. In such cases, each drive may be connected to a bus (not shown) via one or more data medium interfaces.

[0087] The communication unit 540 communicates with a further electronic device via the communication medium. In addition, the functions of the components in the electronic device 500 can be implemented by a single computing cluster or multiple computing machines that can communicate via communication connections. Therefore, the electronic device 500 can operate in a networked environment using a logical connection with one or more other servers, networked personal computers (PCs) or further general network nodes.

[0088] The input device 550 may be one or more of a variety of input devices, such as a mouse, keyboard, tracking ball, voice-input device, and the like. The output device 560 may be one or more of a variety of output devices, such as a display, loudspeaker, printer, and the like. By  means of the communication unit 540, the electronic device 500 can further communicate with one or more external devices (not shown) such as the storage devices and display device, with one or more devices enabling the user to interact with the electronic device 500, or any devices (such as a network card, a modem, and the like) enabling the electronic device 500 to communicate with one or more other electronic devices, if required. Such communication can be performed via input / output (I / O) interfaces (not shown) .

[0089] In some embodiments, instead of being integrated in a single device, some, or all components of the electronic device 500 may also be arranged in cloud computing architecture. In the cloud computing architecture, the components may be provided remotely and work together to implement the functionalities described in the present disclosure. In some embodiments, cloud computing provides computing, software, data access and storage service, which will not require end users to be aware of the physical locations or configurations of the systems or hardware providing these services. In various embodiments, the cloud computing provides the services via a wide area network (such as Internet) using suitable protocols. For example, a cloud computing provider provides applications over the wide area network, which can be accessed through a web browser or any other computing components. The software or components of the cloud computing architecture and corresponding data may be stored on a server at a remote position. The computing resources in the cloud computing environment may be merged or distributed at locations in a remote data center. Cloud computing infrastructures may provide the services through a shared data center, though they behave as a single access point for the users. Therefore, the cloud computing architectures may be used to provide the components and functionalities described herein from a service provider at a remote location. Alternatively, they may be provided from a conventional server or installed directly or otherwise on a client device.

[0090] The functionalities described herein can be performed, at least in part, by one or more hardware logic components. For example, and without limitation, illustrative types of hardware logic components that can be used include Field-Programmable Gate Arrays (FPGAs) , Application-specific Integrated Circuits (ASICs) , Application-specific Standard Products (ASSPs) , System-on-a-chip systems (SOCs) , Complex Programmable Logic Devices (CPLDs) , and the like.

[0091] Program code for carrying out the methods of the subject matter described herein may be written in any combination of one or more programming languages. The program code may be provided to a processor or controller of a general-purpose computer, special purpose  computer, or other programmable data processing apparatus such that the program code, when executed by the processor or controller, causes the functions / operations specified in the flowcharts and / or block diagrams to be implemented. The program code may be executed entirely or partly on a machine, executed as a stand-alone software package partly on the machine, partly on a remote machine, or entirely on the remote machine or server.

[0092] In the context of this disclosure, a machine-readable medium may be any tangible medium that may include or store a program for use by or in connection with an instruction execution system, apparatus, or device. The machine-readable medium may be a machine-readable signal medium or a machine-readable storage medium. A machine-readable medium may include but not limited to an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any suitable combination of the foregoing. More specific examples of the machine-readable storage medium would include an electrical connection having one or more wires, a portable computer diskette, a hard disk, a random-access memory (RAM) , a read-only memory (ROM) , an erasable programmable read-only memory (EPROM or Flash memory) , an optical fiber, a portable compact disc read-only memory (CD-ROM) , an optical storage device, a magnetic storage device, or any suitable combination of the foregoing.

[0093] Further, while operations are illustrated in a particular order, this should not be understood as requiring that such operations are performed in the particular order shown or in sequential order, or that all illustrated operations are performed to achieve the desired results. In certain circumstances, multitasking and parallel processing may be advantageous. Likewise, while several specific implementation details are contained in the above discussions, these should not be construed as limitations on the scope of the subject matter described herein, but rather as descriptions of features that may be specific to particular embodiments. Certain features that are described in the context of separate embodiments may also be implemented in combination in a single implementation. Rather, various features described in a single implementation may also be implemented in multiple embodiments separately or in any suitable sub-combination.

[0094] Although the subject matter has been described in language specific to structural features and / or methodological acts, it is to be understood that the subject matter specified in the appended claims is not necessarily limited to the specific features or acts described above. Rather, the specific features and acts described above are disclosed as example forms of implementing the claims.

[0095] From the foregoing, it will be appreciated that specific embodiments of the presently disclosed technology have been described herein for purposes of illustration, but that various modifications may be made without deviating from the scope of the disclosure. Accordingly, the presently disclosed technology is not limited except as by the appended claims.

[0096] Embodiments of the subject matter and the functional operations described in the present disclosure can be implemented in various systems, digital electronic circuitry, or in computer software, firmware, or hardware, including the structures disclosed in this specification and their structural equivalents, or in combinations of one or more of them. Embodiments of the subject matter described in this specification can be implemented as one or more computer program products, i.e., one or more modules of computer program instructions encoded on a tangible and non-transitory computer readable medium for execution by, or to control the operation of, data processing apparatus. The computer readable medium can be a machine-readable storage device, a machine-readable storage substrate, a memory device, a composition of matter effecting a machine-readable propagated signal, or a combination of one or more of them. The term “data processing unit” or “data processing apparatus” encompasses all apparatus, devices, and machines for processing data, including by way of example a programmable processor, a computer, or multiple processors or computers. The apparatus can include, in addition to hardware, code that creates an execution environment for the computer program in question, e.g., code that constitutes processor firmware, a protocol stack, a database management system, an operating system, or a combination of one or more of them.

[0097] A computer program (also known as a program, software, software application, script, or code) can be written in any form of programming language, including compiled or interpreted languages, and it can be deployed in any form, including as a stand-alone program or as a module, component, subroutine, or other unit suitable for use in a computing environment. A computer program does not necessarily correspond to a file in a file system. A program can be stored in a portion of a file that holds other programs or data (e.g., one or more scripts stored in a markup language document) , in a single file dedicated to the program in question, or in multiple coordinated files (e.g., files that store one or more modules, sub programs, or portions of code) . A computer program can be deployed to be executed on one computer or on multiple computers that are located at one site or distributed across multiple sites and interconnected by a communication network.

[0098] Processors suitable for the execution of a computer program include, by way of  example, both general and special purpose microprocessors, and any one or more processors of any kind of digital computer. Generally, a processor will receive instructions and data from a read only memory or a random access memory or both. The essential elements of a computer are a processor for performing instructions and one or more memory devices for storing instructions and data. Generally, a computer will also include, or be operatively coupled to receive data from or transfer data to, or both, one or more mass storage devices for storing data, e.g., magnetic, magneto optical disks, or optical disks. However, a computer need not have such devices. Computer readable media suitable for storing computer program instructions and data include all forms of nonvolatile memory, media, and memory devices, including by way of example semiconductor memory devices, e.g., EPROM, EEPROM, and flash memory devices. The processor and the memory can be supplemented by, or incorporated in, special purpose logic circuitry.

[0099] It is intended that the specification, together with the drawings, be considered exemplary only, where exemplary means an example. As used herein, the use of “or” is intended to include “and / or” , unless the context clearly indicates otherwise.

[0100] While the present disclosure contains many specifics, these should not be construed as limitations on the scope of any disclosure or of what may be claimed, but rather as descriptions of features that may be specific to particular embodiments of particular disclosures. Certain features that are described in the present disclosure in the context of separate embodiments can also be implemented in combination in a single implementation. Conversely, various features that are described in the context of a single implementation can also be implemented in multiple embodiments separately or in any suitable sub-combination. Moreover, although features may be described above as acting in certain combinations and even initially claimed as such, one or more features from a claimed combination can in some cases be excised from the combination, and the claimed combination may be directed to a sub-combination or variation of a sub-combination.

[0101] Similarly, while operations are illustrated in the drawings in a particular order, this should not be understood as requiring that such operations be performed in the particular order shown or in sequential order, or that all illustrated operations be performed, to achieve desirable results. Moreover, the separation of various system components in the embodiments described in the present disclosure should not be understood as requiring such separation in all embodiments. Only a few embodiments and examples are described, and other embodiments, enhancements and variations can be made based on what is described and illustrated in the  present disclosure.

[0102] Some example implementations of the present disclosure are listed below.

[0103] In a first aspect, the present disclosure provides a computer-implemented method. The method comprises: selecting a target information set from a plurality of information sets based on a target quantization parameter for a conversion between a target image and a bitstream, the plurality of information sets being obtained during training of a codec, and an information set corresponding to a quantization parameter and comprising reference assistance information for visual data coding; determining target assistance information for coding the target image based on the target information set; and performing the conversion based on the target assistance information by using the codec.

[0104] In some implementations, the reference assistance information comprises at least one of: prior distribution information for hyper representation coding, or quantization modulation information for at least one of latent representation coding, or motion vector coding.

[0105] In some implementations, the quantization modulation information comprises at least one of: a quantization vector for latent representation encoding, a quantization vector for motion vector encoding, a dequantization vector for latent representation decoding, or a dequantization vector for motion vector decoding.

[0106] In some implementations, selecting the target information set from the plurality of information sets comprises: comparing the target quantization parameter to a plurality of quantization parameters corresponding to the plurality of information sets, respectively; determining, based on the comparison, a first quantization parameter matched with the target quantization parameter from the plurality of quantization parameters; and determining, as the target information set, an information set corresponding to the first quantization parameter.

[0107] In some implementations, determining target assistance information for coding the target image based on the target information set comprises: in response to the target quantization parameter being equal to a first quantization parameter corresponding to the target information set, determining the reference assistance information in the target information set as the target assistance information.

[0108] In some implementations, determining target assistance information for coding the target image based on the target information set comprises: in response to the target quantization parameter being not equal to a first quantization parameter corresponding to the target information set, determining an addition information set from the plurality of information sets,  the target quantization parameter located between the first quantization parameter and a second quantization parameter corresponding to the additional information set; and determining at least one portion of the target assistance information based on reference assistance information in the target information set and reference assistance information in the additional information set.

[0109] In some implementations, the at least one portion of the target assistance information comprises quantization modulation information for at least one of latent representation coding of the target image, or motion vector coding of the target image.

[0110] In some implementations, the conversion comprises encoding the target image into the bitstream.

[0111] In some implementations, the target assistance information comprises at least one of: prior distribution information for hyper representation encoding of the target image, or quantization modulation information for at least one of latent representation encoding of the target image, or motion vector encoding of the target image.

[0112] In some implementations, the conversion comprises decoding the target image from the bitstream.

[0113] In some implementations, the target assistance information comprises at least one of: prior distribution information for hyper representation decoding of the target image, or quantization modulation information for at least one of latent representation decoding of the target image, or motion vector decoding of the target image.

[0114] In some implementations, the codec comprises a neural video codec, and the target image comprises a frame of a video.

[0115] In a second aspect, the present disclosure provides an electronic device. The device comprises a processing unit; and a memory coupled to the processing unit and having instructions stored thereon, the instructions, when executed by the processing unit, causing the device to perform acts comprising: selecting a target information set from a plurality of information sets based on a target quantization parameter for a conversion between a target image and a bitstream, the plurality of information sets being obtained during training of a codec, and an information set corresponding to a quantization parameter and comprising reference assistance information for visual data coding; determining target assistance information for coding the target image based on the target information set; and performing the conversion based on the target assistance information by using the codec.

[0116] In some implementations, the reference assistance information comprises at least one of: prior distribution information for hyper representation coding, or quantization modulation information for at least one of latent representation coding, or motion vector coding.

[0117] In some implementations, the quantization modulation information comprises at least one of: a quantization vector for latent representation encoding, a quantization vector for motion vector encoding, a dequantization vector for latent representation decoding, or a dequantization vector for motion vector decoding.

[0118] In some implementations, selecting the target information set from the plurality of information sets comprises: comparing the target quantization parameter to a plurality of quantization parameters corresponding to the plurality of information sets, respectively; determining, based on the comparison, a first quantization parameter matched with the target quantization parameter from the plurality of quantization parameters; and determining, as the target information set, an information set corresponding to the first quantization parameter.

[0119] In some implementations, determining target assistance information for coding the target image based on the target information set comprises: in response to the target quantization parameter being equal to a first quantization parameter corresponding to the target information set, determining the reference assistance information in the target information set as the target assistance information.

[0120] In some implementations, determining target assistance information for coding the target image based on the target information set comprises: in response to the target quantization parameter being not equal to a first quantization parameter corresponding to the target information set, determining an addition information set from the plurality of information sets, the target quantization parameter located between the first quantization parameter and a second quantization parameter corresponding to the additional information set; and determining at least one portion of the target assistance information based on reference assistance information in the target information set and reference assistance information in the additional information set.

[0121] In some implementations, the at least one portion of the target assistance information comprises quantization modulation information for at least one of latent representation coding of the target image, or motion vector coding of the target image.

[0122] In some implementations, the conversion comprises encoding the target image into the bitstream.

[0123] In some implementations, the target assistance information comprises at least one of:  prior distribution information for hyper representation encoding of the target image, or quantization modulation information for at least one of latent representation encoding of the target image, or motion vector encoding of the target image.

[0124] In some implementations, the conversion comprises decoding the target image from the bitstream.

[0125] In some implementations, the target assistance information comprises at least one of: prior distribution information for hyper representation decoding of the target image, or quantization modulation information for at least one of latent representation decoding of the target image, or motion vector decoding of the target image.

[0126] In some implementations, the codec comprises a neural video codec, and the target image comprises a frame of a video.

[0127] In a third aspect, the present disclosure provides a computer program product being tangibly stored on a non-transient computer storage medium and comprising machine-executable instructions which, when executed by a device, cause the device to perform the method of the first aspect.

[0128] In a fourth aspect, the present disclosure provides a computer readable medium having machine-executable instructions stored thereon which, when executed by a device, cause a device to perform one or more implementations of the method of the first aspect.

[0129] In a fifth aspect, the present disclosure provides one or more computer-readable media having stored thereon a bitstream, the bitstream being organized to facilitate conversion between the bitstream and a target image, with a computing, by operations comprising: selecting a target information set from a plurality of information sets based on a target quantization parameter for a conversion between a target image and a bitstream, the plurality of information sets being obtained during training of a codec, and an information set corresponding to a quantization parameter and comprising reference assistance information for visual data coding; determining target assistance information for coding the target image based on the target information set; and performing the conversion based on the target assistance information by using the codec.

[0130] The functionalities described herein can be performed, at least in part, by one or more hardware logic components. For example, and without limitation, illustrative types of hardware logic components that can be used include field-programmable gate arrays (FPGAs) , Application-specific Integrated Circuits (ASICs) , application-specific standard products  (ASSPs) , system-on-a-chip systems (SOCs) , complex programmable logic devices (CPLDs) , and the like.

[0131] Program code for carrying out the methods of the present disclosure may be written in any combination of one or more programming languages. The program code may be provided to a processor or controller of a general-purpose computer, special purpose computer, or other programmable data processing apparatus such that the program code, when executed by the processor or controller, causes the functions / operations specified in the flowcharts and / or block diagrams to be implemented. The program code may be executed entirely or partly on a machine, executed as a stand-alone software package partly on the machine, partly on a remote machine, or entirely on the remote machine or server.

[0132] In the context of this disclosure, a machine-readable medium may be any tangible medium that may include or store a program for use by or in connection with an instruction execution system, apparatus, or device. The machine-readable medium may be a machine-readable signal medium or a machine-readable storage medium. A machine-readable medium may include but is not limited to an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any suitable combination of the foregoing. More specific examples of the machine-readable storage medium would include an electrical connection having one or more wires, a portable computer diskette, a hard disk, a random-access memory (RAM) , a read-only memory (ROM) , an erasable programmable read-only memory (EPROM or Flash memory) , an optical fiber, a portable compact disc read-only memory (CD-ROM) , an optical storage device, a magnetic storage device, or any suitable combination of the foregoing.

[0133] Further, while operations are depicted in a particular order, this should not be understood as requiring that such operations are performed in the particular order shown or in sequential order, or that all illustrated operations are performed to achieve the desired results. In certain circumstances, multitasking and parallel processing may be advantageous. Likewise, while several specific implementation details are contained in the above discussions, these should not be construed as limitations on the scope of the present disclosure, but rather as descriptions of features that may be specific to particular implementations. Certain features that are described in the context of separate implementations may also be implemented in combination in a single implementation. Rather, various features described in a single implementation may also be implemented in multiple implementations separately or in any suitable sub-combination.

[0134] Although the subject matter has been described in language specific to structural features and / or methodological acts, it is to be understood that the subject matter specified in the appended claims is not necessarily limited to the specific features or acts described above. Rather, the specific features and acts described above are disclosed as example forms of implementing the claims.

Claims

1.A computer-implemented method comprising:selecting a target information set from a plurality of information sets based on a target quantization parameter for a conversion between a target image and a bitstream, the plurality of information sets being obtained during training of a codec, and an information set corresponding to a quantization parameter and comprising reference assistance information for visual data coding;determining target assistance information for coding the target image based on the target information set; andperforming the conversion based on the target assistance information by using the codec.2.The method of claim 1, wherein the reference assistance information comprises at least one of:prior distribution information for hyper representation coding, orquantization modulation information for at least one of latent representation coding, or motion vector coding.3.The method of claim 2, wherein the quantization modulation information comprises at least one of:a quantization vector for latent representation encoding,a quantization vector for motion vector encoding,a dequantization vector for latent representation decoding, ora dequantization vector for motion vector decoding.4.The method of claim 1, wherein selecting the target information set from the plurality of information sets comprises:comparing the target quantization parameter to a plurality of quantization parameters corresponding to the plurality of information sets, respectively;determining, based on the comparison, a first quantization parameter matched with the target quantization parameter from the plurality of quantization parameters; anddetermining, as the target information set, an information set corresponding to the first quantization parameter.5.The method of claim 1, wherein determining target assistance information for coding the target image based on the target information set comprises:in response to the target quantization parameter being equal to a first quantization parameter corresponding to the target information set, determining the reference assistance information in the target information set as the target assistance information.6.The method of claim 1, wherein determining target assistance information for coding the target image based on the target information set comprises:in response to the target quantization parameter being not equal to a first quantization parameter corresponding to the target information set, determining an addition information set from the plurality of information sets, the target quantization parameter located between the first quantization parameter and a second quantization parameter corresponding to the additional information set; anddetermining at least one portion of the target assistance information based on reference assistance information in the target information set and reference assistance information in the additional information set.7.The method of claim 6, wherein the at least one portion of the target assistance information comprises quantization modulation information for at least one of latent representation coding of the target image, or motion vector coding of the target image.8.The method of claim 1, wherein the conversion comprises encoding the target image into the bitstream.9.The method of claim 9, wherein the target assistance information comprises at least one of:prior distribution information for hyper representation encoding of the target image, orquantization modulation information for at least one of latent representation encoding of the target image, or motion vector encoding of the target image.10.The method of claim 1, wherein the conversion comprises decoding the target image from the bitstream.11.The method of claim 10, wherein the target assistance information comprises at  least one of:prior distribution information for hyper representation decoding of the target image, orquantization modulation information for at least one of latent representation decoding of the target image, or motion vector decoding of the target image.12.The method of claim 1, wherein the codec comprises a neural video codec, and the target image comprises a frame of a video.13.An electronic device, comprising:a processing unit; anda memory coupled to the processing unit and having instructions stored thereon, the instructions, when executed by the processing unit, causing the device to perform acts comprising:selecting a target information set from a plurality of information sets based on a target quantization parameter for a conversion between a target image and a bitstream, the plurality of information sets being obtained during training of a codec, and an information set corresponding to a quantization parameter and comprising reference assistance information for visual data coding;determining target assistance information for coding the target image based on the target information set; andperforming the conversion based on the target assistance information by using the codec.14.A computer program product being tangibly stored on a computer storage medium and comprising computer-executable instructions which, when executed by a device, cause the device to perform acts comprising:selecting a target information set from a plurality of information sets based on a target quantization parameter for a conversion between a target image and a bitstream, the plurality of information sets being obtained during training of a codec, and an information set corresponding to a quantization parameter and comprising reference assistance information for visual data coding;determining target assistance information for coding the target image based on the target information set; andperforming the conversion based on the target assistance information by using the codec.15.One or more computer-readable media having stored thereon a bitstream, the bitstream being organized to facilitate conversion between the bitstream and a target image, with a computing, by operations comprising:selecting a target information set from a plurality of information sets based on a target quantization parameter for a conversion between a target image and a bitstream, the plurality of information sets being obtained during training of a codec, and an information set corresponding to a quantization parameter and comprising reference assistance information for visual data coding;determining target assistance information for coding the target image based on the target information set; andperforming the conversion based on the target assistance information by using the codec.

Images