Method and apparatus of subblock candidates for auto-relocated block vector prediction or chained motion vector prediction in video coding systems

Abstract

A method and apparatus for deriving subblock MVs for affine, SbTMVP, or DMVR candidates by recursively tracing subblock MVs and / or BVs based on initial subblock MVs are disclosed. According to one method, one or more initial subblock MVs or BVs for the current block are determined. One or more chained subblock MVs are derived, wherein each chained subblock MV is derived recursively as a sum of traced vectors starting from said one or more initial subblock MVs or BVs. One or more target subblock candidates for affine, SbTMVP, or DMVR mode are determined by using information comprising said one or more chained subblock MVs. An affine merge list and / or an AMVP (Advanced Motion Vector Prediction) list comprising said one or more target subblock candidates is determined. The current block is encoded or decoded using the affine merge list and / or the AMVP list.

Description

METHOD AND APPARATUS OF SUBBLOCK CANDIDATES FOR AUTO-RELOCATED BLOCK VECTOR PREDICTION OR CHAINED MOTION VECTOR PREDICTION IN VIDEO CODING SYSTEMSCROSS REFERENCE TO RELATED APPLICATIONS

[0001] The present invention is a non-Provisional Application of and claims priority to U.S. Provisional Patent Application No. 63 / 671,818 filed on July 16, 2024. The U.S. Provisional Patent Application is hereby incorporated by reference in its entirety.FIELD OF THE INVENTION

[0002] The present invention relates to video coding system. In particular, the present invention relates to derivation and usage of chained subblock motion vector prediction to improve coding efficiency.BACKGROUND

[0003] Versatile video coding (VVC) is the latest international video coding standard developed by the Joint Video Experts Team (JVET) of the ITU-T Video Coding Experts Group (VCEG) and the ISO / IEC Moving Picture Experts Group (MPEG) . The standard has been published as an ISO standard: ISO / IEC 23090-3: 2021, Information technology -Coded representation of immersive media -Part 3: Versatile video coding, published Feb. 2021. VVC is developed based on its predecessor HEVC (High Efficiency Video Coding) by adding more coding tools to improve coding efficiency and also to handle various types of video sources including 3-dimensional (3D) video signals.

[0004] Fig. 1A illustrates an exemplary adaptive Inter / Intra video encoding system incorporating loop processing. For Intra Prediction 110, the prediction data is derived based on previously coded video data in the current picture. For Inter Prediction 112, Motion Estimation (ME) is performed at the encoder side and Motion Compensation (MC) is performed based on the result of ME to provide prediction data derived from other picture (s) and motion data. Switch 114 selects Intra Prediction 110 or Inter Prediction 112 and the selected prediction data is supplied to Adder 116 to form prediction errors, also called residues. The prediction error is then processed by Transform (T) 118 followed by Quantization (Q) 120. The transformed and quantized residues are then coded by Entropy Encoder 122 to be included in a video bitstream corresponding to the compressed video data. The bitstream associated with the transform coefficients is then packed with side information such as motion and coding modes associated with Intra prediction and Inter prediction, and other information such as parameters associated with loop filters applied to underlying image area. The side information associated with Intra Prediction 110, Inter prediction 112 and in-loop filter 130, is provided to Entropy Encoder 122 as shown in Fig. 1A. When an Inter-prediction mode is used, a reference picture or pictures have to be reconstructed at the encoder end as well. Consequently, the transformed and quantized residues are processed by Inverse Quantization (IQ) 124 and Inverse Transformation (IT) 126 to recover the residues. The residues are then added back to prediction data 136 at Reconstruction (REC) 128 to reconstruct video data. The reconstructed video data may be stored in Reference Picture Buffer 134 and used for prediction of other frames.

[0005] As shown in Fig. 1A, incoming video data undergoes a series of processing in the encoding system. The reconstructed video data from REC 128 may be subject to various impairments due to a series of processing. Accordingly, in-loop filter 130 is often applied to the reconstructed video data before the reconstructed video data are stored in the Reference Picture Buffer 134 in order to improve video quality. For example, deblocking filter (DF) , Sample Adaptive Offset (SAO) and Adaptive Loop Filter (ALF) may be used. The loop filter information may need to be incorporated in the bitstream so that a decoder can properly recover the required information. Therefore, loop filter information is also provided to Entropy Encoder 122 for incorporation into the bitstream. In Fig. 1A, Loop filter 130 is applied to the reconstructed video before the reconstructed samples are stored in the reference picture buffer 134. The system in Fig. 1A is intended to illustrate an exemplary structure of a typical video encoder. It may correspond to the High Efficiency Video Coding (HEVC) system, VP8, VP9, H. 264 or VVC.

[0006] The decoder, as shown in Fig. 1B, can use some of the functional blocks as the encoder. For example, the decoder can reuse Inverse Quantization 124 and Inverse Transform 126; however, Transform 118 and Quantization 120 are not needed at the decoder. Instead of Entropy Encoder 122, the decoder uses an Entropy Decoder 140 to decode the video bitstream into quantized transform coefficients and needed coding information (e.g. ILPF information, Intra prediction information and Inter prediction information) . The Intra prediction 150 at the decoder side does not need to perform the mode search. Instead, the decoder only needs to generate Intra prediction according to Intra prediction information received from the Entropy Decoder 140. Furthermore, for Inter prediction, the decoder only needs to perform motion compensation (MC 152) according to Inter prediction information received from the Entropy Decoder 140 without the need for motion estimation.

[0007] In VVC, the Sequence Parameter Set (SPS) and the Picture Parameter Set (PPS) contain high-level syntax elements that apply to entire coded video sequences and pictures, respectively. The Picture Header (PH) and Slice Header (SH) contain high-level syntax elements that apply to a current coded picture and a current coded slice, respectively.

[0008] In VVC, a coded picture is partitioned into non-overlapped square block regions represented by the associated coding tree units (CTUs) . A coded picture can be represented by a collection of slices, each comprising an integer number of CTUs. The individual CTUs in a slice are processed in raster-scan order. A bi-predictive (B) slice may be decoded using intra prediction or inter prediction with at most two motion vectors and reference indices to predict the sample values of each block. A predictive (P) slice is decoded using intra prediction or inter prediction with at most one motion vector and reference index to predict the sample values of each block. An intra (I) slice is decoded using intra prediction only.

[0009] Affine Motion Compensated Prediction

[0010] In HEVC, only translational motion model is applied for motion compensation prediction (MCP) . While in the real world, there are many kinds of motion, e.g. zoom in / out, rotation, perspective motions and the other irregular motions. In VVC, a block-based affine transform motion compensation prediction is applied. As shown Figs. 2A-B, the affine motion field of the blocks 210 and 220 is described by motion information of two control point (4-parameter) in Fig. 2A or three control point motion vectors (6-parameter) in Fig. 2B.

[0011] For 4-parameter affine motion model, motion vector at sample location (x, y) in a block is derived as:

[0012] For 6-parameter affine motion model, motion vector at sample location (x, y) in a block is derived as:

[0013] Where (mv0x, mv0y) is motion vector of the top-left corner control point, (mv1x, mv1y) is motion vector of the top-right corner control point, and (mv2x, mv2y) is motion vector of the bottom-left corner control point.

[0014] In order to simplify the motion compensation prediction, block based affine transform prediction is applied. To derive motion vector of each 4×4 luma subblock, the motion vector of the centre sample of each subblock, as shown in Fig. 3, is calculated according to above equations, and rounded to 1 / 16 fraction accuracy. Then, the motion compensation interpolation filters are applied to generate the prediction of each subblock with the derived motion vector. The subblock size of chroma-components is also set to be 4×4. The MV of a 4×4 chroma subblock is calculated as the average of the MVs of the top-left and bottom-right luma subblocks in the collocated 8x8 luma region.

[0015] As is for translational-motion inter prediction, there are also two affine motion inter prediction modes: affine merge mode and affine AMVP mode.

[0016] Affine Merge Prediction

[0017] AF_MERGE mode can be applied for CUs with both width and height larger than or equal to 8. In this mode, the CPMVs (Control Point MVs) of the current CU is generated based on the motion information of the spatial neighbouring CUs. There can be up to five CPMVP (CPMV Prediction) candidates and an index is signalled to indicate the one to be used for the current CU. The following three types of CPVM candidate are used to form the affine merge candidate list:–Inherited affine merge candidates that are extrapolated from the CPMVs of the neighbour CUs–Constructed affine merge candidates CPMVPs that are derived using the translational MVs of the neighbour CUs–Zero MVs

[0018] In VVC, there are two inherited affine candidates at most, which are derived from the affine motion model of the neighbouring blocks, one from left neighbouring CUs and one from above neighbouring CUs. The candidate blocks are the same as those shown in Fig. 4. For the left predictor, the scan order is A0→A1, and for the above predictor, the scan order is B0→B1→B2. Only the first inherited candidate from each side is selected. No pruning check is performed between two inherited candidates. When a neighbouring affine CU is identified, its control point motion vectors are used to derived the CPMVP candidate in the affine merge list of the current CU. As shown in Fig. 5, if the neighbouring left bottom block A of the current block 510 is coded in affine mode, the motion vectors v2 , v3 and v4 of the top left corner, above right corner and left bottom corner of the CU 520 containing block A are attained. When block A is coded with 4-parameter affine model, the two CPMVs of the current CU (i.e., v0 and v1) are calculated according to v2, and v3. In case that block A is coded with 6-parameter affine model, the three CPMVs of the current CU are calculated according to v2 , v3 and v4.

[0019] Constructed affine candidate means the candidate is constructed by combining the neighbouring translational motion information of each control point. The motion information for the control points is derived from the specified spatial neighbours and temporal neighbour for a current block 610 as shown in Fig. 6. CPMVk (k=1, 2, 3, 4) represents the k-th control point. For CPMV1, the B2→B3→A2 blocks are checked and the MV of the first available block is used. For CPMV2, the B1→B0 blocks are checked and for CPMV3, the A1→A0 blocks are checked. For TMVP is used as CPMV4 if it’s available.

[0020] After MVs of four control points are attained, affine merge candidates are constructed based on the motion information. The following combinations of control point MVs are used to construct in order:{CPMV1, CPMV2, CPMV3} , {CPMV1, CPMV2, CPMV4} , {CPMV1, CPMV3, CPMV4} , {CPMV2, CPMV3, CPMV4} , {CPMV1, CPMV2} , {CPMV1, CPMV3}

[0021] The combination of 3 CPMVs constructs a 6-parameter affine merge candidate and the combination of 2 CPMVs constructs a 4-parameter affine merge candidate. To avoid motion scaling process, if the reference indices of control points are different, the related combination of control point MVs is discarded.

[0022] After inherited affine merge candidates and constructed affine merge candidate are checked, if the list is still not full, zero MVs are inserted to the end of the list.

[0023] Affine AMVP Prediction

[0024] Affine AMVP mode can be applied for CUs with both width and height larger than or equal to 16. An affine flag in the CU level is signalled in the bitstream to indicate whether affine AMVP mode is used and then another flag is signalled to indicate whether 4-parameter affine or 6-parameter affine is used. In this mode, the difference of the CPMVs of the current CU and their predictors CPMVPs is signalled in the bitstream. The affine AVMP candidate list size is 2 and it is generated by using the following four types of CPVM candidate in order:–Inherited affine AMVP candidates that extrapolated from the CPMVs of the neighbour CUs–Constructed affine AMVP candidates CPMVPs that are derived using the translational MVs of the neighbour CUs–Translational MVs from neighbouring CUs–Zero MVs

[0025] The checking order of inherited affine AMVP candidates is the same as the checking order of inherited affine merge candidates. The only difference is that, for AVMP candidate, only the affine CU that has the same reference picture as current block is considered. No pruning process is applied when inserting an inherited affine motion predictor into the candidate list.

[0026] Constructed AMVP candidate is derived from the specified spatial neighbours of the current block 610 as shown in Fig. 6. The same checking order is used as that in the affine merge candidate construction. In addition, the reference picture index of the neighbouring block is also checked. In the checking order, the first block that is inter coded and has the same reference picture as in current CUs is used. When the current CU is coded with the 4-parameter affine mode, and mv0 and mv1 are both availlalbe, they are added as one candidate in the affine AMVP list. When the current CU is coded with 6-parameter affine mode, and all three CPMVs are available, they are added as one candidate in the affine AMVP list. Otherwise, the constructed AMVP candidate is set as unavailable.

[0027] If the number of affine AMVP list candidates is still less than 2 after valid inherited affine AMVP candidates and constructed AMVP candidate are inserted, mv0, mv1 and mv2 will be added as the translational MVs in order to predict all control point MVs of the current CU, when available. Finally, zero MVs are used to fill the affine AMVP list if it is still not full.

[0028] Affine Motion Information Storage

[0029] In VVC, the CPMVs of affine CUs are stored in a separate buffer. The stored CPMVs are only used to generate the inherited CPMVPs in the affine merge mode and affine AMVP mode for the lately coded CUs. The subblock MVs derived from CPMVs are used for motion compensation, MV derivation of merge / AMVP list of translational MVs and de-blocking.

[0030] To avoid the picture line buffer for the additional CPMVs, affine motion data inheritance from the CUs of the above CTU is treated differently for the inheritance from the normal neighbouring CUs. If the candidate CU for affine motion data inheritance is in the above CTU line, the bottom-left and bottom-right subblock MVs in the line buffer instead of the CPMVs are used for the affine MVP derivation. In this way, the CPMVs are only stored in a local buffer. If the candidate CU is 6-parameter affine coded, the affine model is degraded to 4-parameter model. As shown in Fig. 7, along the top CTU boundary, the bottom-left and bottom right subblock motion vectors of a CU are used for affine inheritance of the CUs in bottom CTUs. In Fig. 7, line 710 and line 712 indicate the x and y coordinates of the picture with the origin (0, 0) at the upper left corner. Legend 720 shows the meaning of various motion vectors, where arrow 722 represents the CPMVs for affine inheritance in the local buff, arrow 724 represents sub-block vectors for MC / merge / skip / AMVP / deblocking / TMVPs in the local buffer and for affine inheritance in the line buffer, and arrow 726 represents sub-block vectors for MC / merge / skip / AMVP / deblocking / TMVPs.

[0031] History-Parameter-Based Affine Model Inheritance and Non-Adjacent Affine Mode

[0032] History-parameter-based affine model inheritance (HAMI) allows the affine model to be inherited from a previously affine-coded block which may not be neighbouring to the current block. Similar to the enhanced regular merge mode, non-adjacent affine mode (NA-AFF) is introduced.

[0033] A first history-parameter table (HPT) is established. An entry of the first HPT stores a set of affine parameters: a, b, c and d, and each of which is represented by a 16-bit signed integer. Entries in HPT are categorized by reference list and reference index. Five reference indices are supported for each reference list in HPT. The category of HPT (denoted as HPTCat) can be calculated as:HPTCat (RefList, RefIdx) = 5×RefList + min (RefIdx, 4) ,where RefList and RefIdx represent a reference picture list (0 or 1) and a reference index, respectively. For each category, at most seven entries can be stored, resulting in a total of 70 entries in HPT. At the beginning of each CTU row, the number of entries for each category is initialized as zero. After decoding an affine-coded CU with reference list RefListcur and RefIdxcur, the affine parameters are utilized to update entries in the category HPTCat (RefListcur, RefIdxcur) in a way similar to HMVP table updating.

[0034] A history-affine-parameter-based candidate (HAPC) is derived from one of the seven neighbouring 4×4 blocks denoted as A0, A1, A2, B0, B1, B2 or B3 in Fig. 6 and a set of affine parameters stored in a corresponding entry in the first HPT. The MV of a neighbouring 4×4 block serves as the base MV. The MV of the current block at position (x, y) can be calculated as: where (mvhbase, mvvbase) represents the MV of the neighbouring 4×4 block, (xbase, ybase) represents the centre position of the neighbouring 4×4 block. (x, y) can be the top-left, top-right and bottom-left corner of the current block to obtain the corner-position MVs (CPMVs) for the current block, or it can be the centre of the current block to obtain a regular MV for the current block.

[0035] A second history-parameter table (HPT) with base MV information is also appended. There are nine entries in the second HPT, wherein an entry comprises a base MV, a reference index and four affine parameters for each reference list, and a base position. An additional merge HAPC can be generated from the second HPT with the base MV information and the corresponding affine models stored in an entry. The difference between the first HPT and the second HPT is illustrated in Figs. 8A-B.

[0036] Moreover, pair-wised affine merge candidates are generated by two affine merge candidates, which are history-derived or not history-derived. A pair-wised affine merge candidate is generated by averaging the CPMVs of existing affine merge candidates in the list.

[0037] As a response to new HAPCs being introduced, the size of sub-block-based merge candidate list is increased from five to fifteen, which are all involved in the ARMC process.

[0038] In NA-AFF, the pattern of obtaining non-adjacent spatial neighbours is shown in Fig. 9. Same as the existing non-adjacent regular merge candidates, the distances between non-adjacent spatial neighbours and current coding block in the NA-AFF are also defined based on the width and height of the current CU.

[0039] [Rectified under Rule 91, 08.08.2025]The motion information of the non-adjacent spatial neighbours in Fig. 9 is utilized to generate additional inherited and constructed affine merge / AMVP candidates. Specifically, for inherited candidates, the derivation process of the inherited affine merge / AMVP candidates in the VVC is kept unchanged except that the CPMVs are inherited from non-adjacent spatial neighbours. The non-adjacent spatial neighbours are checked based on their distances to the current block (i.e., from near to far) . At a specific distance, only the first available neighbour (that is coded with the affine mode) from each side (e.g. the left and above) of the current block (block 1010 in Fig. 10A and block 1020 in Fig. 10B) is included for inherited candidate derivation. As indicated by the dashed arrows in Fig. 10A, the checking orders of the neighbours on the left and above sides are bottom-to-up and right-to-left, respectively.

[0040] For the first type of constructed candidates, as shown in the Fig. 10B, the positions of left and above non-adjacent spatial neighbours are firstly determined independently; after that, the location of the top-left neighbour can be determined accordingly, which can enclose a rectangular virtual block together with the left and above non-adjacent neighbours. Then, as shown in the Fig. 11, the motion information of the three non-adjacent neighbours is used to form the CPMVs at the top-left (A) , top-right (B) and bottom-left (C) of the virtual block, which is finally projected to the current CU to generate the corresponding constructed candidates.

[0041] The NA-AFF candidates are inserted into the existing affine merge candidate list and affine AMVP candidate list according to the following orders:Affine merge mode:1. SbTMVP candidate, if available2. Inherited from adjacent neighbours3. Inherited from non-adjacent neighbours4. Constructed from adjacent neighbours5. The first type of constructed affine candidates from non-adjacent neighbours6. Zero MVsAffine AMVP mode:1. Inherited from adjacent neighbours2. Constructed from adjacent neighbours3. Translational MVs from adjacent neighbours4. Translational MVs from temporal neighbours5. Inherited from non-adjacent neighbours6. The first type of constructed affine candidates from non-adjacent neighbours7. Zero MVs

[0042] Due to the inclusion of the additional candidates generated by NA-AFF, the size of the affine merge candidate list is increased from 5 to 15. The subgroup size of ARMC for the affine merge mode is increased from 3 to 15.

[0043] In NA-AFF:1. The area from where the non-adjacent neighbours come is restricted to be within the current CTU (i.e., no additional storage requirements for line buffer) .2. The storage granularity for affine motion information, including CPMVs and reference indexes, is reduced from 8x8 to 16x16 (i.e., only the affine motion from the top-left 8x8 block is saved) . Additionally, the saved CPMVs are projected to each 16x16 block before being stored, such that the position and size information are not needed.3. Only the top-left and top-right CPMVs are stored (i.e., always using 4-parameter affine model for NA-AFF) .

[0044] Regression Based Affine Candidate Derivation

[0045] The Regression based Motion Vector Field (RMVF) derivation method provides a new variety of subblock-based merge candidate. The motion vectors and centre positions from the neighbouring subblocks of the current CU, as illustrated in Fig. 12, are used as the input to the linear regression process to derive a set of linear model parameters.

[0046] The subblock motion field from a previous coded affine CU and the motion vectors from the adjacent subblocks of the current CU are used as the input for the regression process. The predicted CPMVs for current block are derived as output.

[0047] The regression based affine merge candidates are derived and added to the affine merge list. Subblock motion field from a previously coded affine CU and motion information from adjacent subblocks of the current CU are used as the input to the regression process to derive proposed affine candidates.

[0048] The previously coded affine CU can be identified from scanning through non-adjacent positions and the affine HMVP table.

[0049] Adjacent subblock information of the current CU is fetched from 4x4 sub-blocks represented by the grey zone as depicted in Fig. 12. For each sub-block, given a reference list, the corresponding motion vector and centre coordinate of the sub-block may be used.

[0050] For each affine CU, up to 2 affine candidates can be derived. One with adjacent subblock information and one without. All the linear-regression-generated candidates are pruned and collected into one candidate sub-group, and TM cost based ARMC process is applied when ARMC is enabled. Afterwards, up to N linear-regression-generated candidates are added to the affine merge list when N affine CUs are found. The number of affine candidates for ARMC is 30, the output list size is 15.

[0051] Subblock-based Temporal Motion Vector Prediction (SbTMVP)

[0052] VVC supports the subblock-based temporal motion vector prediction (SbTMVP) method. Similar to the temporal motion vector prediction (TMVP) in HEVC, SbTMVP uses the motion field in the collocated picture to improve motion vector prediction and merge mode for CUs in the current picture. The same collocated picture used by TMVP is used for SbTVMP. SbTMVP differs from TMVP in the following two main aspects:-TMVP predicts motion at CU level, but SbTMVP predicts motion at sub-CU level; whereas TMVP fetches the temporal motion vectors from the collocated block in the collocated picture (the collocated block is the bottom-right or centre block relative to the current CU) , SbTMVP applies a motion shift before fetching the temporal motion information from the collocated picture, where the motion shift is obtained from the motion vector from one of the spatial neighbouring blocks of the current CU.-The SbTVMP process is illustrated in Fig. 14. SbTMVP predicts the motion vectors of the sub-CUs within the current CU 1412 in two steps in the current picture 1410. In the first step, the spatial neighbour A1 in Fig. 14 is examined. If A1 has a motion vector 1430 that uses the collocated picture 1420 as its reference picture, this motion vector is selected to be the motion shift to be applied. If no such motion is identified, then the motion shift is set to (0, 0) .In the second step, the motion shift identified in Step 1 is applied (i.e. added to the current block’s coordinates) to obtain sub-CU level motion information (motion vectors and reference indices) from the collocated picture 1420 as shown in Fig. 13. The example in Fig. 14 assumes the motion shift is set to block A1’s motion. Then, for each sub-CU, the motion information of its corresponding block 1422 (the smallest motion grid that covers the centre sample) in the collocated picture is used to derive the motion information for the sub-CU.After the motion information of the collocated sub-CU is identified, it is converted to the motion vectors and reference indices of the current sub-CU in a similar way as the TMVP process of HEVC, where temporal motion scaling is applied to align the reference pictures of the temporal motion vectors to those of the current CU.In VVC, a combined subblock based merge list which contains both SbTVMP candidate and affine merge candidates is used for the signalling of subblock based merge mode. The SbTVMP mode is enabled / disabled by a sequence parameter set (SPS) flag. If the SbTMVP mode is enabled, the SbTMVP predictor is added as the first entry of the list of subblock based merge candidates, and followed by the affine merge candidates. The size of subblock based merge list is signalled in SPS and the maximum allowed size of the subblock based merge list is 5 in VVC.The sub-CU size used in SbTMVP is fixed to be 8x8, and as done for affine merge mode, SbTMVP mode is only applicable to the CU with both width and height are larger than or equal to 8.The encoding logic of the additional SbTMVP merge candidate is the same as for the other merge candidates, that is, for each CU in P or B slice, an additional RD check is performed to decide whether to use the SbTMVP candidate.

[0053] JVET-AG0091: EE2-1.8: Auto-Relocated Block Vector Prediction

[0054] In EE2-1.8, auto-relocated block vector prediction (AR-BVP) is introduced into IBC merge / AMVP candidate list construction.

[0055] As shown in Fig. 15, a guiding block vector BV0, 1 associated with the current block B0 points to a reference block B1. If B1 has a BV denoted as BV1, 2 pointing to a reference block B2, then BV0, 2, given by BV0, 2 = BV0, 1 +BV1, 2, is defined as the AR-BVP, guided by BV0, 1. Similarly, BV0, n+1 can be derived byBV0, n+1 =BV0, n+BVn, n+1 = BV0, 1+BV1, 2 +…+BVn-1, n +BVn, n+1.

[0056] Three tests are conducted in this EE. In EE2-1.8a, the length of the AR-BVP trace path is 1 (i.e, n=1) . In EE2-1.8b, the length of the AR-BVP trace path is 2 (i.e, n=2) . In EE2-1.8c, there is no constraint for the length of the AR-BVP trace path.

[0057] When deriving BVn, n+1 guided by BV0, n, all five positions including top-left (e.g., LT in Fig. 16) , top-right (e.g., RT in Fig. 16) , centre (e.g., Ctr in Fig. 16) , bottom-left (e.g., LB in Fig. 16) , and bottom-right (e.g., RB in Fig. 16) positions of Bn are checked to find BVn, n+1.

[0058] In the proposed implementation, the initial guiding block vector BV0, 1 is set to be an existing BVP already in the IBC merge / AMVP candidate list.

[0059] The AR-BVP candidates are inserted after the HBVP candidates. The IBC merge / AMVP candidate list size is kept unchanged.

[0060] JVET-AG0073: Non-EE2: Chained Motion Vector Prediction

[0061] This contribution introduces a chained MV prediction (CMVP) into inter merge candidate list construction.

[0062] As shown in Fig. 17, CMVP candidates can be derived as the sum of the recursively traced MVs and BVs based on the pre-derived MVs for the inter merge candidate list. For instance, for a CMVP candidate, a set of motion vector MVk / m and reference picture RefPick / m can be derived by:MVk / m = MVk (0) + BVk (0) + MVk (1) +MVk (2) + …+ MVk (m) ,RefPick / m = RefPick (m) ,where k and m indicate the number of merge index and trace depths of the CMVP.

[0063] When deriving MVk / m, MVk (m) is found by checking the existence of MVs or BVs in MV / BV storage corresponding to all five position of the current block as shown in Fig. 18 (i.e., the centre, top-left, top-right, bottom-left, and bottom-right of the current block) .

[0064] When pre-derived merge candidates targeting CMVP candidates has two MVs, a MVk / m is derived for each list (i.e., L0 and L1) and each trace depth. Up to two MVs can be derived for each list and each trace depth, and the MV set is sequentially inserted into inter merge candidate list.

[0065] The traceable reference pictures are only within the reference picture list.

[0066] CMVP candidates are inserted after HMVP candidates for the regular merge and TM merge.

[0067] When deriving CMVP candidates, hpelIfIdx, bcwIdx, licFlag, and mhpFlag are not inherited. CMVP candidates are not derived when the TMVP is disabled.

[0068] In the present invention, methods and apparatus to derive subblock MVs for affine, SbTMVP, or DMVR candidates by recursively tracing subblock MVs and / or BVs based on initial subblock MVs are disclosed.BRIEF SUMMARY OF THE INVENTION

[0069] A method and apparatus for deriving subblock MVs for affine, SbTMVP, or DMVR candidates by recursively tracing subblock MVs and / or BVs based on initial subblock MVs are disclosed. According to one method, input data associated with a current block is received, wherein the input data comprise pixel data for the current block to be encoded at an encoder side or coded data associated with the current block to be decoded at a decoder side. One or more initial subblock MVs (Motion Vectors) or BVs (Block Vectors) for the current block are determined. One or more chained subblock MVs are derived, wherein each chained subblock MV is derived recursively as a sum of traced vectors starting from said one or more initial subblock MVs or BVs. One or more target subblock candidates for affine, SbTMVP (Subblock-based Temporal Motion Vector Prediction) , or DMVR (Decoder-Side Motion Vector Refinement) mode are determined by using information comprising said one or more chained subblock MVs. An affine merge list and / or an AMVP (Advanced Motion Vector Prediction) list comprising said one or more target subblock candidates is determined. The current block is encoded or decoded using the affine merge list and / or the AMVP list.

[0070] In one embodiment, each of said one or more initial subblock MVs or BVs is determined by an affine model for the affine mode, by an SbTMVP motion shift for the SbTMVP mode, or by DMVR refinement for the DMVR mode.

[0071] In one embodiment, each of current subblock MVs of the current block is replaced by one chained subblock MV.

[0072] In one embodiment, current subblock MVs in an MxN region of the current block are replaced by said one or more chained subblock MVs. In one embodiment, said one or more chained subblock MVs are on a same first reference frame or pointing to a same second reference frame. In another embodiment, said one or more chained subblock MVs are on a different first reference frame or pointing to a different second reference frame. In yet another embodiment, whether said one or more target subblock candidates are determined by using the information comprising said one or more chained subblock MVs is enabled or disable for each MxN region individually.

[0073] In one embodiment, reference frames pointed by said one or more chained subblock MVs are the same. In another embodiment, reference frames pointed by said one or more chained subblock MVs are not the same.

[0074] In one embodiment, a new affine candidate is derived by using a MV regression process and minimizing differences between regression subblock MVs and said one or more chained subblock MVs, and wherein the new affine candidate is inserted into the affine merge list and / or the AMVP list.

[0075] In one embodiment, multiple target subblock candidates are derived from one target subblock candidates by replacing all or parts of current subblock MVs by said one or more chained subblock MVs.

[0076] In one embodiment, only one of said one or more target subblock candidates is inserted into the affine merge list and / or the AMVP list.

[0077] In one embodiment, said one or more target subblock candidates and other candidates for the affine, SbTMVP, or DMVR mode are reordered based on template matching cost, boundary matching cost, bilateral matching cost, or a combination thereof.

[0078] In one embodiment, iteration number or termination condition for said deriving said one or more chained subblock MVs is dependent on POC (Picture Order Count) distance between a reference frame and a current frame, difference of QP value between the reference frame and the current frame, MV and / or BV magnitude difference between said one or more chained subblock MVs and said one or more initial subblock MVs, slice type, CU size, CU area, inter prediction indicator, or a threshold for tracing iteration.BRIEF DESCRIPTION OF THE DRAWINGS

[0079] Fig. 1A illustrates an exemplary adaptive Inter / Intra video coding system incorporating loop processing.

[0080] Fig. 1B illustrates a corresponding decoder for the encoder in Fig. 1A.

[0081] Fig. 2A illustrates an example of the affine motion field of a block described by motion information of two control point (4-parameter) .

[0082] Fig. 2B illustrates an example of the affine motion field of a block described by motion information of three control point motion vectors (6-parameter) .

[0083] Fig. 3 illustrates an example of block based affine transform prediction, where the motion vector of each 4×4 luma subblock is derived from the control-point MVs.

[0084] Fig. 4 illustrates the neighbouring blocks used for deriving spatial merge candidates for VVC.

[0085] Fig. 5 illustrates an example of derivation for inherited affine candidates based on control-point MVs of a neighbouring block.

[0086] Fig. 6 illustrates an example of affine candidate construction by combining the translational motion information of each control point from spatial neighbours and temporal.

[0087] Fig. 7 illustrates an example of affine motion information storage for motion information inheritance.

[0088] Fig. 8A illustrates an example of first history-parameter table (HPT) , where each entry of the first HPT stores a set of affine parameters.

[0089] Fig. 8B illustrates an example of second history-parameter table (HPT) with base MV information also appended.

[0090] Fig. 9 illustrates an example of non-adjacent spatial neighbour candidates.

[0091] Figs. 10A-B illustrate examples of non-adjacent spatial neighbours for deriving affine merge mode (NSAM) , where the pattern of obtaining non-adjacent spatial neighbours is shown in Fig. 10A for deriving inherited affine merge candidates and in Fig. 10B for deriving constructed affine merge candidates.

[0092] Fig. 11 illustrates an example of constructed affine candidates according to non-adjacent neighbours, where the motion information of the three non-adjacent neighbours at locations A, B and C is used to form the CPMVs.

[0093] Fig. 12 illustrates an example of neighbouring 4 x 4 subblocks used for RMVF parameter derivation, where W and H are the width and height of the current CU.

[0094] Fig. 13 illustrates an example of spatial neighbouring blocks used by ATVMP.

[0095] Fig. 14 illustrates an example of deriving sub-CU motion field by applying a motion shift from spatial neighbour and scaling the motion information from the corresponding collocated sub-CUs.

[0096] Fig. 15 illustrates an example of how to derive AR-BVP (Auto-Relocated Block Vector Prediction) .

[0097] Fig. 16 illustrates an example of five spatial locations checked for block Bn in order to derive block vector BVn, n+1.

[0098] Fig. 17 illustrates an example of CMVP (Chained MVP) candidates derived as the sum of the recursively traced MVs and BVs based on the pre-derived MVs for the inter merge candidate list.

[0099] Fig. 18 illustrates an example of deriving MVk (m) by checking the existence of MVs or BVs in MV / BV storage corresponding to all five positions of the current block.

[0100] Fig. 19 illustrates an example of CMVP (Chained MVP) candidates derived as the sum of the recursively traced MVs and BVs based on the pre-derived subblock MVs for the inter merge candidate list.

[0101] Fig. 20 illustrates a flowchart of an exemplary video coding system that derives one or more target subblock candidates for affine, SbTMVP, or DMVR mode by using information comprising one or more chained subblock MVs according to an embodiment of the present invention.DETAILED DESCRIPTION OF THE INVENTION

[0102] It will be readily understood that the components of the present invention, as generally described and illustrated in the figures herein, may be arranged and designed in a wide variety of different configurations. Thus, the following more detailed description of the embodiments of the systems and methods of the present invention, as represented in the figures, is not intended to limit the scope of the invention, as claimed, but is merely representative of selected embodiments of the invention. References throughout this specification to “one embodiment, ” “an embodiment, ” or similar language mean that a particular feature, structure, or characteristic described in connection with the embodiment may be included in at least one embodiment of the present invention. Thus, appearances of the phrases “in one embodiment” or “in an embodiment” in various places throughout this specification are not necessarily all referring to the same embodiment.

[0103] Furthermore, the described features, structures, or characteristics may be combined in any suitable manner in one or more embodiments. One skilled in the relevant art will recognize, however, that the invention can be practiced without one or more of the specific details, or with other methods, components, etc. In other instances, well-known structures, or operations are not shown or described in detail to avoid obscuring aspects of the invention. The illustrated embodiments of the invention will be best understood by reference to the drawings, wherein like parts are designated by like numerals throughout. The following description is intended only by way of example, and simply illustrates certain selected embodiments of apparatus and methods that are consistent with the invention as claimed herein.

[0104] PROPOSED METHODS

[0105] Chained Subblock Motion Vector Prediction

[0106] In one embodiment, the subblock MVs of an affine, a SbTMVP, or a DMVR (Decoder-Side Motion Vector Refinement) candidate can be determined by recursively tracing subblock MVs and / or BVs based on initial subblock MVs similar to the methods of CMVP and AR-BVP. In one example, the initial subblock MVs of an affine, SbTMVP, DMVR candidate, or a combination of them are determined by the affine model, SbTMVP motion shift, DMVR refinement, or a combination of them. Each of the subblock MV can be replaced by the searched subblock CMVP (i.e., chained subblock MV prediction) after the recursive tracing of subblock MVs and / or BVs individually as shown in Fig. 19. In one embodiment, all the subblock MVs are replaced by the searched CMVPs if the searched CMVPs are on the same reference frame. In another example, the searched CMVPs are not on the same reference frame. In another embodiment, all the subblock MVs are replaced by the searched CMVPs if the searched CMVPs point to the same reference frame. In another example, the searched CMVPs do not point to the same reference frame. According to another embodiment, the subblock MVs in every MxN regions (M and N can be any positive number larger than zero) in the current CU can be replaced by the searched subblock CMVPs after the recursive tracing of subblock MVs and / or BVs. For example, when it is decided to replace the subblock MVs by searched subblock CMVPs, all the subblock MVs in an MxN region are replaced by the searched CMVPs if the searched CMVPs are on the same reference frame. In another example, the searched CMVPs are not on the same reference frame. For another example, when it is decided to replace the subblock MVs by searched subblock CMVPs, all the subblock MVs in an MxN region are replaced by the searched CMVPs if the searched CMVPs point to the same reference frame. In another example, the searched CMVPs do not point to the same reference frame. The CMVP searching can be enabled for each MxN region individually.

[0107] In one embodiment, when it is decided to replace the subblock MVs by searched subblock CMVPs for the affine mode, the reference frame pointed by each subblock CMVP should be the same. In another embodiment, the reference frame pointed by each subblock CMVP should not be the same. Thus, a new affine model can be derived by MV regression process similar to the method of regression-based affine candidate derivation by minimizing the difference between regression subblock MVs and the searched subblock CMVPs. The new derived affine model can be inserted into affine merge and / or AMVP list.

[0108] In another embodiment, multiple affine or SbTMVP or DMVR candidates can be derived from in an affine, SbTMVP, DMVR candidate, or a combination of them by replacing all or parts of subblock MVs by searched subblock CMVPs. In one embodiment, only one of all subblock MVs in an affine, SbTMVP, or DMVR candidate different from another affine, SbTMVP, or DMVR candidate can be viewed as different affine, SbTMVP, or DMVR candidate, and can be inserted into subblock merge / AMVP or inter merge list.

[0109] In one embodiment, when there is no searched subblock chained MV found for an initial subblock MV of an affine, SbTMVP, or DMVR candidate, the initial subblock MV is stored and used. In another embodiment, when there is no searched subblock chained MV found for the initial subblock MV at the centre position of the current CU for an affine, SbTMVP, or DMVR candidate, the initial subblock MVs are stored and used for the entire block. In another embodiment, when the collocated MV at the centre of the current CU determined by the motion shift of a SbTMVP candidate does not exist, the chained MV searching for this SbTMVP candidate is skipped.

[0110] In another embodiment, the affine, SbTMVP, or DMVR candidates with subblock MVs replacing by searched subblock CMVPs can be reordered by template matching, boundary matching and / or bilateral matching costs with other affine, SbTMVP, or DMVR candidates.

[0111] In one embodiment, for the above methods, the iteration number or the termination condition of MV and BV tracing can depend on the POC (Picture Order Count) distance between the reference and the current frame, difference of QP value between the reference and the current frame, MV and / or BV magnitude difference between chained and initial subblock MVs, slice type, CU size, CU area, inter prediction indicator, or a threshold for the tracing iteration.

[0112] Any of the foregoing proposed methods can be implemented in encoders and / or decoders. For example, any of the proposed methods can be implemented in inter coding of an encoder, and / or a decoder. Alternatively, any of the proposed methods can be implemented as a circuit coupled to the inter coding of the encoder and / or the decoder, so as to provide the information needed by the inter coding.

[0113] With reference to the exemplary encoder and decoder in Fig. 1A and Fig 1B, the proposed methods can be implemented in the inter prediction modules. For example, in the encoder side, the required processing can be implemented as part of the Inter-Pred. unit 112 as shown in Fig. 1A. However, the encoder may also use additional processing unit to implement the required processing. For the decoder side, the required processing can be implemented as part of the MC unit 152 as shown in Fig. 1B. However, the decoder may also use additional processing unit to implement the required processing. Alternatively, any of the proposed methods can be implemented as a circuit coupled to the inter  / prediction module of the encoder and / or the inter  / prediction module of the decoder, so as to provide the information needed by the inter  / prediction module. While the Inter-Pred. 112 in the encoder side and MC 152 in the decoder side are shown as individual processing units, they may correspond to executable software or firmware codes stored on a media, such as hard disk or flash memory, for a CPU (Central Processing Unit) or programmable devices (e.g. DSP (Digital Signal Processor) or FPGA (Field Programmable Gate Array) ) .

[0114] Fig. 20 illustrates a flowchart of an exemplary video coding system that derives one or more target subblock candidates for affine, SbTMVP, or DMVR mode by using information comprising one or more chained subblock MVs according to an embodiment of the present invention. The steps shown in the flowchart may be implemented as program codes executable on one or more processors (e.g., one or more CPUs) at the encoder side. The steps shown in the flowchart may also be implemented based hardware such as one or more electronic devices or processors arranged to perform the steps in the flowchart. According to one method, input data associated with a current block is received in step 2010, wherein the input data comprise pixel data for the current block to be encoded at an encoder side or coded data associated with the current block to be decoded at a decoder side. One or more initial subblock MVs (Motion Vectors) or BVs (Block Vectors) for the current block are determined in step 2020. One or more chained subblock MVs are derived in step 2030, wherein each chained subblock MV is derived recursively as a sum of traced vectors starting from said one or more initial subblock MVs or BVs. One or more target subblock candidates for affine, SbTMVP (Subblock-based Temporal Motion Vector Prediction) , or DMVR (Decoder-Side Motion Vector Refinement) mode are determined by using information comprising said one or more chained subblock MVs in step 2040. An affine merge list and / or an AMVP (Advanced Motion Vector Prediction) list comprising said one or more target subblock candidates is determined in step 2050. The current block is encoded or decoded using the affine merge list and / or the AMVP list in step 2060.

[0115] The flowchart shown is intended to illustrate an example of video coding according to the present invention. A person skilled in the art may modify each step, re-arranges the steps, split a step, or combine steps to practice the present invention without departing from the spirit of the present invention. In the disclosure, specific syntax and semantics have been used to illustrate examples to implement embodiments of the present invention. A skilled person may practice the present invention by substituting the syntax and semantics with equivalent syntax and semantics without departing from the spirit of the present invention.

[0116] The above description is presented to enable a person of ordinary skill in the art to practice the present invention as provided in the context of a particular application and its requirement. Various modifications to the described embodiments will be apparent to those with skill in the art, and the general principles defined herein may be applied to other embodiments. Therefore, the present invention is not intended to be limited to the particular embodiments shown and described, but is to be accorded the widest scope consistent with the principles and novel features herein disclosed. In the above detailed description, various specific details are illustrated in order to provide a thorough understanding of the present invention. Nevertheless, it will be understood by those skilled in the art that the present invention may be practiced.

[0117] Embodiment of the present invention as described above may be implemented in various hardware, software codes, or a combination of both. For example, an embodiment of the present invention can be one or more circuit circuits integrated into a video compression chip or program code integrated into video compression software to perform the processing described herein. An embodiment of the present invention may also be program code to be executed on a Digital Signal Processor (DSP) to perform the processing described herein. The invention may also involve a number of functions to be performed by a computer processor, a digital signal processor, a microprocessor, or field programmable gate array (FPGA) . These processors can be configured to perform particular tasks according to the invention, by executing machine-readable software code or firmware code that defines the particular methods embodied by the invention. The software code or firmware code may be developed in different programming languages and different formats or styles. The software code may also be compiled for different target platforms. However, different code formats, styles and languages of software codes and other means of configuring code to perform the tasks in accordance with the invention will not depart from the spirit and scope of the invention.

[0118] The invention may be embodied in other specific forms without departing from its spirit or essential characteristics. The described examples are to be considered in all respects only as illustrative and not restrictive. The scope of the invention is therefore, indicated by the appended claims rather than by the foregoing description. All changes which come within the meaning and range of equivalency of the claims are to be embraced within their scope.

Claims

1.A method of video coding, the method comprising:receiving input data associated with a current block, wherein the input data comprise pixel data for the current block to be encoded at an encoder side or coded data associated with the current block to be decoded at a decoder side;determining one or more initial subblock MVs (Motion Vectors) or BVs (Block Vectors) for the current block;deriving one or more chained subblock MVs, wherein each chained subblock MV is derived recursively as a sum of traced vectors starting from said one or more initial subblock MVs or BVs;determining one or more target subblock candidates for affine, SbTMVP (Subblock-based Temporal Motion Vector Prediction) , or DMVR (Decoder-Side Motion Vector Refinement) mode by using information comprising said one or more chained subblock MVs;determining an affine merge list and / or an AMVP (Advanced Motion Vector Prediction) list comprising said one or more target subblock candidates; andencoding or decoding the current block using the affine merge list and / or the AMVP list.2.The method of Claim 1, wherein each of said one or more initial subblock MVs or BVs is determined by an affine model for the affine mode, by an SbTMVP motion shift for the SbTMVP mode, or by DMVR refinement for the DMVR mode.3.The method of Claim 1, wherein each of current subblock MVs of the current block is replaced by one chained subblock MV.4.The method of Claim 1, wherein current subblock MVs in an MxN region of the current block are replaced by said one or more chained subblock MVs.5.The method of Claim 4, wherein said one or more chained subblock MVs are on a same first reference frame or pointing to a same second reference frame.6.The method of Claim 4, wherein said one or more chained subblock MVs are on a different first reference frame or pointing to a different second reference frame.7.The method of Claim 4, wherein whether said one or more target subblock candidates are determined by using the information comprising said one or more chained subblock MVs is enabled or disable for each MxN region individually.8.The method of Claim 1, wherein reference frames pointed by said one or more chained subblock MVs are the same.9.The method of Claim 1, wherein reference frames pointed by said one or more chained subblock MVs are not the same.10.The method of Claim 1, wherein a new affine candidate is derived by using a MV regression process and minimizing differences between regression subblock MVs and said one or more chained subblock MVs, and wherein the new affine candidate is inserted into the affine merge list and / or the AMVP list.11.The method of Claim 1, wherein multiple target subblock candidates are derived from one target subblock candidates by replacing all or parts of current subblock MVs by said one or more chained subblock MVs.12.The method of Claim 1, wherein only one of said one or more target subblock candidates is inserted into the affine merge list and / or the AMVP list.13.The method of Claim 1, wherein said one or more target subblock candidates and other candidates for the affine, SbTMVP, or DMVR mode are reordered based on template matching cost, boundary matching cost, bilateral matching cost, or a combination thereof.14.The method of Claim 1, wherein iteration number or termination condition for said deriving said one or more chained subblock MVs is dependent on POC (Picture Order Count) distance between a reference frame and a current frame, difference of QP value between the reference frame and the current frame, MV and / or BV magnitude difference between said one or more chained subblock MVs and said one or more initial subblock MVs, slice type, CU size, CU area, inter prediction indicator, or a threshold for tracing iteration.15.An apparatus for video coding, the apparatus comprising one or more electronic circuits or processors arranged to:receive input data associated with a current block, wherein the input data comprise pixel data for the current block to be encoded at an encoder side or coded data associated with the current block to be decoded at a decoder side;determine one or more initial subblock MVs (Motion Vector) or BVs (Block Vector) for the current block;derive one or more chained subblock MVs, wherein each chained subblock MV is derived recursively as a sum of traced vectors starting from said one or more initial subblock MVs or BVs;determine one or more target subblock candidates for affine, SbTMVP (Subblock-based Temporal Motion Vector Prediction) , or DMVR (Decoder-Side Motion Vector Refinement) mode by using information comprising said one or more chained subblock MVs;determine an affine merge list and / or an AMVP (Advanced Motion Vector Prediction) list comprising said one or more target subblock candidates; andencode or decode the current block using the affine merge list and / or the AMVP list.

Images