Methods and apparatus of inter cross-component prediction and regression-based blending of colour components in video coding

Abstract

A method and apparatus for coding colour pictures or video are disclosed. According to this method, multiple first-chroma predictions using multiple prediction modes are determined. One or more blending weights for the first-chroma block are derived. Final first-chroma prediction is generated by blending the multiple first-chroma predictions according to the blending weights. The blending weights derived for the first-chroma block are applied to the second-chroma block. According to another method, different inter cross-component prediction filters are derived for different luma residue regions.

Description

METHODS AND APPARATUS OF INTER CROSS-COMPONENT PREDICTION AND REGRESSION-BASED BLENDING OF COLOUR COMPONENTS IN VIDEO CODINGCROSS REFERENCE TO RELATED APPLICATIONS

[0001] The present invention is a non-Provisional Application of and claims priority to U.S. Provisional Patent Application No. 63 / 550,676, filed on February 7, 2024 and U.S. Provisional Patent Application No. 63 / 661,214, filed on June 18, 2024. The U.S. Provisional Patent Applications are hereby incorporated by reference in their entireties.FIELD OF THE INVENTION

[0002] The present invention relates to video coding system using coding tools including one or more cross component models related modes. In particular, the present invention relates to blending weights sharing between two chroma components. Also the present invention is related to using different inter cross-component prediction filters for different luma residue regions. BACKGROUND AND RELATED ART

[0003] Versatile video coding (VVC) is the latest international video coding standard developed by the Joint Video Experts Team (JVET) of the ITU-T Video Coding Experts Group (VCEG) and the ISO / IEC Moving Picture Experts Group (MPEG) . The standard has been published as an ISO standard: ISO / IEC 23090-3: 2021, Information technology -Coded representation of immersive media -Part 3: Versatile video coding, published Feb. 2021. VVC is developed based on its predecessor HEVC (High Efficiency Video Coding) by adding more coding tools to improve coding efficiency and also to handle various types of video sources including 3-dimensional (3D) video signals.

[0004] Fig. 1A illustrates an exemplary adaptive Inter / Intra video encoding system incorporating loop processing. For Intra Prediction 110, the prediction data is derived based on previously coded video data in the current picture. For Inter Prediction 112, Motion Estimation (ME) is performed at the encoder side and Motion Compensation (MC) is performed based on the result of ME to provide prediction data derived from other picture (s) and motion data. Switch 114 selects Intra Prediction 110 or Inter Prediction 112 and the selected prediction data is supplied to Adder 116 to form prediction errors, also called residues. The prediction error is then processed by Transform (T) 118 followed by Quantization (Q) 120. The transformed and quantized residues are then coded by Entropy Encoder 122 to be included in a video bitstream corresponding to the compressed video data. The bitstream associated with the transform coefficients is then packed with side information such as motion and coding modes associated with Intra prediction and Inter prediction, and other information such as parameters associated with loop filters applied to underlying image area. The side information associated with Intra Prediction 110, Inter prediction 112 and in-loop filter 130, is provided to Entropy Encoder 122 as shown in Fig. 1A. When an Inter-prediction mode is used, a reference picture or pictures have to be reconstructed at the encoder end as well. Consequently, the transformed and quantized residues are processed by Inverse Quantization (IQ) 124 and Inverse Transformation (IT) 126 to recover the residues. The residues are then added back to prediction data 136 at Reconstruction (REC) 128 to reconstruct video data. The reconstructed video data may be stored in Reference Picture Buffer 134 and used for prediction of other frames.

[0005] As shown in Fig. 1A, incoming video data undergoes a series of processing in the encoding system. The reconstructed video data from REC 128 may be subject to various impairments due to a series of processing. Accordingly, in-loop filter 130 is often applied to the reconstructed video data before the reconstructed video data are stored in the Reference Picture Buffer 134 in order to improve video quality. For example, deblocking filter (DF) , Sample Adaptive Offset (SAO) and Adaptive Loop Filter (ALF) may be used. The loop filter information may need to be incorporated in the bitstream so that a decoder can properly recover the required information. Therefore, loop filter information is also provided to Entropy Encoder 122 for incorporation into the bitstream. In Fig. 1A, Loop filter 130 is applied to the reconstructed video before the reconstructed samples are stored in the reference picture buffer 134. The system in Fig. 1A is intended to illustrate an exemplary structure of a typical video encoder. It may correspond to the High Efficiency Video Coding (HEVC) system, VP8, VP9, H. 264 or VVC.

[0006] The decoder, as shown in Fig. 1B, can use similar or portion of the same functional blocks as the encoder except for Transform 118 and Quantization 120 since the decoder only needs Inverse Quantization 124 and Inverse Transform 126. Instead of Entropy Encoder 122, the decoder uses an Entropy Decoder 140 to decode the video bitstream into quantized transform coefficients and needed coding information (e.g. ILPF information, Intra prediction information and Inter prediction information) . The Intra prediction 150 at the decoder side does not need to perform the mode search. Instead, the decoder only needs to generate Intra prediction according to Intra prediction information received from the Entropy Decoder 140. Furthermore, for Inter prediction, the decoder only needs to perform motion compensation (MC 152) according to Inter prediction information received from the Entropy Decoder 140 without the need for motion estimation.

[0007] I. Related Art

[0008] I. 1 InterCCCM (Inter Convolutional Cross-Component Model)

[0009] InterCCCM applies the CCCM method for predicting chroma samples from reconstructed luma samples when the CU uses inter prediction or intra block copy (IBC) . Fig. 2 illustrates the decoder side of the method. The cross-component filters are derived using the prediction blocks of luma and chroma. Filter coefficients are derived in step 220 for each chroma component separately using the prediction signals (i.e., predY 210, and predCb 212 or predCr 214) and the filters are applied to the reconstructed luma signal in step 230 as shown in Fig. 2. The reconstructed luma signal is formed by combining the luma prediction (PredY) 210 and residual luma signal (resY) using an adder 222. After applying the filters, the step 230 generates filtered-predicted Cb 240 and filtered-predicted Cr 250. The reconstructed Cb signal is formed by combining the filtered-predicted Cb 240 and residual Cb signal (i.e., resCb) using an adder 242. Similarly, the reconstructed Cr signal is formed by combining the filtered-predicted Cr 250 and residual Cr signal (i.e., resCr) using an adder 252. The derived filters are applied to the reconstructed luma block and blended with the prediction blocks of chroma to produce the final chroma prediction blocks. In the blending process the filtered reconstructed luma blocks use blending weight of 0.75 and chroma prediction blocks use blending weight of 0.25.

[0010] The 8-tap filter consist of 6 spatial luma samples, a nonlinear term, and a bias term. The spatial luma samples (L0, …, L5) are obtained from the luma grid selecting the 6 luma samples closest to the chroma position C without down sampling as shown in Fig. 3. The predicted chroma value is obtained as, predChromaVal = c0 L0+ c1L1 + c2L2 + c3L3 + c4L4 + c5L5 + c6 nonlinear ( (L0+L3+1)  >> 1) + c7 B, where nonlinear is CCCM’s nonlinear operator and B is bias. The filter coefficients are derived using  ECM’s division-free Gaussian elimination method and the necessary offsets are applied to samples prior to filter derivation. The offsets for division-free Gaussian elimination method are obtained using a four-point average of the luma and chroma prediction blocks, where the four points correspond to the top-left, top-right, bottom-left and bottom-right corners of the blocks. For filter coefficient derivation at most 256 chroma samples are used.

[0011] Usage of the mode is signalled with a CABAC coded TU level flag. One new CABAC context was included to support this. The InterCCCM flag is only signalled if the TU’s luma Cbf is non-zero and the CU’s predMode is either MODE_INTER or MODE_IBC.

[0012] The encoder performs an RD decision in the transform selection loop for the chroma components when luma Cbf is non-zero and the CU’s predMode is either MODE_INTER or MODE_IBC.

[0013] I. 2 Convolutional Cross-Component Model (CCCM)

[0014] In CCCM, a convolutional model is applied to improve the chroma prediction performance. The convolutional model has 7-tap filter consist of a 5-tap plus sign shape spatial component, a nonlinear term and a bias term. The input to the spatial 5-tap component of the filter consists of a center (C) luma sample which is collocated with the chroma sample to be predicted and its above / north (N) , below / south (S) , left / west (W) and right / east (E) neighbours as illustrated in Fig. 4.

[0015] The nonlinear term (denoted as P) is represented as power of two of the center luma sample C and scaled to the sample value range of the content: P = (C*C + midVal ) >> bitDepth.

[0016] That is, for 10-bit content it is calculated as: P = (C*C + 512 ) >> 10.

[0017] The bias term (denoted as B) represents a scalar offset between the input and output (similarly to the offset term in CCLM) and is set to middle chroma value (512 for 10-bit content) .

[0018] Output of the filter is calculated as a convolution between the filter coefficients ci and the input values and clipped to the range of valid chroma samples: predChromaVal = c0C + c1N + c2S + c3E + c4W + c5P + c6B.

[0019] The filter coefficients ci are calculated by minimising MSE between predicted and reconstructed chroma samples in the reference area. Fig. 5 illustrates the reference area which consists of 6 lines of chroma samples above and left of the PU. Reference area extends one PU width to the right and one PU height below the PU boundaries. Area is adjusted to include only available samples. The extensions to the area shown in blue are needed to support the “side samples” of the plus shaped spatial filter and are padded when in unavailable areas.

[0020] The MSE minimization is performed by calculating autocorrelation matrix for the luma input and a cross-correlation vector between the luma input and chroma output. Autocorrelation matrix is LDL decomposed and the final filter coefficients are calculated using back-substitution. The process follows roughly the calculation of the ALF filter coefficients in ECM, however LDL decomposition was chosen instead of Cholesky decomposition to avoid using square root operations.

[0021] I. 3 Cross-Component Prediction (CCP) merge (a. k. a., non-local CCP) mode

[0022] For chroma coding, a flag is signalled to indicate whether CCP mode (including the CCLM, CCCM, GLM and their variants) or non-CCP mode (conventional chroma intra prediction mode, fusion of chroma intra prediction mode) is used. If the CCP mode is selected, one more flag is signalled to indicate how to derive the CCP type and parameters, i.e., either from a CCP merge list or signalled / derived on-the-fly. A CCP merge candidate list is constructed from the spatial adjacent, temporal, spatial non-adjacent, history-based or shifted temporal candidates. After including these candidates, default models are further included to fill the remaining empty positions in the merge list. In order to remove redundant CCP models in the list, pruning operation is applied. After constructing the list, the CCP models in the list are reordered according to the SAD costs, which are obtained using the neighbouring template of the current block. More details are described below.

[0023] I. 3.1 Spatial adjacent and non-adjacent candidates

[0024] The positions and inclusion order of the spatial adjacent and non-adjacent candidates are the same as those defined in ECM for regular inter merge prediction candidates.

[0025] I. 3.2 Temporal and shifted temporal candidates

[0026] Temporal candidates are selected from the collocated picture. The position and inclusion order of the temporal candidates are the same as those defined in ECM for regular inter merge prediction candidates. The shifted temporal candidates are also selected from the collocated picture. The position of temporal candidates is shifted by a selected motion vector which is derived from motion vectors of neighbouring blocks.

[0027] I. 3.3 History-based candidates

[0028] A history-based table is maintained to include the recently used CCP models, and the table is reset at the beginning of each CTU row. If the current list is not full after including spatial adjacent and non-adjacent candidates, the CCP models in the history-based table are added into the list.

[0029] I. 3.4 Default candidates

[0030] CCLM candidates with default scaling parameters are considered, only when the list is not full after including the spatial adjacent, spatial non-adjacent, or history-based candidates. If the current list has no candidates with the single-model CCLM mode, the default scaling parameters are {0, 1 / 8, -1 / 8, 2 / 8, -2 / 8, 3 / 8, -3 / 8, 4 / 8, -4 / 8, 5 / 8, -5 / 8, 6 / 8} . Otherwise, the default scaling parameters are {0, the scaling parameter of the first CCLM candidate + {1 / 8, -1 / 8, 2 / 8, -2 / 8, 3 / 8, -3 / 8, 4 / 8, -4 / 8, 5 / 8, -5 / 8, 6 / 8} .

[0031] It is noted that the CCP flag is inherited from a CCP candidate in the CCP merge candidate list.

[0032] A flag is signalled to indicate whether the CCP merge mode is applied or not. If CCP merge mode is applied, an index is signalled to indicate which candidate model is used by the current block. In addition, CCP merge mode is not allowed for the current chroma coding block when the current CU is coded by intra sub-partitions (ISP) with a single tree, or the current chroma coding block size is less than or equal to 16. For a CCP merge coded block, one CCP-merge fusion flag is further signalled to indicate whether a fusion mode is applied. In the fusion mode, the final prediction is generated by a weighted sum of the CCP-merge prediction and either the MM-CCCM prediction or the DIMD prediction. If the CCP-merge fusion flag is true, a CCP-merge fusion type flag is further signalled to indicate whether the MM-CCCM prediction or the DIMD prediction is selected and fused with the CCP-merge prediction.

[0033] I. 4 CCP Merge for Chroma Inter Blocks

[0034] The cross-component prediction merge mode described in section I. 3 is extended to chroma inter coding. The CCP models including CCLM, MMLM, CCCM, GLM, chroma fusion, CCP merge modes, and inter CCCM are stored and inherited for the following coding chroma intra and inter blocks. Similar to the CCP merge for chroma intra blocks, a flag is signalled to indicate whether a chroma inter block is coded using this mode. If the CCP merge mode is used, a CCP merge list is constructed in a similar way as that for chroma intra blocks except that additional shifted temporal candidate and on-the-fly derived candidates are included in the CCP merge list. The additional shifted temporal candidates are derived from the collocated picture. Also, the position of these candidates are the same as those defined in ECM for regular inter merge prediction candidates with a shift obtained from the motion vector of the current block. The on-the-fly derived candidates are only used for low delay pictures and are obtained using the neighbouring reconstructed samples of the current block. On-the-fly derived candidates including single / multi-model CCCM and single / multi-model CCLM are added to the CCP merge list. After the CCP merge list is constructed, the candidate with the lowest template cost is selected for the chroma inter block. The chroma inter block is then predicted in the same way as that of inter CCCM. That is, the motion compensation predicted samples are blended with the cross-component predicted samples to form the final prediction.

[0035] I. 5 Inter CCP Merge Mode with Zero Luma CBF Proposed in JVET-AH0066

[0036] If the root CBF is equal to 0, a CU level flag is signalled to indicate the usage of inter CCP merge mode. Otherwise, a TU level flag is signalled. Whether to allow the proposed method for inter AMVP-coded blocks or inter MERGE-coded blocks with W×H less than 16 or greater than 1024 is determined based on the selection ratio of blocks coded in the inter CCP merge mode in the previous coded picture. The encoder may also disable the proposed method for the trade-off purpose.

[0037] I. 6 Adaptive Weighting for Inter CCP Merge Mode with Zero Luma CBF in JVET-AH0202

[0038] It is proposed to have additional weighting factor (1, 0) (i.e., pure cross-component prediction) on top of EE2-3.3. Consequently, a weighting index (0, 1, or 2) is signalled to indicate the weighting (0, 1) for the mode off, (0.75, 0.25) for the existing weighting, and (1, 0) for the pure cross-component prediction. The signalling is actually equivalent to signal another flag after the interCcpMergeZeroRootCbfFlag.

[0039] I. 7 Regression-based GPM blending

[0040] Regression-based GMP blending mode is designed as an additional GPM implicit mode, where the two integer blending matrices (W0 and W1) are derived from the template (1 line above, 1 column left) . The blending matrices are modelled as an affine linear function of the sample positions (x, y) in the current CU: W0 (x, y) = a. x + b. y + c and W1 (x, y) = 1 -W0 (x, y) .

[0041] The parameters (a, b, c) are derived from the reference template using the same solver (MSE minimization) as the one used for CCCM. A list of pair of candidates is built from the regular GPM candidates and re-ordered with the template cost.

[0042] The GPM implicit mode is signalled by a CU-level flag (gpm_implicit_flag) . If gpm_implicit_flag is true, a merge-idx is coded to signal the pair of GPM candidates to be used. If gpm_implicit_flag is false, the regular GPM syntax elements are signalled.

[0043] I. 8 Fusion of Chroma Intra Prediction Modes

[0044] In ECM, two chroma intra prediction signals can be fused together. One of the two chroma intra prediction signals is predicted using one of the DM mode, DIMD chroma mode and the four default modes (non-LM mode) . The other chroma intra prediction signal is predicted using cross-component linear prediction modes (LM mode) . Two different methods are supported.

[0045] In the first method, the LM mode can be either MM-CCLM or MM-CCCM, and the final predictor is derived as follows: predC (i, j) =(w0×pred0 (i, j) +w1×pred1 (i, j) +(1<< (shift-1) ) )>>shift where pred0 (i, j) is the predictor obtained by applying the non-LM mode, pred1 (i, j) is the  predictor obtained by applying the LM mode and predC (i, j) is the final predictor of the current chroma block. The two weights, w0 and w1 are determined by the intra prediction mode of adjacent chroma blocks and shift is set equal to 2. Specifically, when the above and left adjacent blocks are both coded with LM modes, {w0, w1} = {1, 3} ; when the above and left adjacent blocks are both coded with non-LM modes, {w0, w1} = {3, 1} ; otherwise, {w0, w1} = {2, 2} . Two template costs are calculated by fusing the angular chroma prediction with MM-CCLM or MM-CCCM, respectively, and the one of the two CCPs which provides a smaller template cost is utilized to derive pred1.

[0046] In the second method, the LM mode can be either MMLM or CCLM mode, and the final predictor is derived as follows: predC (i, j) = α0×pred0 (i, j) + α1×rec′LL (i, j) +α2×β

[0047] where pred0 (i, j) is the predictor obtained by applying the non-LM mode, recLL (i, j) is the set of downsampled reconstructed luma samples at co-located positions and predC (i, j) is the final predictor of the current chroma block. β is a fixed value and is set equal to 512 for 10-bit content. The three weights, α0, α1 and α2 are derived from the adjacent luma and chroma samples using the same LDL derivation method as in CCCM.

[0048] For the syntax design, one index is signalled to indicate whether fusion is applied and which method is used. It is noted that for I slices, the non-LM mode can be DM mode, DIMD chroma mode and the four default modes. For non-I slices, only DIMD chroma mode is allowed to be fused with LM modes.

[0049] In order to improve the coding performance for a system using cross-component models, methods and apparatus of using blending weights sharing between two chroma components and using different inter cross-component prediction filters for different luma residue regions. BRIEF SUMMARY OF THE INVENTION

[0050] A method and apparatus for coding colour pictures or video using coding tools including one or more cross component models related modes are disclosed. According to this method, input data associated with a current block comprising a first-colour block and a second-colour block is received, wherein the input data comprise pixel data to be encoded at an encoder side or data associated with the current block to be decoded at a decoder side. Multiple first-colour predictions comprising a first first-colour prediction corresponding to a first prediction mode and a second first-colour prediction corresponding to a second prediction mode are determined. One or more blending weights for the first-colour block are derived. Final first-colour prediction is generated by blending the multiple first-colour predictions according to the blending weights. Multiple second-colour predictions comprising a first second-colour prediction corresponding to the first prediction mode and a second second-colour prediction corresponding to the second prediction mode is determined. Final second-colour prediction is generated by blending the multiple second-colour predictions according to the blending weights.

[0051] In one embodiment, the first-colour block and the second-colour block correspond to a first-chroma block and a second-chroma block.

[0052] In one embodiment, the first prediction mode corresponds to an intra chroma prediction mode and the second prediction mode corresponds to an interCCCM (inter Convolutional Cross-Component Model) mode.

[0053] In one embodiment, said one or more blending weights for the first-colour block are derived by using a block-based regression process.

[0054] In one embodiment, the block-based regression process minimizes difference measure between one or more reconstructed chroma samples for the first-colour block and one or more final predicted samples for the first-colour block, and wherein said one or more final predicted samples for the first-colour block are generated by combining one or more predicted samples according to the first prediction mode and one or more filtered samples according to the second prediction mode using said one or more blending weights. In one embodiment, the difference measure corresponds to minimum squared error. In one embodiment, the block-based regression process derives said one or more blending weights by using samples within a template region.

[0055] In one embodiment, said one or more blending weights are CU-based weighting or position-based weighting. In one embodiment, the position-based weighting includes one or more position terms, one or more gradient terms, one or more horizontal, one or more vertical spatial chroma terms, one or more horizontal and vertical spatial luma terms, one or more non-linear terms, or a combination thereof.

[0056] According to another method, input data associated with a current block comprising a first-colour block and a second-colour block is received, wherein the input data comprise pixel data to be encoded at an encoder side or data associated with the current block to be decoded at a decoder side. Residuals of the first-colour block are determined. The residuals of the first-colour block are divided into one or more first residual regions and one or more second residual regions according to the residuals for the first-colour block. A first inter CCP (Cross-Component Prediction) filter and a second inter CCP filter are derived for said one or more first residual regions and said one or more second residual regions respectively. CCP predictor for the second-colour block is generated by applying the first inter CCP filter and the second inter CCP filter to said one or more first residual regions and said one or more second residual regions respectively.

[0057] In one embodiment, residual values in said one or more first residual regions are zero, or all residual values or an average of the residual values in said one or more first residual regions is smaller than a threshold. In one embodiment, the first inter CCP filter is only derived and applied to said one or more first residual regions at a boundary of a CU (Coding Unit) and / or the second inter CCP filter is only derived and applied to said one or more second residual regions at the boundary of the CU.

[0058] In one embodiment, said one or more first residual regions and said one or more second residual regions are determined in a sample-based or subblock-based manner.

[0059] In one embodiment, whether the first inter CCP filter is applied to said one or more first residual regions and the second inter CCP filter is applied to said one or more second residual regions is dependent on QP (Quantization Parameter) , POC (Picture Order Count) , CU size, coding mode, or other coding information associated with the current block.BRIEF DESCRIPTION OF THE DRAWINGS

[0060] Fig. 1A illustrates an exemplary adaptive Inter / Intra video coding system incorporating loop processing.

[0061] Fig. 1B illustrates a corresponding decoder for the encoder in Fig. 1A.

[0062] Fig. 2 shows an exemplary system block diagram for Cross-component residual model (CCRM) .

[0063] Fig. 3 illustrates the luma samples L0, …, L5 in relation to the chroma sample C.

[0064] Fig. 4 illustrates the spatial part of the convolutional filter for Convolutional Cross-Component Model (CCCM) , where a centre (C) luma sample which is collocated with the chroma sample to be predicted and its above / north (N) , below / south (S) , left / west (W) and right / east (E) neighbours.

[0065] Fig. 5 illustrates an example of reference area (with its paddings) used to derive the filter coefficients for Convolutional Cross-Component Model (CCCM) .

[0066] Fig. 6 illustrates a flowchart of an exemplary video coding system that derives blending weights for one chroma component and uses the derived blending weights for another chroma component according to an embodiment of the present invention.

[0067] Fig. 7 illustrates a flowchart of an exemplary video coding system that divides luma residues into two or more regions based on residual values and applies individual Cross-Component prediction (CCP) filters to said two or more regions according to an embodiment of the present invention.DETAILED DESCRIPTION OF THE INVENTION

[0068] It will be readily understood that the components of the present invention, as generally described and illustrated in the figures herein, may be arranged and designed in a wide variety of different configurations. Thus, the following more detailed description of the embodiments of the systems and methods of the present invention, as represented in the figures, is not intended to limit the scope of the invention, as claimed, but is merely representative of selected embodiments of the invention. References throughout this specification to “one embodiment, ” “an embodiment, ” or similar language mean that a particular feature, structure, or characteristic described in connection with the embodiment may be included in at least one embodiment of the present invention. Thus, appearances of the phrases “in one embodiment” or “in an embodiment” in various places throughout this specification are not necessarily all referring to the same embodiment.

[0069] Furthermore, the described features, structures, or characteristics may be combined in any suitable manner in one or more embodiments. One skilled in the relevant art will recognize, however, that the invention can be practiced without one or more of the specific details, or with other methods, components, etc. In other instances, well-known structures, or operations are not shown or described in detail to avoid obscuring aspects of the invention. The illustrated embodiments of the invention will be best understood by reference to the drawings, wherein like parts are designated by like numerals throughout. The following description is intended only by way of example, and simply illustrates certain selected embodiments of apparatus and methods that are consistent with the invention as claimed herein.

[0070] II. PROPOSED METHOD

[0071] II. 1 Regression-based Chroma Blending Weight Mapping between Cb and Cr

[0072] In ECM, several coding tools contain the chroma blending behaviour (e.g., inter CCCM mode, or fusion of chroma intra prediction mode) . However, the blending weights of two chroma predictors are fixed or selected from a predefined set according to the coding mode of neighbouring blocks. In this invention, assuming the blending weights of Cb and Cr are similar, we propose to derive the blending weights from first colour component and apply the blending weights to predict second colour component.

[0073] In one invention, for a mode with chroma fusion behaviour (e.g., combining predictions of more than one coding mode) , two chroma predictors (denoted as P0 and P1) of first colour component are blended by fixed or predefined weights according to conditions to generate a final chroma predictor. The final predictor is then added by the chroma residual to generate the chroma reconstruction (denoted as R) of the colour component. Taking the samples of P0, P1 and R as input, regression-based chroma blending weights can be derived by minimizing the following formula. MSE= ∑ |R (x, y) –W0*P0 (x, y) -W1*P1 (x, y) -W2|2. where W0 and W1 are the blending weights of P0 and P1, and the W2 is the bias term.

[0074] After obtaining the W0 and W1, the blending weights is applied to the second colour component for the blending of two chroma predictors (i.e., instead of using the fixed or predefined blending weights for the prediction blending of other colour component) . The chroma reconstruction of the second colour component is generated by adding the chroma residual to the blended chroma predictor.

[0075] The first colour component used to derive the blending weights can be Cb or Cr, determined by signalling, or dependent on coding mode, QP conditions, CU size, neighbouring coding conditions, horizontal and vertical sample gradients or any auxiliary information.

[0076] The regression blending weights can be CU-based weighting or position-based weighting (i.e., the W0 (x, y) and W1 (x, y) dependon the horizontal and vertical position) or include not only the weights of P0 and P1 but also the position terms, gradient terms, horizontal and vertical spatial chroma terms, horizontal and vertical spatial luma terms, or non-linear terms.

[0077] II. 2 Fusion of Chroma Prediction for Inter CCCM Mode

[0078] In another invention, the final chroma predictor is generated by blending chroma prediction samples with spatial luma reconstruction samples. The final chroma predictor is derived by the following formula. predChromaVal = c0 L0+ c1L1 + c2L2 + c3L3 + c4L4 + c5L5 + c6C0 + c7C1 + c8nonlinear ( (L0+L3+1) >> 1) + c9B,      (1) where {L0, L1, …, L5} is the spatial luma reconstruction terms as described in Section I. 1 and C0  and C1 is the chroma prediction terms.

[0079] The regression process minimizes the differences between chroma reconstruction samples and the final chroma prediction samples in the template region as follows: MSE= ∑ |reconChroma (x, y) –predChromaVal (x, y) |2 where reconChroma (x, y) indicates the chroma reconstruction samples at (x, y) position in template  region. After obtaining the {c0, c1, …, c9} , the final chroma predictor in the current CU can be calculated by the equation (1) and the chroma reconstruction in the current CU can be generated by adding chroma residual to the final chroma predictor.

[0080] The number of chroma prediction terms can be an arbitrary number and the terms can be spatial terms, gradient terms, position terms and / or non-linear terms calculated from chroma prediction samples.

[0081] II. 3 Regression-based Chroma Blending for Inter CCP Merge Mode

[0082] In one invention, the blending weights of original chroma prediction samples and the inter CCP filtered chroma samples are derived from template samples. The inter CCP filter derived from luma and chroma predictors in the CU is first applied to the neighbouring luma reconstruction samples to generate neighbouring filtered chroma samples. The neighbouring filtered chroma predictor (denoted as Tfiltered) is then blended with original neighbouring chroma predictor (denoted as Tpred) to generate blended chroma predictor (denoted as Tblended) by Tblended=w0* Tfiltered+w1*Tpred+w2 or other blending equations. The blending weights are derived by the regression-based blending methods by minimizing the sample differences between chroma reconstruction samples and the blended chroma samples in neighbouring regions.

[0083] In one embodiment, the regression-based blending method can be position-based (as mentioned in Section I. 3) or CU-based methods depending on conditions. In one example, when the differences between weights at 4 CU corners derived by position-based regression methods are smaller than a threshold, the CU-based methods are then applied or the regression-based chroma blending for inter CCP is skipped. In another example, when the weight of inter CCP filtered predictor derived by CU-based methods is smaller or larger than a threshold, the regression-based chroma blending for inter CCP is skipped.

[0084] In one embodiment, the neighbouring chroma prediction samples (i.e., Tpred) are pre-stored in buffers after the reconstructions of previous coded CUs and can be fetched when deriving the regression-based blending map. In another embodiment, the neighbouring chroma prediction samples (i.e., Tpred) are predicted by the motion vectors of current CU. In one example, the motion vectors in current CU boundary are used to predict the neighbouring chroma prediction samples. In another example, the centre motion vector of current CU is used to predict the neighbouring chroma prediction samples.

[0085] In one embodiment, if a neighbouring CU is coded by skip mode, the samples in such CU are excluded from the training process of regression-based chroma blending. That is the luma reconstruction and chroma prediction samples are not used as training samples for regression. In another embodiment, one of the neighbouring CUs is coded by skip mode, the regression-based chroma blending is skipped for the current CU.

[0086] In one embodiment, a CCP filter with shape and tap size aligned with inter CCP filter is fetched from the CCP merge candidate list or derived from the CU-level luma reconstruction and chroma reconstruction or luma reconstruction and chroma prediction or luma prediction and chroma prediction and stored for each previous coded CU. That is, for each neighbouring CU, a corresponding CCP filter is derived and is applied to the neighbouring luma reconstruction samples to generate filtered chroma prediction samples (i.e., Tfiltered) . The neighbouring filtered chroma prediction samples are used in the regression-based chroma blending process.

[0087] In another embodiment, several CCP filters with different shapes and sizes are fetched from the CCP merge candidate list or derived from the CU-level luma reconstruction and chroma reconstruction or luma reconstruction and chroma prediction or luma prediction and chroma prediction and stored for each previous coded CU. After applying each CCP filter on the luma reconstruction of previous coded CU, the SSD (Sum of Squared Difference) between chroma reconstruction and the filtered chroma predictor are calculated. The CCP filters are then reordered by the SSD. The CCP filter used to generate the neighbouring filtered chroma prediction samples (i.e., Tfiltered) for regression-based chroma blending can be the first CCP filter with smallest SSD or can be selected by an index which is signalled in the bitstream at picture / slice / CTU / CU / PU level. When the CCP filters used in neighbouring CUs are selected, the shape and size of inter CCP filter in the current CU is determined according to the selected CCP filters. In another example, the CCP filter used to generate the neighbouring filtered chroma prediction samples (i.e., Tfiltered) for regression-based chroma blending are determined by the SSD between the blended chroma predictor (i.e., Tblended) and the chroma reconstruction in the neighbouring template regions. The CCP filters are reordered according to the SSD. The CCP filter can be the first CCP filter with smallest SSD or can be selected by an index which is signalled in the bitstream at picture / slice / CTU / CU / PU level.

[0088] II. 4 Regression-based Luma and Chroma Blending for Inter CCP

[0089] In one embodiment, the luma reconstruction samples and chroma prediction samples of current CU are used as the input training samples for the inter CCP filter derivation by minimizing the difference between filtered inter CCP prediction (i.e., Pfiltered) and chroma reconstruction of current CU.

[0090] In one embodiment, the filtered inter CCP prediction (i.e., Pfiltered) is obtained as: Pfiltered = c0 L0+ c1L1 + c2L2 + c3L3 + c4L4 + c5L5 + c6 nonlinear ( (L0+L3+1) >> 1)  + c7Pchroma + c8 B, where {c0, c1, …, c6} indicates the filter parameters inherited from CCP candidates (can be fixed or  trainable) , {L0, L1, .., L5} and B are introduced in Section I. 3 and Pchroma indicates the chroma predictor of current CU.

[0091] In one embodiment, the inter CCP filter can be any shape of CCP filter comprising luma and / or chroma spatial, gradient, position, non-linear, bias terms, or any other term. The data of chroma terms can be collected from chroma prediction of current CU. The data of luma terms can be collected from luma reconstruction or prediction of current CU.

[0092] II. 5 Inter CCP for Zero Luma Residual TU

[0093] In one invention, the inter CCP can be enabled for zero luma residual TU. For a zero luma residual TU, a flag is signalled to indicate usage of inter CCP. The chroma blending weights between filtered chroma prediction and original chroma prediction can be fixed weights aligned with or different from non-zero luma residual Tus, weights determined by an index signalled in bitstream at picture / slice / CTU / CU / PU level, or weight derived by regression-based methods (e.g., the regression-based chroma blending introduced in Section II. 3) .

[0094] In one embodiment, the chroma blending weight of inter CCP predictor is 0.25 and the chroma blending weight of original chroma predictor from motion compensation is 0.75 when the luma CBF is zero. In another embodiment, an index is signalled to indicate the chroma blending weight of inter CCP merge mode from a chroma blending weight candidate set when luma CBF is zero. The candidate set contains the candidates with the chroma blending weight of inter CCP predictor equal to k1, k2, k3, etc., and the chroma blending weight of original chroma predictor from motion compensation equal to (1-k1) , (1-k2) , (1-k3) , etc., where k1, k2 and k3 can be any number. In one example, k1 is set to 0.25.

[0095] In one embodiment, the inter CCP is enabled implicitly for zero luma residual TU depending on conditions.

[0096] In one example, the inter CCP is enabled implicitly for zero luma residual TU depending on the QP, POC, CU size, coding mode, or any other coding information. In another example, the chroma blending weight also depends on the QP, POC, CU size, coding mode, or any other coding information.

[0097] In another example, when the SSD between the chroma prediction and the filtered chroma prediction is smaller or larger than a threshold, the inter CCP for the zero luma residual CU is disabled.

[0098] II. 6 Inter CCP for Small and Large Luma Residual Region

[0099] In one invention, the inter CCP filter can only be applied on small or large luma residual region in a TU. That is, an inter CCP filter is derived from the samples in small or large luma residual regions of the TU and can only be applied on corresponding regions.

[0100] In another invention, the two inter CCP filters are determined respectively in small and large luma residual regions and can be applied on the corresponding regions.

[0101] In one embodiment, the small luma residual region consists of zero residual regions and / or regions with all or average of the luma residuals smaller than a threshold.

[0102] In one embodiment, the large luma residual region consists of non-zero residual region and / or regions with all or average of the luma residuals larger than a threshold.

[0103] In one embodiment, the inter CCP filter can only be determined and applied on small and / or large luma residual region at the boundary of a TU.

[0104] In one embodiment, the small and large luma residual region can be determined in sample-based or subblock-based.

[0105] In one embodiment, the chroma blending weights between filtered inter CCP chroma prediction and original chroma prediction can be fixed weights aligned with or different from the original inter CCP, weights determined by an index signalled in bitstream at picture / slice / CTU / CU / PU level, or weights derived by regression-based methods (e.g., the regression-based chroma blending described in Section II. 3) .

[0106] In one embodiment, the inter CCP is enabled implicitly for small and / or high luma residual regions depending on conditions.

[0107] In one example, the inter CCP is enabled implicitly for small and / or high luma residual regions depending on the QP, POC, CU size, coding mode, or any other coding information. In another example, the chroma blending weights also depend on the QP, POC, CU size, coding mode, or any other coding information.

[0108] In another example, when the SSD between chroma prediction and the filtered chroma prediction is smaller or larger than a threshold, the inter CCP for such region is disabled.

[0109] II. 7 Determining Chroma Blending Weight of CCP Modes by Luma and Chroma QP

[0110] In one embodiment, the chroma blending weight of CCP modes (e.g., inter CCCM and inter CCP mode) can depend on the luma and chroma QP or the QP difference between luma and chroma QPs of current (or reference) CU and the QP difference between chroma QPs of reference and current CUs.

[0111] In one example, the ratio of chroma blending weight of CCP predictor to the chroma blending weight of original chroma MC predictor is determined by the ratio of luma QP of current CU to chroma QP of current CU. In another example, the ratio of chroma blending weight of CCP predictor to the chroma blending weight of original chroma MC predictor is determined by the ratio of the QP difference between luma and chroma QPs of current (or reference) CU to the QP difference between chroma QPs of reference and current CUs.

[0112] In another example, the luma and chroma QPs are used to guide the chroma blending weight of CCP modes from a blending weight candidate set. That is, when the chroma QP of current (or reference) CU or the QP difference between chroma QPs of reference and current CUs is smaller than a threshold, or the luma QP of current (or reference) CU or the QP difference between luma and chroma QPs of current (or reference) CU is larger than a threshold, the blending weight candidate is selected from the candidates with larger chroma weights for chroma MC predictor. When the chroma QP of current (or reference) CU or the QP difference between chroma QPs of reference and current CUs is larger than a threshold, or the luma QP of current (or reference) CU or the QP difference between luma and chroma QPs of current (or reference) CU is smaller than a threshold, the blending weight candidate is selected from the candidates with larger chroma weights for CCP predictor.

[0113] In another example, the luma and chroma QP are used to determine the enable condition of CCP modes. That is, when the chroma QP of current (or reference) CU or the QP difference between chroma QPs of reference and current CUs is smaller than a threshold, or the luma QP of current (or reference) CU or the QP difference between luma and chroma QPs of current (or reference) CU is larger than a threshold, the CCP modes are disabled for current CU without signalling. When the chroma QP of current (or reference) CU or the QP difference between chroma QPs of reference and current CUs is larger than a threshold, or the luma QP of current (or reference) CU or the QP difference between luma and chroma QPs of current (or reference) CU is smaller than a threshold, the CCP modes are forced to be enabled without signalling.

[0114] The luma QP mentioned in Section II. 7 can be the QP of first colour component, and the chroma QP can be the QP of second colour component.

[0115] The methods mentioned in Section II. 7 used to determine the chroma blending weight for CCP modes can be applied on the CUs with zero luma CBF only or on the CUs with non-zero luma CBF only or on both cases.

[0116] Any of the foregoing proposed methods of blending weight sharing between two chroma components and using separate CCP filters for different luma residual regions can be implemented in encoders and / or decoders. For example, any of the proposed methods can be implemented in an inter / intra / prediction module of an encoder, and / or an inter / intra / prediction module of a decoder. Alternatively, any of the proposed methods can be implemented as a circuit coupled to the inter / intra / prediction module of the encoder and / or the inter / intra / prediction module of the decoder, so as to provide the information needed by the inter / intra / prediction module. With reference to the exemplary encoder and decoder in Fig. 1A and Fig. B, any of the proposed methods can be implemented in an Intra / Inter coding module (e.g. Intra Pred 150 or MC 152 in Fig. 1B) in a decoder or an Intra / Inter coding module is an encoder (e.g. Intra Pred. 110 or Inter pred. 112 in Fig. 1A) . Any of the proposed propagated cross-component prediction can also be implemented as a circuit coupled to the intra / inter coding module at the decoder or the encoder. However, the decoder or encoder may also use additional processing unit to implement the propagated cross-component prediction processing. While the intra / inter prediction units are shown as individual processing units, they may correspond to executable software or firmware codes stored on a media, such as hard disk or flash memory, for a CPU (Central Processing Unit) or programmable devices (e.g. DSP (Digital Signal Processor) or FPGA (Field Programmable Gate Array) ) .

[0117] Fig. 6 illustrates a flowchart of an exemplary video coding system that derives blending weights for one chroma component and uses the derived blending weights for another chroma component according to an embodiment of the present invention. The steps shown in the flowchart may be implemented as program codes executable on one or more processors (e.g. one or more CPUs) at the encoder or decoder side. The steps shown in the flowchart may also be implemented based hardware such as one or more electronic devices or processors arranged to perform the steps in the flowchart. According to this method, input data associated with a current block comprising a first-chroma block and a second-chroma block is received in step 610, wherein the input data comprise pixel data to be encoded at an encoder side or data associated with the current block to be decoded at a decoder side. Multiple first-chroma predictions comprising a first first-chroma prediction corresponding to a first prediction mode and a second first-chroma prediction corresponding to a second prediction mode are determined in step 620. One or more blending weights for the first-chroma block are derived in step 630. Final first-chroma prediction is generated by blending the multiple first-chroma predictions according to the blending weights in step 640. Multiple second-chroma predictions comprising a first second-chroma prediction corresponding to the first prediction mode and a second second-chroma prediction corresponding to the second prediction mode is determined in step 650. Final second-chroma prediction is generated by blending the multiple second-chroma predictions according to the blending weights in step 660.

[0118] Fig. 7 illustrates a flowchart of an exemplary video coding system that divides luma residues into two or more regions based on residual values and applies individual Cross-Component prediction (CCP) filters to said two or more regions according to an embodiment of the present invention. According to another method, input data associated with a current block comprising a first-colour block and a second-colour block is received in step 710, wherein the input data comprise pixel data to be encoded at an encoder side or data associated with the current block to be decoded at a decoder side. Residuals of the first-colour block are determined in step 720. The residuals of the first-colour block are divided into one or more first residual regions and one or more second residual regions according to the residuals for the first-colour block in step 730. A first inter CCP (Cross-Component Prediction) filter and a second inter CCP filter are derived for said one or more first residual regions and said one or more second residual regions respectively in step 740. CCP predictor for the second-colour block is generated by applying the first inter CCP filter and the second inter CCP filter to said one or more first residual regions and said one or more second residual regions respectively in step 750.

[0119] The flowchart shown is intended to illustrate an example of video coding according to the present invention. A person skilled in the art may modify each step, re-arranges the steps, split a step, or combine steps to practice the present invention without departing from the spirit of the present invention. In the disclosure, specific syntax and semantics have been used to illustrate examples to implement embodiments of the present invention. A skilled person may practice the present invention by substituting the syntax and semantics with equivalent syntax and semantics without departing from the spirit of the present invention.

[0120] The above description is presented to enable a person of ordinary skill in the art to practice the present invention as provided in the context of a particular application and its requirement. Various modifications to the described embodiments will be apparent to those with skill in the art, and the general principles defined herein may be applied to other embodiments. Therefore, the present invention is not intended to be limited to the particular embodiments shown and described, but is to be accorded the widest scope consistent with the principles and novel features herein disclosed. In the above detailed description, various specific details are illustrated in order to provide a thorough understanding of the present invention. Nevertheless, it will be understood by those skilled in the art that the present invention may be practiced.

[0121] Embodiment of the present invention as described above may be implemented in various hardware, software codes, or a combination of both. For example, an embodiment of the present invention can be one or more circuit circuits integrated into a video compression chip or program code integrated into video compression software to perform the processing described herein. An embodiment of the present invention may also be program code to be executed on a Digital Signal Processor (DSP) to perform the processing described herein. The invention may also involve a number of functions to be performed by a computer processor, a digital signal processor, a microprocessor, or field programmable gate array (FPGA) . These processors can be configured to perform particular tasks according to the invention, by executing machine-readable software code or firmware code that defines the particular methods embodied by the invention. The software code or firmware code may be developed in different programming languages and different formats or styles. The software code may also be compiled for different target platforms. However, different code formats, styles and languages of software codes and other means of configuring code to perform the tasks in accordance with the invention will not depart from the spirit and scope of the invention.

[0122] The invention may be embodied in other specific forms without departing from its spirit or essential characteristics. The described examples are to be considered in all respects only as illustrative and not restrictive. The scope of the invention is therefore, indicated by the appended claims rather than by the foregoing description. All changes which come within the meaning and range of equivalency of the claims are to be embraced within their scope.

Claims

1.A method of coding colour picture, the method comprising:receiving input data associated with a current block comprising a first-colour block and a second-colour block, wherein the input data comprise pixel data to be encoded at an encoder side or data associated with the current block to be decoded at a decoder side;determining multiple first-colour predictions comprising a first first-colour prediction corresponding to a first prediction mode and a second first-colour prediction corresponding to a second prediction mode;deriving one or more blending weights for the first-colour block;generating final first-colour prediction by blending the multiple first-colour predictions according to said one or more blending weights;determining multiple second-colour predictions comprising a first second-colour prediction corresponding to the first prediction mode and a second second-colour prediction corresponding to the second prediction mode; andgenerating final second-colour prediction by blending the multiple second-colour predictions according to said one or more blending weights.2.The method of Claim 1, wherein the first-colour block and the second-colour block correspond to a first-chroma block and a second-chroma block.3.The method of Claim 1, wherein the first prediction mode corresponds to an intra chroma prediction mode and the second prediction mode corresponds to a CCCM (Convolutional Cross-Component Model) mode.4.The method of Claim 1, wherein said one or more blending weights for the first-colour block are derived by using a block-based regression process.5.The method of Claim 4, wherein the block-based regression process minimizes difference measure between one or more reconstructed chroma samples for the first-colour block and one or more final predicted samples for the first-colour block, and wherein said one or more final predicted samples for the first-colour block are generated by combining one or more predicted samples according to the first prediction mode and one or more filtered samples according to the second prediction mode using said one or more blending weights.6.The method of Claim 5, wherein the difference measure corresponds to minimum squared error.7.The method of Claim 4, wherein the block-based regression process derives said one or more blending weights by using samples within a template region.8.The method of Claim 1, wherein said one or more blending weights are CU-based weighting or position-based weighting.9.The method of Claim 8, wherein the position-based weighting includes one or more position terms, one or more gradient terms, one or more horizontal, one or more vertical spatial chroma terms, one or more horizontal and vertical spatial luma terms, one or more non-linear terms, or a combination thereof.10.An apparatus for coding colour pictures, the apparatus comprising one or more electronic circuits or processors arranged to:receive input data associated with a current block comprising a first-colour block and a second-colour block, wherein the input data comprise pixel data to be encoded at an encoder side or data associated with the current block to be decoded at a decoder side;determine multiple first-colour predictions comprising a first first-colour prediction corresponding to a first prediction mode and a second first-colour prediction corresponding to a second prediction mode;derive one or more blending weights for the first-colour block;generate final first-colour prediction by blending the multiple first-colour predictions according to said one or more blending weights;determine multiple second-colour predictions comprising a first second-colour prediction corresponding to the first prediction mode and a second second-colour prediction corresponding to the second prediction mode; andgenerate final second-colour prediction by blending the multiple second-colour predictions according to said one or more blending weights.11.A method of coding colour picture, the method comprising:receiving input data associated with a current block comprising a first-colour block and a second-colour block, wherein the input data comprise pixel data to be encoded at an encoder side or data associated with the current block to be decoded at a decoder side;determining residuals of the first-colour block;dividing the residuals of the first-colour block into one or more first residual regions and one or more second residual regions according to the residuals for the first-colour block;deriving a first inter CCP (Cross-Component Prediction) filter and a second inter CCP filter for said one or more first residual regions and said one or more second residual regions respectively; andgenerating CCP predictor for the second-colour block by applying the first inter CCP filter and the second inter CCP filter to said one or more first residual regions and said one or more second residual regions respectively.12.The method of Claim 11, wherein residual values in said one or more first residual regions are zero, or all residual values or an average of the residual values in said one or more first residual regions is smaller than a threshold.13.The method of Claim 11, wherein the first inter CCP filter is only derived and applied to said one or more first residual regions at a boundary of a CU (Coding Unit) and / or the second inter CCP filter is only derived and applied to said one or more second residual regions at the boundary of the CU.14.The method of Claim 11, wherein said one or more first residual regions and said one or more second residual regions are determined in a sample-based or subblock-based manner.15.The method of Claim 11, wherein whether the first inter CCP filter is applied to said one or more first residual regions and the second inter CCP filter is applied to said one or more second residual regions is dependent on QP (Quantization Parameter) , POC (Picture Order Count) , CU size, coding mode, or other coding information associated with the current block.16.An apparatus for coding colour pictures, the apparatus comprising one or more electronic circuits or processors arranged to:receive input data associated with a current block comprising a first-colour block and a second-colour block, wherein the input data comprise pixel data to be encoded at an encoder side or data associated with the current block to be decoded at a decoder side;determine residuals of the first-colour block;dividing the residuals of the first-colour block into one or more first residual regions and one or more second residual regions according to the residuals for the first-colour block;derive a first inter CCP (Cross-Component Prediction) filter and a second inter CCP filter for said one or more first residual regions and said one or more second residual regions respectively; andgenerate CCP predictor for the second-colour block by applying the first inter CCP filter and the second inter CCP filter to said one or more first residual regions and said one or more second residual regions respectively.

Images