Encoding and decoding method

Abstract

An encoding and decoding method is provided. An image processing device calculates prediction function coefficients of a prediction mode using regularized linear regression. The regularized linear regression uses an objective function includes a prediction error and a penalty term. The penalty term grows with a dimension of the prediction function coefficients. The image processing device generates a prediction block for a current block using the prediction function coefficients of the prediction mode.

Description

ENCODING AND DECODING METHOD

[0001] BACKGROUND OF DISCLOSURE

[0002] 1. Field of Disclosure

[0003] The present disclosure relates to the field of image processing, and more particularly, to a encoding and decoding method.

[0004] 2. Description of Related Art

[0005] A critical challenge in video coding is achieving a balance between expressivity and generalizability of the employed model. While complex models can capture intricate or subtle patterns within a training set, the complex models risk overfitting to noise or idiosyncrasies present in the data. This can lead to reduced performance on unseen data.Technical Problem

[0006] Issue 1: Overfitting problem of linear model

[0007] While linear modelling is generally an effective technique to predict data in a near future or spatial proximity, models can suffer from overfitting. The term overfitting comes from the observation that while the linear model tries to minimize the residue within the training data by introducing more variables into the model, the residue in the test data starts to increase at some point. This indicates that predictive ability of the model starts to decrease. The linear model loses generality when it tries too hard to fit the training data, which is described by the term ‘overfitting’ .

[0008] Issue 2: Potential wrong classification in multi-model methods

[0009] In the context of Multi-Model Linear Model (MMLM) , pixel classification serves a dual purpose: it contributes to both the derivation of linear models and the prediction of the current block. To limit the complexity of the video coding standard, the classification is kept as simple as a binary classification based on a threshold. For instance, in the cases of Cross-Component Linear Model (CCLM) and Convolutional Cross-Component Model (CCCM) , this threshold is often set using the mean luma value.

[0010] However, this simplicity can lead to an undesirable situation where pixels are misclassified, resulting in outliers. These outliers can adversely impact the model derivation process. Given that least squares regression is sensitive to outliers, it becomes crucial to introduce models that are robust against this effect. Such robustness ensures better performance even when faced with misclassified pixels.

[0011] Hence, a predictive encoding method and a predictive decoding method for address the challenge are desirable.SUMMARY

[0012] An object of the present disclosure is to propose a encoding and decoding method.

[0013] In a first aspect, an embodiment of the disclosure provides a decoding method, comprising:

[0014] determining a prediction mode based on the bitstream;

[0015] acquiring a current block;

[0016] calculating prediction function coefficients of the prediction mode using regularized linear regression; and

[0017] generating a prediction block for the current block using the prediction function coefficients of the prediction mode.

[0018] In a second aspect, an embodiment of the disclosure provides an encoding device comprising a processor configured to call and run a computer program stored in a memory, to cause a device in which the processor is installed  to execute the disclosed method.

[0019] In a third aspect, an embodiment of the disclosure provides an encoding method, comprising:

[0020] acquiring a current block;

[0021] calculating prediction function coefficients of a prediction mode using regularized linear regression based on the current block, wherein the regularized linear regression uses an objective function including a prediction error and a penalty term;

[0022] generating a prediction block for the current block using the prediction function coefficients of the prediction mode; and

[0023] transmitting a bitstream of the prediction mode with regularized linear regression.

[0024] In a fourth aspect, an embodiment of the disclosure provides a decoding device comprising a processor configured to call and run a computer program stored in a memory, to cause a device in which the chip is installed to execute the disclosed method and any combination of embodiments of the disclosed method.

[0025] The disclosed method may be programmed as computer executable instructions stored in non-transitory computer readable medium. The non-transitory computer readable medium, when loaded to a computer, directs a processor of the computer to execute the disclosed method.

[0026] The non-transitory computer readable medium may comprise at least one from a group consisting of: a hard disk, a CD-ROM, an optical storage device, a magnetic storage device, a Read Only Memory, a Programmable Read Only Memory, an Erasable Programmable Read Only Memory, EPROM, an Electrically Erasable Programmable Read Only Memory and a Flash memory.

[0027] The disclosed method may be programmed as a computer program product that causes a computer to execute the disclosed method.

[0028] The disclosed method may be programmed as a computer program that causes a computer to execute the disclosed method.BRIEF DESCRIPTION OF DRAWINGS

[0029] In order to more clearly illustrate the embodiments of the present disclosure or related art, the following figures will be described in the embodiments are briefly introduced. It is obvious that the drawings are merely some embodiments of the present disclosure, a person having ordinary skill in this field may obtain other figures according to these figures without paying the premise.

[0030] FIG. 1 illustrates a schematic view of an encoding system.

[0031] FIG. 2 illustrates a schematic view of a decoding system.

[0032] FIG. 3 illustrates a schematic view of an example of a communication system.

[0033] FIG. 4 illustrates a schematic view of another example of a communication system.

[0034] FIG. 5 illustrates a schematic view showing an overall solution of an encoding method.

[0035] FIG. 6 illustrates a schematic view showing an overall solution of a decoding method.

[0036]

[0037] FIG. 7 illustrates a schematic view showing template areas in a reference block and a current block.

[0038] FIG. 8 illustrates a schematic view showing Sobel operators.

[0039] FIG. 9 illustrates a schematic view showing neighbour pixels New, h (x, y) applied to Extrapolation filter-based Intra Prediction (EIP) .

[0040] FIG. 10 illustrates a schematic view showing an example of a decoding process for existing prediction modes, such as CCCM, MMLM, and LBCCP.

[0041] FIG. 11 illustrates a schematic view showing an example of a decoding process with CCCM enhanced by regularized regression.

[0042] FIG. 12 illustrates a schematic view showing an example of a decoding process with regularized regression in EIP.

[0043] FIG. 13 illustrates a schematic view showing a chip or executing the disclosed method in an encoder.

[0044] FIG. 14 illustrates a schematic view showing a chip or executing the disclosed method in a decoder.DETAILED DESCRIPTION OF EMBODIMENTS

[0045] Embodiments of the disclosure are described in detail with the technical matters, structural features, achieved objects, and effects with reference to the accompanying drawings as follows. Specifically, the terminologies in the embodiments of the present disclosure are merely for describing the purpose of the certain embodiment, but not to limit the disclosure.

[0046] Under the context of video compression, colour image or a frame of a colour video usually consists of three colour components, namely a luma component Y and two chroma components Cb and Cr. Each component is represented as a data matrix. The data matrix for each component is decomposed into blocks associated with specific encoding parameters. A block is usually a square or rectangle of which dimensions are integer powers of 2. The coding of an image is processed in raster scanning order: from left to right, then from top to bottom.

[0047] In video coding standards such as Versatile Video Coding (VVC) , intra prediction (also known as intra-frame prediction) refers to predicting current block (i.e., the block to be coded) using coded blocks or coded areas within the same frame. When performing intra prediction, an encoder tries multiple intra prediction modes available according to a coding standard for the current block to computes corresponding prediction blocks, compares corresponding prediction blocks, and chooses the best prediction mode. The difference between original current block and the prediction block generated for the current block by the selected prediction mode, namely the residual, will also be coded. By transmitting the selected prediction modes and residuals only, the encoder is able to instruct a decoder to decode and reconstruct the original colour image or video or its approximation.

[0048] To facilitate understanding of the technical solutions presented in this application’s embodiments, a concise overview of the video encoding and decoding system will be given in the following.

[0049] As shown in FIG. 1, a video encoding system 110 is composed of multiple modules, including a block partitioning unit 1101, transform and quantization unit 1102, intra-frame estimation unit 1103, intra-frame prediction unit 1104, motion compensation unit 1105, motion estimation unit 1106, an inverse transformation and inverse quantization unit 1107, a filter control analysis unit 1108, a filtering unit 1109, an encoding unit 1110, an encoded image buffer unit 1111, and a subtractor 1112. The video encoding system 110 may be implemented as an encoder, an encoding device, a computer program, a system on chip (SIC) , an integrated circuit (IC) , or a chip. The intra-frame prediction unit 1104 may be implemented as a computer program, a system on chip (SIC) , an integrated circuit (IC) , or a chip.

[0050] Original video signals comprise video frames. Each video frame can be divided into blocks by the block partitioning unit 1101. For each of the video frames, the subtractor 1112 generates residual pixel information of a residual frame by subtracting the video frame by prediction blocks output by the intra-frame prediction unit 1104 or the motion compensation unit 1105. The residual pixel information obtained after intra-frame prediction or inter-frame  prediction (motion compensation) , is transformed by the transformation and quantization unit 1102. The transformation includes transforming the residual pixel information from the pixel domain to a transform domain to generate resulting transform coefficients, and the resulting transform coefficients are quantized to further reduce the bit rate. The intra-frame estimation unit 1103 performs intra-frame estimation, and the intra-frame prediction unit 1104 performs intra-frame prediction on the video reconstruction blocks. Motion estimation performed by the motion estimation unit 1106 is a process of generating a motion vector that can estimate the motion of the video reconstruction block, and then motion compensation is performed by the motion compensation unit 1105 based on the determined motion vector. After determining an intra-frame prediction mode, the intra-frame prediction unit 1104 provides selected intra-frame predicted data to the encoding unit 1110, and the motion estimation unit 1106 also sends calculated motion vector data to the encoding unit 1110. The inverse transform and inverse quantization unit 1107 reconstructs the video reconstruction blocks and reconstructs a residual block in the pixel domain, and the filtering unit 1109 is controlled by the filter analysis unit 1108 to remove the blocking artifacts in the reconstructed residual block, and the encoding unit 1110 adds the reconstructed residual block to the prediction block of the encoded image buffer unit 1111 to generate a reconstructed block. The encoding unit 1110 is used for encoding various encoding parameters and quantized transform coefficients (quantized transform coefficients) into bitstream, and outputs the bitstream of the video signals. The encoded image buffer unit 1111 is used for storing reconstructed blocks as the reference blocks for intra-frame prediction. As the video image encoding progresses, new reconstructed blocks are continuously generated, and these blocks will be stored in the encoded image buffer unit 1111.

[0051] As shown in FIG. 2, the video decoding system 120 is composed of multiple modules comprising a decoding unit 1201, an inverse transform and inverse quantization unit 1202, an intra-frame prediction unit 1203, a motion compensation unit 1204, a filtering unit 1205, a decoded image buffer unit 1206 and a post filtering unit 1207. The video decoding system 120 may be implemented as a decoder, a decoding device, a computer program, a system on chip (SIC) , an integrated circuit (IC) , or a chip. The intra-frame prediction unit 1203 may be implemented as a computer program, a system on chip (SIC) , an integrated circuit (IC) , or a chip.

[0052] The input signals of video frames are encoded by the video encoding system 110 to obtain an output bitstream. The video encoding system 110 transmits the bitstream to the video decoding system 120. The video decoding system 120 receives the bitstream representing the video frames in an encoded format (i.e., in a compressed format) . In the video decoding system 120, the bitstream is processed by the decoding unit 1201 to obtain decoded transform coefficients. The inverse transform and inverse quantization unit 1202 process the transform coefficients to generate a residual block in the pixel domain. The intra-frame prediction unit 1203 is operable to generate an intra-frame prediction block for a current video decoding block (i.e., current video block that undergoes video decoding) based on a determined intra-frame prediction mode and data from previously decoded blocks of the current video frame or picture. The motion compensation unit 1204 determines the inter-frame prediction information for the current video decoding block and generates an inter-frame prediction block by parsing the motion vector and other associated syntax elements. Finally, the decoded video block is formed by summing the residual block from the inverse transform and inverse quantization unit 1202 and the corresponding prediction block generated by the intra-frame prediction unit 1203 or the motion compensation unit 1204. In order to improve video quality, the decoded video blocks are filtered through the filtering unit 1205 to remove blocking artifacts. The decoded video block is then stored in the decoded image buffer unit 1206 as the reference block for subsequent intra-prediction or motion compensation, and for video output, i.e., to reproduce and reconstruct the original video signals. The output video can be optionally further processed by a post filtering unit 1207 for more suitable or enhanced viewing experiences.

[0053] The embodiments of the present disclosure are mainly used for the intra-frame prediction unit 1104 of the video encoding system 110 and the intra-frame prediction unit 1203 of the video decoding system 120. If a better prediction effect can be obtained in the video encoding system 110 through the encoding and decoding method provided by the embodiments of the present application, the quality of video decoding and reconstruction can also be improved. The video decoding system 120 receives the bitstream representing the video frames.

[0054] The following are several implementation examples, demonstrating possible executions for this disclosure within video codec standards.

[0055] With reference to FIG. 3, a system including a first image processing device 10a and a second image processing device 10b. The first image processing device 10a may operates as an encoding device comprising a processor 75a. The processor 75a comprises an encoder configured to execute the disclosed encoding method. The encoder encodes image or video frames into bit streams, and the processor 75a transmits the bit steam to the processor 75b. The second image processing device 10b may operates as a decoding device comprising a processor 75b. The processor 75b comprises a decoder configured to execute the disclosed decoding method.

[0056] Similarly, the second image processing device 10b may operates as an encoding device comprising a processor 75b. The processor 75b comprises an encoder configured to execute the disclosed encoding method. The encoder encodes image or video frames into bit streams, and the processor 75b transmits the bit steam to the processor 75a. The first image processing device 10a may operates as a decoding device comprising a processor 75b. The processor 75b comprises a decoder configured to execute the disclosed decoding method.

[0057] In some embodiments of the disclosure, the encoder and the decoder may be implemented into computer readable programs or instructions. A device when executing the programs or instructions performs embodiments of the disclosed method. An example of the electronic device in the description may include one of the device 10a or device 10b. The device 10a may communicate with the device 10b through a direct connection or through a base station and / or a network device entity.

[0058] With reference to FIG. 4, the electronic device 10a may communicate with the electronic device 10b through a wireline or a wireless communication connection. One of the electronic device 10a or electronic device 10b may serve as an image encoder and the other may serve as an image decoder. Each of the electronic device 10a and electronic device 10b may include both an image encoder and an image decoder.

[0059] An image encoder may be implemented as an intra-frame prediction unit, a chip, an electronic device, or a video encoding system. An image decoder may be implemented as an intra-frame prediction unit, a chip, an electronic device, or a video decoding system. The intra-frame prediction unit in an image encoder and / or an image decoder performs encoding and decoding method.

[0060] With reference to FIG. 5, an embodiment of an encoding method can be performed by an image encoder.

[0061] The encoding method comprises:

[0062] acquiring a current block (B001) ;

[0063] calculating prediction function coefficients of a prediction mode using regularized linear regression based on the current block, wherein the regularized linear regression uses an objective function including a prediction error and a penalty term (B002) ;

[0064] generating a prediction block for the current block using the prediction function coefficients of the prediction mode; and (B003)

[0065] transmitting a bitstream of the prediction mode with regularized linear regression (B004) .

[0066] With reference to FIG. 6, an embodiment of a decoding method can be performed by an image decoder. The decoding method comprises:

[0067] obtaining a bitstream (A001) ;

[0068] determining a prediction mode based on the bitstream (A002) ;

[0069] acquiring a current block (A003) ;

[0070] calculating prediction function coefficients of the prediction mode using regularized linear regression; and (A004) generating a prediction block for the current block using the prediction function coefficients of the prediction mode (A005) .

[0071] In some embodiments of the disclosure, the prediction mode comprises at least one of:

[0072] a cross-component linear model (CCLM) ;

[0073] a gradient linear model (GLM) ;

[0074] a convolutional cross-component model (CCCM) ;

[0075] an extrapolation filter-based intra prediction (EIP) ;

[0076] a local illumination compensation (LIC) ; or

[0077] a CCCM using a Local-Boosting Cross-Component Prediction (LBCCP) filter.

[0078] In some embodiments of the disclosure, availability of the regularized linear regression is signalled by a control flag at a slice, a picture or a group of picture level associated with the current block.

[0079] In some embodiments of the disclosure, enabling or disabling of the regularized linear regression is signalled by a control flag at a slice, a picture or a group of picture level associated with the current block.

[0080] In some embodiments of the disclosure, the regularized linear regression is always enabled.

[0081] In some embodiments of the disclosure, enabling or disabling of the regularized linear regression is dependent on enabling status of LBCCP.

[0082] In some embodiments of the disclosure, enabling or disabling of the regularized linear regression is signalled in a reconstructed image.

[0083] In some embodiments of the disclosure, the penalty term comprises at least one of:

[0084] the dimension of the prediction function coefficients raised to the power of two;

[0085] an absolute value of the dimension of the prediction function coefficients; or

[0086] a combination of the dimension of the prediction function coefficients raised to the power of two and the absolute value of the dimension of the prediction function coefficients.

[0087] In some embodiments of the disclosure, the regularized linear regression is performed on coded template areas, which comprise:

[0088] one or more rows above the current block; and / or

[0089] one or more columns to the left of the current block; and / or

[0090] a rectangular area to the top-left or the current block.

[0091] In some embodiments of the disclosure, the regularized linear regression is performed by minimizing an objective function, which is the sum of squares of linear regression residuals plus a penalty term; wherein the penalty term is related to a regularization parameter.

[0092] In some embodiments of the disclosure, the regularized linear regression comprises ridge regression, where the penalty term is the sum of squares of the prediction function coefficients multiplied by the regularization parameter.

[0093] In some embodiments of the disclosure, the regularized linear regression comprises lasso regression, where  the penalty term is the sum of absolute values of the prediction function coefficients multiplied by the regularization parameter.

[0094] In some embodiments of the disclosure, the regularization parameter comprises a first regularization parameter and a second regularization parameter;

[0095] the regularized linear regression comprises elastic net regression, where the penalty term is the sum of squares of the prediction function coefficients multiplied by the first regularization parameter plus the sum of absolute values of the prediction function coefficients multiplied by the second regularization parameter.

[0096] In some embodiments of the disclosure, the regularized linear regression comprises ridge regression, lasso regression, or elastic net regression.

[0097] In some embodiments of the disclosure, the regularized linear regression comprises ridge regression, and the penalty term in the objective function is adjustable using a first regularization parameter, and the penalty term includes the first regularization parameter multiplied with the dimension of the prediction function coefficients raised to the power of two.

[0098] In some embodiments of the disclosure, the regularized linear regression comprises lasso regression, and the penalty term in the objective function is adjustable using a second regularization parameter, and the penalty term includes the second regularization parameter multiplied with the absolute value of the dimension of the prediction function coefficients.

[0099] In some embodiments of the disclosure, the regularized linear regression comprises elastic net regression, and the penalty term in the objective function is adjustable using a first regularization parameter and a second regularization parameter, and the penalty term includes:

[0100] the first regularization parameter multiplied with the dimension of the prediction function coefficients raised to the power of two; and

[0101] the second regularization parameter multiplied with the absolute value of the dimension of the prediction function coefficients.

[0102] In some embodiments of the disclosure, the regularization parameter is a fixed value that is derived based on the prediction mode;

[0103] the regularization parameter is signalled in a header of a slice, a picture, or a group of pictures; or

[0104] the regularization parameter is adaptive to input data of a linear prediction function of the prediction mode.

[0105] In some embodiments of the disclosure, the regularization parameter λ=λ0·n, where n is a number of pixels in a template area, and λ0 is a fixed value.

[0106] In some embodiments of the disclosure, the regularization parameter λ=λ0· (1-R2) , where R2 is a predictor score, quantified as a coefficient of determination of a linear model using ordinary least squares (OLS) prediction error;

[0107] λ0 is a fixed value;

[0108] the Rec (x, y) is a reconstructed value at pixel (x, y) in the current block;

[0109] the PredOLS (x, y) is a predicted value at pixel (x, y) in the current block; and

[0110] the M (Rec (x, y) ∈Template) is an averaging function for calculating a mean of the reconstructed values.

[0111] In some embodiments of the disclosure, the regularization parameter λ=λ0·Q, where Q is a predictor  score, quantified as an outlier ratio, namely a ratio of pixels in a template area where OLS prediction error ∈= PredOLS(x, y) -Rec (x, y) is outside a range specified by the mean and standard deviation of the prediction error;

[0112] λ0 is a fixed value;

[0113] the Rec (x, y) is a reconstructed value at pixel (x, y) in the current block; and

[0114] the PredOLS (x, y) is a predicted value at pixel (x, y) in the current block.

[0115] In some embodiments of the disclosure, the regularization parameter λ=λ0·|S|, where |S| is a predictor score, quantified as the absolute value of skewness S of OLS prediction error in a template area;

[0116] where λ0 is a fixed value;

[0117] is an expected value of

[0118] is an expected value of

[0119] In some embodiments of the disclosure, the regularization parameter λ=λ0·K, where K is a predictor score, quantified as kurtosis of OLS prediction error in a template area;

[0120] where λ0 is a fixed value;

[0121] is an expected value of

[0122] is an expected value of

[0123] In some embodiments of the disclosure, the regularization parameter λ=λ0·D , where D is a range of function coefficients of a linear model from OLS;

[0124] λ0 is a fixed value; D=max (β0, β1, …, βp) -min (β0, β1, …, βp) .

[0125] In some embodiments of the disclosure, the regularization parameter λ=λ0·SAC, where SAC is a sum of absolute values of the function coefficients of the linear model using OLS prediction error;

[0126] λ0 is a fixed value;

[0127] Prediction modes with linear models:

[0128] In Versatile Video Coding (VVC) and in recent studies towards future video coding standards, several prediction modes use linear models to generate prediction blocks. Notable examples of these prediction modes include Cross-Component Linear Model (CCLM) , Gradient Linear Model (GLM) , Convolutional Cross-Component Model (CCCM) , Local Illumination Compensation (LIC) , etc.

[0129] There are common aspects amongst the above-mentioned prediction modes. General procedures involve building a linear model, solving a linear regression problem and applying the linear model to predict images:

[0130] 1) Define a formula to generate the prediction block. The formula is a linear function of reconstructed samples and known attributes.

[0131] 2) Derive coefficients in the formula using samples from template areas with respect to the reference block and the current block. For example, in CCLM where chroma block is predicted by co-located luma block,  samples of chroma values and co-located luma values in the template area are used. The derivation of coefficients is the process of solving the linear regression problem using these samples.

[0132] 3) Apply the derived formula on the current block to generate the prediction block.

[0133] In mathematical terms, the procedures for generating a prediction block for the current block Predcurr is: Predcur (x, y) =fopt (Recref (x, y) )      (1)

[0134] In this formulation, the function argmin () simply returns the value of filter index f which minimizes  f is a linear prediction function and fopt is the optimal function derived by the samples in the template areas T. fopt is derived by minimizing the sum of squared difference between the reconstructed samples RecTcur in the template area of the current block Tcur and the prediction values generated by taking reconstructed samples RecTref in the template area of the reference block Tref into the prediction function. With fopt and the reconstructed samples of the reference block Recref, the prediction values for the current block can be generated. As shown in FIG. 7, typically, template areas are defined as the left and top neighbour areas of the reference and current blocks. The template areas as a whole are in a shape looks like an upper-case gamma. The predictive ability of the linear model comes from the spatial proximity between the blocks and the templates.

[0135] In this invention, these modes are in general referred to as linear model prediction modes or, simply, prediction modes. The following section provides brief descriptions of these prediction modes.

[0136] Cross-Component Linear Model (CCLM) :

[0137] CCLM is a cross-component intra prediction mode that predicts chroma image or chroma block using reconstructed luma image or luma block. The term ‘cross-component’ stems from the fact that prediction is made from one colour component to another.

[0138] The formula for predicting a chroma block (Cb or Cr) in CCLM is as follows: PredC (x, y) =α·Rec′L (x, y) +β        (3)

[0139] Where PredC (x, y) is the value of pixel to be predicted in a chroma block, Rec′L (x, y) is the value of the corresponding pixel in the co-located reconstructed luma block, which has been adjusted to the size of the chroma block and (x, y) is the coordinate of the pixel. As the dimensions (height and width) of the luma image are twice the dimensions of the chroma image in 4: 2: 0 picture format, Rec′L is usually obtained by downsampling the actually reconstructed luma image RecL.

[0140] The model coefficients α and β are calculated according to the relations between the luma and chroma images in the template area, which includes a row of pixels adjacent to the top of the current block and a column of pixels adjacent to the left of the current block. β=M (tC) -α·M (tL)          (5)

[0141] Where tL is the value of a pixel in the downsampled luma template area, tC is the value of a pixel in the chroma template area, (x, y) is the coordinate of the pixel and M (X) is the mean of sample X is the corresponding template area.

[0142] As per the above-mentioned common aspects, chroma block is the current block to be predicted, luma block serves as the reference block, and the template areas are the reconstructed pixels on the left and the top of respective blocks.

[0143] Gradient Linear Model (GLM)

[0144] GLM is another cross-component prediction mode that is similar to CCLM. Instead of directly using luma sample value as in CCLM, GLM utilizes luma sample gradients to derive the linear model. Therefore, the formula for predicting a chroma block (Cb or Cr) is changed to: PredC (x, y) =α·G (x, y) +β         (6)

[0145] With reference to FIG. 8, the gradient G can be computed by applying one of the following Sobel operators on the luma samples. P (x, y) represents a luma pixel.

[0146] Details can be obtained from:

[0147] 1) C. -W. Kuo, X. Xiu, N. Yan, H. -J. Jhu, W. Chen, H. Gao, X. Wan, AHG12: Enhanced CCLM, document JVET-Z0140, Joint Video Experts Team (JVET) , Apr. 2022.

[0148] 2) P. Astola, J. Lainema, R.G. Youvalari, A. Aminlou, K. Panusopone, C. -W. Kuo, H. -J. Jhu, X. Xiu, N. Yan, W. Chen, X. Wang, EE2-1.1c, 1.3a and 1.3b: Combined tests of EE2-1.1a, 1.1b and 1.2, document JVET-AA0126, Joint Video Experts Team (JVET) , Jul. 2022.

[0149] Convolutional Cross-Component Model (CCCM)

[0150] CCCM is another cross-component prediction mode. CCCM differs from CCLM and GLM by its typically wider template area and the integration of various types of samples in the prediction formula.

[0151] The formula for predicting a chroma block (Cb or Cr) in CCCM is as follows: PredC (x, y) =c0·Rec′L (x, y) +c1·Rec′L (x-1, y) +c2·Rec′L (x+1, y) +c3·Rec′L (x, y-1) +c4· Rec′L (x, y+1) +c5· [Rec′L (x, y) ] 2+c6·2D-1        (7)

[0152] Where D is the colour bit depth of the image.

[0153] The model coefficients c= {c0, c1, …, c6} in CCCM are obtained by a cost minimization formula:

[0154] Where R is the set of coordinates of all pixels in the template area, which includes several rows of pixels adjacent to the top of the current block and several columns of pixels adjacent to the left of the current block. This numerical optimization problem can be solved with Gaussian elimination method or other approximation algorithms.

[0155] Details can be obtained from P. Astola, J. Lainema, R.G. Youvalari, A. Aminlou, K. Panusopone, EE2-1.1a: Convolutional cross-component intra prediction model, document JVET-AA0126, Joint Video Experts Team (JVET) , Jul. 2022.

[0156] Extrapolation filter-based Intra Prediction (EIP)

[0157] EIP is an intra prediction mode that progressively predicts each pixel in the current block from the pixel’s reconstructed or predicted neighbours.

[0158] The formula for predicting a block in EIP is as follows: Pred (x, y) =∑ (x′, y′) ∈N (x, y) c (x′, y′) ·Rec′ (x′, y′)      (9) New, h (x, y) = { (x-a, y-b) |0≤a<w, 0≤b<h, (a≠0) ∨ (b≠0) }    (10)

[0159] With reference to FIG. 9, here New, h (x, y) is the set of all pixels within the w×h rectangle whose bottom-right-most location is (x, y) , except for (x, y) itself.

[0160] To calculate the model coefficients c (x′, y′) , a template area is defined as one or more rows adjacent to the top of the current block and one or more columns adjacent to the left of the current block. The solving process is similar to CCCM. If (x′, y′) is in the current block instead of the template area, Pred (x′, y′) is used in place of reconstructed value Rec (x′, y′) as there is no reconstructed value for that location.

[0161] Details can be obtained from L. Xu, Y. Yu, H. Yu, D. Wang, EE2-1.14: An extrapolation filter-based intra prediction mode, document JVET-AG0058, Joint Video Experts Team (JVET) , Jan. 2024.

[0162] Local Illumination Compensation (LIC)

[0163] LIC is a prediction enhancement method that applies to inter-frame prediction. Inter-frame prediction may be referred to as inter prediction. In inter prediction, a reference block is found by the above-mentioned motion compensation unit. In order to compensate the illumination difference between reference block and current block, LIC is used to measure such difference and adjust prediction blocks. The formula for generating the prediction block is: Pred (x, y) =α·Ref (x, y) +β         (12)

[0164] Where Pred (x, y) is the value of pixel to be predicted and Ref (x, y) is the value of pixel in the reference block.

[0165] To calculate the model coefficients α and β, template areas are defined around both reference block and current block by choosing one or more rows adjacent to the top of the respective blocks and one or more columns adjacent to the left of the respective blocks. The calculation is similar to CCLM mentioned above.

[0166] Multi-Model Linear Model (MMLM)

[0167] MMLM is an extension of linear model prediction. In recent development of video coding standards, MMLM is applied as a variant of CCLM and CCCM. In contrast to ordinary linear model prediction methods where the whole template area is regarded as a single training set and one linear model is derived for the predicting the current block, MMLM classifies all pixels in the template area into two training sets and derives one linear model for each training set for making the prediction. For example, in CCLM and CCCM, pixels in the template area are classified based on whether its luma value is less than the average luma value in the whole template area. Meanwhile in the prediction stage, pixels in the current block can also be classified using the same criterion and the corresponding linear model is applied for the prediction.

[0168] Local-Boosting Cross-Component Prediction (LBCCP)

[0169] LBCCP is a method applied upon above-mentioned CCLM and CCCM, with the intention of improving prediction accuracy via noise removal or wrong classification correction in MMLM. After obtaining prediction block with CCLM or CCCM, an additional filter is applied on the prediction block, which results in a new block as the final prediction block.

[0170] Where denotes linear convolution. Pred is the chroma prediction block from CCLM or CCCM, and Pred'  is the final chroma prediction block. F is the LBCCP filter kernel. Coefficients in the LBCCP filter kernel F are examples.

[0171] Decoding process of existing technologies:

[0172] With reference to FIG. 10, this section describes the decoding process for existing prediction modes, such as CCCM, MMLM, and LBCCP.

[0173] A critical challenge in video coding is achieving a balance between expressivity and generalizability of the employed model. While complex models can capture intricate or subtle patterns within a training set, the complex models risk overfitting to noise or idiosyncrasies present in the data. This can lead to reduced performance on unseen data.

[0174] The present invention addresses this challenge by proposing the use of regularization in linear model deriving. A linear model with limited complexity can thus be obtained for video coding. This approach keeps generalizability while maintaining sufficient expressivity for effective video coding. Additionally, proper regularization methods can be employed to further mitigate overfitting and achieve an optimal balance between model complexity and performance.

[0175] Regularization is employed in a linear regression and modelling to constrain the complexity of the model, particularly for linear models. These techniques achieve this by incorporating penalty terms into the target loss function. Common regularization methods include L2 and L1 regularization.

[0176] L2 Regularization: This method adds the L2 norm (sum of squares) of the model's coefficients to the loss function. This discourages excessively large coefficient values, preventing overfitting to noise in the training data.

[0177] L1 Regularization: This method adds the L1 norm (sum of absolute values) of the model's coefficients to the loss function. L1 regularization promotes sparsity, driving some coefficients towards zero, potentially leading to feature selection and improved model interpretability.

[0178] It's also possible to combine both L2 and L1 regularization techniques within a single regression task for potentially better performance.

[0179] One of the invention's objectives is to mitigate the impact of noise in the image and incorrect pixel classification / assignment on linear regression results. This can be achieved by introducing a regularized regression approach. Embodiments of the invention introduce the use of regularized regression within the encoder and decoder for linear model prediction.

[0180] Using regularized regression for linear model prediction.

[0181] Linear model prediction refers to any of the intra or inter prediction modes that generate prediction images using a linear model. The coefficients of this model are determined by solving a linear regression problem, typically implemented on both the encoder and decoder sides. Regularized regression offers an alternative to commonly used ordinary least squares (OLS) for solving linear model used for generating prediction images.

[0182] With reference to FIG. 11, for example, a decoding process with CCCM enhanced by regularized regression is detailed. The decoder determines whether the CCCM mode is enabled. When the CCCM mode is enabled, the decoder decodes or derives MMLM, LBCCP, and regularized regression flags. The decoder derives luma-chroma linear model with OLS or regularized regression. When the regularized regression flag indicates that regularized regression is enabled, the decoder derives luma-chroma linear model using regularized regression. If MMLM is not enabled, the decode derives one single model; otherwise, the decode derives two models based on pixel classification. The decode calculates prediction blocks using the derived model (s) . The decoder applies LBCCP filter to the  prediction blocks when the LBCCP flag indicates that LBCCP is enabled.

[0183] With reference to FIG. 12, for example, a decoding process with regularized regression in EIP is detailed. The decoder determines whether the EIP mode is enabled. When the EIP mode is enabled, the decoder decodes or derives regularized regression flags. The decoder derives linear model with OLS or regularized regression. When the regularized regression flag indicates that regularized regression is enabled, the decoder derives linear model using regularized regression. The decode calculates prediction blocks using the derived model (s) .

[0184] I. Embodiment: Ridge regression for CCLM

[0185] This embodiment describes the decoding process for cross-component linear model (CCLM) with ridge regression. An embodiment of the disclosure comprises the following steps:

[0186] 1. Checking whether ridge regression is available and determining whether ridge regression is enabled for the current block. Details are described in section A. 1 titled "Checking whether ridge regression is available and / or is enabled" .

[0187] 2. Deriving regularization parameter for the ridge regression. Details are described in section A. 2 titled “Ridge regression” .

[0188] 3. Calculating prediction function coefficients of a cross-component linear model using the ridge regression. Details are described in section A. 2 titled “Ridge regression” .

[0189] 4. Generating a chroma prediction block for the current block using the prediction function coefficients.

[0190] II. Embodiment: Ridge regression for CCCM

[0191] This embodiment describes the decoding process for convolutional cross-component model (CCCM) with ridge regression. An embodiment of the disclosure comprises the following steps:

[0192] 1. Checking whether ridge regression is available and determining whether ridge regression is enabled for the current block. Details are described in section A. 1 titled "Checking whether ridge regression is available and / or is enabled" .

[0193] 2. Deriving a regularization parameter for the ridge regression. Details are described in section A. 2 titled “Ridge regression” .

[0194] 3. Calculating prediction function coefficients of a convolutional cross-component model using the ridge regression. Details are described in section A. 2 titled “Ridge regression” .

[0195] 4. Generating a chroma prediction block for the current block using the prediction function coefficients.

[0196] III. Embodiment: Ridge regression for GLM

[0197] This embodiment describes the decoding process for gradient linear model (GLM) with ridge regression. An embodiment of the disclosure comprises the following steps:

[0198] 1. Checking whether ridge regression is available and determining whether ridge regression is enabled for the current block. Details are described in section A. 1 titled "Checking whether ridge regression is available and / or is enabled" .

[0199] 2. Deriving a regularization parameter for the ridge regression. Details are described in section A. 2 titled “Ridge regression” .

[0200] 3. Calculating prediction function coefficients of a gradient linear model using the ridge regression. Details are described in section A. 2 titled “Ridge regression” .

[0201] 4. Generating a chroma prediction block for the current block using the prediction function coefficients.

[0202] IV. Embodiment: Ridge regression for EIP

[0203] This embodiment describes the decoding process for extrapolation filter-based intra prediction (EIP) with ridge  regression. An embodiment of the disclosure comprises the following steps:

[0204] 1. Checking whether ridge regression is available and determining whether ridge regression is enabled for the current block. Details are described in section A. 1 titled “Checking whether ridge regression is available and / or is enabled” .

[0205] 2. Deriving a regularization parameter for the ridge regression. Details are described in section A. 2 titled “Ridge regression” .

[0206] 3. Calculating prediction function coefficients of an extrapolation filter-based intra prediction using the ridge regression. Details are described in section A. 2 titled “Ridge regression” .

[0207] 4. Generating a prediction block for the current block using the prediction function coefficients.

[0208] V. Embodiment: Ridge regression for LIC

[0209] This embodiment describes the decoding process for local illumination compensation (LIC) with ridge regression. An embodiment of the disclosure comprises the following steps:

[0210] 1. Checking whether ridge regression is available and determining whether ridge regression is enabled for the current block. Details are described in section A. 1 titled "Checking whether ridge regression is available and / or is enabled" .

[0211] 2. Deriving a regularization parameter for the ridge regression. Details are described in section A. 2 titled “Ridge regression” .

[0212] 3. Calculating prediction function coefficients of a local illumination compensation using the ridge regression. Details are described in section A. 2 titled “Ridge regression” .

[0213] 4. Generating a prediction block for the current block using the prediction function coefficients.

[0214] VI. Embodiment: Ridge regression for CCCM with MMLM

[0215] This embodiment describes the decoding process for convolutional cross-component model with MMLM and ridge regression. An embodiment of the disclosure comprises the following steps:

[0216] 1. Checking whether ridge regression is available and determining whether ridge regression is enabled for the current block. Details are described in section A. 1 titled "Checking whether ridge regression is available and / or is enabled" .

[0217] 2. Deriving a regularization parameter for the ridge regression. Details are described in section A. 2 titled “Ridge regression” .

[0218] 3. Calculating prediction function coefficients of a convolutional cross-component model with MMLM using the ridge regression. Details are described in section A. 2 titled “Ridge regression” .

[0219] 4. Generating a chroma prediction block with CCCM for the current block using the prediction function coefficients.

[0220] VII. Embodiment: Ridge regression for CCCM with LBCCP

[0221] This embodiment describes the decoding process for convolutional cross-component model with LBCCP and ridge regression. An embodiment of the disclosure comprises the following steps:

[0222] 1. Checking whether ridge regression and / or LBCCP are available and determining whether ridge regression and / or are enabled for the current block. Details are described in section A. 1 titled "Checking whether ridge regression is available and / or is enabled" .

[0223] 2. Deriving a regularization parameter for the ridge regression. Details are described in section A. 2 titled “Ridge regression” .

[0224] 3. Calculating prediction function coefficients of a convolutional cross-component model with LBCCP using the  ridge regression. Details are described in section A. 2 titled “Ridge regression” .

[0225] 4. Generating a chroma prediction block with CCCM and LBCCP filter for the current block using the prediction function coefficients.

[0226] VIII. Embodiment: Lasso regression for CCLM

[0227] This embodiment describes the decoding process for cross-component linear model (CCLM) with lasso regression. An embodiment of the disclosure comprises the following steps:

[0228] 1. Checking whether lasso regression is available and determining whether lasso regression is enabled for the current block. Details are described in section B. 1 titled "Checking whether lasso regression is available and / or is enabled" .

[0229] 2. Deriving a regularization parameter for the lasso regression. Details are described in section B. 2 titled “Lasso regression” .

[0230] 3. Calculating prediction function coefficients of a cross-component linear model using the lasso regression. Details are described in section B. 2 titled “Lasso regression” .

[0231] 4. Generating a chroma prediction block for the current block using the prediction function coefficients.

[0232] IX. Embodiment: Lasso regression for CCCM

[0233] This embodiment describes the decoding process for convolutional cross-component model (CCCM) with lasso regression. An embodiment of the disclosure comprises the following steps:

[0234] 1. Checking whether lasso regression is available and determining whether lasso regression is enabled for the current block. Details are described in section B. 1 titled “Checking whether lasso regression is available and / or is enabled” .

[0235] 2. Deriving a regularization parameter for the lasso regression. Details are described in section B. 2 titled “Lasso regression” .

[0236] 3. Calculating prediction function coefficients of a convolutional cross-component model using the lasso regression. Details are described in section B. 2 titled “Lasso regression” .

[0237] 4. Generating a chroma prediction block for the current block using the prediction function coefficients.

[0238] X. Embodiment: Lasso regression for GLM

[0239] This embodiment describes the decoding process for gradient linear model (GLM) with lasso regression. An embodiment of the disclosure comprises the following steps:

[0240] 1. Checking whether lasso regression is available and determining whether lasso regression is enabled for the current block. Details are described in section B. 1 titled "Checking whether lasso regression is available and / or is enabled" .

[0241] 2. Deriving a regularization parameter for the lasso regression. Details are described in section B. 2 titled “Lasso regression” .

[0242] 3. Calculating prediction function coefficients of a gradient linear model using the lasso regression. Details are described in section B. 2 titled “Lasso regression” .

[0243] 4. Generating a chroma prediction block for the current block using the prediction function coefficients.

[0244] XI. Embodiment: Lasso regression for EIP

[0245] This embodiment describes the decoding process for extrapolation filter-based intra prediction (EIP) with lasso regression. An embodiment of the disclosure comprises the following steps:

[0246] 1. Checking whether lasso regression is available and determining whether lasso regression is enabled for the current block. Details are described in section B. 1 titled "Checking whether lasso regression is available and / or  is enabled" .

[0247] 2. Deriving a regularization parameter for the lasso regression. Details are described in section B. 2 titled “Lasso regression” .

[0248] 3. Calculating prediction function coefficients of an extrapolation filter-based intra prediction with the lasso regression. Details are described in section B. 2 titled “Lasso regression” .

[0249] 4. Generating a prediction block for the current block using the prediction function coefficients.

[0250] XII. Embodiment: Lasso regression for LIC

[0251] This embodiment describes the decoding process for local illumination compensation (LIC) with lasso regression. An embodiment of the disclosure comprises the following steps:

[0252] 1. Checking whether lasso regression is available and determining whether lasso regression is enabled for the current block. Details are described in section B. 1 titled "Checking whether lasso regression is available and / or is enabled" .

[0253] 2. Deriving a regularization parameter for the lasso regression. Details are described in section B. 2 titled “Lasso regression” .

[0254] 3. Calculating prediction function coefficients of a local illumination compensation using the lasso regression. Details are described in section B. 2 titled “Lasso regression” .

[0255] 4. Generating a prediction block for the current block using the prediction function coefficients.

[0256] XIII. Embodiment: Lasso regression for CCCM with MMLM

[0257] This embodiment describes the decoding process for convolutional cross-component model with MMLM and lasso regression. An embodiment of the disclosure comprises the following steps:

[0258] 1. Checking whether lasso regression is available and determining whether lasso regression is enabled for the current block. Details are described in section B. 1 titled "Checking whether lasso regression is available and / or is enabled" .

[0259] 2. Deriving a regularization parameter for the lasso regression. Details are described in section B. 2 titled “Lasso regression” .

[0260] 3. Calculating prediction function coefficients of a convolutional cross-component model with MMLM using the lasso regression. Details are described in section B. 2 titled “Lasso regression” .

[0261] 4. Generating a chroma prediction block with CCCM for the current block using the prediction function coefficients.

[0262] XIV. Embodiment: Lasso regression for CCCM with LBCCP

[0263] This embodiment describes the decoding process for convolutional cross-component model with LBCCP and lasso regression. An embodiment of the disclosure comprises the following steps:

[0264] 1. Checking whether lasso regression and / or LBCCP are available and determining whether lasso regression and / or are enabled for the current block. Details are described in section B. 1 titled "Checking whether lasso regression is available and / or is enabled" .

[0265] 2. Deriving a regularization parameter for the lasso regression. Details are described in section B. 2 titled “Lasso regression” .

[0266] 3. Calculating prediction function coefficients of a convolutional cross-component model with LBCCP using the lasso regression. Details are described in section B. 2 titled “Lasso regression” .

[0267] 4. Generating a chroma prediction block with CCCM and LBCCP filter for the current block using the prediction function coefficients.

[0268] XV. Embodiment: Elastic net regression for CCLM

[0269] This embodiment describes the decoding process for cross-component linear model (CCLM) with elastic net regression. An embodiment of the disclosure comprises the following steps:

[0270] 1. Checking whether elastic net regression is available and determining whether elastic net regression is enabled for the current block. Details are described in section C. 1 titled "Checking whether elastic net regression is available and / or is enabled" .

[0271] 2. Deriving a regularization parameter for the elastic net regression. Details are described in section B. 2 titled “Elastic net regression” .

[0272] 3. Calculating prediction function coefficients of a cross-component linear model using the elastic net regression. Details are described in section B. 2 titled “Elastic net regression” .

[0273] 4. Generating a chroma prediction block for the current block using the prediction function coefficients.

[0274] XVI. Embodiment: Elastic net regression for CCCM

[0275] This embodiment describes the decoding process for convolutional cross-component model (CCCM) with elastic net regression. An embodiment of the disclosure comprises the following steps:

[0276] 1. Checking whether elastic net regression is available and determining whether elastic net regression is enabled for the current block. Details are described in section C. 1 titled “Checking whether elastic net regression is available and / or is enabled” .

[0277] 2. Deriving a regularization parameter for the elastic net regression. Details are described in section C. 2 titled “Elastic net regression” .

[0278] 3. Calculating prediction function coefficients of a convolutional cross-component model using the elastic net regression. Details are described in section C. 2.

[0279] 4. Generating a chroma prediction block for the current block using the prediction function coefficients.

[0280] XVII. Embodiment: Elastic net regression for GLM

[0281] This embodiment describes the decoding process for gradient linear model (GLM) with elastic net regression. An embodiment of the disclosure comprises the following steps:

[0282] 1. Checking whether elastic net regression is available and determining whether elastic net regression is enabled for the current block. Details are described in section C. 1 titled "Checking whether elastic net regression is available and / or is enabled" .

[0283] 2. Deriving a regularization parameter for the elastic net regression. Details are described in section C. 2 titled “Elastic net regression” .

[0284] 3. Calculating prediction function coefficients of a gradient linear model using the elastic net regression. Details are described in section C. 2 titled “Elastic net regression” .

[0285] 4. Generating a chroma prediction block for the current block using the prediction function coefficients.

[0286] XVIII. Embodiment: Elastic net regression for EIP

[0287] This embodiment describes the decoding process for extrapolation filter-based intra prediction (EIP) with elastic net regression. An embodiment of the disclosure comprises the following steps:

[0288] 1. Checking whether elastic net regression is available and determining whether elastic net regression is enabled for the current block. Details are described in section C. 1 titled "Checking whether elastic net regression is available and / or is enabled" .

[0289] 2. Deriving a regularization parameter for the elastic net regression. Details are described in section C. 2 titled “Elastic net regression” .

[0290] 3. Calculating prediction function coefficients of an extrapolation filter-based intra prediction using the elastic net regression. Details are described in section C. 2 titled “Elastic net regression” .

[0291] 4. Generating a prediction block for the current block using the prediction function coefficients.

[0292] XIX. Embodiment: Elastic net regression for LIC

[0293] This embodiment describes the decoding process for local illumination compensation (LIC) with elastic net regression. An embodiment of the disclosure comprises the following steps:

[0294] 1. Checking whether elastic net regression is available and determining whether elastic net regression is enabled for the current block. Details are described in section C. 1 titled "Checking whether elastic net regression is available and / or is enabled" .

[0295] 2. Deriving a regularization parameter for the elastic net regression. Details are described in section C. 2 titled “Elastic net regression” .

[0296] 3. Calculating prediction function coefficients of a local illumination compensation using the elastic net regression. Details are described in section C. 2 titled “Elastic net regression” .

[0297] 4. Generating a prediction block for the current block using the prediction function coefficients.

[0298] XX. Embodiment: Elastic net regression for CCCM with MMLM

[0299] This embodiment describes the decoding process for convolutional cross-component model with MMLM and elastic net regression. An embodiment of the disclosure comprises the following steps:

[0300] 1. Checking whether elastic net regression is available and determining whether elastic net regression is enabled for the current block. Details are described in section C. 1 titled "Checking whether elastic net regression is available and / or is enabled" .

[0301] 2. Deriving a regularization parameter for the elastic net regression. Details are described in section C. 2 titled “Elastic net regression” .

[0302] 3. Calculating prediction function coefficients of a convolutional cross-component model with MMLM using the elastic net regression. Details are described in section C. 2 titled “Elastic net regression” .

[0303] 4. Generating a chroma prediction block with CCCM for the current block using the prediction function coefficients.

[0304] XXI. Embodiment: Elastic net regression for CCCM with LBCCP

[0305] This embodiment describes the decoding process for convolutional cross-component model with LBCCP and elastic net regression. An embodiment of the disclosure comprises the following steps:

[0306] 1. Checking whether elastic net regression and / or LBCCP are available and determining whether elastic net regression and / or LBCCP are enabled for the current block. Details are described in section C. 1 titled "Checking whether elastic net regression is available and / or is enabled" .

[0307] 2. Deriving a regularization parameter for the elastic net regression. Details are described in section C. 2 titled “Elastic net regression” .

[0308] 3. Calculating prediction function coefficients of a convolutional cross-component model with LBCCP using the elastic net regression. Details are described in section C. 2 titled “Elastic net regression” .

[0309] 4. Generating a chroma prediction block with CCCM and LBCCP filter for the current block using the prediction function coefficients.

[0310] Solutions for the embodiments are detailed in the following.

[0311] A Ridge regression for linear model prediction

[0312] Linear model prediction involves using a linear model to generate predicted blocks. To achieve this, the  linear model should be derived from samples of coded data. In some embodiments, ridge regression-aregularized regression method-is introduced as a tool for linear model prediction. The advantages of ridge regression include mitigating overfitting and reducing the sensitivity of the derived linear model to noise in both training and test data. Additionally, a beneficial side effect of ridge regression is its ability to prevent rank deficiency in the training set, especially in extreme cases.

[0313] A.1 Checking whether ridge regression is available and / or is enabled

[0314] A.1.1 Checking whether ridge regression is available

[0315] In general, ridge regression is available to every linear model prediction mode. An encoder and / or a decoder according to at least one embodiment of the disclosure determines availability or applicability of ridge regression for specific linear model prediction modes based on the following factors:

[0316] 1. Prediction mode. Ridge regression may be applicable to all or a designated subset of the prediction modes: CCLM, GLM, CCCM with all variants, EIP and LIC and their variants.

[0317] 2. Block size. Ridge regression is made applicable to all or certain block sizes.

[0318] 3. High level syntax. A control flag signalled a slice, a picture or a group of picture level associated with the current block indicates the availability of ridge regression for specific coding unit.

[0319] A.1.2 Checking whether ridge regression is enabled

[0320] Determining whether ridge regression is enabled for a prediction mode and the current block can be inferred based on at least one of the following criteria:

[0321] 1. Always on. Ridge regression is enabled as long as ridge regression is available or applicable to the current block in a block size and a selected prediction mode.

[0322] 2. Explicit indication.

[0323] For example: A flag is used to indicate whether ridge regression is enabled.

[0324] For example: A first flag is used to indicate that either LBCCP or ridge regression is enabled. If the first flag is true, a second flag is used to indicate which one of LBCCP and ridge regression is enabled, and the other is disabled.

[0325] 3. Dependent on existing signals.

[0326] Enabling of ridge regression can be linked to existing signalling mechanisms. For example: Ridge regression is enabled whenever LBCCP is enabled; ridge regression is enabled whenever LBCCP is disabled. Ridge regression is disabled whenever LBCCP is enabled.

[0327] 4. Decoder derivation: From a reconstructed image, a decoder derives if ridge regression is enabled for the current block.

[0328] 5. High level syntax: A control flag signalled in a slice, a picture or a group of picture level associated with the current block indicates the conditions of enabling ridge regression.

[0329] A.2 Ridge regression

[0330] In a linear regression operation, the objective is to derive the coefficients of the linear function for predicting data y from a p-dimensional regressor x . Consider a dataset of n observations where is the regressor of the ith observation and yi the corresponding scalar response. The relationship between the regressor and the scalar response is: yi=βTxi+∈i=β1xi1+β2xi2+…+βpxip+∈i     (15)

[0331] Where β= {β1, β2, …, βp} T is a p-by-1 vector that represents coefficients of the linear function, and ∈i is the error term.

[0332] Stacking the n observations into a matrix form results in: y=Xβ+∈            (16)

[0333] Where x is an n-by-p matrix and y is an n-by-1 vector the ith row of X is the ith regressor the ith element of y is the corresponding response.

[0334] The optimal parameter is the parameter that minimizes an objective function.

[0335] In ordinary least squares regression, the objective function is: S (β) =‖y-Xβ‖2           (18)

[0336] In ridge regression, the objective function is changed to S (β) =‖y-Xβ‖2+λ‖β‖2         (19)

[0337] Where λ is the regularization parameter.

[0338] There is an analytical solution to

[0339] Where I is a p-by-p identity matrix.

[0340] A.2.1 Using ridge regression in cross-component prediction (CCLM, GLM and CCCM)

[0341] Recall that in cross-component prediction, the formulations of predicting chroma block from luma block are:

[0342] For CCLM: PredC (x, y) =α·Rec′L (x, y) +β         (21)

[0343] For GLM: PredC (x, y) =α·G (x, y) +β         (22)

[0344] For CCCM: PredC (x, y) =c0·Rec′L (x, y) +c1·Rec′L (x-1, y) +c2·Rec′L (x+1, y) +c3·Rec′L (x, y-1) +c4· Rec′L (x, y+1) +c5· [Rec′L (x, y) ] 2+c6·2D-1      (23)

[0345] The formulas are equivalent to the following matrix form:

[0346] Where l is the sample vector of a luma pixel in the template area.

[0347] For CCLM:

[0348] For GLM:

[0349] For CCCM:

[0350] Where D is the colour bit depth of the image or video for processing.

[0351] With ridge regression, the coefficients of the prediction formula can be calculated:

[0352] Where L is an n-by-p matrix and c is an n-by-1 vector Each row of L is the sample vector l of a luma pixel in the template area and p is the number of elements of l. The ith element of c is the chroma value of the co-located chroma pixel corresponding to the ith row of L, where

[0353] For each chroma pixel in the current block, the predicted chroma value is:

[0354] A.2.2 Using ridge regression in EIP

[0355] Recall that in EIP, the formulation of predicting current block is Pred (x, y) =∑ (x′, y′) ∈N (x, y) c (x′, y′) ·Rec′ (x′, y′)       (30) New, h (x, y) = { (x-a, y-b) |0≤a<w, 0≤b<h, (a≠0) ∨ (b≠0) }    (31)

[0356] The formula is equivalent to the following matrix form:

[0357] Where

[0358] With ridge regression, the coefficients of the prediction formula can be calculated:

[0359] Where A is an n-by-p matrix and y is an n-by-1 vector Each element of y is the value of a pixel in the template area and the corresponding row in A is the vector a of values of neighbouring pixels, with length p=w×h-1, where

[0360] For each pixel in the current block, the predicted value is:

[0361] A.2.3 Using ridge regression in LIC

[0362] Recall that in LIC, the formulation of predicting current block is Pred (x, y) =α·Recref (x, y) +β          (36)

[0363] The formula is equivalent to the following matrix form:

[0364] Where

[0365] With ridge regression, the coefficients of the prediction formula can be calculated:

[0366] Where A is an n-by-p matrix and y is an n-by-1 vector Each element of y is the value of a pixel in the template area of the current block and the corresponding row in A is the sample vector a of the corresponding pixel in the template area of the reference block with length p=2 , where

[0367] For each pixel in the current block, the predicted value is:

[0368] A.2.4 Determination of regularization parameter in ridge regression

[0369] The regularization parameter λ in ridge regression controls in general how much limitation is imposed on the complexity of the model. The determination of λ can be determined or derived based on at least one of the following criteria:

[0370] 1. A fixed value. λ is a fixed value, independent of or dependent on the linear model.

[0371] 2. A high level syntax: λ is specified by a header in a slice, a picture, or a group of pictures.

[0372] 3. A dimension of the linear model: λ is relative to the dimension of the regressor.

[0373] For example, λ=λ0·p, where p is the length of the sample vector and λ0 is a fixed value.

[0374] 4. Adaptive to the input data: λ is relative to the number of samples, the regression residues, etc.

[0375] For example, λ=λ0·n, where n is the number of pixels in the template area and λ0 is a fixed value.

[0376] For example, λ=λ0· (1-R2) , where R2 is a predictor score, quantified as the coefficient of determination of the linear model using ordinary least squares (OLS) prediction error.

[0377] the Rec (x, y) is a reconstructed value at pixel (x, y) in the current block;

[0378] the PredOLS (x, y) is a predicted value at pixel (x, y) in the current block; and

[0379] the M (Rec (x, y) ∈Template) is an averaging function for calculating a mean of the reconstructed values.

[0380] For example, λ=λ0·Q, where Q is a predictor score, quantified as an outlier ratio, namely the ratio of pixels in the template area where OLS prediction error ∈=PredOLS (x, y) -Rec (x, y) is outside a range specified by the mean and standard deviation of the prediction error.

[0381] Where N () is the number of elements in a set and NTemplate is the number of pixels in the template area.

[0382] For example, λ=λ0·|S|, where |S| is a predictor score, quantified as the absolute value of skewness S of the OLS prediction error in the template area.

[0383] Where is an expected value of

[0384] is an expected value of

[0385] For example, λ=λ0·K, where K is a predictor score, quantified as the kurtosis of the OLS prediction error in the template area.

[0386] For example, λ=λ0·D, where D is the range of the function coefficients of the linear model using OLS prediction error. D=max (β1, β2, …, βp) -min (β1, β2, …, βp)    (44)

[0387] For example, λ=λ0·SAC, where SAC is the sum of absolute values of the function coefficients of the  linear model using OLS prediction error.

[0388] B Lasso regression for linear model prediction

[0389] Lasso regression is another regularized linear regression method. Lasso regression offers a ‘feature selection’ function, which indicates that the parameters in the linear model found to be less expressive in the training data will be supressed. It is especially useful in the cases where the linear model has more parameters than what actual training data and / or test data contain.

[0390] B.1 Checking whether lasso regression is available and / or is enabled

[0391] The availability check, signalling and / or derivation is similar to ridge regression. Refer to section A. 1 titled "Checking whether ridge regression is available and / or is enabled" .

[0392] B.2 Lasso regression

[0393] In a linear regression operation similar to the one mentioned in section A. 2 titled “Ridge regression” , the problem is expressed as: y=Xβ+∈             (46)

[0394] And the optimal parameter is the parameter that minimizes an objective function.

[0395] In lasso regression, the objective function is changed to S (β) =‖y-Xβ‖2+λ|β|          (48)

[0396] However, here is no analytical solution to for lasso regression.

[0397] B.2.1 Using lasso regression in cross-component prediction (CCLM, GLM and CCCM) , EIP, LIC, etc

[0398] In each coding mode, the optimal function coefficients can be similarly applied to respective sampling vectors to generate prediction blocks. Refer to section A. 2.1 titled “Using ridge regression in cross-component prediction (CCLM, GLM and CCCM) ” , section A. 2.2 titled “Using ridge regression in EIP” and section A. 2.3 titled “Using ridge regression in LIC” .

[0399] B.2.2 Determination of regularization parameter in lasso regression

[0400] The determination of regularization parameter in lasso regression is similar to ridge regression. Refer to section A. 2.4 “Determination of regularization parameter in ridge regression” .

[0401] C Elastic net regression for linear model prediction

[0402] Elastic net regression is a regularized regression method that linearly combines the L2 penalty term ‖β‖2 of ridge regression and L1 penalty term |β| of lasso regression.

[0403] C.1 Checking whether elastic net regression is available and / or is enabled

[0404] The availability check, signalling and / or derivation is similar to ridge regression. Refer to section A. 1 titled "Checking whether ridge regression is available and / or is enabled" .

[0405] C.2 Elastic net regression

[0406] In a linear regression operation similar to the one mentioned in section A. 2 titled “Ridge regression” , the problem is expressed as: y=Xβ+∈             (49)

[0407] And the optimal parameter is the parameter that minimizes an objective function.

[0408] In elastic net regression, the objective function is changed to S (Xβ) =‖y-Xβ‖2+λ2‖Xβ‖2+λ1|β|        (51)

[0409] C.2.1 Using elastic net regression in cross-component prediction (CCLM, GLM and CCCM) , EIP, LIC, etc

[0410] In each coding mode, the optimal function coefficients can be similarly applied to respective sampling vectors to generate prediction blocks. Refer to section A. 2.1 titled “Using ridge regression in cross-component prediction (CCLM, GLM and CCCM) ” , section A. 2.2 titled “Using ridge regression in EIP” and second A. 2.3 titled “Using ridge regression in LIC” .

[0411] C.2.2 Determination of regularization parameters in elastic net regression:

[0412] The determination of regularization parameters in elastic net regression is similar to ridge regression. Refer to section titled A. 2.4 “Determination of regularization parameter in ridge regression” .

[0413] With reference to FIG. 13, the embodiment of the disclosure also provides a chip 70 that may correspond to an encoder in the embodiments of the disclosure. The chip 70 may implement a corresponding process realized by the encoder (i.e., video encoding system 110) in various methods of the embodiments of the disclosure. The chip 70 includes a processor 71, and the processor 71 may call and run a computer program from memory to implement the methods in the embodiments of the present application.

[0414] Optionally, the chip 70 may also include a memory 72. In particular, the processor 71 may call and run the computer program from the memory 72 to implement the methods in the embodiments of the present application.

[0415] Moreover, the memory 72 may be a separate device from the processor 71 or may be integrated into the processor 71.

[0416] Optionally, the chip 70 may further include an input interface 73. Note that the processor 71 may control the input interface 73 to communicate with other devices or chips, specifically, to obtain messages or data sent by other devices or chips.

[0417] Optionally, the chip 70 may further include an output interface 74. Note that the processor 71 may control the output interface 74 to communicate with other devices or chips, specifically, to output messages or data to other devices or chips.

[0418] With reference to FIG. 14, the embodiment of the disclosure also provides another chip 80 that may correspond to a decoder (i.e., video decoding system 120) in the description, and the chip 80 may implement the corresponding processes implemented by the decoder in the various methods of the embodiments of the disclosure. The chip 80 includes a processor 81, and the processor 81 may call and run a computer program from the memory 82 to implement the methods in the embodiments of the present application.

[0419] Optionally, the chip 80 may further include a memory 82. In particular, the processor 81 may call and run the computer program from the memory 82 to implement the methods in the embodiments of the present application.

[0420] Wherein the memory 82 may be a separate device from the processor 81 or may be integrated into the processor 81.

[0421] Optionally, the chip 80 may also include an input interface 83. In particular, the processor 81 may control the input interface 83 to communicate with other devices or chips, specifically, to obtain messages or data sent by other devices or chips.

[0422] Optionally, the chip may further include an output interface 84. In particular, the processor 81 may control  the output interface 84 to communicate with other devices or chips, specifically, to output messages or data to other devices or chips.

[0423] The disclosed method may be programmed as computer executable instructions stored in non-transitory computer readable medium. The non-transitory computer readable medium, when loaded to a computer, directs a processor of the computer to execute the disclosed method.

[0424] The non-transitory computer readable medium may comprise at least one from a group consisting of: a hard disk, a CD-ROM, an optical storage device, a magnetic storage device, a Read Only Memory, a Programmable Read Only Memory, an Erasable Programmable Read Only Memory, EPROM, an Electrically Erasable Programmable Read Only Memory and a Flash memory.

[0425] The disclosed method may be programmed as a computer program product that causes a computer to execute the disclosed method.

[0426] The disclosed method may be programmed as a computer program that causes a computer to execute the disclosed method.

[0427] While the present disclosure has been described in connection with what is considered the most practical and preferred embodiments, it is understood that the present disclosure is not limited to the disclosed embodiments but is intended to cover various arrangements made without departing from the scope of the broadest interpretation of the appended claims.

Claims

1.A decoding method, comprising:obtaining a bitstream;determining a prediction mode based on the bitstream;acquiring a current block;calculating prediction function coefficients of the prediction mode using regularized linear regression; andgenerating a prediction block for the current block using the prediction function coefficients of the prediction mode.2.The method of claim 1, wherein the prediction mode comprises at least one of:a cross-component linear model (CCLM) ;a gradient linear model (GLM) ;a convolutional cross-component model (CCCM) ;an extrapolation filter-based intra prediction (EIP) ;a local illumination compensation (LIC) ; ora CCCM using a Local-Boosting Cross-Component Prediction (LBCCP) filter.3.The method of claim 1, wherein availability of the regularized linear regression is signalled by a control flag at a slice, a picture or a group of picture level associated with the current block.4.The method of claim 1, wherein enabling or disabling of the regularized linear regression is signalled by a control flag at a slice, a picture or a group of picture level associated with the current block.5.The method of claim 1, wherein the regularized linear regression is always enabled.6.The method of claim 1, wherein enabling or disabling of the regularized linear regression is dependent on enabling status of LBCCP.7.The method of claim 1, wherein enabling or disabling of the regularized linear regression is signalled in a reconstructed image.8.The method of claim 1, wherein the penalty term comprises at least one of:the dimension of the prediction function coefficients raised to the power of two;an absolute value of the dimension of the prediction function coefficients; ora combination of the dimension of the prediction function coefficients raised to the power of two and the absolute value of the dimension of the prediction function coefficients.9.The method of claim 1, wherein the regularized linear regression is performed on coded template areas, which comprise:one or more rows above the current block; and / orone or more columns to the left of the current block; and / ora rectangular area to the top-left or the current block.10.The method of claim 1, wherein the regularized linear regression is performed by minimizing an objective function, which is the sum of squares of linear regression residuals plus a penalty term; wherein the penalty term is related to a regularization parameter.11.The method of claim 10, wherein the regularized linear regression comprises ridge regression, where the penalty term is the sum of squares of the prediction function coefficients multiplied by the regularization parameter.12.The method of claim 10, wherein the regularized linear regression comprises lasso regression, where the penalty term is the sum of absolute values of the prediction function coefficients multiplied by the regularization parameter.13.The method of claim 10, whereinthe regularization parameter comprises a first regularization parameter and a second regularization parameter;the regularized linear regression comprises elastic net regression, where the penalty term is the sum of squares of the prediction function coefficients multiplied by the first regularization parameter plus the sum of absolute values of the prediction function coefficients multiplied by the second regularization parameter.14.The method of any of claim 10, wherein the regularization parameter is a fixed value that is derived based on the prediction mode;the regularization parameter is signalled in a header of a slice, a picture, or a group of pictures; orthe regularization parameter is derived from input data, wherein the input data comprises: a previously coded image, a linear prediction function and results of linear regression by ordinary least squares method.15.The method of claim 14, wherein the regularization parameter λ=λ0·n, where n is a number of pixels in a template area, and λ0 is a fixed value.16.The method of claim 14, wherein the regularization parameter λ=λ0· (1-R2) , where R2 is a predictor score, quantified as a coefficient of determination of a linear model using ordinary least squares (OLS) prediction error; λ0 is a fixed value;the Rec (x, y) is a reconstructed value at pixel (x, y) in the current block;the PredOLS (x, y) is a predicted value at pixel (x, y) in the current block; andthe M (Rec (x, y) ∈Template) is an averaging function for calculating a mean of the reconstructed values.17.The method of claim 14, wherein the regularization parameter λ=λ0·Q, where q is a predictor score, quantified as an outlier ratio, namely a ratio of pixels in a template area where OLS prediction error ∈=PredOLS (x, y) -Rec (x, y) is outside a range specified by the mean and standard deviation of the prediction error; λ0 is a fixed value;the Rec (x, y) is a reconstructed value at pixel (x, y) in the current block; andthe PredOLS (x, y) is a predicted value at pixel (x, y) in the current block.18.The method of claim 14, wherein the regularization parameter λ=λ0· |S| , where |S| is a predictor score, quantified as the absolute value of skewness S of OLS prediction error in a template area; where λ0 is a fixed value;is an expected value ofis an expected value of19.The method of claim 14, wherein the regularization parameter λ=λ0·K, where k is a predictor score, quantified as kurtosis of OLS prediction error in a template area; where λ0 is a fixed value;is an expected value ofis an expected value of20.The method of claim 14, wherein the regularization parameter λ=λ0·D, where D is a range of function coefficients of a linear model from OLS;λ0 is a fixed value;D=max (β0, β1, …, βp) -min (β0, β1, …, βp) .21.The method of claim 14, wherein the regularization parameter λ=λ0·SAC, where SAC is a sum of absolute values of the function coefficients of the linear model using OLS prediction error;λ0 is a fixed value;22.A chip, comprising:a processor, configured to call and run a computer program stored in a memory, to cause a device in which the chip is installed to execute the method of any of claims 1 to 20.23.A computer-readable storage medium, in which a computer program is stored, wherein the computer program causes a computer to execute the method of any of claims 1 to 20.24.A computer program product, comprising a computer program, wherein the computer program causes a computer to execute the method of any of claims 1 to 20.25.A computer program, wherein the computer program causes a computer to execute the method of any of claims 1 to 20.26.A decoding device comprising:a processor configured to execute the method of any of claims 1 to 20.27.A encoding method, comprising:acquiring a current block;calculating prediction function coefficients of a prediction mode using regularized linear regression based on the current block, wherein the regularized linear regression uses an objective function including a prediction error and a penalty term;generating a prediction block for the current block using the prediction function coefficients of the prediction mode; andtransmitting a bitstream of the prediction mode with regularized linear regression.28.The method of claim 27, wherein the prediction mode comprises at least one of:a cross-component linear model (CCLM) ;a gradient linear model (GLM) ;a convolutional cross-component model (CCCM) ;an extrapolation filter-based intra prediction (EIP) ;a local illumination compensation (LIC) ; ora CCCM using a Local-Boosting Cross-Component Prediction (LBCCP) filter.29.The method of claim 27, wherein availability of the regularized linear regression is signalled by a control flag at a slice, a picture or a group of picture level associated with the current block.30.The method of claim 27, wherein enabling or disabling of the regularized linear regression is signalled by a control flag at a slice, a picture or a group of picture level associated with the current block.31.The method of claim 27, wherein the regularized linear regression is always enabled.32.The method of claim 27, wherein enabling or disabling of the regularized linear regression is dependent on  enabling status of LBCCP.33.The method of claim 27, wherein enabling or disabling of the regularized linear regression is signalled in a reconstructed image.34.The method of claim 27, wherein the penalty term comprises at least one of:the dimension of the prediction function coefficients raised to the power of two;an absolute value of the dimension of the prediction function coefficients; ora combination of the dimension of the prediction function coefficients raised to the power of two and the absolute value of the dimension of the prediction function coefficients.35.The method of claim 27, wherein the regularized linear regression is performed on coded template areas, which comprise:one or more rows above the current block; and / orone or more columns to the left of the current block; and / ora rectangular area to the top-left or the current block.36.The method of claim 27, wherein the regularized linear regression is performed by minimizing an objective function, which is the sum of squares of linear regression residuals plus a penalty term; wherein the penalty term is related to a regularization parameter.37.The method of any of claim 36, wherein the regularized linear regression comprises ridge regression, where the penalty term is the sum of squares of the prediction function coefficients multiplied by the regularization parameter.38.The method of any of claim 36, wherein the regularized linear regression comprises lasso regression, where the penalty term is the sum of absolute values of the prediction function coefficients multiplied by the regularization parameter.39.The method of any of claim 38, wherein the regularization parameter comprises a first regularization parameter and a second regularization parameter;the regularized linear regression comprises elastic net regression, where the penalty term is the sum of squares of the prediction function coefficients multiplied by the first regularization parameter plus the sum of absolute values of the prediction function coefficients multiplied by the second regularization parameter.40.The method of any of claim 39, wherein the regularization parameter is a fixed value that is derived based on the prediction mode;the regularization parameter is signalled in a header of a slice, a picture, or a group of pictures; orthe regularization parameter is adaptive to input data of a linear prediction function of the prediction mode.41.The method of claim 40, wherein the regularization parameter λ=λ0·n, where n is a number of pixels in a template area, and λ0 is a fixed value.42.The method of claim 40, wherein the regularization parameter λ=λ0· (1-R2) , where R2 is a predictor score, quantified as a coefficient of determination of a linear model using ordinary least squares (OLS) prediction error; λ0 is a fixed value;the Rec (x, y) is a reconstructed value at pixel (x, y) in the current block;the PredOLS (x, y) is a predicted value at pixel (x, y) in the current block; andthe M (Rec (x, y) ∈Template) is an averaging function for calculating a mean of the reconstructed values.43.The method of claim 40, wherein the regularization parameter λ=λ0·Q, where Q is a predictor score, quantified as an outlier ratio, namely a ratio of pixels in a template area where OLS prediction error ∈=PredOLS (x, y) -Rec (x, y) is outside a range specified by the mean and standard deviation of the prediction error; λ0 is a fixed value;the Rec (x, y) is a reconstructed value at pixel (x, y) in the current block; andthe PredOLS (x, y) is a predicted value at pixel (x, y) in the current block.44.The method of claim 40, wherein the regularization parameter λ=λ0· |S| , where |S| is a predictor score, quantified as the absolute value of skewness S of OLS prediction error in a template area; where λ0 is a fixed value;is an expected value ofis an expected value of45.The method of claim 40, wherein the regularization parameter λ=λ0·K, where K is a predictor score, quantified as kurtosis of OLS prediction error in a template area; where λ0 is a fixed value;is an expected value ofis an expected value of46.The method of claim 40, wherein the regularization parameter λ=λ0·D, where D is a range of function coefficients of a linear model from OLS;λ0 is a fixed value;D=max (β0, β1, …, βp) -min (β0, β1, …, βp) .47.The method of claim 40, wherein the regularization parameter λ=λ0·SAC, where SAC is a sum of absolute values of the function coefficients of the linear model using OLS prediction error;λ0 is a fixed value;48.A chip, comprising:a processor, configured to call and run a computer program stored in a memory, to cause a device in which the chip is installed to execute the method of any of claims 1 to 47.49.A computer-readable storage medium, in which a computer program is stored, wherein the computer program causes a computer to execute the method of any of claims 1 to 47.50.A computer program product, comprising a computer program, wherein the computer program causes a computer to execute the method of any of claims 1 to 47.51.A computer program, wherein the computer program causes a computer to execute the method of any of claims 1 to 47.52.An encoding device comprising:a processor configured to execute the method of any of claims 1 to 47.

Images