Encoding and decoding method

Abstract

This disclosure presents an encoding and decoding method for image and video processing. An embodiment of the method introduces a multi-pass weighted least squares (MPWLS) approach for deriving prediction models. It iteratively refines the model by detecting and down-weighting outlier samples, improving prediction accuracy while maintaining computational efficiency. An embodiment of the method employs regularized linear regression to calculate prediction function coefficients. It minimizes an objective function comprising the sum of squared regression residuals and a penalty term. The regularization parameter, which influences the penalty term, adapts to the prediction function coefficients and / or samples, enhancing the model's robustness and generalization capabilities.

Description

ENCODING AND DECODING METHOD

[0001] BACKGROUND OF DISCLOSURE

[0002] 1. Field of Disclosure

[0003] The present disclosure relates to the field of image processing, and more particularly, to an encoding and decoding method.

[0004] 2. Description of Related Art

[0005] A critical challenge in video coding is achieving a balance between expressivity and generalizability of the employed model. While complex models can capture intricate or subtle patterns within a training set, the complex models risk overfitting to noise or idiosyncrasies present in the data. This can lead to reduced performance on unseen data.Technical Problem

[0006] Issue 1: Linear regression is prone to noise

[0007] Linear regression can be sensitive to outliers and noise, particularly with small sample sizes. It minimizes the sum of squared residuals (L2-norm) between predicted and observed values. This approach can cause the model to be disproportionately influenced by extreme data points, potentially compromising its overall predictive accuracy. The effect is especially pronounced when significant outliers are present in the input data, as the model may shift to accommodate these points at the expense of fitting the majority of the data better.

[0008] Issue 2: The predictive ability of ordinary least squares is weaker in long-range prediction

[0009] Linear regression using the least squares method provides the optimal estimator in terms of minimizing squared error, as its name suggests. It performs well when the data is stationary and contains Gaussian noise. However, its generalization ability can be limited. The model's prediction performance may deteriorate quickly when:

[0010] 1. The distribution of test samples differs significantly from that of the training set; and / or

[0011] 2. Non-Gaussian noise is present in the data.

[0012] These issues are particularly relevant in video coding, where block boundaries are often predetermined grids that don't necessarily align with natural object boundaries. Consequently, incorporating outlier-resilient models would be more desirable for robust performance in such scenarios

[0013] Hence, a predictive encoding method and a predictive decoding method for address the challenge are desirable.SUMMARY

[0014] An object of the present disclosure is to propose an encoding and decoding method.

[0015] In a first aspect, an embodiment of the disclosure provides a decoding method, comprising:

[0016] obtaining a bitstream;

[0017] determining a prediction mode for the bitstream;

[0018] acquiring a current block from the bitstream;

[0019] determining whether multi-pass weighted least squares (MPWLS) is enabled;

[0020] deriving a prediction model with the MPWLS for the prediction mode when the MPWLS is enabled; and using the prediction model for the prediction mode to generate a prediction block for the current block.

[0021] In a second aspect, an embodiment of the disclosure provides a decoding method, comprising:

[0022] obtaining a bitstream;

[0023] determining a prediction mode based on the bitstream;

[0024] acquiring a current block;

[0025] calculating prediction function coefficients of a prediction model corresponding to the prediction model using regularized linear regression; and

[0026] generating a prediction block for the current block using the prediction function coefficients of the prediction model;

[0027] wherein the regularized linear regression is performed by minimizing an objective function related to regularization parameter;

[0028] wherein the regularization parameter is adaptive to at least one or both of prediction function coefficients and samples of the prediction model.

[0029] In a third aspect, an embodiment of the disclosure provides an encoding method, comprising:

[0030] obtaining signals of input video frames;

[0031] determining a prediction mode for the signals of input video frames;

[0032] acquiring a current block from the signals of input video frames;

[0033] determining whether to enable multi-pass weighted least squares (MPWLS) ;

[0034] deriving a prediction model with the MPWLS for the prediction mode when the MPWLS is enabled; and using the prediction model for the prediction mode to generate a prediction block for the current block;

[0035] deriving a prediction model with the MPWLS for the prediction mode when the MPWLS is enabled;

[0036] using the prediction model for the prediction mode to generate a prediction block for the current block;

[0037] encoding the signals of input video frames using the prediction model to obtain an output bitstream; and transmitting the bitstream.

[0038] In a fourth aspect, an embodiment of the disclosure provides an encoding method, comprising:

[0039] obtaining signals of input video frames;

[0040] determining a prediction mode based on the signals of input video frames;

[0041] acquiring a current block;

[0042] calculating prediction function coefficients of a prediction model corresponding to the prediction model using regularized linear regression; and

[0043] generating a prediction block for the current block using the prediction function coefficients of the prediction model;

[0044] wherein the regularized linear regression is performed by minimizing an objective function related to regularization parameter;

[0045] wherein the regularization parameter is adaptive to at least one or both of prediction function coefficients and samples of the prediction model.

[0046] In a fifth aspect, an embodiment of the disclosure provides an encoding device comprising a processor configured to call and run a computer program stored in a memory, to cause a device in which the processor is installed to execute the disclosed method.

[0047] In a sixth aspect, an embodiment of the disclosure provides a decoding device comprising a processor configured to call and run a computer program stored in a memory, to cause a device in which the chip is installed to execute the disclosed method and any combination of embodiments of the disclosed method.

[0048] The disclosed method may be programmed as computer executable instructions stored in non-transitory computer readable medium. The non-transitory computer readable medium, when loaded to a computer, directs a processor of the computer to execute the disclosed method.

[0049] The non-transitory computer readable medium may comprise at least one from a group consisting of: a hard disk, a CD-ROM, an optical storage device, a magnetic storage device, a Read Only Memory, a Programmable Read Only Memory, an Erasable Programmable Read Only Memory, EPROM, an Electrically Erasable Programmable Read Only Memory and a Flash memory.

[0050] The disclosed method may be programmed as a computer program product that causes a computer to execute the disclosed method.

[0051] The disclosed method may be programmed as a computer program that causes a computer to execute the disclosed method.BRIEF DESCRIPTION OF DRAWINGS

[0052] In order to more clearly illustrate the embodiments of the present disclosure or related art, the following figures will be described in the embodiments are briefly introduced. It is obvious that the drawings are merely some embodiments of the present disclosure, a person having ordinary skill in this field may obtain other figures according to these figures without paying the premise.

[0053] FIG. 1 illustrates a schematic view of an encoding system.

[0054] FIG. 2 illustrates a schematic view of a decoding system.

[0055] FIG. 3 illustrates a schematic view of an example of a communication system.

[0056] FIG. 4 illustrates a schematic view of another example of a communication system.

[0057] FIG. 5 illustrates a schematic view showing an overall solution of an encoding method.

[0058] FIG. 6 illustrates a schematic view showing a process of iteratively deriving a prediction model for image encoding.

[0059] FIG. 7 illustrates a schematic view showing an overall solution of a decoding method.

[0060] FIG. 8 illustrates a schematic view showing a process of iteratively deriving a prediction model for image decoding.

[0061] FIG. 9 illustrates a schematic view showing another embodiment of an encoding method.

[0062] FIG. 10 illustrates a schematic view showing another embodiment of a decoding method.

[0063] FIG. 11 illustrates a schematic view showing template areas in a reference block and a current block.

[0064] FIG. 12 illustrates a schematic view showing Sobel operators.

[0065] FIG. 13 illustrates a schematic view showing a decoding process with multi-pass weighted least squares in CCLM.

[0066] FIG. 14 illustrates a schematic view showing a decoding process of CCLM prediction mode in current technologies.

[0067] FIG. 15 illustrates a schematic view showing a chip or executing the disclosed method in an encoder.

[0068] FIG. 16 illustrates a schematic view showing a chip or executing the disclosed method in a decoder.DETAILED DESCRIPTION OF EMBODIMENTS

[0069] Embodiments of the disclosure are described in detail with the technical matters, structural features, achieved objects, and effects with reference to the accompanying drawings as follows. Specifically, the terminologies in the embodiments of the present disclosure are merely for describing the purpose of the certain embodiment, but not to limit the disclosure.

[0070] Under the context of video compression, colour image or a frame of a colour video usually consists of three  colour components, namely a luma component Y and two chroma components Cb and Cr. Each component is represented as a data matrix. The data matrix for each component is decomposed into blocks associated with specific encoding parameters. A block is usually a square or rectangle of which dimensions are integer powers of 2. The coding of an image is processed in raster scanning order: from left to right, then from top to bottom.

[0071] In video coding standards such as Versatile Video Coding (VVC) , intra prediction (also known as intra-frame prediction) refers to predicting current block (i.e., the block to be coded) using coded blocks or coded areas within the same frame. When performing intra prediction, an encoder tries multiple intra prediction modes available according to a coding standard for the current block to computes corresponding prediction blocks, compares corresponding prediction blocks, and chooses the best prediction mode. The difference between original current block and the prediction block generated for the current block by the selected prediction mode, namely the residual, will also be coded. By transmitting the selected prediction modes and residuals only, the encoder is able to instruct a decoder to decode and reconstruct the original colour image or video or its approximation.

[0072] To facilitate understanding of the technical solutions presented in this application’s embodiments, a concise overview of the video encoding and decoding system will be given in the following.

[0073] As shown in FIG. 1, a video encoding system 110 is composed of multiple modules, including a block partitioning unit 1101, transform and quantization unit 1102, intra-frame estimation unit 1103, intra-frame prediction unit 1104, motion compensation unit 1105, motion estimation unit 1106, an inverse transformation and inverse quantization unit 1107, a filter control analysis unit 1108, a filtering unit 1109, an encoding unit 1110, an encoded image buffer unit 1111, and a subtractor 1112. The video encoding system 110 may be implemented as an encoder, an encoding device, a computer program, a system on chip (SIC) , an integrated circuit (IC) , or a chip. The intra-frame prediction unit 1104 may be implemented as a computer program, a system on chip (SIC) , an integrated circuit (IC) , or a chip.

[0074] Original video signals comprise video frames. Each video frame can be divided into blocks by the block partitioning unit 1101. For each of the video frames, the subtractor 1112 generates residual pixel information of a residual frame by subtracting the video frame by prediction blocks output by the intra-frame prediction unit 1104 or the motion compensation unit 1105. The residual pixel information obtained after intra-frame prediction or inter-frame prediction (motion compensation) , is transformed by the transformation and quantization unit 1102. The transformation includes transforming the residual pixel information from the pixel domain to a transform domain to generate resulting transform coefficients, and the resulting transform coefficients are quantized to further reduce the bit rate. The intra-frame estimation unit 1103 performs intra-frame estimation, and the intra-frame prediction unit 1104 performs intra-frame prediction on the video reconstruction blocks. Motion estimation performed by the motion estimation unit 1106 is a process of generating a motion vector that can estimate the motion of the video reconstruction block, and then motion compensation is performed by the motion compensation unit 1105 based on the determined motion vector. After determining an intra-frame prediction mode, the intra-frame prediction unit 1104 provides selected intra-frame predicted data to the encoding unit 1110, and the motion estimation unit 1106 also sends calculated motion vector data to the encoding unit 1110. The inverse transform and inverse quantization unit 1107 reconstructs the video reconstruction blocks and reconstructs a residual block in the pixel domain, and the filtering unit 1109 is controlled by the filter analysis unit 1108 to remove the blocking artifacts in the reconstructed residual block, and the encoding unit 1110 adds the reconstructed residual block to the prediction block of the encoded image buffer unit 1111 to generate a reconstructed block. The encoding unit 1110 is used for encoding various encoding parameters and quantized transform coefficients (quantized transform coefficients) into bitstream, and outputs the bitstream of the  video signals. The encoded image buffer unit 1111 is used for storing reconstructed blocks as the reference blocks for intra-frame prediction. As the video image encoding progresses, new reconstructed blocks are continuously generated, and these blocks will be stored in the encoded image buffer unit 1111.

[0075] As shown in FIG. 2, the video decoding system 120 is composed of multiple modules comprising a decoding unit 1201, an inverse transform and inverse quantization unit 1202, an intra-frame prediction unit 1203, a motion compensation unit 1204, a filtering unit 1205, a decoded image buffer unit 1206 and a post filtering unit 1207. The video decoding system 120 may be implemented as a decoder, a decoding device, a computer program, a system on chip (SIC) , an integrated circuit (IC) , or a chip. The intra-frame prediction unit 1203 may be implemented as a computer program, a system on chip (SIC) , an integrated circuit (IC) , or a chip.

[0076] The input signals of video frames are encoded by the video encoding system 110 to obtain an output bitstream. The video encoding system 110 transmits the bitstream to the video decoding system 120. The video decoding system 120 receives the bitstream representing the video frames in an encoded format (i.e., in a compressed format) . In the video decoding system 120, the bitstream is processed by the decoding unit 1201 to obtain decoded transform coefficients. The inverse transform and inverse quantization unit 1202 process the transform coefficients to generate a residual block in the pixel domain. The intra-frame prediction unit 1203 is operable to generate an intra-frame prediction block for a current video decoding block (i.e., current video block that undergoes video decoding) based on a determined intra-frame prediction mode and data from previously decoded blocks of the current video frame or picture. The motion compensation unit 1204 determines the inter-frame prediction information for the current video decoding block and generates an inter-frame prediction block by parsing the motion vector and other associated syntax elements. Finally, the decoded video block is formed by summing the residual block from the inverse transform and inverse quantization unit 1202 and the corresponding prediction block generated by the intra-frame prediction unit 1203 or the motion compensation unit 1204. In order to improve video quality, the decoded video blocks are filtered through the filtering unit 1205 to remove blocking artifacts. The decoded video block is then stored in the decoded image buffer unit 1206 as the reference block for subsequent intra-prediction or motion compensation, and for video output, i.e., to reproduce and reconstruct the original video signals. The output video can be optionally further processed by a post filtering unit 1207 for more suitable or enhanced viewing experiences.

[0077] The embodiments of the present disclosure are mainly used for the intra-frame prediction unit 1104 of the video encoding system 110 and the intra-frame prediction unit 1203 of the video decoding system 120. Similarly, the embodiments of the present disclosure are mainly used for the inter-frame prediction in the motion compensation unit 1105 and the motion compensation unit 1204. If a better prediction effect can be obtained in the video encoding system 110 through the encoding and decoding method provided by the embodiments of the present application, the quality of video decoding and reconstruction can also be improved. The video decoding system 120 receives the bitstream representing the video frames.

[0078] The following are several implementation examples, demonstrating possible executions for this disclosure within video codec standards.

[0079] With reference to FIG. 3, a system including a first image processing device 10a and a second image processing device 10b. The first image processing device 10a may operates as an encoding device comprising a processor 75a. The processor 75a comprises an encoder configured to execute the disclosed encoding method. The encoder encodes image or video frames into bit streams, and the processor 75a transmits the bit steam to the processor 75b. The second image processing device 10b may operates as a decoding device comprising a processor 75b. The processor 75b comprises a decoder configured to execute the disclosed decoding method.

[0080] Similarly, the second image processing device 10b may operates as an encoding device comprising a processor 75b. The processor 75b comprises an encoder configured to execute the disclosed encoding method. The encoder encodes image or video frames into bit streams, and the processor 75b transmits the bit steam to the processor 75a. The first image processing device 10a may operates as a decoding device comprising a processor 75b. The processor 75b comprises a decoder configured to execute the disclosed decoding method.

[0081] In some embodiments of the disclosure, the encoder and the decoder may be implemented into computer readable programs or instructions. A device when executing the programs or instructions performs embodiments of the disclosed method. An example of the electronic device in the description may include one of the device 10a or device 10b. The device 10a may communicate with the device 10b through a direct connection or through a base station and / or a network device entity.

[0082] With reference to FIG. 4, the electronic device 10a may communicate with the electronic device 10b through a wireline or a wireless communication connection. One of the electronic device 10a or electronic device 10b may serve as an image encoder and the other may serve as an image decoder. Each of the electronic device 10a and electronic device 10b may include both an image encoder and an image decoder.

[0083] An image encoder may be implemented as an intra-frame prediction unit, a chip, an electronic device, or a video encoding system. An image decoder may be implemented as an intra-frame prediction unit, a chip, an electronic device, or a video decoding system. The intra-frame prediction unit in an image encoder and / or an image decoder performs encoding and decoding method.

[0084] With reference to FIG. 5, an embodiment of an encoding method can be performed by an image encoder. The encoding method comprises:

[0085] Step A001: obtaining signals of input video frames;

[0086] Step A002: determining a prediction mode for the signals of input video frames;

[0087] Step A003: acquiring a current block from the signals of input video frames;

[0088] Step A004: determining whether multi-pass weighted least squares (MPWLS) is enabled; and

[0089] Step A005: deriving a prediction model with the MPWLS for the prediction mode when the MPWLS is enabled;

[0090] With reference to FIG. 6, the MPWLS comprises a process of iteratively deriving a prediction model, including:

[0091] Step B001: a) performing an initial iteration of weighted least squares regression for the prediction model with equal weights for all input samples to generate a regression result;

[0092] Step B002: b) detecting outlier samples from previous regression results;

[0093] Step B003: c) reweighting the input samples by down-weighting detected outlier samples;

[0094] Step B004: d) performing subsequent iterations of weighted least squares regression using the reweighted input samples; and

[0095] Step B005: e) repeating steps b) through d) until one or more termination conditions are met; and

[0096] Step B006: using the derived prediction model to perform prediction for image encoding when the one or more termination conditions are met.

[0097] Step A006: using the prediction model for the prediction mode to generate a prediction block for the current block;

[0098] Step A007: encoding the signals of input video frames using the prediction model to obtain an output bitstream; and

[0099] Step A008: transmitting the bitstream.

[0100] With reference to FIG. 7, an embodiment of a decoding method can be performed by an image decoder. The decoding method comprises:

[0101] Step C001: obtaining a bitstream;

[0102] Step C002: determining a prediction mode for the bitstream;

[0103] Step C003: acquiring a current block from the bitstream;

[0104] Step C004: determining whether to enable multi-pass weighted least squares (MPWLS) ;

[0105] Step C005: deriving a prediction model with the MPWLS for the prediction mode when the MPWLS is enabled; and

[0106] Step C006: using the prediction model for the prediction mode to generate a prediction block for the current block.

[0107] With reference to FIG. 8, the MPWLS comprises a process of iteratively deriving a prediction model, including:

[0108] Step B011: a) performing an initial iteration of weighted least squares regression for the prediction model with equal weights for all input samples to generate a regression result;

[0109] Step B012: b) detecting outlier samples from previous regression results;

[0110] Step B013: c) reweighting the input samples by down-weighting detected outlier samples;

[0111] Step B014: d) performing subsequent iterations of weighted least squares regression using the reweighted input samples; and

[0112] Step B015: e) repeating steps b) through d) until one or more termination conditions are met; and

[0113] Step B016: using the derived prediction model to perform prediction for image encoding when the one or more termination conditions are met.

[0114] In some embodiments, a sample of the prediction model is an outlier sample when the absolute value of regression residual of the sample is greater than a threshold, wherein the threshold comprises at least one of:

[0115] a multiple of the standard deviation of regression residual of all samples; or

[0116] a multiple of the mean absolute regression residual of all samples; or

[0117] a linear combination of the standard deviation of regression residual of all samples and mean absolute regression residual of all samples.

[0118] In some embodiments, each sample input to the prediction model is treated as an outlier sample;

[0119] in reweighting the input samples, a weight associated with the outlier sample is a function of regression residual of the outlier sample for next iteration.

[0120] In some embodiments, a weight associated with an outlier sample is set to zero.

[0121] In some embodiments, each outlier sample in the outlier samples is down-weighted by a factor computed by a non-decreasing function while input of the non-decreasing function is an absolute value of regression residual of the outlier sample.

[0122] In some embodiments, the prediction mode comprises at least one of:

[0123] a cross-component linear model (CCLM) ;

[0124] a convolutional cross-component model (CCCM) ;

[0125] a gradient linear model (GLM) ;

[0126] a chroma fusion linear model (CFLM) ;

[0127] an extrapolation filter-based intra prediction (EIP) ;

[0128] a filtered intra block copy (FIBC) ;

[0129] an enhanced intra template matching prediction (IntraTMP) ;

[0130] a regression-based geometric partitioning mode (GPM) blending ; or

[0131] a local illumination compensation (LIC) .

[0132] In some embodiments, the MPWLS is always enabled for the prediction mode.

[0133] In some embodiments, the MPWLS is enabled for image encoding when a quantization parameter (QP) of the signals of input video frames is less than threshold QP. In some embodiments, the MPWLS is enabled for image decoding when a quantization parameter (QP) of the bitstream is less than threshold QP.

[0134] In some embodiments, whether the MPWLS is enabled depends on the prediction mode.

[0135] In some embodiments, whether the MPWLS is enabled depends on a number of prediction function coefficients of the prediction model.

[0136] In some embodiments, whether the MPWLS is enabled depends on a block size of the current block or an input sample size of regression task.

[0137] In some embodiments, whether the MPWLS is enabled depends on a number of prediction function coefficients of the prediction model and a block size of the current block or an input sample size of regression task.

[0138] In some embodiments, enabling the MPWLS is signalled by a flag or signalled as a part of a prediction mode selection process.

[0139] In some embodiments, for image decoding, one of the termination conditions comprises a maximum allowed number of iterations, and the maximum allowed number of iterations is determined by at least one of:

[0140] a predetermined number;

[0141] a configuration at sequence, group of picture, picture, slice or block level;

[0142] a quantization parameter (QP) of a current coding unit, or

[0143] a look-up table that maps QP values to maximum allowed iteration numbers.

[0144] The current coding unit may comprise a current block during image encoding or image decoding.

[0145] In some embodiments, for image encoding, one of the termination conditions comprises a maximum allowed number of iterations, and the maximum allowed number of iterations is determined by at least one of:

[0146] a predetermined number;

[0147] a quantization parameter (QP) of video sequence in the signals of input video frames, or

[0148] a look-up table that maps QP values to maximum allowed iteration numbers.

[0149] In some embodiments, one of the termination conditions comprises a maximum allowed number of iterations, and the maximum allowed number of iterations is signalled by a unary code.

[0150] In some embodiments, one of the termination conditions is adaptive to the input samples and regression results.

[0151] In some embodiments, one of the termination conditions comprises:

[0152] remaining total weighting of input samples falls below a predetermined threshold, wherein the predetermined threshold is a fraction of a total number of input samples used in the initial iteration; or

[0153] a rate of decrease in regression residual between successive iterations falls below a predetermined threshold, indicating near-convergence of the model.

[0154] In some embodiments, for image decoding, whether the MPWLS is enabled is based on a decoded number of iterations, wherein:

[0155] MPWLS is disabled if the decoded number of iterations is 1; or

[0156] MPWLS is enabled if the decoded number of iterations is greater than 1.

[0157] In some embodiments, for image encoding, whether the MPWLS is enabled is based on an encoded number of iterations, wherein:

[0158] MPWLS is disabled if the encoded number of iterations is 1; or

[0159] MPWLS is enabled if the encoded number of iterations is greater than 1.

[0160] In some embodiments, for image decoding, the MPWLS is enabled based on a video sequence type of the bitstream. In some embodiments, for image encoding, the regularized linear regression is enabled based on a video sequence type of the signals of input video frames.

[0161] In some embodiments, the MPWLS is enabled for camera-captured contents and is disabled for screen contents or computer-generated contents.

[0162] With reference to FIG. 9, an embodiment of an encoding method can be performed by an image encoder. The encoding method comprises:

[0163] Step D001: obtaining a signals of input video frames;

[0164] Step D002: determining a prediction mode based on the signals of input video frames;

[0165] Step D003: acquiring a current block from the signals of input video frames;

[0166] Step D004: calculating prediction function coefficients of a prediction model corresponding to the prediction model using regularized linear regression; and

[0167] Step D005: generating a prediction block for the current block using the prediction function coefficients of the prediction model;

[0168] wherein the regularized linear regression is performed by minimizing an objective function related to a regularization parameter;

[0169] wherein the regularization parameter is adaptive to at least one or both of prediction function coefficients and samples of the prediction model.

[0170] With reference to FIG. 10, an embodiment of a decoding method can be performed by an image decoder. The decoding method comprises:

[0171] Step E001: obtaining a bitstream;

[0172] Step E002: determining a prediction mode based on the bitstream;

[0173] Step E003: acquiring a current block from the bitstream;

[0174] Step E004: calculating prediction function coefficients of a prediction model corresponding to the prediction model using regularized linear regression; and

[0175] Step E005: generating a prediction block for the current block using the prediction function coefficients of the prediction model;

[0176] wherein the regularized linear regression is performed by minimizing an objective function related to a regularization parameter;

[0177] wherein the regularization parameter is adaptive to at least one or both of prediction function coefficients and samples of the prediction model.

[0178] In some embodiments, the regularized linear regression comprises ridge regression, where the objective function has a penalty term related to regularization parameter, and the penalty term is the sum of squares of the prediction function coefficients multiplied by the regularization parameter; or

[0179] the regularized linear regression comprises lasso regression, where the objective function has a penalty term related to regularization parameter, and the penalty term is the sum of absolute values / norms of the prediction function  coefficients multiplied by the regularization parameter; or

[0180] the regularization parameter comprises a first regularization parameter and a second regularization parameter, the regularized linear regression comprises elastic net regression, where the objective function has a penalty term related to regularization parameter, and the penalty term is the sum of squares of the prediction function coefficients multiplied by the first regularization parameter plus the sum of absolute values / norms of the prediction function coefficients multiplied by the second regularization parameter.

[0181] In some embodiments, the regularization parameter is in relation to a number of the prediction function coefficients; or

[0182] the regularization parameter is adaptive to a number of input samples in regression task; or

[0183] the regularization parameter is adaptive to the number of the prediction function coefficients and the number of input samples of the regression task.

[0184] In some embodiments, the regularization parameter is determined based on a look-up table. Each row of the look-up table associates a value of the regularization parameter with either of both of the number of the prediction function coefficients and the number of input samples of the regression task.

[0185] In some embodiments, for an extrapolation filter-based intra prediction (EIP) , the regularization parameter is a product of a first constant multiplied by a number of the prediction function coefficients.

[0186] In some embodiments, for a convolutional cross-component model (CCCM) , the regularization parameter is a product of a second constant multiplied by a number of the prediction function coefficients.

[0187] In some embodiments, for an extrapolation filter-based intra prediction (EIP) , when the number of the prediction function coefficients is a first value, and the number of the samples is no greater than a first threshold number of samples, the regularization parameter is a product of a third constant multiplied by the number of the prediction function coefficients.

[0188] In some embodiments, for an extrapolation filter-based intra prediction (EIP) , when the number of the prediction function coefficients is a first value, and the number of the samples is greater than a first threshold number of samples, the regularization parameter is a product of a fourth constant multiplied by the number of the prediction function coefficients.

[0189] In some embodiments, the objective function has a penalty term related to regularization parameter, and for L2-regularized least squares regression, the penalty term comprises, for each prediction function coefficient of the prediction model, a square of the prediction function coefficient multiplied by the a regularization parameter for the prediction function coefficient; or

[0190] for L1-regularized least squares regression, the penalty term comprises, for each prediction function coefficient of the prediction model, an absolute value of the prediction function coefficient multiplied by a regularization parameter for the prediction function coefficient.

[0191] In some embodiments, a regularization parameter of a bias term in the prediction function coefficient is set to a value less than a regularization parameter of other terms in the prediction function coefficient.

[0192] In some embodiments, for an extrapolation filter-based intra prediction (EIP) , when the number of the prediction function coefficients is a first value, the regularization parameter of a bias term in the prediction function coefficients is set to zero while other terms in the prediction function coefficients share a regularization parameter set to a non-zero value.

[0193] In some embodiments, one or more regularization parameters of one or some of luma samples for input to  the prediction model are set to a value less than a regularization parameter of other terms in the prediction function coefficient.

[0194] In some embodiments, for a convolutional cross-component model (CCCM) , when the number of the prediction function coefficients is in a range, the regularization parameter of a co-located luma sample for input to the prediction model is set to zero, and other terms in the prediction function coefficients share a regularization parameter set to a product, the product is generated from a fifth constant multiplied by the number of the prediction function coefficients.

[0195] In some embodiments, the regularization parameters of one or some of luma samples for input to the prediction model and a bias term in the prediction function coefficient are set to a value less than a regularization parameter of other terms in the prediction function coefficient.

[0196] In some embodiments, for a convolutional cross-component model (CCCM) , when the number of the prediction function coefficients is in a range, the regularization parameter of a co-located luma sample for input to the prediction model is set to zero, the regularization parameter of the bias term is set to zero, and other terms in the prediction function coefficients share a regularization parameter set to a product, the product is generated from a fifth constant multiplied by the number of the prediction function coefficients.

[0197] In some embodiments, the regularized linear regression is enabled based on a video sequence type of the bitstream.

[0198] In some embodiments, the regularized linear regression is enabled for camera-captured contents and is disabled for screen contents or computer-generated contents.

[0199] 1 Prediction modes with linear models:

[0200] In Versatile Video Coding (VVC) and in recent studies towards future video coding standards, several prediction modes use linear models to generate prediction blocks. Notable examples of these prediction modes include Cross-Component Linear Model (CCLM) , Gradient Linear Model (GLM) , Convolutional Cross-Component Model (CCCM) , Local Illumination Compensation (LIC) , etc. Such prediction modes are used in parallel with other intra and / or inter prediction modes like DC mode, planar mode, angular modes, chroma direct mode, etc. In the decoding unit 1201 of the video decoding system, bitstreams are decoded in order to decide the prediction mode to be used for the current block.

[0201] There are common aspects amongst the above-mentioned prediction modes. General procedures involve building a linear prediction model, solving a linear regression problem and applying the linear prediction model to predict images:

[0202] 1) Define a formula to generate the prediction block. The formula is a linear function of reconstructed samples and known attributes.

[0203] 2) Derive coefficients in the formula using samples from template areas with respect to the reference block and the current block. For example, in CCLM where chroma block is predicted by co-located luma block, samples of chroma values and co-located luma values in the template area are used. The derivation of coefficients is the process of solving the linear regression problem using these samples.

[0204] 3) Apply the derived formula on the current block to generate the prediction block.

[0205] In mathematical terms, the procedures for generating a prediction block for the current block Predcurr is:

[0206] In this formulation, the function argmin () simply returns the value of filter index f which minimizes  is a linear prediction function, and βopt is the optimal function derived by the samples in the template areas T is sample vectors from the reconstructed values in the template of the reference block, and Recref is sample vectors from the reconstructed values in the reference block. βopt is derived by minimizing the sum of squared difference (SSD) between the reconstructed samples RecTcur in the template area of the current block Tcur and the prediction values generated by taking reconstructed samples RecTrefin the template area of the reference block Tref into the prediction function.

[0207] The derivation of βopt is in fact solving an ordinary least squares (OLS) linear regression problem. There is a close-form solution to this OLS problem:

[0208] Where A is an n-by-p matrix and y is an n-by-1 vector, with n being the number of pixels in T and p being the dimension of the sampling vector as well as β. Each row of A is the transpose of sample vector of a pixel in the template area of the reference block and p is the number of elements of The ith element of y is the value in corresponding to the ith row of A.

[0209] With βopt and the reconstructed samples of the reference block Recref, the prediction values for the current block can be generated. As shown in FIG. 11, typically, template areas are defined as the left and top neighbour areas of the reference and current blocks. The overall shape of the template areas resembles an uppercase gamma (Γ) . The predictive ability of the linear prediction model comes from the spatial proximity between the blocks and the templates.

[0210] In this invention, these modes are in general referred to as linear model prediction modes or, simply, prediction modes. The following section provides brief descriptions of these prediction modes.

[0211] 1.1 Cross-Component Linear Model (CCLM) :

[0212] CCLM is a cross-component intra prediction mode that predicts chroma image or chroma block using reconstructed luma image or luma block. The term ‘cross-component’ stems from the fact that prediction is made from one colour component to another.

[0213] The formula for predicting a chroma block (Cb or Cr) in CCLM is as follows: PredC (x, y) =α·Rec′L (x, y) +β               (4)

[0214] Where PredC (x, y) is the value of pixel to be predicted in a chroma block, Rec′L (x, y) is the value of the corresponding pixel in the co-located reconstructed luma block, which has been adjusted to the size of the chroma block and (x, y) is the coordinate of the pixel. As the dimensions (height and width) of the luma image are twice the dimensions of the chroma image in 4: 2: 0 picture format, Rec′L is usually obtained by downsampling the actually reconstructed luma image RecL.

[0215] The model coefficients α and β are calculated according to the relations between the luma and chroma images in the template area, which includes a row of pixels adjacent to the top of the current block and a column of pixels adjacent to the left of the current block. b=M (tC) -α·M (tL)                  (6)

[0216] Where tL is the value of a pixel in the downsampled luma template area, tC is the value of a pixel in the chroma template area, (x, y) is the coordinate of the pixel and M (X) is the mean of sample X is the corresponding template area.

[0217] As per the above-mentioned common aspects, chroma block is the current block to be predicted, luma block serves as the reference block, and the template areas are the reconstructed pixels on the left and the top of respective blocks.

[0218] 1.2 Convolutional Cross-Component Model (CCCM)

[0219] CCCM is another cross-component prediction mode. CCCM differs from CCLM and GLM by its typically wider template area and the integration of various types of samples in the prediction formula.

[0220] The formula for predicting a chroma block (Cb or Cr) in CCCM is as follows: PredC (x, y) =c0·Rec′L (x, y) +c1·Rec′L (x-1, y) +c2·Rec′L (x+1, y) +c3·Rec′L (x, y-1) +c4· Rec′L (x, y+1) +c5· [Rec′L (x, y) ] 2+c6·2D-1             (7)

[0221] Where D is the colour bit depth of the image. The constant 2D-1 is also known as the bias term.

[0222] The model coefficients in CCCM are obtained by a cost minimization formula:

[0223] Where R is the set of coordinates of all pixels in the template area, which includes several rows of pixels adjacent to the top of the current block and several columns of pixels adjacent to the left of the current block. This numerical optimization problem can be solved with Gaussian elimination method or other approximation algorithms.

[0224] For detailed information on CCCM, please refer to P. Astola, J. Lainema, R.G. Youvalari, A. Aminlou, K. Panusopone, EE2-1.1a: Convolutional cross-component intra prediction model, document JVET-AA0126, Joint Video Experts Team (JVET) , Jul. 2022.

[0225] 1.3 Multi-Model Linear Model (MMLM)

[0226] MMLM is an extension of linear model prediction. In recent development of video coding standards, MMLM is applied as a variant of CCLM and CCCM, which are Multi-Model CCLM (MM-CCLM) and Multi-Model CCCM (MM-CCCM) . In contrast to ordinary linear model prediction methods where the whole template area is regarded as a single training set and one linear model is derived for the predicting the current block, MMLM classifies all pixels in the template area into two training sets and derives one linear model for each training set for making the prediction. For example, in MM-CCLM and MM-CCCM, pixels in the template area are classified based on whether its luma value is less than the average luma value in the whole template area. Meanwhile in the prediction stage, pixels in the current block can also be classified using the same criterion and the corresponding linear model is applied for the prediction.

[0227] The formula for predicting a chroma block (Cb or Cr) in MM-CCLM is as follows:

[0228] Where ML is the mean value of luma samples in the template area. Function coefficients {α0, β0} is used for predicting pixels whose luma values are smaller than or equal to ML and {α1, β1} is used for predicting pixels whose luma values are greater than ML. They are obtained separately: β0=M (tC0) -α0·M (tL0)                 (11) β1=M (tC1) -α1·M (tL1)                 (13)

[0229] Where tL0 or tL1 is the value of a pixel in the downsampled luma template area, tC0 or tC1 is the value of a pixel in the chroma template area, (x, y) is the coordinate of the pixel and M (X) is the mean of sample X is the corresponding template area; tL0 and tC0 only include the pixels whose luma values are smaller than or equal to ML; tL1 and tC1 only include the pixels whose luma values are greater than ML.

[0230] Similarly in MM-CCCM, the formula for predicting a chroma block (Cb or Cr) is as follows:

[0231] Where

[0232] The model coefficients and in MM-CCCM are obtained separately:

[0233] 1.4 Local-Boosting Cross-Component Prediction (LBCCP)

[0234] LBCCP is a method applied upon above-mentioned CCLM and CCCM, with the intention of improving prediction accuracy via noise removal or wrong classification correction in MMLM. After obtaining prediction block with CCLM or CCCM, an additional filter is applied on the prediction block, which results in a new block as the final prediction block.

[0235] Where denotes linear convolution. Pred is the chroma prediction block from CCLM or CCCM, and Pred' is the final chroma prediction block. F is the LBCCP filter kernel. Coefficients in the LBCCP filter kernel F are examples.

[0236] 1.5 Gradient Linear Model (GLM)

[0237] GLM is another cross-component prediction mode that is similar to CCLM. Instead of directly using luma sample value as in CCLM, GLM utilizes luma sample gradients to derive the linear model. Therefore, the formula for predicting a chroma block (Cb or Cr) is changed to: PredC (x, y) =α·G (x, y) +β                (19)

[0238] With reference to FIG. 12, the gradient G can be computed by applying one of the Sobel operators in FIG. 12 on the luma samples. G (x, y) represents a gradient of luma samples.

[0239] For detailed information on GLM, please refer to:

[0240] 1) C. -W. Kuo, X. Xiu, N. Yan, H. -J. Jhu, W. Chen, H. Gao, X. Wan, AHG12: Enhanced CCLM, document JVET-Z0140, Joint Video Experts Team (JVET) , Apr. 2022.

[0241] 2) P. Astola, J. Lainema, R.G. Youvalari, A. Aminlou, K. Panusopone, C. -W. Kuo, H. -J. Jhu, X. Xiu, N. Yan, W. Chen, X. Wang, EE2-1.1c, 1.3a and 1.3b: Combined tests of EE2-1.1a, 1.1b and 1.2, document JVET-AA0126, Joint Video Experts Team (JVET) , Jul. 2022.

[0242] 1.6 Chroma Fusion Linear Model (CFLM)

[0243] Chroma fusion is an intra prediction method for chroma block, which takes in the predictor generated by direct mode (DM) and the predictor generated by MMLM and generates a new predictor via weighted average. The weights are picked from a set of fixed values.

[0244] Chroma fusion linear model (CFLM) is a further enhancement to chroma fusion. It uses a linear model of the reconstructed luma block and the predicted chroma block from non-linear model modes to generate the final predicted chroma block: PredC (x, y) =a0·Rec′L (x, y) +a1·Pred′C (x, y) +a2·2D-1          (20)

[0245] The model coefficients are obtained by a cost minimization formula with samples on the template:

[0246] For detailed information on CFLM, please refer to C. Zhou, Z. Lv, J. Zhang, EE2-1.6: On Chroma Fusion improvement, document JVET-AC0119, Joint Video Experts Team (JVET) , Jan. 2023.

[0247] 1.7 Extrapolation filter-based Intra Prediction (EIP)

[0248] EIP is an intra prediction mode that progressively predicts each pixel in the current block from the pixel’s reconstructed or predicted neighbours.

[0249] The formula for predicting a block in EIP is as follows: Pred (x, y) =∑ (x′, y′) ∈N (x, y) c (x′, y′) ·Rec′ (x′, y′)             (22) N (x, y) = { (x-ox, y-oy) |0≤ox≤w, 0≤oy≤h, (ox≠0) ∨ (oy≠0) }      (23)

[0250] Where N (x, y) is the set of all pixels within the w×h rectangle whose bottom-right-most location is (x, y) , except for (x, y) itself.

[0251] In EIP, the following combinations of w and h are used: 1) w=h=3; 2) w=1, h=7; and 3) w=7, h=1.

[0252] To calculate the model coefficients c (x′, y′) , a template area is defined as one or more rows adjacent to the top of the current block and one or more columns adjacent to the left of the current block. The solving process is similar to CCCM. If (x′, y′) is in the current block instead of the template area, Pred (x′, y′) is used in place of reconstructed value Rec (x′, y′) as there is no reconstructed value for that location.

[0253] Alternatively, the formula for predicting a block in EIP is as follows: Pred (x, y) =∑ (x′, y′) ∈N (x, y) c (x′, y′) ·Rec (x′, y′) +cB·2D-1         (24) N (x, y) = { (x-ox, y-oy) |0≤ox≤w, 0≤oy≤h, (ox≠0) ∨ (oy≠0) , (ox≠w) ∨ (oy≠h) }           (25)

[0254] Where cB is the coefficient related to the constant 2D-1 (also known as the bias term) .

[0255] For detailed information on EIP, please refer to:

[0256] 1) L. Xu, Y. Yu, H. Yu, D. Wang, EE2-1.14: An extrapolation filter-based intra prediction mode, document JVET-AG0058, Joint Video Experts Team (JVET) , Jan. 2024.

[0257] 2) J. Lainema, P. Astola, EE2-2.9: EIP with bias and clipping, document JVET-AH0086, Joint Video Experts Team (JVET) , Apr. 2024.

[0258] 1.8 Filtered Intra Block Copy (FIBC)

[0259] Intra block copy (IBC) is an intra prediction mode that prediction block is generated by copying a previously coded block (reference block) . Filtered IBC is an enhancement to IBC by creating a linear prediction model between the reference block and the current block. PredCur (x, y) =c0·RecRef (x, y) +c1·RecRef (x-1, y) +c2·RecRef (x+1, y) +c3·RecRef (x, y-1) +c4· RecRef (x, y+1) +c5· [RecRef (x, y) ] 2+c6·2D-1            (26)

[0260] The model coefficients are obtained by a cost minimization formula with samples on the templates:

[0261] For detailed information on FIBC, please refer to H. -J. Jhu, X. Xiu, C. -W. Kuo, W. Chen, N. Yan, C. Ma, X. Wang, B. Ray, M. Coban, V. Seregin, M. Karczewicz, EE2-2.5: Filtered Intra Block Copy (FIBC) , document JVET-AE0159, Joint Video Experts Team (JVET) , Jul. 2023.

[0262] 1.9 Enhanced Intra Template Matching Prediction (IntraTMP) methods

[0263] Intra Template Matching Prediction (IntraTMP) is a series of intra prediction methods where the coder searches from the coded areas within the current frame using template matching method and uses a reference block from the coded areas similar to the current block as a predictor. The search is usually done by using a similarity metric to measure the similarity of the template of the current block and the template of candidate reference blocks. While IntraTMP reference block is found using similarity of the templates, the similarity of the reference block (s) and current block is less guaranteed. Two enhancements of IntraTMP have been proposed.

[0264] In J. -Y. Huo, W. -H. Qiao, X. Hao, Z. -Y. Zhang, H. -Q. Du, Y. -Z. Ma, F. -Z. Yang, EE2-1.15a: Intra template matching (Intra TMP) based on linear filter model, document JVET-AD0112, Joint Video Experts Team (JVET) , Apr. 2023., it was proposed to establish a linear prediction model between the reference block and the current block: PredCur (x, y) =c0·RecRef (x, y) +c1·RecRef (x-1, y) +c2·RecRef (x+1, y) +c3·RecRef (x, y- 1) +c4·RecRef (x, y+1) +c5·2D-1                (28)

[0265] Where the predicted value in the current block PredCur (x, y) is calculated from the reconstructed values RecRef in the reference block at and near (x, y) .

[0266] The model coefficients are obtained by a cost minimization formula with samples on the templates:

[0267] In J. -Y. Huo, H. -Q. Du, H. -L. Zhang, W. -H. Qiao, Y. -Z. Ma, F. -Z. Yang, EE2-1.16: A Fusion method of Intra Template Matching Prediction (Intra TMP) , document JVET-AD0116, Joint Video Experts Team (JVET) , Apr. 2023., it was proposed to perform fusion (weighted average) of multiple reference blocks using a linear prediction model:

[0268] The model coefficients  are obtained by a cost minimization formula with samples on the templates:

[0269] 1.10 Local Illumination Compensation (LIC)

[0270] LIC is a prediction enhancement method that applies to inter-frame prediction. Inter-frame prediction may be referred to as inter prediction. In inter prediction, a reference block is found by the above-mentioned motion compensation unit. In order to compensate the illumination difference between reference block and current block, LIC is used to measure such difference and adjust prediction blocks. The formula for generating the prediction block is: Pred (x, y) =a·Ref (x, y) +b                (32)

[0271] Where Pred (x, y) is the value of pixel to be predicted and Ref (x, y) is the value of pixel in the reference block.

[0272] To calculate the model coefficients a and b, template areas are defined around both reference block and current block by choosing one or more rows adjacent to the top of the respective blocks and one or more columns adjacent to the left of the respective blocks. The calculation is similar to CCLM mentioned above.

[0273] 1.11 Regression-based Geometric Partitioning Mode blending (Regression-based GPM blending)

[0274] Geometric partitioning mode (GPM) is an inter prediction mode that uses two reference blocks and a partitioning line to generate the predicted block. The partitioning line splits the block into two parts and each part is filled with predicted samples from each reference block. Optionally, there is also a blending operation near the partitioning line. The samples near the partitioning line are computed as a weighted average of the samples from two reference blocks. Pred (x, y) =w0·Rec0 (x, y) +w1·Rec1 (x, y)             (33) w1=1-w0

[0275] Where Rec0 (x, y) and Rec1 (x, y) are the reconstructed samples in the reference block.

[0276] Or in another formulation Pred (x, y) -Rec0 (x, y) =w1· [Rec1 (x, y) -Rec0 (x, y) ]          (34)

[0277] Regression-based GPM blending removes the need to specify the partitioning line but instead derives the blending weights from the templates of the reference blocks and the current block. The blending operation is then applied to the whole block. The linear prediction model is: w1=a·x+b·y+c                  (35)

[0278] The model coefficients are obtained by a cost minimization formula with samples on the template:

[0279] For detailed information on Regression-based GPM blending, please refer to P. Bordes, K. Reuzé, F. Galpin, F. Urban, K. Naser, F. Le Léannec, E. Francois, EE2-2.11: Regression-based GPM blending (tests a, b, c) , document JVET-AG0112, Joint Video Experts Team (JVET) , Jan. 2024.

[0280] 2 Alternative regression methods:

[0281] Some notable regression methods are introduced in the following. Ordinary least squares (OLS) uses the sum of squared differences (SSD) across the entire set of training samples as the cost function to be minimized. However, there are other regression methods that use different approaches. Several regression methods can address some of the disadvantages of OLS. Main differences between OLS and these methods are usually the choice of cost function and / or the processing of training samples.

[0282] 2.1 Minimization of a different cost function

[0283] In regression analysis, several alternative cost functions can provide better robustness than the sum of squared differences (SSD) used in ordinary least squares (OLS) . These include Sum of absolute differences (SAD) , Huber loss, and Log-Cosh loss.

[0284] 1. Sum of absolute differences (SAD) . Since SAD is the L1-norm of the difference of two vectors in mathematical terms, this method is also referred to as L1-norm minimization. Using the absolute difference instead of squared difference as a target of minimization reduces the impact of outliers. One drawback is that the cost function is indifferentiable at zero, which makes it relatively challenging for algorithm design. Another drawback is the possible multiple solutions without additional rules, which is undesired in data compression.

[0285] 2. Huber loss. Huber loss function is a mix of SSD and SAD. Huber loss acts like SSD for small residuals near zero and acts like SAD otherwise. It offers both differentiability and resilience to outliers but is more complex to implement and requires tuning of the threshold to determine the transition point between SSD-like and SAD-like behaviour.

[0286] 3. Log-Cosh loss. Log-Cosh loss function also offers similar benefits as Huber loss but is also more complex to design.

[0287] 2.2 Iterative methods

[0288] 1. Iterative regression with outlier detection. Instead of performing ordinary least squares (OLS) regression once, this method conducts multiple iterations. Between iterations, it detects outliers in the sample pool to reduce their impact on subsequent calculations. This approach gradually refines the regression model by minimizing the influence of anomalous data points.

[0289] 2. Random sample consensus (RANSAC) . RANSAC is another class of iterative method for mathematical model estimation. Rather than putting all available samples into one pool to perform regression, random subsets of the original data are used to fit a model and all data are tested against the fitted model to determine if they are fitted to the model. By iteratively taking in samples and re-performing model fitting, the model that fits the most samples is selected as the final solution. This approach is particularly effective in datasets with a high proportion of outliers.

[0290] 2.3 Regularized least squares methods

[0291] In prior art, a method of regularized least squares has been disclosed, this approach modifies the ordinary least squares (OLS) regression by adding a regularization term to the objective function to be minimized.

[0292] One example of this approach is L2-regularized least squares, also known as Ridge regression. The objective function for this method can be expressed as:

[0293] In addition to the sum of squared difference, a penalty term represented by the L2-norm of the function coefficients multiplied by a regularization parameter is added. This problem has a close-form solution:

[0294] This problem is called ridge regression.

[0295] Another example is L1-regularized least squares:

[0296] In addition to the sum of squared difference, a penalty term represented by the L1-norm of the function coefficients multiplied by a regularization parameter is added. This problem is called lasso regression.

[0297] A third example is a combination of L2-regularized and L1-regularized least squares:

[0298] In addition to the sum of squared difference, a penalty term represented by a linear combination of L2-norm and L1-norm of the function coefficients. The two multipliers are regularization parameters. This problem is also called elastic net regression.

[0299] For detailed information on L2-regularized least squares for linear model prediction, refer to H. Qin, J. Konieczny, K. Ding, Z. Xu, AHG12: Regularized EIP, Joint Video Experts Team (JVET) , Apr. 2024.

[0300] 3 Decoding process of existing technologies

[0301] FIG. 14 shows the decoding process of the above-mentioned prediction mode in current technologies, with CCLM as an example.

[0302] This invention introduces two robust regression methods for linear model prediction in image and video coding:

[0303] 1. Multi-pass weighted least squares method; and

[0304] 2. Adaptive regularized least squares method

[0305] These methods are applicable to both intra and inter prediction modes, aiming to enhance data compression efficiency.

[0306] The invention involves regression methods for linear model prediction modes for intra and inter prediction, which include:

[0307] 1) using a multi-pass weighted least squares approach for linear model prediction modes, where the linear model is obtained from an iterative regression process, and each iteration uses reweighted input samples based on the regression results from the previous iteration; and

[0308] 2) using an adaptive regularized least squares approach for linear model prediction modes, where the regularization parameters related to regularized regression are adaptive to local contents and video sequence-level information.

[0309] This invention proposes to introduce multi-pass weighted least squares (MPWLS) methods for the above-mentioned linear model prediction modes. Weighted least squares can improve robustness of linear regression by selectively reweighting or removing outlier pixels which make linear model skewing towards them. Under the context of image and video coding, multi-pass weighted least squares has the advantage of easy implementation, controlled throughput and manageable latency with proper termination conditions. The MPWLS may benefit from reuses existing linear regression module with analytical solution and well-researched integer-only and division-free approximation. For detailed information on MPWLS, please refer to solution #1.

[0310] This invention also proposes to introduce adaptive regularized least squares (ARLS) methods for the above-mentioned linear model prediction modes. Regularized least squares is a robust regression approach to linear regression and improves generalizability of the regressed linear model. Adaptive regularized least squares method can further provide adaptivity to various local setups and data in video coding. For detailed information on ARLS, please refer to solution #2.

[0311] These solutions can be used independently and are mutually compatible. In image and video coding standards, both solutions can be:

[0312] a) Both activated; or

[0313] b) Individually activated.

[0314] Both methods aim to improve the accuracy and efficiency of linear model prediction in image and video coding.

[0315] Solution #1: Multi-pass weighted least squares for linear model prediction

[0316] With reference to FIG. 13, for example, the decoding process with multi-pass weighted least squares is used for CCLM. The solution can be similarly used for multiple prediction modes as listed in the following:

[0317] Table 1

[0318] The key features for multi-pass weighted least squares method for linear model prediction include an iterative approach with an outlier detection mechanism that gradually removes or down-weights input samples that do not fit the linear model, reduces the impacts of such outlier samples on the coefficients of the linear model and thus improves the robustness of the regression results. Therefore, important procedures of MPWLS include:

[0319] 1. Determining the conditions for enabling or using multi-pass weighted least squares. The conditions can be either:

[0320] 1) derived at the decoder side, as shown in embodiments #8 and #9; or

[0321] 2) signalled in the bitstream, as shown in embodiments #10, #11, #16, and #19.

[0322] 2. Deriving linear model. If termination conditions are met, the derived model is utilized by the encoder and / or the decoder to perform linear model prediction; otherwise, the encoder and / or the decoder detects outliers, reweights input samples, and executes the next iteration of linear model derivation.

[0323] Weighted least squares linear model prediction is used for the derivation of linear model. An example of the approach is illustrated in embodiment #1.1.

[0324] With the proposed weighted least squares linear model prediction, the following iterative components are proposed. The dedicated iterative procedure can be composed by one or multiple components and the ordering can be defined according to the dedicated scenario or applications. An example of the procedure is illustrated in embodiment #1.2.

[0325] 1. First iteration with equal weights for all input samples

[0326] Without prior information, the first iteration of the MPWLS includes applying equal weights for all input samples.

[0327] 2. Outlier sample detection and reweighting

[0328] Outliers are the part of input samples that fit poorly into the linear model based on previous regression results. Such outliers are down-weighted so that they have less impact in the subsequent regression calculations. Details of outlier detection are illustrated in embodiments #2 through #5, and reweighting input samples are illustrated in embodiments #6, #7.

[0329] 3. Performing weighted least squares regression (subsequent iterations) , as mentioned above.

[0330] 4. Repeating outlier sample detection and reweighting, and performing weighted least squares regression, until  termination conditions are met.

[0331] Termination conditions can prevent the iterative procedures from being executed indefinitely. They can in practice manage computation complexity and make image and video coding methods viable. Details of termination conditions are illustrated in embodiments #12 through #16.

[0332] Solution #2: Adaptive regularized least squares for linear model prediction

[0333] Adaptive regularized least squares (ARLS) can serve as an alternative or replacement for the ordinary least squares method in linear model prediction. Key features of ARLS include:

[0334] 1. Imposing regularization in the regression process of linear model prediction

[0335] 2. Adapting regularization parameters based on factors such as codec setup, input data characteristics, and / or other relevant variables.

[0336] Therefore, the ARLS include deriving a linear model with adaptive regularized least squares method.

[0337] In one embodiment, parameters of regularized least squares are adaptive to input data. In this approach, the regularization parameter increases as the size of the input sample decreases and the number of coefficients in the linear model grows. This is because smaller sample sizes are more susceptible to noise, and a greater number of coefficients increases the risk of overfitting. The higher regularization parameter helps mitigate these effects. Detailed implementation is illustrated in embodiment #17.

[0338] In one embodiment, parameters of regularized least squares are adaptive to the linear model. This is useful to accommodate different natures of each component of the linear model. For example, each coefficient can have a different regularization parameter. Detailed implementation is illustrated in embodiment #18.

[0339] In one embodiment, the enabling of regularized least squares is adaptive to video sequence information. Detailed implementation is illustrated in embodiment #19.

[0340] 4 Embodiments:

[0341] Various embodiments are illustrated in the following. These embodiments offer flexibility in their application. They can be implemented individually or combined to suit specific needs or more complex functionalities.

[0342] Embodiment #1: Linear model prediction with MPWLS

[0343] MPWLS is an iterative approach to linear model prediction. Between each iteration, outlier detection and reweighting are performed in order to reduce the impact of outlier samples on the results of linear regression.

[0344] In the following sub-sections, the concepts of weighted least squares methods are introduced first, followed by the procedures of performing linear model prediction with MPWLS.

[0345] Embodiment #1.1: Weighted least squares linear model prediction

[0346] In 1, the problem of linear model prediction is formulated as a sum of squared error minimization problem with a close-form solution. As proposed in this invention, the formulation can be altered into weighted least squares optimization by assigning a weight to each sample.

[0347] In this formulation, w (x, y) is the weighting associated with sample pixel at (x, y) . The close-form solution is:

[0348] Where W is a diagonal matrix with the weights w (x, y) on the diagonal, i.e., if sample (x, y) corresponds to the ith row of A, the entry at the ith row and the ith column wii=w (x, y) is the weighting associated with that  sample. The entries on the diagonal of W represent the relative impact of the corresponding sample during the evaluation of the cost function. The values of these entries are non-negative.

[0349] · When W is the identity matrix, every sample is equally weighted and the formula is exactly ordinary least squares.

[0350] · When same diagonal entries W is set to zero, the regression residual of the corresponding samples will not contribute to the cost function and they are effectively removed from the sample pool.

[0351] · Any diagonal entry of W whose value is less than the maximum value of the diagonal of W indicates a relatively smaller weighting the corresponding sample would have in the regression.

[0352] · With at least p entries of W being positive, where p is the length of βopt,  has full rank and the system of linear equations stays well-conditioned for solving.

[0353] Embodiment #1.2: Performing MPWLS

[0354] MPWLS contains several components. Below is an illustration of these components.

[0355] 1) First iteration with equal weights for all input samples

[0356] To initialize the process, the first pass is computed with the weighting matrix being equal to the identity matrix, i.e., every input sample is equally weighted.

[0357] 2) Outlier pixel detection and reweighting

[0358] It has been mentioned that MPWLS is an iterative method. Without loss of generality, the optimal linear function coefficients after n iterations are denoted as βn, where n is a positive number. When n=1, βn is the result from step (1) .

[0359] On the template area of the current block, a ‘prediction’ can be made using βn

[0360] The residual between such a prediction and the actual reconstructed template area of the current block is:

[0361] Which is actually the residual of with respect to the linear model βn.

[0362] Outlier samples are determined based on the regression residual. If a sample is classified as outlier, it is subject to reweighting in the following step.

[0363] Whether a sample is classified as outlier can depend on one or more of the following schemes:

[0364] 1. The regression residual versus the standard deviation of regression residual of all samples;

[0365] 2. The regression residual versus the mean absolute regression residual of all samples;

[0366] 3. Every sample is tentatively an ‘outlier’ with weight assigned to it according to regression residual.

[0367] Details are illustrated in embodiments #2 to #4.

[0368] 3) Weighted least squares regression

[0369] In the next iteration, each pixel receives a weighting. The optimal linear function is expressed as:

[0370] Where wn (x, y) is the weighting value for pixel (x, y) after the nth iteration. More details for assigning weights to input samples can be obtained in embodiments #5, #6.

[0371] The solution to βn+1, as mentioned above, is:

[0372] Where Wn is a diagonal matrix with the weights wn (x, y) on the diagonal.

[0373] 4) Repeat procedures (2) and (3) until termination conditions are met.

[0374] After the iterations are terminated, the prediction block can be calculated using the last optimal function:

[0375] Where Ni is the total number of iterations having been executed before MPWLS terminates.

[0376] As illustrated in the following Embodiments 2, 3, and 4, a sample of the prediction model can be an outlier sample when the absolute value of regression residual of the sample is greater than a threshold, wherein the threshold comprises at least one of:

[0377] a multiple of the standard deviation of regression residual of all samples; or

[0378] a multiple of the mean absolute regression residual of all samples; or

[0379] a linear combination of the standard deviation of regression residual of all samples and mean absolute regression residual of all samples.

[0380] Embodiment #2: Outlier is associated with root mean square residual

[0381] Outlier pixels can be the pixels whose residuals exceed a multiple of the root mean square residual. The root mean square residual is a measure of the overall noise level of the input samples and can be used as a reference to the threshold for determining whether a sample is likely to be an outlier.

[0382] Where T is the template area from which input samples are taken, n (T) is the number of input samples, k is a pre-defined positive number (for example, k=1.5) .

[0383] Embodiment #3: Outlier is associated with mean absolute residual

[0384] Outlier pixels can be the pixels whose residuals exceed a multiple of the mean absolute residual. The mean absolute residual is a measure of the overall noise level of the input samples and can be used as a reference to the threshold for determining whether a sample is likely to be an outlier.

[0385] Where T is the template area from which input samples are taken, n (T) is the number of input samples, k is a pre-defined positive number (e.g., k=1.5) .

[0386] Embodiment #4: Outlier is associated with root mean square residual and mean absolute residual

[0387] Outlier pixels can be the pixels whose residuals exceed a threshold set by both the root mean square residual and the mean absolute residual. Both metrics are measures of the overall noise level of the input samples and can be used as a reference to the threshold for determining whether a sample is likely to be an outlier.

[0388] Where T is the template area from which input samples are taken, n (T) is the number of input samples, k1 and k2 are pre-defined positive numbers (for example, both are 0.75) .

[0389] Embodiment #5: Every input sample is ‘outlier’ and is subject to reweighting

[0390] In some embodiments, each sample input to the prediction model is treated as an outlier sample. In reweighting the input samples, a weight associated with the outlier sample is a function of regression residual of the outlier sample for next iteration.

[0391] In the embodiment, each sample is initially treated as a potential 'outlier' and is subject to reweighting. The weight assigned to each sample for the next iteration is determined by a function of its regression residual. A soft decision-making approach is employed to mitigate the impact of classification errors. More details are given in embodiment #6. Outlier (x, y) =1                   (56)

[0392] Embodiment #6: Outliers are removed from subsequent iteration

[0393] In this embodiment, without adding much complexity to linear regression, the weighting of outlier pixels can be set to 0 and the weighting of other pixels remains as 1, i.e., outlier pixels are removed from regression. w (x, y) =1-Outlier (x, y)                 (57)

[0394] The solution to the weighted least squares problem would be exactly the solution of least squares problem using all non-outlier pixels as inputs.

[0395] Embodiment #7: Outliers are down-weighted in subsequent iteration

[0396] In this embodiment, the outlier pixels receive a reduced weighting based on its regression residual. w (x, y) =1-k (|∈ (x, y) |) ·Outlier (x, y)              (58)

[0397] Where |∈ (x, y) | is the absolute value of regression residual for pixel (x, y) , k (·) is a non-decreasing function with codomain [0, 1] .

[0398] For example, Outlier (x, y) =1 and indicating that every pixel receives a weight based on its regression residual and those with |∈ (x, y) |≥1.5×MAR are effectively removed.

[0399] Embodiment #8: MPWLS is used as a replacement to OLS

[0400] In this embodiment, MPWLS is enabled unconditionally. Whenever linear model prediction is performed, for all instances of linear model prediction, MPWLS is used in place of ordinary least squares or other existing methods.

[0401] Embodiment #9: The enabling of MPWLS is derivable from decoder side

[0402] In this embodiment, whether MPWLS is enabled is derivable from decoder side and depends one or multiple of the factors: codec profile level or other high-level syntax, prediction mode, linear model parameters / coefficients, block size or sample size, etc.

[0403] Embodiment #9.1

[0404] In the embodiment, the enabling of MPWLS is derived from configurations at sequence, group of picture, picture, slice or block level. For example, the enabling of MPWLS is derived from video codec profile, tier or levels. In VVC, the MPWLS is enabled for all profiles except for Main 10 / 12 / 16 Still Picture profiles and Main 10 / 12 / 16 4: 4: 4 Still Picture profiles. As another example, in VVC, the MPWLS is enabled when the codec level number is greater than or equal to 4.0.

[0405] As another example, the MPWLS is enabled when a quantization parameter (QP) of the current coding unit is less than threshold QP. In VVC or its subsequent standard, MPWLS is enabled when the quantization parameter (QP) is less than 30.

[0406] Embodiment #9.2

[0407] In this embodiment, the enabling of MPWLS depends on prediction mode. MPWLS is made available to all or a non-empty subset of the linear model prediction modes. The following table is used to limit MPWLS to intra luma prediction only.

[0408] Table 2

[0409] In the embodiment, whether the MPWLS is enabled depends on the prediction mode.

[0410] Embodiment #9.3

[0411] In the embodiment, the enabling of MPWLS depends on parameters / coefficients of the linear model. For example, whether the MPWLS is enabled depends on a number of prediction function coefficients of the prediction model. In this example, MPWLS is enabled only when the number of parameters / coefficients in the linear model is under a certain threshold (for example, 3) in order to limit computation complexity. This gives the following table:

[0412] Table 3

[0413] Embodiment #9.4

[0414] In the embodiment, activation of MPWLS is determined by either the current block size or the number of input samples in the regression task, where the latter typically corresponds to the number of pixels in the template area. As another example, the enabling of MPWLS depends on block size or sample size (number of samples) . MPWLS is made available to all or certain block sizes or sample sizes. In this example, MPWLS is enabled if and only if the number of input samples is not greater than 32, as smaller sample size may suffer from noise samples and using multi-pass calculation would not introduce to much computation complexity.

[0415] Embodiment #9.5

[0416] In the embodiment, whether the MPWLS is enabled depends on a number of prediction function coefficients of the prediction model and a block size of the current block or an input sample size of regression task. As another example, the enabling of MPWLS depends on both sample size and parameters / coefficients of the linear model. The ratio between sample size and the number of parameters / coefficients of the linear model offers an estimation of the possibility of over-fitting in a linear regression task. MPWLS is enabled only when the following relation is satisfied. log10n (TCur) -log10p＜Th                 (59)

[0417] Where n (TCur) is the number of input samples, p is the number of parameters / coefficients of the linear model, Th is a pre-defined threshold (for example, 1.0, indicating that sample size is less than 10 times the number of parameters / coefficients) .

[0418] Embodiment #10: The enabling of MPWLS is signalled in a flag

[0419] In these embodiments #10 and #11, enabling the MPWLS is signalled by a flag or signalled as a part of a prediction mode selection process.

[0420] For example, a flag indicating if MPWLS is enabled is transmitted in the bitstream. When the flag is ‘true’ , MPWLS is used; otherwise, ordinary least squares method or other existing method is used.

[0421] For example, in CCCM, the following flags are used to indicate the specific CCCM model, which is from one of {BVG-CCCM, CCCM, CCCM-MDF, CCCM-NoSub, GL-CCCM} . After decoding specific CCCM model, a flag for MPWLS is decoded.

[0422] Table 4

[0423] When MPWLS flag is ‘true’ , prediction with the specific CCCM model is executed using MPWLS; otherwise, prediction with the specific CCCM model is executed using ordinary least squares or other existing method.

[0424] Embodiment #11: The enabling of MPWLS is signalled as part of the mode selection process

[0425] In this embodiment, linear model prediction with MPWLS is added as additional modes and the flags or signals being used for identifying the coding mode to be used are updated accordingly.

[0426] For example, in CCCM, the following flags are used to indicate the specific CCCM model, which is from one of {BVG-CCCM, CCCM, CCCM-MDF, CCCM-NoSub, GL-CCCM} . By including MPWLS-enabled CCCM, the following flags are used to indicate one of {BVG-CCCM, CCCM, CCCM-MDF, CCCM-NoSub, GL-CCCM, CCCM-MPWLS} .

[0427] Table 5

[0428] When CCCM-MPWLS is ‘true’ , MPWLS is used for performing CCCM prediction.

[0429] In embodiments #12, #13, and #14, a termination condition of MPWLS may be limited by a maximum allowed number of iterations, and the maximum allowed number of iterations is determined by at least one of:

[0430] 1. a predetermined number;

[0431] 2. a quantization parameter (QP) of video sequence in the bitstream, or

[0432] 3. a look-up table that maps QP values to maximum allowed iteration numbers.

[0433] Embodiment #12: MPWLS terminates after a fixed number of iterations

[0434] In this embodiment, the maximum allowed number of iterations is fixed. It is specified as exactly two (i.e., maximum allowed number of iterations=2) . The iteration stops when the number of iterations reaches the maximum allowed number. The equal weighted (initial) iteration counts as iteration #1.

[0435] Embodiment #13: MPWLS terminates after a number of iterations specified by codec profile or sequence configuration

[0436] In this embodiment, the maximum allowed number of iterations N is determined by the video sequence’s configuration.

[0437] For example, N=2 when quantization parameter (QP) is less than 30; N=1 otherwise. The iteration stops  when the number of iterations reaches the maximum allowed number.

[0438] As another example, a look-up table can be established for obtaining N from QP.

[0439] Table 6

[0440] Embodiment #14: MPWLS terminates after a number of iterations signalled in the bitstream

[0441] In this embodiment, a signal indicating the total number of iterations is transmitted. The maximum allowed number of iterations may be signalled by a unary code.

[0442] For example, a unary code is used to indicate the number of iterations N minus 2, i.e., (N-2) . The unary code for a non-negative number n is represented by n ones followed by a zero.

[0443] Table 7

[0444] As illustrated in Embodiments #15 and 16, one termination condition of MPWLS is satisfied when:

[0445] remaining total weighting of input samples falls below a predetermined threshold, wherein the predetermined threshold is a fraction of a total number of input samples used in the initial iteration; or

[0446] a rate of decrease in regression residual between successive iterations falls below a predetermined threshold, indicating near-convergence of the model.

[0447] Embodiment #15: MPWLS terminates under a condition adaptive to input samples and regression results

[0448] In this embodiment, MPWLS terminates under a condition adaptive to input samples and regression results.

[0449] For example, MPWLS may terminate when the remaining total weighting is under a threshold: For example, half of the total number of input samples of the first iteration ∑ (x, y) ∈Tw (x, y) ＜0.5×n (T)                 (60)

[0450] As another example, MPWLS may terminate when the root mean square residual or the mean absolute residual in subsequent iterations reveals that the regression residual is decreasing slowly, indicating that the iteration has been near a state of convergence. The termination condition can be

[0451] Or

[0452] Where RMSRn is the root mean square residual, and MARn is the mean absolute residuals in the nth  iteration, Th is a threshold value (for example, 0.75) .

[0453] Embodiment #16: The enabling of MPWLS and its termination conditions are signalled together

[0454] In this embodiment, a signal indicating the total number of iterations is transmitted and the enabling of MPLWS is implicitly indicated.

[0455] For example, a unary code is used to indicate the number N of iterations minus 1, i.e., (N-1) . The unary code for a non-negative number n is represented by n ones followed by a zero. When the signal indicate that the total number of iterations is 1, only one iteration with equal weights for all input samples are executed. In this case, MPWLS is effectively disabled. MPWLS can be enabled without transmitting additional information. The design reduces bitstream overhead by implicitly enabling MPWLS.

[0456] Table 8

[0457] As shown in the example of Table 8, whether the MPWLS is enabled is based on a decoded number of iterations, wherein:

[0458] MPWLS is disabled if the decoded number of iterations is 1; or

[0459] MPWLS is enabled if the decoded number of iterations is greater than 1.

[0460] In the following embodiments #17 and #18, the regularization parameter is determined based on a look-up table. Examples of the look-up table includes Table 9 to Table 14. Each row of the look-up table associates a value of the regularization parameter with either of both of the number of the prediction function coefficients and the number of input samples of the regression task.

[0461] Embodiment #17: Parameters of regularized least squares are adaptive to input data

[0462] Section 2.3 “Regularized least squares methods” introduces a prior art, where regularized least squares method is proposed in place of ordinary least squares.

[0463] In this embodiment, the regularization parameters are adaptive to input data. In some embodiments, the regularization parameter is in relation to a number of the prediction function coefficients. In some embodiments, the regularization parameter is adaptive to a number of input samples in regression task. In some embodiments, the regularization parameter is adaptive to the number of the prediction function coefficients and the number of input samples of the regression task.

[0464] For example, the regularization parameters are adaptive to the parameters / coefficients of the linear model.

[0465] Lambda λ may be proportional to the number of parameters / coefficients of the prediction model.

[0466] Table 9

[0467] In the example of Table 9, for an extrapolation filter-based intra prediction (EIP) , the regularization parameter is a product of a first constant (i.e., 1920) multiplied by a number (i.e., p ) of the prediction function coefficients. For a convolutional cross-component model (CCCM) , the regularization parameter is a product of a second constant (i.e., 32) multiplied by a number (i.e., p) of the prediction function coefficients.

[0468] For example, the regularization parameters are adaptive to the number of input samples of the prediction model.

[0469] In an embodiment, as the sample size for a given prediction mode decreases, the regularization parameter (lambda λ) increases.

[0470] Table 10

[0471] As another example, the regularization parameters are adaptive to the number of input samples and parameters / coefficients of the linear model.

[0472] Lambda λ may be proportional to the number of parameters / coefficients of the prediction model. In an embodiment, as the sample size for the same prediction mode decreases, the regularization parameter (lambda λ) also increases.

[0473] Table 11

[0474] In the example of Table 11, for an extrapolation filter-based intra prediction (EIP) , when the number of the prediction function coefficients is a first value (i.e., 15) , and the number of the samples is no greater than a first threshold number of samples (i.e., 2024) , the regularization parameter is a product of a third constant multiplied by the number (i.e., p) of the prediction function coefficients. For an extrapolation filter-based intra prediction (EIP) , when the number of the prediction function coefficients is a first value (i.e., 15) , and the number of the samples is greater than a first threshold number of samples (i.e., 2024) , the regularization parameter is a product of a fourth constant (i.e., 128) multiplied by the number (i.e., p) of the prediction function coefficients.

[0475] Embodiment #18: Parameters of regularized least squares are adaptive to the linear model

[0476] In this embodiment, the regularization parameters are adaptive to the relevant linear model.

[0477] Instead of applying the same regularization parameter to all coefficients, each coefficient can have a different regularization parameter.

[0478] In 2.3, the cost minimization formula for solving the L2-regularized least squares regression is equivalent to

[0479] By assigning a regularization parameter to each of the coefficients, the formula is changed to

[0480] Where p is the length of the vector of coefficients  λi is the regularization parameter being assigned to coefficient βi.

[0481] As illustrated in equation (64) , the objective function has a penalty term related to regularization parameter, and for L2-regularized least squares regression, the penalty term comprises, for each prediction function coefficient of the prediction model, a square of the prediction function coefficient multiplied by the a regularization parameter for the prediction function coefficient.

[0482] Similarly, for L1-regularized least squares regression, the cost minimization formula can be changed to:

[0483] As illustrated in equation (65) , for L1-regularized least squares regression, the penalty term comprises, for each prediction function coefficient of the prediction model, an absolute value of the prediction function coefficient multiplied by a regularization parameter for the prediction function coefficient.

[0484] For example, for linear model prediction modes, the regularization parameter of the constant term or bias term is set to a smaller value. In the following table, a regularization parameter of a bias term in the prediction function coefficient is set to a value less than a regularization parameter of other terms in the prediction function coefficient. This is a common practice in regularized regression to cater for a change of average values in different data sets.

[0485] Table 12

[0486] In the example of Table 12, for an extrapolation filter-based intra prediction (EIP) , when the number of the prediction function coefficients is a first value, the regularization parameter of a bias term in the prediction function coefficients is set to zero while other terms in the prediction function coefficients share a regularization parameter set to a non-zero value.

[0487] As another example, for cross-component prediction modes, the regularization parameters of one or some of the luma samples are set to a smaller value. This is due to the fact that luma and chroma samples are in  different sampling domains and relaxing some luma sample terms shall better respect the luma-chroma linear mapping. In the Table 13, one or more regularization parameters of one or some of luma samples for input to the prediction model are set to a value less than a regularization parameter of other terms in the prediction function coefficient.

[0488] Table 13

[0489] In the example of Table 13, for a convolutional cross-component model (CCCM) , when the number of the prediction function coefficients is in a range, the regularization parameter of a co-located luma sample for input to the prediction model is set to zero, and other terms in the prediction function coefficients share a regularization parameter set to a product, the product is generated from a fifth constant multiplied by the number of the prediction function coefficients.

[0490] As another example, for cross-component prediction modes, the regularization parameters of one or some of the luma samples and the bias term are set to a smaller value. In Table 14, the regularization parameters of one or some of luma samples for input to the prediction model and a bias term in the prediction function coefficient are set to a value less than a regularization parameter of other terms in the prediction function coefficient.

[0491] Table 14

[0492] In the example of Table 14, for a convolutional cross-component model (CCCM) , when the number of the prediction function coefficients is in a range, the regularization parameter of a co-located luma sample for input to the prediction model is set to zero, the regularization parameter of the bias term is set to zero, and other terms in the prediction function coefficients share a regularization parameter set to a product, the product is generated from a fifth constant multiplied by the number of the prediction function coefficients.

[0493] Embodiment #19: Enabling of MPWLS and / or regularized least squares are adaptive to video sequence information

[0494] In this embodiment, the enabling of regularized least squares is based on video sequence type. Typically, screen contents or computer-generated contents contain less noise than camera-captured contents. It is less likely that robust regression methods such as MPWLS or regularized least squares method are effective in screen contents or computer-generated contents.

[0495] In some embodiment, the MPWLS is enabled based on a video sequence type of the bitstream. For example,  MPWLS is enabled only for camera-captured contents. The MPWLS is enabled for camera-captured contents and is disabled for screen contents or computer-generated contents.

[0496] Table 15

[0497] In some embodiment, the regularized linear regression is enabled based on a video sequence. As another example, regularized least squares is enabled only for camera-captured contents. The regularized linear regression is enabled for camera-captured contents and is disabled for screen contents or computer-generated contents.

[0498] Table 16

[0499] With reference to FIG. 15, the embodiment of the disclosure also provides a chip 70 that may correspond to an encoder in the embodiments of the disclosure. The chip 70 may implement a corresponding process realized by the encoder (i.e., video encoding system 110) in various methods of the embodiments of the disclosure. The chip 70 includes a processor 71, and the processor 71 may call and run a computer program from memory to implement the methods in the embodiments of the present application.

[0500] Optionally, the chip 70 may also include a memory 72. In particular, the processor 71 may call and run the computer program from the memory 72 to implement the methods in the embodiments of the present application.

[0501] Moreover, the memory 72 may be a separate device from the processor 71 or may be integrated into the processor 71.

[0502] Optionally, the chip 70 may further include an input interface 73. Note that the processor 71 may control the input interface 73 to communicate with other devices or chips, specifically, to obtain messages or data sent by other devices or chips.

[0503] Optionally, the chip 70 may further include an output interface 74. Note that the processor 71 may control the output interface 74 to communicate with other devices or chips, specifically, to output messages or data to other devices or chips.

[0504] With reference to FIG. 16, the embodiment of the disclosure also provides another chip 80 that may correspond to a decoder (i.e., video decoding system 120) in the description, and the chip 80 may implement the corresponding processes implemented by the decoder in the various methods of the embodiments of the disclosure. The chip 80 includes a processor 81, and the processor 81 may call and run a computer program from the memory 82 to implement the methods in the embodiments of the present application.

[0505] Optionally, the chip 80 may further include a memory 82. In particular, the processor 81 may call and run the computer program from the memory 82 to implement the methods in the embodiments of the present application.

[0506] Wherein the memory 82 may be a separate device from the processor 81 or may be integrated into the processor 81.

[0507] Optionally, the chip 80 may also include an input interface 83. In particular, the processor 81 may control the input interface 83 to communicate with other devices or chips, specifically, to obtain messages or data sent by other devices or chips.

[0508] Optionally, the chip may further include an output interface 84. In particular, the processor 81 may control the output interface 84 to communicate with other devices or chips, specifically, to output messages or data to other devices or chips.

[0509] The disclosed method may be programmed as computer executable instructions stored in non-transitory computer readable medium. The non-transitory computer readable medium, when loaded to a computer, directs a processor of the computer to execute the disclosed method.

[0510] The non-transitory computer readable medium may comprise at least one from a group consisting of: a hard disk, a CD-ROM, an optical storage device, a magnetic storage device, a Read Only Memory, a Programmable Read Only Memory, an Erasable Programmable Read Only Memory, EPROM, an Electrically Erasable Programmable Read Only Memory and a Flash memory.

[0511] The disclosed method may be programmed as a computer program product that causes a computer to execute the disclosed method.

[0512] The disclosed method may be programmed as a computer program that causes a computer to execute the disclosed method.

[0513] While the present disclosure has been described in connection with what is considered the most practical and preferred embodiments, it is understood that the present disclosure is not limited to the disclosed embodiments but is intended to cover various arrangements made without departing from the scope of the broadest interpretation of the appended claims.

Claims

1.A decoding method, comprising:obtaining a bitstream;determining a prediction mode for the bitstream;acquiring a current block from the bitstream;determining whether multi-pass weighted least squares (MPWLS) is enabled;deriving a prediction model with the MPWLS for the prediction mode when the MPWLS is enabled; andusing the prediction model for the prediction mode to generate a prediction block for the current block.2.The method of claim 1, wherein the MPWLS comprises iteratively deriving a prediction model for the prediction mode, comprising:a) performing an initial iteration of weighted least squares regression for the prediction model with equal weights for all input samples to generate a regression result;b) detecting outlier samples from previous regression results;c) reweighting the input samples by down-weighting detected outlier samples;d) performing subsequent iterations of weighted least squares regression using the reweighted input samples; ande) repeating steps b) through d) until one or more termination conditions are met; andusing the derived prediction model to perform prediction for image decoding when the one or more termination conditions are met.3.The method of claim 2, wherein a sample of the prediction model is an outlier sample when the absolute value of regression residual of the sample is greater than a threshold, wherein the threshold comprises at least one of:a multiple of the standard deviation of regression residual of all samples; ora multiple of the mean absolute regression residual of all samples; ora linear combination of the standard deviation of regression residual of all samples and mean absolute regression residual of all samples.4.The method of claim 2, wherein each sample input to the prediction model is treated as an outlier sample;in reweighting the input samples, a weight associated with the outlier sample is a function of regression residual of the outlier sample for next iteration.5.The method of claim 2, wherein a weight associated with an outlier sample is set to zero.6.The method of claim 2, wherein each outlier sample in the outlier samples is down-weighted by a factor computed by a non-decreasing function while input of the non-decreasing function is an absolute value of regression residual of the outlier sample.7.The method of claim 1, wherein the prediction mode comprises at least one of:a cross-component linear model (CCLM) ;a convolutional cross-component model (CCCM) ;a gradient linear model (GLM) ;a chroma fusion linear model (CFLM) ;an extrapolation filter-based intra prediction (EIP) ;a filtered intra block copy (FIBC) ;an enhanced intra template matching prediction (IntraTMP) ;a regression-based geometric partitioning mode (GPM) blending ; ora local illumination compensation (LIC) .8.The method of claim 7, wherein the MPWLS is always enabled for the prediction mode.9.The method of claim 1, wherein the MPWLS is enabled when a quantization parameter (QP) of the bitstream is less than threshold QP.10.The method of claim 1, wherein whether the MPWLS is enabled depends on the prediction mode.11.The method of claim 1, wherein whether the MPWLS is enabled depends on a number of prediction function coefficients of the prediction model.12.The method of claim 1, wherein whether the MPWLS is enabled depends on a block size of the current block or an input sample size of regression task.13.The method of claim 1, wherein whether the MPWLS is enabled depends on a number of prediction function coefficients of the prediction model and a block size of the current block or an input sample size of regression task.14.The method of claim 1, wherein enabling the MPWLS is signalled by a flag.15.The method of claim 2, wherein one of the termination conditions comprises a maximum allowed number of iterations, and the maximum allowed number of iterations is determined by at least one of:a predetermined number;a configuration at sequence, group of picture, picture, slice or block level;a quantization parameter (QP) of a current coding unit, ora look-up table that maps QP values to maximum allowed iteration numbers.16.The method of claim 2, wherein one of the termination conditions comprises a maximum allowed number of iterations, and the maximum allowed number of iterations is signalled by a unary code.17.The method of claim 2, wherein one of the termination conditions is adaptive to the input samples and regression results.18.The method of claim 2, wherein one of the termination conditions comprises:remaining total weighting of input samples falls below a predetermined threshold, wherein the predetermined threshold is a fraction of a total number of input samples used in the initial iteration; ora rate of decrease in regression residual between successive iterations falls below a predetermined threshold, indicating near-convergence of the model.19.The method of claim 1, wherein whether the MPWLS is enabled is based on a decoded number of iterations, wherein:MPWLS is disabled if the decoded number of iterations is 1; orMPWLS is enabled if the decoded number of iterations is greater than 1.20.The method of claim 1 wherein the MPWLS is enabled based on a video sequence type of the bitstream.21.The method of claim 20, wherein the MPWLS is enabled for camera-captured contents and is disabled for screen contents or computer-generated contents.22.A decoding method, comprising:obtaining a bitstream;determining a prediction mode based on the bitstream;acquiring a current block from the bitstream;calculating prediction function coefficients of a prediction model corresponding to the prediction model using regularized linear regression; andgenerating a prediction block for the current block using the prediction function coefficients of the prediction model; wherein the regularized linear regression is performed by minimizing an objective function related to regularization parameter;wherein the regularization parameter is adaptive to at least one or both of prediction function coefficients and samples of the prediction model.23.The method of any of claim 22, wherein the regularization parameter is in relation to a number of the prediction function coefficients; orthe regularization parameter is adaptive to a number of input samples in regression task; orthe regularization parameter is adaptive to the number of the prediction function coefficients and the number of input samples of the regression task.24.The method of claim 23, wherein the regularization parameter is determined based on a look-up table;each row of the look-up table associates a value of the regularization parameter with either of both of the number of the prediction function coefficients and the number of input samples of the regression task.25.The method of claim 23, wherein for an extrapolation filter-based intra prediction (EIP) , the regularization parameter is a product of a first constant multiplied by a number of the prediction function coefficients.26.The method of claim 23, wherein for a convolutional cross-component model (CCCM) , the regularization parameter is a product of a second constant multiplied by a number of the prediction function coefficients.27.The method of claim 23, wherein for an extrapolation filter-based intra prediction (EIP) , when the number of the prediction function coefficients is a first value, and the number of the samples is no greater than a first threshold number of samples, the regularization parameter is a product of a third constant multiplied by the number of the prediction function coefficients.28.The method of claim 23, wherein for an extrapolation filter-based intra prediction (EIP) , when the number of the prediction function coefficients is a first value, and the number of the samples is greater than a first threshold number of samples, the regularization parameter is a product of a fourth constant multiplied by the number of the prediction function coefficients.29.The method of claim 22, wherein the objective function has a penalty term related to regularization parameter, and for L2-regularized least squares regression, the penalty term comprises, for each prediction function coefficient of the prediction model, a square of the prediction function coefficient multiplied by the a regularization parameter for the prediction function coefficient; orfor L1-regularized least squares regression, the penalty term comprises, for each prediction function coefficient of the prediction model, an absolute value of the prediction function coefficient multiplied by a regularization parameter for the prediction function coefficient.30.The method of claim 29, wherein a regularization parameter of a bias term in the prediction function coefficient is set to a value less than a regularization parameter of other terms in the prediction function coefficient.31.The method of claim 30, wherein for an extrapolation filter-based intra prediction (EIP) , when the number of the prediction function coefficients is a first value, the regularization parameter of a bias term in the prediction function coefficients is set to zero while other terms in the prediction function coefficients share a regularization parameter set to a non-zero value.32.The method of claim 29, wherein one or more regularization parameters of one or some of luma samples for input to the prediction model are set to a value less than a regularization parameter of other terms in the prediction function coefficient.33.The method of claim 32, wherein for a convolutional cross-component model (CCCM) , when the number of the prediction function coefficients is in a range, the regularization parameter of a co-located luma sample for input to the prediction model is set to zero, and other terms in the prediction function coefficients share a regularization parameter set to a product, the product is generated from a fifth constant multiplied by the number of the prediction function coefficients.34.The method of claim 29, wherein the regularization parameters of one or some of luma samples for input to the prediction model and a bias term in the prediction function coefficient are set to a value less than a regularization parameter of other terms in the prediction function coefficient.35.The method of claim 34, wherein for a convolutional cross-component model (CCCM) , when the number of the prediction function coefficients is in a range, the regularization parameter of a co-located luma sample for input to the prediction model is set to zero, the regularization parameter of the bias term is set to zero, and other terms in the prediction function coefficients share a regularization parameter set to a product, the product is generated from a fifth constant multiplied by the number of the prediction function coefficients.36.The method of claim 22, wherein the regularized linear regression is enabled based on a video sequence type of the bitstream.37.The method of claim 36, wherein the regularized linear regression is enabled for camera-captured contents and is disabled for screen contents or computer-generated contents.38.A chip, comprising:a processor, configured to call and run a computer program stored in a memory, to cause a device in which the chip is installed to execute the method of any of claims 1 to 37.39.A computer-readable storage medium, in which a computer program is stored, wherein the computer program causes a computer to execute the method of any of claims 1 to 37.40.A computer program product, comprising a computer program, wherein the computer program causes a computer to execute the method of any of claims 1 to 37.41.A computer program, wherein the computer program causes a computer to execute the method of any of claims 1 to 37.42.A decoding device comprising:a processor configured to execute the method of any of claims 1 to 37.43.An encoding method, comprising:obtaining signals of input video frames;determining a prediction mode for the signals of input video frames;acquiring a current block from the signals of input video frames;determining whether to enable multi-pass weighted least squares (MPWLS) ;deriving a prediction model with the MPWLS for the prediction mode when the MPWLS is enabled;using the prediction model for the prediction mode to generate a prediction block for the current block;encoding the signals of input video frames using the prediction model to obtain an output bitstream; andtransmitting the bitstream.44.The method of claim 43, wherein the MPWLS comprises iteratively deriving a prediction model for the prediction mode, comprising:a) performing an initial iteration of weighted least squares regression for the prediction model with equal weights for all input samples to generate a regression result;b) detecting outlier samples from previous regression results;c) reweighting the input samples by down-weighting detected outlier samples;d) performing subsequent iterations of weighted least squares regression using the reweighted input samples; ande) repeating steps b) through d) until one or more termination conditions are met; andusing the derived prediction model to perform prediction for image encoding when the one or more termination conditions are met.45.The method of claim 44, wherein a sample of the prediction model is an outlier sample when the absolute value of regression residual of the sample is greater than a threshold, wherein the threshold comprises at least one of:a multiple of the standard deviation of regression residual of all samples; ora multiple of the mean absolute regression residual of all samples; ora linear combination of the standard deviation of regression residual of all samples and mean absolute regression residual of all samples.46.The method of claim 44, wherein each sample input to the prediction model is treated as an outlier sample; in reweighting the input samples, a weight associated with the outlier sample is a function of regression residual of the outlier sample for next iteration.47.The method of claim 44, wherein a weight associated with an outlier sample is set to zero.48.The method of claim 44, wherein each outlier sample in the outlier samples is down-weighted by a factor computed by a non-decreasing function while input of the non-decreasing function is an absolute value of regression residual of the outlier sample.49.The method of claim 43, wherein the prediction mode comprises at least one of:a cross-component linear model (CCLM) ;a convolutional cross-component model (CCCM) ;a gradient linear model (GLM) ;a chroma fusion linear model (CFLM) ;an extrapolation filter-based intra prediction (EIP) ;a filtered intra block copy (FIBC) ;an enhanced intra template matching prediction (IntraTMP) ;a regression-based geometric partitioning mode (GPM) blending ; ora local illumination compensation (LIC) .50.The method of claim 49, wherein the MPWLS is always enabled for the prediction mode.51.The method of claim 43, wherein the MPWLS is enabled when a quantization parameter (QP) of the signals of input video frames is less than threshold QP.52.The method of claim 43, wherein whether the MPWLS is enabled depends on the prediction mode.53.The method of claim 43, wherein whether the MPWLS is enabled depends on a number of prediction function coefficients of the prediction model.54.The method of claim 43, wherein whether the MPWLS is enabled depends on a block size of the current block or an input sample size of regression task.55.The method of claim 43, wherein whether the MPWLS is enabled depends on a number of prediction function coefficients of the prediction model and a block size of the current block or an input sample size of regression task.56.The method of claim 43, wherein enabling the MPWLS is signalled by a flag.57.The method of claim 44, wherein one of the termination conditions comprises a maximum allowed number of iterations, and the maximum allowed number of iterations is determined by at least one of:a predetermined number;a configuration at sequence, group of picture, picture, slice or block level;a quantization parameter (QP) of a current coding unit, ora look-up table that maps QP values to maximum allowed iteration numbers.58.The method of claim 44, wherein one of the termination conditions comprises a maximum allowed number of iterations, and the maximum allowed number of iterations is signalled by a unary code.59.The method of claim 44, wherein one of the termination conditions is adaptive to the input samples and regression results.60.The method of claim 44, wherein one of the termination conditions comprises:remaining total weighting of input samples falls below a predetermined threshold, wherein the predetermined threshold is a fraction of a total number of input samples used in the initial iteration; ora rate of decrease in regression residual between successive iterations falls below a predetermined threshold, indicating near-convergence of the model.61.The method of claim 43, wherein whether the MPWLS is enabled is based on an encoded number of iterations, wherein:MPWLS is disabled if the encoded number of iterations is 1; orMPWLS is enabled if the encoded number of iterations is greater than 1.62.The method of claim 43 wherein the MPWLS is enabled based on a video sequence type of the signals of input video frames.63.The method of claim 62, wherein the MPWLS is enabled for camera-captured contents and is disabled for screen contents or computer-generated contents.64.An encoding method, comprising:obtaining signals of input video frames;determining a prediction mode based on the signals of input video frames;acquiring a current block from the signals of input video frames;calculating prediction function coefficients of a prediction model corresponding to the prediction model using regularized linear regression; andgenerating a prediction block for the current block using the prediction function coefficients of the prediction model;wherein the regularized linear regression is performed by minimizing an objective function related to regularization parameter;wherein the regularization parameter is adaptive to at least one or both of prediction function coefficients and samples of the prediction model.65.The method of any of claim 64, wherein the regularization parameter is in relation to a number of the prediction function coefficients; orthe regularization parameter is adaptive to a number of input samples in regression task; orthe regularization parameter is adaptive to the number of the prediction function coefficients and the number of input samples of the regression task.66.The method of claim 65, wherein the regularization parameter is determined based on a look-up table;each row of the look-up table associates a value of the regularization parameter with either of both of the number of the prediction function coefficients and the number of input samples of the regression task.67.The method of claim 65, wherein for an extrapolation filter-based intra prediction (EIP) , the regularization parameter is a product of a first constant multiplied by a number of the prediction function coefficients.68.The method of claim 65, wherein for a convolutional cross-component model (CCCM) , the regularization parameter is a product of a second constant multiplied by a number of the prediction function coefficients.69.The method of claim 65, wherein for an extrapolation filter-based intra prediction (EIP) , when the number of the prediction function coefficients is a first value, and the number of the samples is no greater than a first threshold number of samples, the regularization parameter is a product of a third constant multiplied by the number of the prediction function coefficients.70.The method of claim 65, wherein for an extrapolation filter-based intra prediction (EIP) , when the number of the prediction function coefficients is a first value, and the number of the samples is greater than a first threshold number of samples, the regularization parameter is a product of a fourth constant multiplied by the number of the prediction function coefficients.71.The method of claim 64, wherein the objective function has a penalty term related to regularization parameter, and for L2-regularized least squares regression, the penalty term comprises, for each prediction function coefficient of the prediction model, a square of the prediction function coefficient multiplied by the a regularization parameter for the prediction function coefficient; orfor L1-regularized least squares regression, the penalty term comprises, for each prediction function coefficient of the prediction model, an absolute value of the prediction function coefficient multiplied by a regularization parameter for the prediction function coefficient.72.The method of claim 71, wherein a regularization parameter of a bias term in the prediction function coefficient is set to a value less than a regularization parameter of other terms in the prediction function coefficient.73.The method of claim 72, wherein for an extrapolation filter-based intra prediction (EIP) , when the number of the prediction function coefficients is a first value, the regularization parameter of a bias term in the prediction function coefficients is set to zero while other terms in the prediction function coefficients share a regularization parameter set to a non-zero value.74.The method of claim 71, wherein one or more regularization parameters of one or some of luma samples for input to the prediction model are set to a value less than a regularization parameter of other terms in the prediction function coefficient.75.The method of claim 74, wherein for a convolutional cross-component model (CCCM) , when the number of the prediction function coefficients is in a range, the regularization parameter of a co-located luma sample for input to the prediction model is set to zero, and other terms in the prediction function coefficients share a regularization parameter set to a product, the product is generated from a fifth constant multiplied by the number of the prediction function coefficients.76.The method of claim 71, wherein the regularization parameters of one or some of luma samples for input to the prediction model and a bias term in the prediction function coefficient are set to a value less than a regularization parameter of other terms in the prediction function coefficient.77.The method of claim 76, wherein for a convolutional cross-component model (CCCM) , when the number of the prediction function coefficients is in a range, the regularization parameter of a co-located luma sample for input to the prediction model is set to zero, the regularization parameter of the bias term is set to zero, and other terms in the prediction function coefficients share a regularization parameter set to a product, the product is generated from a fifth  constant multiplied by the number of the prediction function coefficients.78.The method of claim 64, wherein the regularized linear regression is enabled based on a video sequence type of the signals of input video frames.79.The method of claim 78, wherein the regularized linear regression is enabled for camera-captured contents and is disabled for screen contents or computer-generated contents.80.A chip, comprising:a processor, configured to call and run a computer program stored in a memory, to cause a device in which the chip is installed to execute the method of any of claims 43 to 79.81.A computer-readable storage medium, in which a computer program is stored, wherein the computer program causes a computer to execute the method of any of claims 43 to 79.82.A computer program product, comprising a computer program, wherein the computer program causes a computer to execute the method of any of claims 43 to 79.83.A computer program, wherein the computer program causes a computer to execute the method of any of claims 43 to 79.84.An encoding device comprising:a processor configured to execute the method of any of claims 43 to 79.

Images