Methods and apparatus of combined prediction mode with intra mode derivation in video coding systems

Abstract

A method and apparatus of video coding using combined prediction are disclosed. According to the method, input data associated with a current block is receiving, wherein the input data comprise pixel data for the current block to be encoded at an encoder side or coded data associated with the current block to be decoded at a decoder side. One or more hypotheses of inter motion compensated prediction are determined based on motion information. One or more hypotheses of intra prediction are determined, wherein one or more intra prediction modes associated with the intra prediction is derived associated with the motion information. Combined prediction is derived by combining said one or more hypotheses of the intra prediction and said one or more hypotheses of the inter motion compensated prediction with blending weighting. The current block is encoded or decoded using the combined prediction.

Description

METHODS AND APPARATUS OF COMBINED PREDICTION MODE WITH INTRA MODE DERIVATION IN VIDEO CODING SYSTEMSCROSS REFERENCE TO RELATED APPLICATIONS

[0001] The present invention is a non-Provisional Application of and claims priority to U.S. Provisional Patent Application No. 63 / 715,684, filed on November 4, 2024. The U.S. Provisional Patent Application is hereby incorporated by reference in its entirety.FIELD OF THE INVENTION

[0002] The present invention relates to video coding system. In particular, the present invention relates to deriving combined prediction by using one or more hypotheses of intra prediction and one or more hypotheses of inter motion compensated prediction with blending weighting.BACKGROUND

[0003] Versatile video coding (VVC) is the latest international video coding standard developed by the Joint Video Experts Team (JVET) of the ITU-T Video Coding Experts Group (VCEG) and the ISO / IEC Moving Picture Experts Group (MPEG) . The standard has been published as an ISO standard: ISO / IEC 23090-3: 2021, Information technology -Coded representation of immersive media -Part 3: Versatile video coding, published Feb. 2021. VVC is developed based on its predecessor HEVC (High Efficiency Video Coding) by adding more coding tools to improve coding efficiency and also to handle various types of video sources including 3-dimensional (3D) video signals.

[0004] Fig. 1A illustrates an exemplary adaptive Inter / Intra video encoding system incorporating loop processing. For Intra Prediction 110, the prediction data is derived based on previously coded video data in the current picture. For Inter Prediction 112, Motion Estimation (ME) is performed at the encoder side and Motion Compensation (MC) is performed based on the result of ME to provide prediction data derived from other picture (s) and motion data. Switch 114 selects Intra Prediction 110 or Inter Prediction 112 and the selected prediction data is supplied to Adder 116 to form prediction errors, also called residues. The prediction error is then processed by Transform (T) 118 followed by Quantization (Q) 120. The transformed and quantized residues are then coded by Entropy Encoder 122 to be included in a video bitstream corresponding to the compressed video data. The bitstream associated with the transform coefficients is then packed with side information such as motion and coding modes associated with Intra prediction and Inter prediction, and other information such as parameters associated with loop filters applied to underlying image area. The side information associated with Intra Prediction 110, Inter prediction 112 and in-loop filter 130, is provided to Entropy Encoder 122 as shown in Fig. 1A. When an Inter-prediction mode is used, a reference picture or pictures have to be reconstructed at the encoder end as well. Consequently, the transformed and quantized residues are processed by Inverse Quantization (IQ) 124 and Inverse Transformation (IT) 126 to recover the residues. The residues are then added back to prediction data 136 at Reconstruction (REC) 128 to reconstruct video data. The reconstructed video data may be stored in Reference Picture Buffer 134 and used for prediction of other frames.

[0005] As shown in Fig. 1A, incoming video data undergoes a series of processing in the encoding system. The reconstructed video data from REC 128 may be subject to various impairments due to a series of processing. Accordingly, in-loop filter 130 is often applied to the reconstructed video data before the reconstructed video data are stored in the Reference Picture Buffer 134 in order to improve video quality. For example, deblocking filter (DF) , Sample Adaptive Offset (SAO) and Adaptive Loop Filter (ALF) may be used. The loop filter information may need to be incorporated in the bitstream so that a decoder can properly recover the required information. Therefore, loop filter information is also provided to Entropy Encoder 122 for incorporation into the bitstream. In Fig. 1A, Loop filter 130 is applied to the reconstructed video before the reconstructed samples are stored in the reference picture buffer 134. The system in Fig. 1A is intended to illustrate an exemplary structure of a typical video encoder. It may correspond to the High Efficiency Video Coding (HEVC) system, VP8, VP9, H. 264 or VVC.

[0006] The decoder, as shown in Fig. 1B, can use some of the functional blocks as the encoder. For example, the decoder can reuse Inverse Quantization 124 and Inverse Transform 126; however, Transform 118 and Quantization 120 are not needed at the decoder. Instead of Entropy Encoder 122, the decoder uses an Entropy Decoder 140 to decode the video bitstream into quantized transform coefficients and needed coding information (e.g. ILPF information, Intra prediction information and Inter prediction information) . The Intra prediction 150 at the decoder side does not need to perform the mode search. Instead, the decoder only needs to generate Intra prediction according to Intra prediction information received from the Entropy Decoder 140. Furthermore, for Inter prediction, the decoder only needs to perform motion compensation (MC 152) according to Inter prediction information received from the Entropy Decoder 140 without the need for motion estimation.

[0007] In the present invention, new combined prediction is disclosed by using one or more hypotheses of intra prediction and one or more hypotheses of inter motion compensated prediction with blending weighting. BRIEF SUMMARY OF THE INVENTION

[0008] A method and apparatus of video coding using combined prediction are disclosed. According to the method, input data associated with a current block is receiving, wherein the input data comprise pixel data for the current block to be encoded at an encoder side or coded data associated with the current block to be decoded at a decoder side. One or more hypotheses of inter motion compensated prediction are determined based on motion information. One or more hypotheses of intra prediction are determined, wherein one or more intra prediction modes associated with the intra prediction is derived associated with the motion information. Combined prediction is derived by combining said one or more hypotheses of the intra prediction and said one or more hypotheses of the inter motion compensated prediction with blending weighting. The current block is encoded or decoded using the combined prediction.

[0009] In one embodiment, the combined prediction is used as final prediction for the current block coded in CIIP (Combined Inter and Intra Prediction) mode, IBC (Intra Block Copy) -CIIP mode or GPM (Geometric Partitioning Mode) -intra mode.

[0010] In one embodiment, texture gradient analysis is applied to target samples related to the inter motion compensated prediction to derive the one or more intra prediction modes from the inter motion compensated prediction. In one embodiment, the target samples contain or only contain all or any subset of the inter motion compensated prediction for the current block.

[0011] In one embodiment, texture gradient analysis is applied to target samples related to the inter motion compensated prediction associated with uni-direction or bi-direction motion information for the current block. In one embodiment, when the current block is coded in GPM-intra mode, the target samples correspond to one partition of the current block. In one embodiment, the texture gradient analysis starts with an empty HoG (Histogram of Gradients) with N entries and each of the N entries corresponds to an available intra prediction mode, and wherein N is a positive integer depending on a number of available intra prediction modes. In one embodiment, after the target samples are determined for the current block, amplitude of each entry is calculated.

[0012] In one embodiment, the one or more intra prediction modes are derived based on mode information in one or more reference blocks associated with the motion information. In one embodiment, information of the one or more intra prediction modes are stored in or associated with said one or more reference blocks. In one embodiment, when said one or more reference blocks are coded using a target intra prediction mode, the target intra prediction mode is used as at least one of the one or more intra prediction modes for the current block.

[0013] In one embodiment, the one or more intra prediction modes are derived based on predicted or reconstructed samples of one or more reference blocks associated with the motion information.

[0014] In one embodiment, at least one of the one or more intra prediction modes derived is used for transform selection for the current block. In another embodiment, at least one of the one or more intra prediction modes derived is stored for the current block and / or referenced by one or more subsequent coding blocks.BRIEF DESCRIPTION OF THE DRAWINGS

[0015] Fig. 1A illustrates an exemplary adaptive Inter / Intra video encoding system incorporating loop processing.

[0016] Fig. 1B illustrates a corresponding decoder for the encoder in Fig. 1A.

[0017] Fig. 2A illustrates an example of selected template for a current block, where the template comprises T lines above the current block and T columns to the left of the current block.

[0018] Fig. 2B illustrates an example for T=3 and the HoGs (Histogram of Gradient) are calculated for pixels in the middle line and pixels in the middle column.

[0019] Fig. 2C illustrates an example of the amplitudes (ampl) for the angular intra prediction modes.

[0020] Fig. 3 illustrates an example of template-based intra mode derivation (TIMD) mode, where TIMD implicitly derives the intra prediction mode of a CU using a neighbouring template at both the encoder and decoder.

[0021] Fig. 4 illustrates an example of Template Matching Prediction (TMP or intraTMP) .

[0022] Fig. 5 illustrates an example of LFNST modification for MIP coded blocks, which utilizes DIMD to derive the LFNST transform set and determine LFNST transpose flag.

[0023] Fig. 6 illustrates an example of top and left neighbouring blocks used in CIIP weight derivation.

[0024] Figs. 7A-B illustrate two examples of division method for angular modes in CIIP.

[0025] Figs. 8A-C illustrate examples of available IPM candidates: the parallel angular mode against the GPM block boundary (Parallel mode, Fig. 8A) , the perpendicular angular mode against the GPM block boundary (Perpendicular mode, Fig. 8B) , and the Planar mode (Fig. 8C) , respectively.

[0026] Fig. 8D illustrates an example of GPM with intra and intra prediction, where intra prediction is restricted to reduce the signalling overhead for IPMs and hardware decoder cost.

[0027] Fig. 9 illustrates a flowchart of an exemplary video coding system that derives combined prediction by using one or more hypotheses of intra prediction and one or more hypotheses of inter motion compensated prediction with blending weighting according to an embodiment of the present invention.DETAILED DESCRIPTION OF THE INVENTION

[0028] It will be readily understood that the components of the present invention, as generally described and illustrated in the figures herein, may be arranged and designed in a wide variety of different configurations. Thus, the following more detailed description of the embodiments of the systems and methods of the present invention, as represented in the figures, is not intended to limit the scope of the invention, as claimed, but is merely representative of selected embodiments of the invention. References throughout this specification to “one embodiment, ” “an embodiment, ” or similar language mean that a particular feature, structure, or characteristic described in connection with the embodiment may be included in at least one embodiment of the present invention. Thus, appearances of the phrases “in one embodiment” or “in an embodiment” in various places throughout this specification are not necessarily all referring to the same embodiment.

[0029] Furthermore, the described features, structures, or characteristics may be combined in any suitable manner in one or more embodiments. One skilled in the relevant art will recognize, however, that the invention can be practiced without one or more of the specific details, or with other methods, components, etc. In other instances, well-known structures, or operations are not shown or described in detail to avoid obscuring aspects of the invention. The illustrated embodiments of the invention will be best understood by reference to the drawings, wherein like parts are designated by like numerals throughout. The following description is intended only by way of example, and simply illustrates certain selected embodiments of apparatus and methods that are consistent with the invention as claimed herein.

[0030] 1. RELATED ART

[0031] 1.1 Intra Mode Coding with 67 Intra Prediction Modes

[0032] To capture the arbitrary edge directions presented in natural video, the number of directional intra modes in VVC is extended from 33, as used in HEVC, to 65.

[0033] In VVC, several conventional angular intra prediction modes are adaptively replaced with wide-angle intra prediction modes for the non-square blocks.

[0034] 1.2 Intra Mode Coding

[0035] To keep the complexity of the most probable mode (MPM) list generation low, an intra mode coding method with 6 MPMs (or called primary MPMs) is used by considering two available neighbouring intra modes. The following three aspects are considered to construct the MPM list: - Default intra modes - Neighbouring intra modes - Derived intra modes

[0036] 1.3 Decoder Side Intra Mode Derivation (DIMD)

[0037] When DIMD is applied, two intra modes are derived from the reconstructed neighbour samples (template) , and those two predictors are combined with the planar mode predictor with the weights derived from the gradients. The DIMD mode is used as an alternative prediction mode.

[0038] To implicitly derive the intra prediction modes of a block, a texture gradient analysis is performed at both the encoder and decoder sides. This process starts with an empty Histogram of Gradient (HoG) with 65 entries, corresponding to the 65 angular modes. Amplitudes of these entries are determined during the texture gradient analysis.

[0039] In the first step, DIMD picks a template of T=3 columns and lines from respectively left side and above side of the current block. This area is used as the reference for the gradient based intra prediction mode derivation.

[0040] In the second step, the horizontal and vertical Sobel filters are applied on all 3×3 window positions, centred on the pixels of the middle line of the template. At each window position, Sobel filters calculate the intensity of pure horizontal and vertical directions as Gx and Gy, respectively. Then, the texture angle of the window is calculated as: angle=arctan (Gx / Gy) , (1)  which can be converted into one of 65 angular intra prediction modes. Once the intra prediction mode index of current window is derived as idx, the amplitude of its entry in the HoG [idx] is updated by addition of: ampl = |Gx|+|Gy| (2)

[0041] Figs. 2A-C show an example of HoG, calculated after applying the above operations on all pixel positions in the template. Fig. 2A illustrates an example of selected template 220 for a current block 210. Template 220 comprises T lines above the current block and T columns to the left of the current block. For intra prediction of the current block, the area 230 at the above and left of the current block corresponds to a reconstructed area and the area 240 below and at the right of the block corresponds to an unavailable area. Fig. 2B illustrates an example for T=3 and the HoGs are calculated for pixels 260 in the middle line and pixels 262 in the middle column. For example, for pixel 252, a 3x3 window 250 is used. Fig. 2C illustrates an example of the amplitudes (ampl) calculated based on equation (2) for the angular intra prediction modes as determined from equation (1) .

[0042] Once HoG is computed, the indices with two tallest histogram bars are selected as the two implicitly derived intra prediction modes (IPMs) for the block and are further combined with the Planar mode as the prediction of DIMD mode. The prediction fusion is applied as a weighted average of the above three predictors.

[0043] 1.4 Template-based Intra Mode Derivation (TIMD)

[0044] Template-based intra mode derivation (TIMD) mode implicitly derives the intra prediction mode of a CU using a neighbouring template at both the encoder and decoder, instead of signalling the intra prediction mode to the decoder. As shown in Fig. 3, the prediction samples of the template (312 and 314) for the current block 310 are generated using the reference samples (320 and 322) of the template for each candidate mode. A cost is calculated as the SATD (Sum of Absolute Transformed Differences) between the prediction samples and the reconstruction samples of the template. The intra prediction mode with the minimum cost is selected as the TIMD mode and used for intra prediction of the CU. The candidate modes may be 67 intra prediction modes as in VVC or extended to 131 intra prediction modes. In general, MPMs can provide a clue to indicate the directional information of a CU. Thus, to reduce the intra mode search space and utilize the characteristics of a CU, the intra prediction mode can be implicitly derived from the MPM list.

[0045] For each intra prediction mode in MPMs, the SATD between the prediction and reconstruction samples of the template is calculated. First two intra prediction modes with the minimum SATD are selected as the TIMD modes. These two TIMD modes are fused with weights after applying PDPC process, and such weighted intra prediction is used to code the current CU. Position dependent intra prediction combination (PDPC) is included in the derivation of the TIMD modes.

[0046] The costs of the two selected modes are compared with a threshold, in the test, the cost factor of 2 is applied as follows: costMode2 < 2*costMode1.

[0047] If this condition is true, the fusion is applied, otherwise only mode1 is used. Weights of the modes are computed from their SATD costs as follows: weight1 = costMode2 /  (costMode1+ costMode2) weight2 = 1 -weight1.

[0048] 1.5 Template Matching Prediction (TMP)

[0049] In JVET-V0130 or JVET-U0048, Template Matching Prediction (TMP) is disclosed. Template matching prediction (TMP or intraTMP) is a special intra prediction mode that copies the best prediction block from the reconstructed part of the current frame, whose L-shaped template matches the current template. This is illustrated in Fig. 4, where the current block 410, the current template 412, the prediction block 420, and the similar template are shown. For a predefined search range, the encoder searches for the most similar template to the current template in the reconstructed part of the current frame, and uses the corresponding block as a prediction block (as a reference block) . The encoder then signals the usage of this mode, and the inverse operation is made at the decoder side.

[0050] 1.6 Enhanced MTS for Intra Coding

[0051] In the current VVC design, for multiple transform selection (MTS) , only DST7 and DCT8 transform kernels are utilized, which are used for intra and inter coding.

[0052] Additional primary transforms including DCT5, DST4, DST1, and identity transform (IDT) are employed. Also, MTS set is made dependent on the TU size and intra mode information. For blocks predicted via IntraTMP, the DIMD process is used on the prediction block to derive an intra mode that is used for transform selection. Specifically, a horizontal gradient and a vertical gradient are calculated for each predicted sample to build a HoG. Then the intra prediction mode with the largest histogram amplitude value is used for the MTS transform set.

[0053] 1.7 Secondary Transformation: Low-Frequency Non-Separable Transform (LFNST) Extension with Large Kernel

[0054] The LFNST design in VVC is extended as follows:  ● The number of  LFNST sets (S) and candidates (C) are extended to S=35 and C=3, and the LFNST set (lfnstTrSetIdx) for a given intra mode (predModeIntra) is derived according to the following formula: ○ For predModeIntra < 2, lfnstTrSetIdx is equal to 2 ○ lfnstTrSetIdx = predModeIntra, for predModeIntra in [0, 34]  ○ lfnstTrSetIdx = 68 –predModeIntra, for predModeIntra in [35, 66]  ● Three different kernels, LFNST4, LFNST8, and LFNST16, are defined to indicate LFNST kernel sets, which are applied to 4xN / Nx4 (N≥4) , 8xN / Nx8 (N≥8) , and MxN (M, N≥16) , respectively.

[0055] The kernel dimensions are specified by: (LFNST4, LFNST8, LFNST16) = (16x16, 32x64, 32x96) . Table 1. Mapping of intra prediction modes to LFNST set index

[0056] For blocks using Matrix weighted Intra Prediction (MIP) or IntraTMP prediction, the LFNST set index is derived as follows. DIMD is used to derive the intra prediction mode of the current block based on the MIP or IntraTMP predicted samples. For MIP, this is done before upsampling. Specifically, a horizontal gradient and a vertical gradient are calculated for each predicted sample to build a HoG, as shown in Fig. 5. Then the intra prediction mode with the largest histogram amplitude value is used to determine the LFNST transform set and LFNST Transpose flag.

[0057] 1.8 Non-Separable Primary Transform (NSPT) for Intra Coding

[0058] All NSPTs consist of 35 sets and 3 candidates (similar to the current LFNST) . The kernels of NSPTs have the following shapes: ● NSPT4x4: 16x16 ● NSPT4x8 / NSPT8x4: 32x20 · NSPT8x8: 64x32 · NSPT4x16 / NSPT16x4: 64x24 · NSPT8x16 / NSPT16x8: 128x40 · NSPT4x32 / NSPT32x4: 128x20 · NSPT8x32 / NSPT32x8: 256x24

[0059] Therefore, 12, 32, 40 and 88 coefficients are zeroed-out using NSPT4x8 / NSPT8x4, NSPT8x8, NSPT4x16 / NSPT16x4 and NSPT8x16 / NSPT16x8 respectively. For NSPT4x32 / NSPT32x4 and NSPT8x32 / NSPT32x8, remaining 108 and 232 positions in each transform block are zeroed-out, respectively.

[0060] 1.9 Inter prediction overview

[0061] For each inter-predicted CU, motion parameters consist of motion vectors, reference picture indices and reference picture list usage index, and additional information needed for the new coding feature of VVC to be used for inter-predicted sample generation. The motion parameters can be signalled in an explicit or implicit manner. When a CU is coded with skip mode, the CU is associated with one PU and has no significant residual coefficients, no coded motion vector delta nor reference picture index. A merge mode is specified whereby the motion parameters for the current CU are obtained from neighbouring CUs, including spatial and temporal candidates, and additional schedules introduced in VVC. The merge mode can be applied to any inter-predicted CU, not only for skip mode. The alternative to merge mode is the explicit transmission of motion parameters, where motion vector, corresponding reference picture index for each reference picture list and reference picture list usage flag and other needed information are signalled explicitly per each CU. More details can be found in JVET-T2002.

[0062] Beyond the inter coding features in HEVC, VVC includes a number of new and refined inter prediction coding tools listed as follows: – Extended merge prediction – Merge mode with MVD (MMVD) – Symmetric MVD (SMVD) signalling – Affine motion compensated prediction – Subblock-based temporal motion vector prediction (SbTMVP) – Adaptive motion vector resolution (AMVR) – Motion field storage: 1 / 16th luma sample MV storage and 8x8 motion field compression – Bi-prediction with CU-level weight (BCW) – Bi-directional optical flow (BDOF) – Decoder side motion vector refinement (DMVR) – Geometric partitioning mode (GPM) – Combined inter and intra prediction (CIIP)

[0063] 1.10 Combined Inter and Intra Prediction (CIIP)

[0064] In VVC, when a CU is coded in merge mode, if the CU contains at least 64 luma samples (that is, CU width times CU height is equal to or larger than 64) , and if both CU width and CU height are less than 128 luma samples, an additional flag is signalled to indicate if the combined inter / intra prediction (CIIP) mode is applied to the current CU. As its name indicates, the CIIP prediction combines an inter prediction signal with an intra prediction signal. The inter prediction signal in the CIIP mode Pinter is derived using the same inter prediction process applied to regular merge mode; and the intra prediction signal Pintra is derived following the regular intra prediction process with the planar mode. Then, the intra and inter prediction signals are combined using weighted averaging, where the weight value is calculated depending on the coding modes of the top and left neighbouring blocks (depicted in Fig. 6) as follows: – If the top neighbour is available and intra coded, then set isIntraTop to 1, otherwise set isIntraTop to 0; – If the left neighbour is available and intra coded, then set isIntraLeft to 1, otherwise set isIntraLeft to 0; – If (isIntraLeft + isIntraTop) is equal to 2, then wt is set to 3; – Otherwise, if (isIntraLeft + isIntraTop) is equal to 1, then wt is set to 2; – Otherwise, set wt to 1.

[0065] The CIIP prediction is formed as follows: PCIIP=( (4-wt) *Pinter+wt*Pintra+2)＞＞2

[0066] 1.10.1 Improvements of CIIP

[0067] Some techniques to improve CIIP are disclosed in JVET-AI2025. The techniques of subblock CIIP and combination of CIIP with TIMD and TM merge are briefly reviewed as follow.

[0068] 1.10.1.1 Subblock CIIP

[0069] A subblock-based merge candidate may be used to generate the inter signal of CIIP, where the same subblock-based merge candidate list used by affine and SbTMVP is utilized.

[0070] When CIIP flag is true and CIIP-TM flag is false, a subblock-based CIIP flag is signalled. If subblock-based CIIP flag is true, an index indicating specific candidate in the subblock-based merge list is signalled, and TIMD is used to generate intra signal by default thus no CIIP-PDPC flag signalled any more.

[0071] 1.10.1.2 Combination of CIIP with TIMD and TM merge

[0072] In CIIP mode, the prediction samples are generated by weighting an inter prediction signal predicted using CIIP-TM (template matching) merge candidate and an intra prediction signal predicted using TIMD derived intra prediction mode. The method is only applied to coding blocks with an area less than or equal to 1024.

[0073] The TIMD derivation method is used to derive the intra prediction mode in CIIP. Specifically, the intra prediction mode with the smallest SATD values in the TIMD mode list is selected and mapped to one of the 67 regular intra prediction modes.

[0074] In addition, it is also proposed to modify the weights (wIntra, wInter) for the two tests if the derived intra prediction mode is an angular mode. For near-horizontal modes (2 <= angular mode index < 34) , the current block is vertically divided as shown in Fig. 7A; for near-vertical modes (34 <= angular mode index <= 66) , the current block is horizontally divided as shown in Fig. 7B.

[0075] The (wIntra, wInter) for different sub-blocks are shown in Table 2. Table 2. The modified weights used for angular modes

[0076] With CIIP-TM, a CIIP-TM merge candidate list is built for the CIIP-TM mode. The merge candidates are refined by template matching. The CIIP-TM merge candidates are also reordered by the adaptive reordering of merge candidates (ARMC) method as regular merge candidates. The maximum number of CIIP-TM merge candidates is equal to two.

[0077] 1.11 GPM with Inter and Intra Prediction

[0078] In GPM with inter and intra prediction (or called as GPM-intra) , the final prediction samples are generated by weighting inter predicted samples and intra predicted samples for each GPM-separated region. The inter predicted samples are derived by inter GPM whereas the intra predicted samples are derived by an intra prediction mode (IPM) candidate list and an index signalled from the encoder. The IPM candidate list size is pre-defined as 3. The available IPM candidates are the parallel angular mode against the GPM block boundary (Parallel mode) , the perpendicular angular mode against the GPM block boundary (Perpendicular mode) , and the Planar mode as shown in Figs. 8A-C, respectively. Furthermore, GPM with intra and intra prediction as shown in Fig. 8D is restricted to reduce the signalling overhead for IPMs and avoid an increase in the size of the intra prediction circuit on the hardware decoder. In addition, a direct motion vector and IPM storage on the GPM-blending area is introduced to further improve the coding performance. More details can be found in JVET-AI2025.

[0079] GPM-intra can be combined with GPM with merge with motion vector difference (GPM-MMVD) . TIMD is used for IPM candidates of GPM-intra to further improve the coding performance. The Parallel mode can be registered first, then IPM candidates of TIMD, DIMD, and neighbouring blocks.

[0080] 1.12 Intra Block Copy (IBC)

[0081] Intra block copy (IBC) is a tool adopted in HEVC extensions on Screen Content Coding (SCC) . It is well known that it significantly improves the coding efficiency of screen content materials. Since IBC mode is implemented as a block level coding mode, block matching (BM) is performed at the encoder to find the optimal block vector (or motion vector) for each CU. Here, a block vector is used to indicate the displacement from the current block to a reference block, which is already reconstructed inside the current picture. An IBC-coded CU is treated as the third prediction mode other than intra or inter prediction modes. The IBC mode is applicable to the CUs with both width and height smaller than or equal to 64 luma samples.

[0082] 1.13 Combined Intra Block Copy and Intra Prediction

[0083] Combined intra block copy and intra prediction (IBC-CIIP) is a coding tool for a CU which uses IBC and intra prediction to obtain two prediction signals, and the two prediction signals are weighted summed to generate the final prediction as follows: P=(wibc*Pibc+ ( (1<<shift) -wibc) *Pintra+ (1＜＜ (shift-1) ) ) >>shiftwherein Pibc and Pintra denote the IBC prediction signal and intra prediction signal. (wibc, shift) are set equal to (13, 4) and (1, 1) for IBC merge mode and IBC advanced MVP (AMVP) mode.

[0084] An intra prediction mode (IPM) candidate list is used to generate the intra prediction signal, and the IPM candidate list size is pre-defined as 2. An IPM index is signalled to indicate which IPM is used. More details can be found in JVET-AI2025.

[0085] 2. PROPOSED METHOD

[0086] In this invention, several aspects are proposed to improve combined prediction, which is formed by using one or more hypotheses of intra prediction and one or more hypotheses of inter motion compensated prediction with blending weighting.

[0087] For example, the target coding tool which uses the combined prediction as the final prediction of the current block is (but not limited to) CIIP.

[0088] For another example, the target coding tool which uses the combined prediction as the final prediction of the current block is (but not limited to) IBC-CIIP. When IBC-CIIP is applied to the current block, the inter motion compensated prediction is intra block copy prediction instead.

[0089] For another example, the target coding tool which uses the combined prediction as the final prediction of the current block is (but not limited to) GPM-intra.

[0090] Aspect 1 to Aspect 3 provide methods to derive the one or more intra prediction modes used for generating the one or more hypotheses of intra prediction.

[0091] In one embodiment, instead of (1) using the conventional TIMD derivation method to derive the intra prediction mode (TIMD mode) or (2) using the IPM candidate list and the signalled index to get the IPM to generate the intra prediction for the combined prediction, the derived intra prediction mode using Aspect 1, Aspect 2, and / or Aspect 3 can be used to generate the intra prediction for the combined prediction.

[0092] In one sub-embodiment, when the target coding tool is determined to be applied to the current block, the derived one or more intra prediction modes using Aspect 1, Aspect 2, and / or Aspect 3 are used to generate the one or more hypotheses of intra prediction, respectively.

[0093] For example, the TIMD mode used to generate the intra prediction for the combined prediction is replaced with the proposed derived intra prediction mode using Aspect 1, Aspect 2, and / or Aspect 3. This example may refer to the target coding tool being CIIP.

[0094] For another example, the indicated IPM used to generate the intra prediction for the combined prediction is replaced with the proposed derived intra prediction mode using Aspect 1, Aspect 2, and / or Aspect 3. This example may refer to the target coding tool being IBC-CIIP or GPM-intra.

[0095] When only one hypothesis of intra prediction is used for the combined prediction, only one derived intra prediction mode using Aspect 1, Aspect 2, and / or Aspect 3 is used / derived.

[0096] In another sub-embodiment, when the target coding tool is determined to be applied to the current block, several options are defined to get the intra prediction mode (using each option) for the intra prediction in the combined prediction.

[0097] For example, one option is to use the conventional method to get the intra prediction mode (the TIMD mode) for the intra prediction in the combined prediction. Another option is to use the derived intra prediction mode using Aspect 1, Aspect 2, and / or Aspect 3 for the intra prediction in the combined prediction. To determine which option is used to get the intra prediction mode for the intra prediction in the combined prediction for the current block, an index is signalled to indicate the selected option for the current block coding using the target coding tool. This example may refer to the target coding tool being CIIP.

[0098] For another example, one option is to use the conventional method to get the intra prediction mode (the indicated IPM) for the intra prediction in the combined prediction. Another option is to use the derived intra prediction mode using Aspect 1, Aspect 2, and / or Aspect 3 for the intra prediction in the combined prediction. To determine which option is used to get the intra prediction mode for the intra prediction in the combined prediction for the current block, an index is signalled to indicate the selected option for the current block coding using the target coding tool. This example may refer to the target coding tool being IBC-CIIP or GPM-intra.

[0099] When only one hypothesis of intra prediction is used for the combined prediction, only one derived intra prediction mode using Aspect 1, Aspect 2, and / or Aspect 3 is used / derived.

[0100] In another embodiment, the one or more derived intra prediction modes using Aspect 1, Aspect 2, and / or Aspect 3 can be added into the candidate intra prediction modes for the combined prediction.

[0101] For example, the target coding tool employs the TIMD mode list (containing intra prediction modes) as the candidate intra prediction modes and the derived intra prediction modes using Aspect 1, Aspect 2, and / or Aspect 3 can be added into the TIMD mode list as candidates. The intra prediction mode with the smallest SATD values in the TIMD mode list is used to generate the intra prediction for the combined prediction. This example may refer to the target coding tool being CIIP.

[0102] For example, the target coding tool employs the IPM candidate list (containing intra prediction modes) as the candidate intra prediction modes and the derived intra prediction modes using Aspect 1, Aspect 2, and / or Aspect 3 can be added into the IPM candidate list as candidates. The intra prediction mode indicated by the IPM index is used to generate the intra prediction for the combined prediction. This example may refer to the target coding tool being IBC-CIIP or GPM-intra.

[0103] In another embodiment, several options of intra prediction modes are available for the current block depending on different proposed methods in Aspect 1 to Aspect 3.

[0104] In one sub-embodiment, to determine which option of intra prediction mode is used to get the intra prediction mode for the intra prediction in the combined prediction for the current block, an index is signalled to indicate the selected option for the current block coding using the target coding tool.

[0105] In another sub-embodiment, to determine which option of intra prediction mode is used to get the intra prediction mode for the intra prediction in the combined prediction for the current block, an implicit rule is designed to indicate the selected option for the current block coding using the target coding tool. For example, the implicit rule depends on the motion information of the current block, any coding mode information of the current block, the neighbouring block, or the reference block, and / or the block width, block height, block area of the current block, the neighbouring block, or the reference block.

[0106] Aspect 4 specifies the one or more derived intra prediction modes can be used in the following process of the current block and / or the subsequent blocks.

[0107] In the following sections, the embodiments / examples are described to treat the combined prediction formed by intra prediction and inter motion compensated prediction. However, it is not a limitation to the proposed methods. The proposed methods may be applied when the combined prediction is formed by intra prediction and intra block copy prediction.

[0108] 2.1 Aspect 1: Intra Prediction Mode Derivation Based on the Inter Motion Compensated Prediction

[0109] The derivation process is (but not limited to) texture gradient analysis. As the texture gradient analysis used in DIMD, the derivation process is performed on the target samples specified in Aspect 1. This process starts with an empty HoG with N entries. Each entry corresponds to an available intra prediction mode. N is set depending on the number of available intra prediction modes. In the first step, the target samples are determined for the current block and in the second step, the amplitude of each entry is calculated.

[0110] In the first step, the derivation process is determined to be performed on the specified target samples.

[0111] In the second step, the derivation process employs (but not limited to) the horizontal and vertical Sobel filters to apply 3×3 window to all or any subset of the target samples. Similar to or unified with DIMD, on each window position, Sobel filters are used to calculate the intensity of horizontal and vertical directions to determine the intra prediction mode index of current window, and the amplitude of this entry (for the determined intra prediction mode index) in the HoG is updated by addition of the amplitude from the intensity of horizontal and vertical directions.

[0112] In one embodiment, the intra prediction mode is derived based on the inter motion compensated prediction for the current block. That is, the target samples contain or only contain all or any subset of the inter motion compensated prediction for the current block.

[0113] Following the motion information used to generate the inter motion compensated prediction, - if the motion information is uni-direction (either List-0 or List-1) , the inter motion compensated prediction is generated by referencing the reconstructed samples of the reference block in the reference picture associated with either List-0 or List-1, and then those referenced samples are used as the inter motion compensated prediction for deriving the intra prediction mode for the current block. - if the motion information is bi-direction, the inter motion compensated prediction is generated using (1) referencing the reconstructed samples of the reference block in the reference picture associated with List-0 (2) referencing the reconstructed samples of the reference block in the reference picture associated with List-1 and (3) averaging those referenced samples from (1) and (2) with weighting, and then (3) is used as the inter motion compensated prediction for deriving the intra prediction mode for the current block.

[0114] In another embodiment, the intra prediction mode is derived based on the inter motion compensated prediction associated with uni-direction for the current block. That is, the target samples contain or only contain all or any subset of the inter motion compensated prediction associated with uni-direction for the current block.

[0115] In another embodiment, the intra prediction mode is derived based on the inter motion compensated prediction associated with bi-direction for the current block. That is, the target samples contain or only contain all or any subset of the inter motion compensated prediction associated with bi-direction for the current block.

[0116] In another embodiment, the intra prediction mode is derived based on the inter motion compensated prediction associated with one partition of the current block. That is, the target samples contain or only contain all or any subset of the inter motion compensated prediction associated with one partition of the current block. This embodiment may be applied when the target coding tool is GPM-intra.

[0117] In another embodiment, when the target samples can be determined in different ways, several options of intra prediction modes are available for the current block.

[0118] For example, one intra prediction mode is derived based on the inter motion compensated prediction associated with bi-direction for the current block. That is, the target samples contain or only contain all or any subset of the inter motion compensated prediction associated with bi-direction for the current block. Another intra prediction mode is derived based on the inter motion compensated prediction associated with uni-direction (List-0) for the current block. That is, the target samples contain or only contain all or any subset of the inter motion compensated prediction associated with uni-direction (List-0) for the current block. Another intra prediction mode is derived based on the inter motion compensated prediction associated with uni-direction (List-1) for the current block. That is, the target samples contain or only contain all or any subset of the inter motion compensated prediction associated with uni-direction (List-1) for the current block.

[0119] Aspect 2: Intra Prediction Mode Derivation based on Mode Information in the One or More Reference Blocks

[0120] The derivation process is (but not limited to) to reference the intra prediction mode information stored in or associated with the reference block (or the reference position) . For example, if the reference block is intra-coded, the intra prediction mode coding the reference block can be used as the intra prediction mode for the intra prediction in the combined prediction for the current block. For example, if the reference block contains intra prediction mode information, the intra prediction mode associated with the reference block can be used as the intra prediction mode for the intra prediction in the combined prediction for the current block. In one case, the intra prediction mode associated with the reference block is the DIMD mode which is used to derive the intra prediction mode of the reference block based on the predicted samples of the reference block and / or is used to select the transform set for the reference block. The following proposed methods can be used to find the reference block or can be used to find the reference position. For example, when finding the reference position, the reference block and the target block in the embodiments can be replaced with the reference position and the target position, respectively.

[0121] In one embodiment, the reference block is indicated using the motion information of the current block.

[0122] Some examples following the motion information used to generate the inter motion compensated prediction are shown below. - If the motion information is uni-direction (either List-0 or List-1) , the reference block in the reference picture associated with either List-0 or List-1 is indicated by the uni-direction motion information, and then the intra prediction mode associated with the reference block is used to derive the intra prediction mode for the intra prediction in the combined prediction for the current block. - If the motion information is bi-direction, the reference block in the reference picture associated with List-0 or List-1 is indicated by List-0 or List-1 motion associated with the bi-direction motion information, and then the intra prediction mode associated with the reference block is used to derive the intra prediction mode for the intra prediction in the combined prediction for the current block. For example, the first reference block associated with one List is checked first, and if the intra prediction mode associated with the first reference block is not available (such as not promising or not satisfied with some predefined rules) , the second reference block associated with the other List is checked.

[0123] In another embodiment, the reference block is the target block derived based on the motion information of the current block. For example, the reference block is the target block spatially adjacent to or non-adjacent to the block indicated by the motion information of the current block. For example, the reference block can be any pre-defined position in the block indicated by the motion information of the current block.

[0124] In another embodiment, the reference block is the target block spatially adjacent to or non-adjacent to the current block. For example, the reference block is covered in the template region (neighbouring region) of the current block.

[0125] In another embodiment, when the reference blocks can be determined in different ways, several options of intra prediction modes are available for the current block.

[0126] For example, one intra prediction mode is derived based on the reference block associated with List-0 motion for the current block. Another intra prediction mode is derived based on the reference block associated with List-1 motion for the current block. Another intra prediction mode is derived based on the reference block spatially adjacent to or non-adjacent to the block indicated by the motion information of the current block. Another intra prediction mode is derived based on a pre-defined position in the block indicated by the motion information of the current block. Another intra prediction mode is derived based on the reference block spatially adjacent to or non-adjacent to the current block.

[0127] 2.3 Aspect 3: Intra Prediction Mode Derivation Based on Predicted or Reconstructed Samples of One or More Reference Blocks

[0128] The derivation process is (but not limited to) texture gradient analysis. As the texture gradient analysis used in DIMD, the derivation process is performed on the target samples specified in Aspect 3. The target samples specified in Aspect 3 refer to or are based on all or any subset of the predicted or reconstructed samples of the indicated reference block.

[0129] In one embodiment, the reference block is indicated using the motion information of the current block.

[0130] Some examples following the motion information used to generate the inter motion compensated prediction are shown below: - If the motion information is uni-direction (either List-0 or List-1) , the reference block in the reference picture associated with either List-0 or List-1 is indicated by the uni-direction motion information. - If the motion information is bi-direction, the reference block in the reference picture associated with List-0 or List-1 is indicated by List-0 or List-1 motion associated with the bi-direction motion information. For example, the first reference block associated with one List is checked first, and if the first reference block is not available (such as not promising or not satisfied with some predefined rules) , the second reference block associated with the other List is checked.

[0131] In another embodiment, the reference block is the target block derived based on the motion information of the current block. For example, the reference block is the target block spatially adjacent to or non-adjacent to the block indicated by the motion information of the current block.

[0132] In another embodiment, the reference block is the L-shape (or any subset of the L-shape) spatially adjacent to or non-adjacent to the current block. For example, the reference block is covered in the template region (L-shape neighbouring region) of the current block. In one case, this embodiment uses the one or more intra prediction modes (with tallest histogram bars) as the DIMD mode derivation to be the one or more intra prediction modes which will be used to generate the intra prediction for the combined prediction.

[0133] In another embodiment, when the reference blocks can be determined in different ways, several options of intra prediction modes are available for the current block.

[0134] For example, one intra prediction mode is derived based on the reference block associated with List-0 motion for the current block. Another intra prediction mode is derived based on the reference block associated with List-1 motion for the current block. Another intra prediction mode is derived based on the reference block spatially adjacent to or non-adjacent to the block indicated by the motion information of the current block. Another intra prediction mode is derived based on the reference block spatially adjacent to or non-adjacent to the current block.

[0135] 2.4 Aspect 4: Usage of Derived One or More Intra Prediction Modes

[0136] The one or more derived intra prediction modes are used to generate the one or more hypotheses of intra prediction in the combined prediction. In addition, the derived intra prediction mode can be used in the proposed methods in the following embodiments.

[0137] In one embodiment, the derived intra prediction mode can be used for the transform selection for the current block. For example, the transform may refer to any separable or non-separable primary transform. In one case, the transform is MTS. In another case, the transform is NSPT. For example, the transform may refer to any separable or non-separable secondary transform. In one case, the transform is LFNST.

[0138] In another embodiment, the derived intra prediction mode can be stored for the current block and / or can be referenced by the subsequent coding blocks. For example, the derived intra prediction mode can be added into the intra MPM list or any merge list associated with intra prediction modes for the subsequent coding blocks during the list construction for the subsequent coding blocks.

[0139] The proposed methods in this invention can be enabled and / or disabled according to implicit rules (e.g. block width, height, or area) or according to explicit rules (e.g. syntax on block, tile, slice, picture, SPS, or PPS level) . For example, the proposed method is applied when the block area is smaller / larger than a threshold.

[0140] The term “block” in this invention can refer to TU / TB, CU / CB, PU / PB, pre-defined region, or CTU / CTB.

[0141] Any combination of the proposed methods in this invention can be applied.

[0142] The proposed methods in this invention can be applied to any combined prediction tools such as any CIIP variations.

[0143] Any of the foregoing proposed methods of deriving combined prediction by using one or more hypotheses of intra prediction and one or more hypotheses of inter motion compensated prediction with blending weighting can be implemented in encoders and / or decoders. For example, any of the proposed methods can be implemented in an inter / intra / IBC / prediction / transform module of an encoder, and / or an inter / intra / IBC / prediction / transform module of a decoder. Alternatively, any of the proposed methods can be implemented as a circuit coupled to the inter / intra / IBC / prediction / transform module of the encoder and / or the inter / intra / IBC / prediction / transform module of the decoder, so as to provide the information needed by the inter / intra / IBC / prediction / transform module.

[0144] The proposed aspects, methods and related embodiments can be implemented individually or jointly in an image and video coding system. For example, the proposed methods as described above can be implemented in an encoder side or a decoder side with reference to Fig. 1A and Fig. 1B. For example, any of the proposed methods can be implemented in an Intra / Inter coding module (e.g. Intra Pred. 150 / MC 152 in Fig. 1B) in a decoder or an Intra / Inter coding module in an encoder (e.g. Intra Pred. 110 / Inter Pred. 112 in Fig. 1A) . Any of the proposed method can also be implemented as circuits coupled to the intra coding module at the decoder or the encoder. However, the decoder or encoder may also use additional processing unit to implement the required processing. While the Intra / Inter Pred. units (e.g. units 110 / 112 in Fig. 1A and units 150 / 152 in Fig. 1B) are shown as individual processing units, they may correspond to executable software or firmware codes stored on a media, such as hard disk or flash memory, for a CPU (Central Processing Unit) or programmable devices (e.g. DSP (Digital Signal Processor) or FPGA (Field Programmable Gate Array) ) .

[0145] Fig. 9 illustrates a flowchart of an exemplary video coding system that derives combined prediction by using one or more hypotheses of intra prediction and one or more hypotheses of inter motion compensated prediction with blending weighting according to an embodiment of the present invention. The steps shown in the flowchart may be implemented as program codes executable on one or more processors (e.g., one or more CPUs) at the encoder side and / or the decoder side. The steps shown in the flowchart may also be implemented based on hardware such as one or more electronic devices or processors arranged to perform the steps in the flowchart. According to this method, input data associated with a current block is receiving in step 910, wherein the input data comprise pixel data for the current block to be encoded at an encoder side or coded data associated with the current block to be decoded at a decoder side. One or more hypotheses of inter motion compensated prediction are determined based on motion information in step 920. One or more hypotheses of intra prediction are determined in step 930, wherein one or more intra prediction modes associated with the intra prediction is derived associated with the motion information. Combined prediction is derived by combining said one or more hypotheses of the intra prediction and said one or more hypotheses of the inter motion compensated prediction with blending weighting in step 940. The current block is encoded or decoded using the combined prediction in step 950.

[0146] The flowchart shown is intended to illustrate an example of video coding according to the present invention. A person skilled in the art may modify each step, re-arranges the steps, split a step, or combine steps to practice the present invention without departing from the spirit of the present invention. In the disclosure, specific syntax and semantics have been used to illustrate examples to implement embodiments of the present invention. A skilled person may practice the present invention by substituting the syntax and semantics with equivalent syntax and semantics without departing from the spirit of the present invention.

[0147] The above description is presented to enable a person of ordinary skill in the art to practice the present invention as provided in the context of a particular application and its requirement. Various modifications to the described embodiments will be apparent to those with skill in the art, and the general principles defined herein may be applied to other embodiments. Therefore, the present invention is not intended to be limited to the particular embodiments shown and described, but is to be accorded the widest scope consistent with the principles and novel features herein disclosed. In the above detailed description, various specific details are illustrated in order to provide a thorough understanding of the present invention. Nevertheless, it will be understood by those skilled in the art that the present invention may be practiced.

[0148] Embodiment of the present invention as described above may be implemented in various hardware, software codes, or a combination of both. For example, an embodiment of the present invention can be one or more circuit circuits integrated into a video compression chip or program code integrated into video compression software to perform the processing described herein. An embodiment of the present invention may also be program code to be executed on a Digital Signal Processor (DSP) to perform the processing described herein. The invention may also involve a number of functions to be performed by a computer processor, a digital signal processor, a microprocessor, or field programmable gate array (FPGA) . These processors can be configured to perform particular tasks according to the invention, by executing machine-readable software code or firmware code that defines the particular methods embodied by the invention. The software code or firmware code may be developed in different programming languages and different formats or styles. The software code may also be compiled for different target platforms. However, different code formats, styles and languages of software codes and other means of configuring code to perform the tasks in accordance with the invention will not depart from the spirit and scope of the invention.

[0149] The invention may be embodied in other specific forms without departing from its spirit or essential characteristics. The described examples are to be considered in all respects only as illustrative and not restrictive. The scope of the invention is therefore, indicated by the appended claims rather than by the foregoing description. All changes which come within the meaning and range of equivalency of the claims are to be embraced within their scope.

Claims

1.A method of video coding, the method comprising:receiving input data associated with a current block, wherein the input data comprise pixel data for the current block to be encoded at an encoder side or coded data associated with the current block to be decoded at a decoder side;determining one or more hypotheses of inter motion compensated prediction based on motion information;determining one or more hypotheses of intra prediction, wherein one or more intra prediction modes associated with the intra prediction is derived associated with the motion information;deriving combined prediction by combining said one or more hypotheses of the intra prediction and said one or more hypotheses of the inter motion compensated prediction with blending weighting; andencoding or decoding the current block using the combined prediction.2.The method of Claim 1, wherein the combined prediction is used as final prediction for the current block coded in CIIP (Combined Inter and Intra Prediction) mode, IBC (Intra Block Copy) -CIIP mode or GPM (Geometric Partitioning Mode) -intra mode.3.The method of Claim 1, wherein texture gradient analysis is applied to target samples related to the inter motion compensated prediction to derive the one or more intra prediction modes from the inter motion compensated prediction.4.The method of Claim 3, wherein the target samples contain or only contain all or any subset of the inter motion compensated prediction for the current block.5.The method of Claim 1, wherein texture gradient analysis is applied to target samples related to the inter motion compensated prediction associated with uni-direction or bi-direction motion information for the current block.6.The method of Claim 3, wherein when the current block is coded in GPM-intra mode, the target samples correspond to one partition of the current block.7.The method of Claim 3, wherein the texture gradient analysis starts with an empty HoG (Histogram of Gradients) with N entries and each of the N entries corresponds to an available intra prediction mode, and wherein N is a positive integer depending on a number of available intra prediction modes.8.The method of Claim 7, wherein after the target samples are determined for the current block, amplitude of each entry is calculated.9.The method of Claim 1, wherein the one or more intra prediction modes are derived based on mode information in one or more reference blocks associated with the motion information.10.The method of Claim 9, wherein information of the one or more intra prediction modes are stored in or associated with said one or more reference blocks.11.The method of Claim 9, wherein when said one or more reference blocks are coded using a target intra prediction mode, the target intra prediction mode is used as at least one of the one or more intra prediction modes for the current block.12.The method of Claim 1, wherein the one or more intra prediction modes are derived based on predicted or reconstructed samples of one or more reference blocks associated with the motion information.13.The method of Claim 1, wherein at least one of the one or more intra prediction modes derived is used for transform selection for the current block.14.The method of Claim 1, wherein at least one of the one or more intra prediction modes derived is stored for the current block and / or referenced by one or more subsequent coding blocks.15.An apparatus for video coding, the apparatus comprising one or more electronics or processors arranged to:receive input data associated with a current block, wherein the input data comprise pixel data for the current block to be encoded at an encoder side or coded data associated with the current block to be decoded at a decoder side;determine one or more hypotheses of inter motion compensated prediction based on motion information;determine one or more hypotheses of intra prediction, wherein one or more intra prediction modes associated with the intra prediction is derived associated with the motion information;derive combined prediction by combining said one or more hypotheses of intra prediction and said one or more hypotheses of inter motion compensated prediction with blending weighting; andencode or decode the current block using the combined prediction.

Images