Methods and apparatus of intra merge mode for merged intra mode derivation

Abstract

A method and apparatus for video coding are disclosed. According to this method, input data associated with a current block is received, wherein the input data comprises pixel data to be encoded at an encoder side or coded data associated with the current block to be decoded at a decoder side. A merge candidate list is derived from one or more previous coded blocks, wherein the merge candidate list comprises one or more history candidates and / or one or more temporal candidates, and wherein said one or more previous coded blocks generate MIMD (Merged Intra Mode Derivation) information or has stored MIMD information. Inheritance information of MIMD is derived from the merge candidate list. Target prediction is generated for the current block by using the inheritance information of MIMD. The current block is encoded or decoded by using coding information comprising the target prediction.

Description

METHODS AND APPARATUS OF INTRA MERGE MODE FOR MERGED INTRA MODE DERIVATIONCROSS REFERENCE TO RELATED APPLICATIONS

[0001] The present invention is a non-Provisional Application of and claims priority to U.S. Provisional Patent Application No. 63 / 550,682, filed on February 7, 2024. The U.S. Provisional Patent Application is hereby incorporated by reference in its entirety.FIELD OF THE INVENTION

[0002] The present invention relates to video coding system. In particular, the present invention relates to the inheritance information from a previous coded block in a video coding system, where the previous coded block generates the MIMD (Merged Intra Mode Derivation) inheritance information and / or stores the MIMD inheritance information. BACKGROUND AND RELATED ART

[0003] Versatile video coding (VVC) is the latest international video coding standard developed by the Joint Video Experts Team (JVET) of the ITU-T Video Coding Experts Group (VCEG) and the ISO / IEC Moving Picture Experts Group (MPEG) . The standard has been published as an ISO standard: ISO / IEC 23090-3: 2021, Information technology -Coded representation of immersive media -Part 3: Versatile video coding, published Feb. 2021. VVC is developed based on its predecessor HEVC (High Efficiency Video Coding) by adding more coding tools to improve coding efficiency and also to handle various types of video sources including 3-dimensional (3D) video signals.

[0004] Fig. 1A illustrates an exemplary adaptive Inter / Intra video encoding system incorporating loop processing. For Intra Prediction 110, the prediction data is derived based on previously coded video data in the current picture. For Inter Prediction 112, Motion Estimation (ME) is performed at the encoder side and Motion Compensation (MC) is performed based on the result of ME to provide prediction data derived from other picture (s) and motion data. Switch 114 selects Intra Prediction 110 or Inter Prediction 112 and the selected prediction data is supplied to Adder 116 to form prediction errors, also called residues. The prediction error is then processed by Transform (T) 118 followed by Quantization (Q) 120. The transformed and quantized residues are then coded by Entropy Encoder 122 to be included in a video bitstream corresponding to the compressed video data. The bitstream associated with the transform coefficients is then packed with side information such as motion and coding modes associated with Intra prediction and Inter prediction, and other information such as parameters associated with loop filters applied to underlying image area. The side information associated with Intra Prediction 110, Inter prediction 112 and in-loop filter 130, is provided to Entropy Encoder 122 as shown in Fig. 1A. When an Inter-prediction mode is used, a reference picture or pictures have to be reconstructed at the encoder end as well. Consequently, the transformed and quantized residues are processed by Inverse Quantization (IQ) 124 and Inverse Transformation (IT) 126 to recover the residues. The residues are then added back to prediction data 136 at Reconstruction (REC) 128 to reconstruct video data. The reconstructed video data may be stored in Reference Picture Buffer 134 and used for prediction of other frames.

[0005] As shown in Fig. 1A, incoming video data undergoes a series of processing in the encoding system. The reconstructed video data from REC 128 may be subject to various impairments due to a series of processing. Accordingly, in-loop filter 130 is often applied to the reconstructed video data before the reconstructed video data are stored in the Reference Picture Buffer 134 in order to improve video quality. For example, deblocking filter (DF) , Sample Adaptive Offset (SAO) and Adaptive Loop Filter (ALF) may be used. The loop filter information may need to be incorporated in the bitstream so that a decoder can properly recover the required information. Therefore, loop filter information is also provided to Entropy Encoder 122 for incorporation into the bitstream. In Fig. 1A, Loop filter 130 is applied to the reconstructed video before the reconstructed samples are stored in the reference picture buffer 134. The system in Fig. 1A is intended to illustrate an exemplary structure of a typical video encoder. It may correspond to the High Efficiency Video Coding (HEVC) system, VP8, VP9, H. 264 or VVC.

[0006] The decoder, as shown in Fig. 1B, can use similar or portion of the same functional blocks as the encoder except for Transform 118 and Quantization 120 since the decoder only needs Inverse Quantization 124 and Inverse Transform 126. Instead of Entropy Encoder 122, the decoder uses an Entropy Decoder 140 to decode the video bitstream into quantized transform coefficients and needed coding information (e.g. ILPF information, Intra prediction information and Inter prediction information) . The Intra prediction 150 at the decoder side does not need to perform the mode search. Instead, the decoder only needs to generate Intra prediction according to Intra prediction information received from the Entropy Decoder 140. Furthermore, for Inter prediction, the decoder only needs to perform motion compensation (MC 152) according to Inter prediction information received from the Entropy Decoder 140 without the need for motion estimation.

[0007] I. RELATED ART

[0008] I. 1 Intra Mode Coding with 67 Intra Prediction Modes

[0009] To capture the arbitrary edge directions presented in natural video, the number of directional intra modes in VVC is extended from 33, as used in HEVC, to 65.

[0010] In VVC, several conventional angular intra prediction modes are adaptively replaced with wide-angle intra prediction modes for the non-square blocks.

[0011] I. 2 Intra Mode Coding

[0012] To keep the complexity of the most probable mode (MPM) list generation low, an intra mode coding method with 6 MPMs (or called primary MPMs) is used by considering two available neighbouring intra modes.

[0013] I. 3 Decoder Side Intra Mode Derivation (DIMD)

[0014] When DIMD is applied, two intra modes are derived from the reconstructed neighbour samples (template) , and those two predictors are combined with the planar mode predictor with the weights derived from the gradients. The DIMD mode is used as an alternative prediction mode and is always checked in the high-complexity RDO mode.

[0015] To implicitly derive the intra prediction modes of a block, a texture gradient analysis is performed at both encoder and decoder sides. This process starts with an empty Histogram of Gradient (HoG) with 65 entries, corresponding to the 65 angular modes. Amplitudes of these entries are determined during the texture gradient analysis.

[0016] Figs. 2A-C show an example of HoG, calculated after applying the above operations on all pixel positions in the template. Fig. 2A illustrates an example of selected template 220 for a current block 210. Template 220 comprises T lines above the current block and T columns to the left of the current block. For intra prediction of the current block, the area 230 at the above and left of the current block corresponds to a reconstructed area and the area 240 below and at the right of the block corresponds to an unavailable area. Fig. 2B illustrates an example for T=3 and the HoGs are calculated for pixels 260 in the middle line and pixels 262 in the middle column. For example, for pixel 252, a 3x3 window 250 is used. Fig. 2C illustrates an example of the amplitudes (ampl) calculated for the angular intra prediction modes.

[0017] I. 4 Template-based Intra Mode Derivation (TIMD)

[0018] Template-based intra mode derivation (TIMD) mode implicitly derives the intra prediction mode of a CU by a neighbouring template at both the encoder and decoder, instead of signalling intra prediction mode bits to the decoder. The prediction samples of the template are generated using the reference samples of the template for each candidate mode. A cost is calculated as the SATD between the prediction and the reconstruction samples of the template. First two intra prediction modes with the minimum SATD are selected as the TIMD modes. These two TIMD modes are fused with weights after applying PDPC process, and such weighted intra prediction is used to code the current CU.

[0019] I. 5 Extrapolation Filter-Based Intra Prediction (EIP) Mode

[0020] The EIP mode is disclosed in JVET-AF0080. The EIP mode is briefly reviewed as follows.

[0021] I. 5.1 Obtaining the EIP Filter

[0022] Three EIP filter shapes are proposed in this method.

[0023] I. 5.1.1 Derivation of EIP Coefficients (EIP Derived Modes)

[0024] The decoder decodes the relevant syntax elements to determine the selected type of reconstructed area and the filter shape for the current block. The selected filter moves in the selected reconstructed area either horizontally or vertically with a one-pixel step to construct the auto-correlation matrix and the cross-correlation vector. The calculation of coefficients from the auto-correlation matrix and the cross-correlation vector is the same as that in Convolutional Cross-Component Model (CCCM) .

[0025] I. 5.1.2 Inheritance of the EIP filters (EIP merge modes)

[0026] The filter shape and the filter coefficients can be inherited from previous decoded blocks with EIP or EIP merge mode.

[0027] I. 5.2 Prediction of the Current Block

[0028] The EIP mode generates prediction values for the current block from the top-left position to the bottom-right position by a diagonal prediction order.

[0029] The calculation for the prediction values in this contribution is shown as follows: where pred (x, y) is the predicted value at (x, y) in the current block, ci is the ith coefficient of the selected  EIP filter, the index of the coefficients is from 0 to 14,   is a reconstructed or a predicted value used for the current position’s prediction. offsetXi and offsetYi are the position offsets to the current position along x and y directions, respectively.

[0030] I. 6 Inter Prediction

[0031] In JVET-T2002 document, the algorithm for Versatile Video Coding (VVC) and Test Model 11 (VTM 11) are described. The inter prediction for VVC is briefly described as follows.

[0032] I. 6.1 Spatial Candidate Derivation

[0033] Spatial merge candidates are selected among candidates located in the positions depicted in Fig. 3.

[0034] I. 6.2 Non-adjacent Spatial Candidate

[0035] The pattern of spatial non-adjacent merge candidates is shown in Fig. 4. The distances between non-adjacent spatial candidates and current coding block are based on the width and height of current coding block.

[0036] I. 7 Intra-prediction Using Merged Histogram of Gradients

[0037] In JVET-AG0078, it proposes to add a new intra prediction mode, referred to as Merged Intra Mode Derivation (MIMD) , based on the computation of a Merged Histogram of Gradients (MHoG) . Similar to DIMD, up to five MIMD modes are derived from the MHoG and are then blended together. The derivation of the modes and blending weights follows the same process to derive DIMD modes and blending weights from the HoG. But differently than DIMD, the MHoG is not computed directly analysing the template samples, but rather is computed based on information extracted from neighbouring blocks. More details can be found in JVET-AG0078.

[0038] In particular, a number of N neighbouring blocks is considered. A neighbouring block is considered if it is encoded with at least one directional intra-prediction mode. Hi (m) refers to the amplitude of directional mode m in the HoG, where m can take values from 0 to M where M is the maximum number of intra-prediction modes. A normalisation process can be used when considering Hi.

[0039] Then, the MHoG can be computed using all the HoGs extracted from available neighbouring blocks as:

[0040] Finally, the MHoG is used to compute MIMD modes and weights. The directional modes and their weights corresponding to the five highest amplitudes in the MHoG are selected as directional modes and weights for MIMD.

[0041] I. 9 Occurrence-Based Intra Coding (OBIC)

[0042] In JVET-AG0078, the Occurrence-based intra coding (OBIC) method is disclosed which derives the intra prediction modes of the current block based on the sample-wise occurrence of the intra modes in the spatial neighbourhood of the block. For this, adjacent and non-adjacent spatial neighbouring blocks are checked and the intra prediction modes of the blocks are collected into an occurrence histogram. Instead of Histogram of Gradient (HoG) as in DIMD, the OBIC introduces the Histogram of oCcurrence (HoC) , which consists of the intra modes and their sample-wise occurrences. The occurrence values are calculated based on the number of samples that are coded in a certain intra prediction mode in that neighbourhood. For example, if a uiWidth × uiHeight block is coded with an IPM mode, the occurrence of the mode in that particular block is calculated as: HoC [IPM] += uiWidth *uiHeight; where uiWidth and uiHeight are the width and height of a spatial neighbouring block.

[0043] The occurrences of the existing modes from the spatial neighbourhood blocks are accumulated into the histogram.

[0044] Up to 5 angular modes with the highest occurrence along with the planar mode are selected from the HoC and used for final prediction by blending the prediction of the selected modes.

[0045] The blending weights are calculated similar to the DIMD mode, but instead of using gradient values from the template, the occurrence values are used for OBIC. Moreover, the planar mode’s weight is also decided similarly to DIMD mode.

[0046] In the present invention, methods and apparatus to use inheritance information from a previous coded block are disclosed, where the previous coded block generates the MIMD (Merged Intra Mode Derivation) inheritance information and / or stores the MIMD inheritance information. BRIEF SUMMARY OF THE INVENTION

[0047] A method and apparatus for video coding are disclosed. According to this method, input data associated with a current block is received, wherein the input data comprises pixel data to be encoded at an encoder side or coded data associated with the current block to be decoded at a decoder side. A merge candidate list is derived from one or more previous coded blocks, wherein the merge candidate list comprises one or more history candidates and / or one or more temporal candidates, and wherein said one or more previous coded blocks generate MIMD (Merged Intra Mode Derivation) information or has stored MIMD information. Inheritance information of MIMD is derived from the merge candidate list. Target prediction is generated for the current block by using the inheritance information of MIMD. The current block is encoded or decoded by using coding information comprising the target prediction.

[0048] In one embodiment, the inheritance information of MIMD from said one or more previous coded blocks is referenced by one or more subsequent blocks.

[0049] In one embodiment, the inheritance information of MIMD from said one or more previous coded blocks comprises one or more histogram of gradient values or one or more histogram of occurrence values for one or more available intra prediction modes. In another embodiment, the inheritance information of MIMD from said one or more previous coded blocks comprises N intra prediction modes as suggested by histogram values. In yet another embodiment, the inheritance information of MIMD from said one or more previous coded blocks comprises weighting information and / or whether to apply fusion or not.

[0050] In one embodiment, the merge candidate list includes one or more spatial adjacent candidates, one or more non-adjacent candidates, one or more default candidates, or any combination thereof.

[0051] In one embodiment, when a new candidate is inserted into the merge candidate list, full or partial pruning is applied to the merge candidate list to avoid duplicated inheritance information.

[0052] In one embodiment, after the merge candidate list is built, one or more candidates are selected from the merge candidate list for the current block. In one embodiment, selection of said one or more candidates is indicated by explicitly signalling an index or is implicitly determined.

[0053] In one embodiment, when a MIMD merge mode is used for the current block, the current block uses the inheritance information of MIMD to generate the target prediction of the current block. In one embodiment, all or part of candidates in the merge candidate list are selected to generate histogram values for the current block. In one embodiment, whether to apply the MIMD merge mode to the current block depends on syntax signalled for the current block. In one embodiment, when an MIMD merge flag indicates to apply the MIMD merge mode to the current block, a flag or syntax is further signalled to indicate which type of candidates is used for creating the merge candidate list, and wherein histogram values are generated by collecting target candidates with the type of candidates selected.BRIEF DESCRIPTION OF THE DRAWINGS

[0054] Fig. 1A illustrates an exemplary adaptive Inter / Intra video coding system incorporating loop processing.

[0055] Fig. 1B illustrates a corresponding decoder for the encoder in Fig. 1A.

[0056] Fig. 2A illustrates an example of selected template for a current block, where the template comprises T lines above the current block and T columns to the left of the current block.

[0057] Fig. 2B illustrates an example for T=3 and the HoGs (Histogram of Gradient) are calculated for pixels in the middle line and pixels in the middle column.

[0058] Fig. 2C illustrates an example of the amplitudes (ampl) for the angular intra prediction modes.

[0059] Fig. 3 illustrates positions of spatial merge candidate.

[0060] Fig. 4 illustrates spatial neighbouring blocks used to derive the spatial merge candidates.

[0061] Fig. 5 illustrates an example of multiple history-based buffer array design, where each grid represents a CTU.

[0062] Figs. 6A-B illustrate examples for constructing the history table of the current region from the history table of the region having the same beginning geometric position of the current region (Fig. 6A) or from the history table of the region containing the centre geometric position of the current region (Fig. 6B) .

[0063] Fig. 7 illustrates a flowchart of an exemplary video coding system that derives MIMD (Merged Intra Mode Derivation) inheritance information from one or more previous coded blocks in a video coding system according to an embodiment of the present invention.DETAILED DESCRIPTION OF THE INVENTION

[0064] It will be readily understood that the components of the present invention, as generally described and illustrated in the figures herein, may be arranged and designed in a wide variety of different configurations. Thus, the following more detailed description of the embodiments of the systems and methods of the present invention, as represented in the figures, is not intended to limit the scope of the invention, as claimed, but is merely representative of selected embodiments of the invention. References throughout this specification to “one embodiment, ” “an embodiment, ” or similar language mean that a particular feature, structure, or characteristic described in connection with the embodiment may be included in at least one embodiment of the present invention. Thus, appearances of the phrases “in one embodiment” or “in an embodiment” in various places throughout this specification are not necessarily all referring to the same embodiment.

[0065] Furthermore, the described features, structures, or characteristics may be combined in any suitable manner in one or more embodiments. One skilled in the relevant art will recognize, however, that the invention can be practiced without one or more of the specific details, or with other methods, components, etc. In other instances, well-known structures, or operations are not shown or described in detail to avoid obscuring aspects of the invention. The illustrated embodiments of the invention will be best understood by reference to the drawings, wherein like parts are designated by like numerals throughout. The following description is intended only by way of example, and simply illustrates certain selected embodiments of apparatus and methods that are consistent with the invention as claimed herein.

[0066] II. PROPOSED METHOD

[0067] In this invention, an intra merge scheme is proposed. The concept is to inherit (or reference) the information from previous coded blocks and use the inheritance information to predict the current block. The proposed intra merge scheme brings more flexible inheritance flows in the following aspects. For example, the intra merge scheme is used to improve a MIMD-coded block.

[0068] In the first aspect, the inheritance information is not limited to the signalled intra prediction mode. In some embodiments disclosed in the section entitled “inheritance information setting” , with the proposed intra merge scheme, the inheritance information can be any mode information, any sample information, any block information, any model information, and / or any information associated with prediction generation.

[0069] In the second aspect, in some embodiments specified in the section entitled “Inheritance block setting” , with the proposed intra merge scheme, the current block can find the previous coded blocks containing the inheritance information through several proposed merge methods.

[0070] In the third aspect, in the section entitled “Target mode setting” , for some embodiments, the proposed merge scheme is to obtain the information associated with prediction generation of the current block coded by MIMD mode (the proposed intra merge scheme with the target mode as MIMD) . The MIMD can be viewed as one kind of DIMD merge mode.

[0071] When generating the prediction of the current block coded by the target mode, one or more inheritance blocks are selected from a merge candidate list or selected among several merge candidates. Then, the inheritance information from the inheritance blocks is used for the target mode to generate prediction. In some embodiments, the inheritance information of each merging candidate belongs to the same target mode. For example, the inheritance information of each merge candidate is related to MIMD and the current block is predicted following MIMD process. In some embodiments, the inheritance information of each merging candidate belongs to the different target modes. For example, the inheritance information of each merge candidate can be any mode in the DIMD family and the current block is predicted following MIMD process or regular DIMD process.

[0072] II. 1 Inheritance Information Setting

[0073] Inheritance information setting defines the inheritance information for generating prediction of the current block using a target mode.

[0074] II. 1.1 Inheritance Information Setting for MIMD

[0075] When the intra merge scheme is used for MIMD, that is, MIMD merge is used for the current block, the inheritance information includes items (a) , (b) , (c, ) , (d) as listed below and any combination thereof. (a) one or more histogram (bar) of gradient values for the available intra prediction modes (e.g.  DC, planar, and / or directional prediction modes) and / or one or more histogram (bar) of occurrence values for the available intra prediction modes (e.g. planar, and / or directional prediction modes) (b) the N intra prediction modes, for example, the modes (with the highest N histogram bars)  suggested by the histogram values (c) weighting information and / or fusion or not (d) reference line information and / or wide-angle conditions

[0076] In one embodiment, directional prediction modes for the intra prediction modes can be in a pre-defined directional range. For example, the pre-defined directional range is from 2 to 66, so there are 65 directional prediction modes in total. For another example, the pre-defined directional range is from 2 to 130, so there are totally 129 directional prediction modes.

[0077] In another embodiment, in response to the inheritance information referring to (a) , when the inheritance information is from the inheritance block coded by DIMD, DIMD merge (e.g. MIMD or other DIMD-related mode using inheritance) , and / or DIMD-related mode (which uses histogram values to determine the intra prediction mode) and / or from the inheritance block containing HoGs, the inheritance information provides histogram values as HoGs. For example, the HoGs are formed by the amplitude of each available directional prediction mode.

[0078] In another embodiment, in response to the inheritance information referring (a) , when the inheritance information is from the inheritance block coded by a mode not associated with DIMD (which does not use HoGs to determine the prediction mode or which does not contain HoGs) , the inheritance information provides histogram values as Histogram of Estimations (HoEs) . For example, the HoE value of an intra prediction mode (used for the inheritance block) is calculated using the block width, block height, and / or block area. In one case, the HoE of an intra prediction mode (used for the inheritance block) is set as the width x height where the width and height are associated with that inheritance block (e.g. a previous coded block) or the current block. In another case, the HoE of an intra prediction mode (not used for the inheritance block) is set as zero or is not considered for inheritance.

[0079] In one sub-embodiment, if the inheritance block uses more than one intra prediction mode, the HoEs of the more than one intra prediction mode (used for the inheritance block) is equally set as the width x height, respectively, where the width and height are associated with that inheritance block (e.g. a previous coded block) or the current block.

[0080] In one sub-embodiment, if the inheritance block uses more than one intra prediction mode, the HoEs of the more than one intra prediction mode (used for the inheritance block) is set according to the width and / or height, respectively, where the width and height are associated with that inheritance block (e.g. a previous coded block) or the current block. Each HoE may or may not be equal. For example, the intra prediction mode (with the corresponding prediction gets a higher weight when forming the final prediction of the inheritance block) has a larger HoE.

[0081] In another embodiment, the inheritance information is from a previous coded block specified in the section entitled “Inheritance block setting” . The previous coded block generates the inheritance information and / or stores the inheritance information. The stored MIMD inheritance information of the previous coded block can be referenced by subsequent coding blocks, such as the current block. For example, for each block containing inheritance information (which can be a block coded by a mode from the DIMD family, including DIMD, DIMD merge (for example, MIMD or other DIMD-related mode using inheritance) , and / or DIMD-related mode (which uses histogram values to determine the intra prediction mode) , or not a DIMD-family-coded block) , the MIMD information is stored and / or referenced by subsequent coding blocks. For example, for each pre-defined unit containing inheritance information (which may refer to any pre-defined region or kxk grids where k can be 2, 4, 8, 16, or any pre-defined positive integer) , the inheritance information is stored and / or referenced by subsequent coding blocks.

[0082] In one sub-embodiment, in response to the inheritance information referring to (a) and / or (b) and / or (c) and / or (d) , a DIMD process (HoG calculation / analysis process) with the window applied to the predictor, called as predictor-DIMD, is performed on the prediction of the previous coded block, to get the histogram bars to derive the inheritance information of the previous coded block. The previous coded block may be coded with DIMD, DIMD merge, DIMD-related mode, inter, intra, IBC, any mode type, or any mode which may or may not be a DIMD family block. For example, MIP / intraTMP / cross-component chroma modes / any blocks using predictor-DIMD to select the transform set, can be stored and / or referenced by the following / subsequent coding block, or any subset / combination of the above-mentioned.

[0083] In another sub-embodiment, in response to the inheritance information referring to (a) and / or (b) and / or (c) and / or (d) , a DIMD process is performed on the template (neighbouring region) of the previous coded block to get the histogram bars to derive the inheritance information of the previous coded block. The previous coded block may be coded with DIMD, DIMD merge, DIMD-related mode, inter, intra, IBC, any mode type, or any subset / combination of the above-mentioned.

[0084] In another sub-embodiment, in response to the inheritance information referring to (a) and / or (b) and / or (c) and / or (d) , a DIMD process is performed on the reconstruction of the previous coded block to get the histogram bars (by applying the window to the reconstruction of the previous coded block) to derive the inheritance information of the previous coded block. The previous block may be coded with DIMD, DIMD merge, DIMD-related mode, inter, intra, IBC, any mode type, or any subset / combination of the above-mentioned.

[0085] In another sub-embodiment, in response to the inheritance information referring to (a) and / or (b) and / or (c) and / or (d) , the DIMD-family-related information used in predicting the previous block is obtained to get the inheritance information of the previous block. The previous block may be coded with MIMD mode and / or DIMD mode and / or any DIMD family mode.

[0086] In another embodiment, instead of storing all inheritance information (which may be used for reference) , to reduce the storage, only the subset of inheritance information is stored. For example, only 3 or any pre-defined positive number from all are stored. For example, the subset is the first 3 from all. The first 3 can be the largest 3 in the histogram bars or the 3 suggested intra prediction modes.

[0087] II. 2 Inheritance Block Setting

[0088] II. 2.1 Inheritance Information from the previous coded blocks

[0089] The inheritance information is obtained from the previous coded blocks. In one embodiment, one or more candidates of spatial adjacent candidates and / or non-adjacent candidates, history candidates, temporal candidates, default candidates, or any subset of above-mentioned candidates provide the inheritance information from the previous coded blocks. In one sub-embodiment, the merge candidates refer to only history candidates and / or will not use the candidates from a far non-adjacent region.

[0090] In another embodiment, a merge candidate list containing inheritance information is built for the current block. As what regular inter merge mode does, the merge candidate list includes the candidates of spatial adjacent candidates and / or non-adjacent candidates, history candidates, temporal candidates, default candidates, or any subset of above-mentioned candidates. In one sub-embodiment, the merge candidate list here is aligned with or be any subset of the merge candidate list for regular inter merge mode. In another sub-embodiment, the merge candidate list here refers to the history-based buffer array only. That is, only history candidates are included and / or will not use the candidates from a far non-adjacent region.

[0091] In one sub-embodiment, full or partial pruning is used to avoid duplicate inheritance information in the list. Before adding a candidate in the list, all or any subset of inheritance information of the to-be-added candidate is checked with the corresponding inheritance information of all or any subset of candidates already in the list. All inheritance information of a candidate refers to all stored inheritance information of the inheritance block (aprevious coded block) .

[0092] In another sub-embodiment, after building the merge candidates list, one or more candidates are selected from the list for the current block to use. The selection depends on explicitly signalling an index or implicitly selecting the one or more (promising) candidates. For example, an inheritance block being coded by the target mode is regarded as a promising candidate. For example, the first one or more candidates with the smallest costs are selected. For example, the explicit index indicates one or more candidates in the reordered list as the selected candidates. The cost calculation and / or list reordering may depend on the template matching process which calculates the cost based on the distortion between the prediction (using a certain candidate) on the template and the reconstruction on the template. For reordering the list, the candidate with a smallest cost is put in the front of the list or the candidate with a smaller cost is put in a more forward position in the list.

[0093] In another sub-embodiment, the merge candidate list has a maximum size threshold. The threshold is fixed at the standard and / or the threshold is determined according to an explicit syntax at the block, CTU, slice, picture, tile, sequence, picture, SPS, PPS, or any pre-defined unit level. When the threshold is met (i.e., the list being full) , no more candidate can be inserted into the list; otherwise, the valid candidate can be inserted into the list. If the list is not full and the inheritance cannot find enough candidates, the default candidates are inserted to make the list full.

[0094] In another sub-embodiment, the size of merge candidate list is adaptive according to how many valid candidates. When selecting one or more candidates for the current block from the list, the selection can be only among the available candidates in the list. For example, if the selection is implicit, the one or more selected candidates are the one or more candidates with smaller costs in the list. The cost calculation may depend on the template matching process which calculates the cost based on the distortion between the prediction (using a certain candidate) on the template and the reconstruction on the template.

[0095] II. 2.1.1 Spatial adjacent candidates and non-adjacent candidates

[0096] The spatial adjacent candidates are from the adjacent neighbouring blocks of the current block where the adjacent neighbouring blocks can be the same as the 5 spatial neighbouring blocks for regular inter merge mode or any subset of the adjacent neighbouring blocks of the current block. The non-adjacent candidates are from a search range around (but not adjacent to) the current block. The search range can be the same as or can be different from the search range of non-adjacent candidates for regular inter merge mode.

[0097] II. 2.1.2 History candidates

[0098] The history candidates are selected from a history-based buffer array. In the history-based buffer array, the inheritance information of each valid previous coded block is stored where the valid previous coded block refers to any block containing inheritance information. Like what history candidates in the merge list of regular inter merge mode, the first stored information may be removed for including the information from the latest valid coded block if the buffer array is full.

[0099] In one embodiment, the history-based buffer array can be reset at the beginning or at the end of a pre-defined unit. The definition of resetting the history-based buffer array can be clearing all stored inheritance information in the history-based buffer array. The pre-defined unit can be every M CTUs, every N CTU rows, a slice, a tile, a picture, or any pre-defined region, where N and M can be any value greater than 0.

[0100] When including history candidates from the history-based buffer array into the merge list, the order of including history candidates can be pre-defined.

[0101] In one embodiment, the order of including history candidates can be from the beginning / end of the history-based buffer array to the end / beginning of the history-based buffer array.

[0102] In another embodiment, the order of including history candidates can be from a certain pre-defined position of the history-based buffer array to the beginning / end of the history-based buffer array.

[0103] In another embodiment, the order of including history candidates can be in an interleaved manner (e.g., the first included candidate is from the beginning of the history-based buffer array, the second included candidate is from the end of the history-based buffer array and so on) .

[0104] In one embodiment, one picture, tile or slice can be divided into several regions, and a history-based buffer array is maintained for each region. The history-based buffer array 0 and one additional history-based buffer array will be updated during the encoding / decoding process. The additional history-based buffer array can be determined by the current position. For example, if the current CU locates in the second region, the additional history-based buffer array to be updated is history-based buffer array 2. Fig. 5 illustrates an example of multiple history-based buffer array design, where each array contains 4 CTUs.

[0105] In another embodiment, multiple history-based buffer arrays can be used for different updated frequencies. For example, the first history-based buffer array is updated every CU, the second history-based buffer array is updated every two CUs, the third history-based buffer array is updated every four CUs and so on.

[0106] In another embodiment, multiple history-based buffer arrays can be used for storing different types of inheritance information. For example, the first history-based buffer array is used for storing inheritance information with single model (i.e., non-fusion case) and the second history-based buffer array is used for storing inheritance information with multi-model (i.e., fusion case) .

[0107] In another embodiment, multiple history-based buffer arrays can be used for different intensities of reconstructed samples. For example, if the average of the intensity of reconstructed samples in the neighbouring of current block is greater than a pre-defined threshold, the inheritance information will be stored in the first history-based buffer array. Otherwise, the inheritance information will be stored in the second history-based buffer array.

[0108] When including history candidates from multiple history-based buffer arrays into the merge list, the order of including history candidates can be pre-defined.

[0109] In one embodiment, the order of including history candidates can be from the beginning / end of a certain history-based buffer array to the end / beginning of the history-based buffer array, and then include the next history-based buffer array in the same order or in a reversed order.

[0110] In another embodiment, the order of including history candidates can be from a certain pre-defined position of a certain history-based buffer array to the end / beginning of the history-based buffer array, and then include the next history-based buffer array in the same order or in a reversed order.

[0111] In another embodiment, the order of including history candidates can be in an interleaved manner in a certain history-based buffer array (e.g., the first included candidate is from the beginning of the history-based buffer array, the second included candidate is from the end of the history-based buffer array and so on) , and then include the next history-based buffer array in the same order or in a reversed order.

[0112] In another embodiment, the order of including history candidates can be from the beginning / end of each history-based buffer array to the end / beginning of each history-based buffer array.

[0113] In another embodiment, the order of including history candidates can be from a certain pre-defined position of each history-based buffer array to the end / beginning of each history-based buffer array.

[0114] In another embodiment, the order of including history candidates can be in an interleaved manner in each history-based buffer array (e.g., the first included candidate is from the beginning of the history-based buffer array, the second included candidate is from the end of the history-based buffer array and so on) .

[0115] In one embodiment, there are multiple history-based buffer arrays, not all history-based buffer arrays will be used for building the merge list. Only history-based buffer arrays whose regions are close to the region of the current block can be used to build the merge list.

[0116] In one embodiment, if the history candidates are included in the merge list, the range for selecting non-adjacent candidates can be reduced by using smaller distance between each position of non-adjacent candidate.

[0117] In another embodiment, if the history candidates are included in the merge list, the number of non-adjacent candidates can be reduced by measuring the distance from the left-top position of the current block to the candidate position, and then excluding the candidate with the distance greater than a pre-defined threshold.

[0118] In another embodiment, if the history candidates are included in the merge list, the number of non-adjacent candidates can be reduced by skipping the candidates that are not located in the same region.

[0119] In another embodiment, if the history candidates are included in the merge list, the number of non-adjacent candidates can be reduced by skipping the candidates that are not located in the same region or the neighbouring regions. The range of neighbouring regions is pre-defined, and it can be M by N regions where M and N can be any value greater than 0.

[0120] In another embodiment, if the history candidates are included in the merge list, the search range for selecting non-adjacent candidates can be reduced by skipping the second search pattern.

[0121] In one embodiment, one picture can be divided into multiple regions, and at least one history table is kept in each region. For a region of the current picture, it can use or combine the history tables of one or multiple regions in the previous coded pictures as the initial history table. For example, if a picture is divided into N regions, it can implicitly or explicitly select the history table from one of N regions in the previous coded pictures as the initial history table. The index of one of N regions can be signalled or implicitly derived from the corresponding region in the previous coded pictures. As shown in Fig. 6A and Fig. 6B, the current picture 620 is a P / B coded picture and the previous picture 610 is an Intra coded picture. Each picture is divided into 4 regions as shown in 4 rectangular boxes. According to an embodiment of the present invention, the corresponding region in the previous coded pictures can be the region 612 having the same beginning geometric position as the current region 622 as shown in Fig. 6A or containing the centre geometric position of the current region 622 as shown in Fig. 6B. For another example, it can combine more than one history tables in the previous coded regions / pictures to construct the history table of the current region.

[0122] II. 2.1.3 Temporal candidates

[0123] The temporal candidates are obtained from the inheritance information stored in one or more previous coded pictures. The temporal candidates are obtainable when the current slice / picture is a non-intra slice / picture.

[0124] In one embodiment, the temporal candidates can be from the block at some pre-defined positions (x′, y′) of the previous coded slices / picture.

[0125] In one sub-embodiment, the positions (x′, y′) are inside the corresponding area of the current encoding / decoding block, i.e., x≤x′<x+w and y≤y′<y+h. The pre-defined positions can be

[0126] In one sub-embodiment, the pre-defined positions (x′, y′) are outside of the corresponding area of the current encoding / decoding block, i.e., x′<x+or x′≥x+w, and / or y′<y or y′≥y+h. The temporal candidates can be (x-1, y) , (x, y-1) , (x-1, y-1) , (x+w, y) , (x+w-1, y-1) , (x+w, y-1) , (x, y+h) , (x-1, y+h-1) , (x-1, y+h) , (x+w, y+h-1) , (x+w-1, y+h) , (x+w, y+h) of the previous coded slices / picture.

[0127] In one sub-embodiment, the pre-defined positions can be determined based on the position, width and height of the current block. For example, if the current block position is at (x, y) and the block size is w×h. Define the two value sets αx and αy as: αx= {αx1, αx2, αx3, …, αxn} , αxi<αxj if i<j αy= {αy1, αy2, αy3, …, αyn} , αyi<αyj if i<j

[0128] All values in αx and αy are positive numbers. The pre-defined positions can be (xmid±αxi×w, ymid±αyi×h) , (xmid±αxi×w, ymid) , (xmid, ymid±αyi×h) of the previous coded slices / picture, where For example, the pre-defined positions can be (x±αxi×w, y±αyi×h) , (x±αxi×w, y) , (x, y±αyi×h) of the previous coded slices / picture.

[0129] In one sub-embodiment, the pre-defined positions can be determined based on the position, and some pre-defined fixed x-y distances. For example, let δx and δy be two fixed positive numbers. The pre-defined positions can be (xmid±αxi×δx, ymid±αyi×δy) , (xmid±αxi×δx, ymid) , (xmid, ymid±αyi×δy) of the previous coded slices / picture. For example, the pre-defined positions can be (x±αxi×δx, y±αyi×δy) , (x±αxi×δx, y) , (x, y±αyi×δy) of the previous coded slices / picture.

[0130] In one embodiment, the previous coded pictures are among the pictures in the reference lists.

[0131] In one embodiment, the previous coded pictures are the same pictures as the collocated picture of the regular inter merge mode.

[0132] In one embodiment, there can be more than one selected / pre-defined previous coded picture.

[0133] In one embodiment, the previous coded pictures can be signalled in the picture / slice header. The reference list and the reference index are signalled in the picture / slice header. For example, L0 [0] is signalled. For example, L1 [0] is signalled.

[0134] In one embodiment, the previous coded pictures are selected from a picture set with some pre-defined rules.

[0135] In one embodiment, the previous coded pictures are selected from pictures in the reference lists. The selection can be determined based on POC, and / or POC distance, and / or QP, and / or QP difference. For example, pictures with the smaller POC are selected. For example, the picture with the larger POC is selected. For example, the picture whose POC distance between it and the current picture is the smallest is selected. For example, the picture with the smaller QP is selected. For example, the picture with the larger QP is selected. For example, the picture with smaller QP difference between it and the current picture is selected. For example, the rules mentioned in previous examples can be combined.

[0136] In one embodiment, if one picture in the reference list is rescaled, i.e., the RprConstraintsActiveFlag of that picture is true, which means that picture has one or more of the following seven parameters different than that of the current picture: 1) the picture width in luma samples (pps_pic_width_in_luma_samples) , 2) the picture height in luma samples (pps_pic_height_in_luma_samples) , 3) the scaling window left offset (pps_scaling_win_left_offset) , 4) the scaling window right offset (pps_scaling_win_right_offset) , 5) the scaling window top offset (pps_scaling_win_top_offset) , 6) the scaling window bottom offset (pps_scaling_win_bottom_offset) , and 7) the number of sub pictures -1 (sps_num_subpics_minus1) , the picture cannot be selected.

[0137] In one embodiment, the previous coded picture is the most recently coded I-picture.

[0138] In one embodiment, the rules to select / not select the previous coded pictures described in the paragraphs above can be combined. For example, the picture whose QP is the smallest among the un-scaled pictures in the reference lists is selected.

[0139] In one embodiment, when the selected / pre-defined previous coded pictures are rescaled, temporal candidates are un-available.

[0140] In one embodiment, when the selected / pre-defined previous coded pictures are rescaled, the pre-defined positions can be scaled according to the scaling ratio to derive the final positions which the temporal candidates are from. The scaling ratio is derived based on the scaling window of the current picture and the selected / pre-defined previous coded pictures. Let the position be (x, y) , the scaled position be (x’, y’) and the scaling ratio be R. The scaled position can be (x / R, y / R) or (x / R, y / R) after rounding. The rounding method used can be, but not limited to, the following methods: rounding toward negative infinity, rounding toward positive infinity, rounding toward zero, or rounding to the nearest integer (e.g., rounding away from zero, rounding half up, rounding half down, …) . In one embodiment, the previous coded picture is determined based on a motion vector of a neighbouring block. The picture is the one that the motion vector indicates.

[0141] In one embodiment, the final pre-defined positions are determined based on a motion vector of a neighbouring block. The horizontal and vertical displacements (Δx, Δy) are determined based on a motion vector. Assume a set of pre-defined positions are (x1, y1) , (x2, y2) , …, (xN, yN) . The final pre-defined positions can be (x1+Δx, y1+Δy) , (x2+Δx, y2+Δy) , …, (xN+Δx, yN+Δy) .

[0142] In one embodiment, the motion vector can be L0 or L1 motion vector of a neighbouring block.

[0143] In one embodiment, the neighbouring block is the left block of the current block. In another embodiment, the neighbouring block is the above block of the current block.

[0144] In one embodiment, the neighbouring block can be at a pre-defined position. For example, the position can be at the A0 position as described in the section entitled “Spatial candidate derivation” . The pre-defined position can be at A1, B0, B1, B2. If the block at the pre-defined position is not an inter block, no neighbouring block is selected.

[0145] In one embodiment, when selecting the neighbouring block, there can be a list of pre-defined positions. For example, the positions can be the spatial position described in the section entitled “Spatial candidate derivation” . The positions are checked according to the list order. For each position, L0 motion vector is checked first, then the L1 motion vector is checked. Or for each position, L1 motion vector is checked first, then the L0 motion vector is checked. The motion vector can be the first available motion vector in the checking order. The motion vector can be the first motion vector whose reference picture is the selected / pre-defined previous coded picture. The motion vector can be the first motion vector whose reference picture is not rescaled.

[0146] In one embodiment, the horizontal and vertical displacements (Δx, Δy) are derived based on the selected neighbouring motion vector. For example, if the reference picture of the selected neighbouring motion vector and the selected / pre-defined previous coded picture are the same picture, (Δx, Δy) equal to the neighbouring motion vector or neighbouring motion vector after rounding. For another example, if the reference picture of the selected motion vector and the selected / pre-defined previous coded picture are not the same picture, (Δx, Δy) can be (mv_x * (td / tb) , mv_y * (td / tb) ) or (mv_x * (td / tb) , mv_y * (td / tb) ) after rounding, where (mv_x, mv_y) is the selected motion vector, tb is the POC distance between the current picture and the reference picture of the selected motion vector, td is the POC distance between the current picture and the selected / pre-defined previous coded picture.

[0147] In one sub-embodiment, the rounding method can be, but not limited to, the following methods: rounding toward negative infinity, rounding toward positive infinity, rounding toward zero, or rounding to the nearest integer (e.g., rounding away from zero, rounding half up, rounding half down, …) . The rounding method used can be, but not limited to, the following methods: rounding toward negative infinity, rounding toward positive infinity, rounding toward zero, or rounding to the nearest integer (e.g., rounding away from zero, rounding half up, rounding half down, …) .

[0148] In one embodiment, the temporal candidates are derived by using reconstructed samples of a block located at pre-defined positions in the selected / pre-defined previous coded picture. The size of the block can be determined by the size of the current block. For example, the size can be the same as that of the current block. The size of the block can also be fixed. For example, the size can always be MxN, where M and N are positive integers.

[0149] II. 2.1.4 Default candidates

[0150] The default candidates are the candidates containing default information and / or the default information is derived according to the candidates already put in the merge candidate list.

[0151] In one embodiment, the default candidates can be derived by applying OBIC scheme to derive the histogram values (then to apply MIMD rule, for example, using HoC as H, to determine the intra prediction mode to get the prediction of the current block) or to determine the intra prediction mode to get the prediction of the current block.

[0152] In another embodiment, the default candidates can be derived by DIMD scheme, such as getting the HoGs for each available intra prediction mode, and / or TIMD scheme, such as getting the HoEs for each available intra prediction mode with the TIMD suggested prediction modes getting larger HoEs, on the current block or the template of the current block to derive histogram values. An example of getting histogram values of TIMD is that the HoE value of an TIMD suggested mode is set as the width x height of the inheritance block (aprevious coded block) and / or the HoE of an intra prediction mode (not an TIMD suggested mode) is set as zero or is not considered for inheritance.

[0153] In another embodiment, the default candidates can be derived by a derived mode scheme (e.g. a derived mode scheme in MPM) and / or any existing or mentioned intra scheme (e.g. TIMD, DIMD, EIP, and / or MRL) and / or any variations of the existing or mentioned intra scheme.

[0154] II. 2.2 Re-deriving Information from the Previous Coded Blocks

[0155] If the current block decides to reference the inheritance information of a previous coded block (for example, deciding a candidate from the merge candidate list) , the derivation process is applied to the reference block (i.e., the previous coded block) to re-derive the required inheritance information from that reference block. With re-deriving, the inheritance information from the previous coded block is not needed to be stored in the previous coded block. This re-derivation may replace the storing method of inheritance information or conditionally replace the storing method of inheritance information.

[0156] II. 2.3 Constraint (Valid Checking) on Inheritance / Re-Derivation

[0157] With the constraint, when trying to obtain the inheritance information from a previous coded block, the inheritance information can only be inherited / re-derived for the current block only when the constraint is satisfied.

[0158] In one embodiment, only the inheritance information from the intra-coded, target-mode-coded, target-merge-mode-coded, target-mode-related-coded blocks, or a combination thereof can be used.

[0159] In another embodiment, only the inheritance information from the blocks located within a pre-defined region can be used. For example, the pre-defined region is determined by the block position, block width, block height, and / or block area of the current block.

[0160] II. 3 Target Mode Setting and Shortcut Syntax Setting

[0161] In one embodiment, when the proposed intra merge scheme is used for the current block, the predictor-DIMD of the current block is used to select the transform set and / or the transpose flag for a primary transform and / or a secondary transform.

[0162] II. 3.1 Target Mode Setting for MIMD

[0163] When the MIMD mode is used for the current block, the current block uses the inherited MIMD information to generate the histogram values, and then use the histogram values to determine the intra prediction modes for generating the prediction of the current block similar to regular DIMD. That is, the one or more intra prediction modes with the highest histogram values are used to generate hypotheses of predictions to form the final prediction of the current block.

[0164] In one embodiment, all or part of the merge candidates could be selected to generate the histogram values for the current block. The inheritance information of the selected merge candidates is weighted averaged to form the histogram values of the current block. For example, equal weighting is used. For another example, the weighting varies with the block width, block height, and / or block area of the inheritance block. For another example, the weighting varies with the block width, block height, and / or block area of the current block.

[0165] In one embodiment, a flag (MIMD flag) is signalled to indicate whether the current block is coded by MIMD mode, and one or more (all or part of) merge candidates supported in the proposed intra merge scheme can be used to generate the histogram values for the current block. In one sub-embodiment, the flag is an optional mode in DIMD family. In another sub-embodiment, MIMD is an optional mode of regular DIMD. That is, the MIMD flag is signalled only when the regular DIMD flag indicates enabled.

[0166] In another embodiment, if the MIMD flag is true, a flag or syntax is further signalled to indicate which type of candidates (spatial, non-adjacent, history, temporal and / or default) are used for creating the merge list, and the histogram values are generated by collecting candidates of the selected types. In an alternative way, the list is not created, the inheritance information from each selected candidate is considered to derive the histogram of the current block.

[0167] The term “block” in this invention can refer to TU / TB, CU / CB, PU / PB, pre-defined region, or CTU / CTB.

[0168] Any combination of the proposed methods in this invention can be applied.

[0169] The proposed methods in this invention can be enabled and / or disabled according to implicit rules (e.g. block width, height, or area) or according to explicit rules (e.g. syntax on block, tile, slice, picture, SPS, or PPS level) . For example, the proposed method is applied when the block area is smaller / larger than a threshold.

[0170] Any of the foregoing proposed methods of deriving inheritance information of MIMD from a previous coded block can be implemented in encoders and / or decoders. For example, any of the proposed methods can be implemented in an inter / intra / IBC / prediction / transform module of an encoder, and / or an inter / intra / IBC / prediction / transform module of a decoder. Alternatively, any of the proposed methods can be implemented as a circuit coupled to the inter / intra / IBC / prediction / transform module of the encoder and / or the inter / intra / IBC / prediction / transform module of the decoder, so as to provide the information needed by the inter / intra / IBC / prediction / transform module.

[0171] With reference to the encoder and decoder in Fig. 1A and Fig. 1B, any of the proposed candidate derivation method can be implemented in an Intra coding module (e.g. Intra Pred. 150 in Fig. 1B) in a decoder or an Intra coding module is an encoder (e.g. Intra Pred. 110 in Fig. 1A) . Any of the proposed methods can also be implemented as a circuit coupled to the intra coding module at the decoder or the encoder. However, the decoder or encoder may also use additional processing unit to implement the required processing. While the Intra Pred. units (e.g. unit 110 in Fig. 1A and unit 150 in Fig. 1B) are shown as individual processing units, they may correspond to executable software or firmware codes stored on a media, such as hard disk or flash memory, for a CPU (Central Processing Unit) or programmable devices (e.g. DSP (Digital Signal Processor) or FPGA (Field Programmable Gate Array) ) .

[0172] Fig. 7 illustrates a flowchart of an exemplary video coding system that derives MIMD (Merged Intra Mode Derivation) inheritance information from a previous coded block in a video coding system according to an embodiment of the present invention. The steps shown in the flowchart may be implemented as program codes executable on one or more processors (e.g., one or more CPUs) at the encoder side. The steps shown in the flowchart may also be implemented based hardware such as one or more electronic devices or processors arranged to perform the steps in the flowchart. According to this method, input data associated with a current block is received in step 710, wherein the input data comprises pixel data to be encoded at an encoder side or coded data associated with the current block to be decoded at a decoder side. A merge candidate list is derived from one or more previous coded blocks in step 720, wherein the merge candidate list comprises one or more history candidates and / or one or more temporal candidates, and wherein said one or more previous coded block generates MIMD (Merged Intra Mode Derivation) information or has stored MIMD information. Inheritance information of MIMD is derived from the merge candidate list in step 730. Target prediction is generated for the current block by using the inheritance information of MIMD in step 740. The current block is encoded or decoded by using coding information comprising the target prediction in step 750.

[0173] The flowchart shown is intended to illustrate an example of video coding according to the present invention. A person skilled in the art may modify each step, re-arranges the steps, split a step, or combine steps to practice the present invention without departing from the spirit of the present invention. In the disclosure, specific syntax and semantics have been used to illustrate examples to implement embodiments of the present invention. A skilled person may practice the present invention by substituting the syntax and semantics with equivalent syntax and semantics without departing from the spirit of the present invention.

[0174] The above description is presented to enable a person of ordinary skill in the art to practice the present invention as provided in the context of a particular application and its requirement. Various modifications to the described embodiments will be apparent to those with skill in the art, and the general principles defined herein may be applied to other embodiments. Therefore, the present invention is not intended to be limited to the particular embodiments shown and described, but is to be accorded the widest scope consistent with the principles and novel features herein disclosed. In the above detailed description, various specific details are illustrated in order to provide a thorough understanding of the present invention. Nevertheless, it will be understood by those skilled in the art that the present invention may be practiced.

[0175] Embodiment of the present invention as described above may be implemented in various hardware, software codes, or a combination of both. For example, an embodiment of the present invention can be one or more circuit circuits integrated into a video compression chip or program code integrated into video compression software to perform the processing described herein. An embodiment of the present invention may also be program code to be executed on a Digital Signal Processor (DSP) to perform the processing described herein. The invention may also involve a number of functions to be performed by a computer processor, a digital signal processor, a microprocessor, or field programmable gate array (FPGA) . These processors can be configured to perform particular tasks according to the invention, by executing machine-readable software code or firmware code that defines the particular methods embodied by the invention. The software code or firmware code may be developed in different programming languages and different formats or styles. The software code may also be compiled for different target platforms. However, different code formats, styles and languages of software codes and other means of configuring code to perform the tasks in accordance with the invention will not depart from the spirit and scope of the invention.

[0176] The invention may be embodied in other specific forms without departing from its spirit or essential characteristics. The described examples are to be considered in all respects only as illustrative and not restrictive. The scope of the invention is therefore, indicated by the appended claims rather than by the foregoing description. All changes which come within the meaning and range of equivalency of the claims are to be embraced within their scope.

Claims

1.A method of video coding, the method comprising:receiving input data associated with a current block, wherein the input data comprises pixel data to be encoded at an encoder side or coded data associated with the current block to be decoded at a decoder side;deriving a merge candidate list from one or more previous coded blocks, wherein the merge candidate list comprises one or more history candidates and / or one or more temporal candidates, and wherein said one or more previous coded blocks generate MIMD (Merged Intra Mode Derivation) information or has stored MIMD information;determining inheritance information of MIMD from the merge candidate list;generating target prediction for the current block by using the inheritance information of MIMD; andencoding or decoding the current block by using coding information comprising the target prediction.2.The method of Claim 1, wherein the inheritance information of MIMD from said one or more previous coded blocks is referenced by one or more subsequent blocks.3.The method of Claim 1, wherein the inheritance information of MIMD from said one or more previous coded blocks comprises one or more histogram of gradient values or one or more histogram of occurrence values for one or more available intra prediction modes.4.The method of Claim 1, wherein the inheritance information of MIMD from said one or more previous coded blocks comprises N intra prediction modes as suggested by histogram values.5.The method of Claim 1, wherein the inheritance information of MIMD from said one or more previous coded blocks comprises weighting information and / or whether to apply fusion or not.6.The method of Claim 1, wherein the merge candidate list includes one or more spatial adjacent candidates, one or more non-adjacent candidates, one or more default candidates, or any combination thereof.7.The method of Claim 1, wherein when a new candidate is inserted into the merge candidate list, full or partial pruning is applied to the merge candidate list to avoid duplicated inheritance information.8.The method of Claim 1, wherein after the merge candidate list is built, one or more candidates are selected from the merge candidate list for the current block.9.The method of Claim 8, wherein selection of said one or more candidates is indicated by explicitly signalling an index or is implicitly determined.10.The method of Claim 1, wherein when an MIMD merge mode is used for the current block, the current block uses the inheritance information of MIMD to generate the target prediction of the current block.11.The method of Claim 10, wherein all or part of candidates in the merge candidate list are selected to generate histogram values for the current block.12.The method of Claim 10, wherein whether to apply the MIMD merge mode to the current block depends on syntax signalled for the current block.13.The method of Claim 10, wherein when an MIMD merge flag indicates to apply the MIMD merge mode to the current block, a flag or syntax is further signalled to indicate which type of candidates is used for creating the merge candidate list, and wherein histogram values are generated by collecting target candidates with the type of candidates selected.14.An apparatus of video coding, the apparatus comprising one or more electronics or processors arranged to:receive input data associated with a current block, wherein the input data comprises pixel data to be encoded at an encoder side or coded data associated with the current block to be decoded at a decoder side;derive a merge candidate list from one or more previous coded blocks, wherein the merge candidate list comprises one or more history candidates and / or one or more temporal candidates, and wherein said one or more previous coded blocks generate MIMD (Merged Intra Mode Derivation) information or has stored MIMD information;determine inheritance information of MIMD from the merge candidate list;generate target prediction for the current block by using the inheritance information of MIMD; andencode or decode the current block by using coding information comprising the target prediction.

Images