Method and apparatus using intra prediction fusion

Abstract

Provided is a method for decoding a picture from a data stream, comprising determining, based on a most probable mode syntax element signaled in the data stream, a principal intra-prediction mode out of a first set of intra prediction modes, forming a fused prediction signal for an intra-predicted block by fusing a first prediction signal obtained using the principal intra prediction mode and one or more second prediction signals obtained using one or more fusion intra prediction modes; reconstructing the intra-predicted block using the fused prediction signal.

Description

METHOD AND APPARATUS USING INTRA PREDICTION FUSION

[0001] CROSS-REFERENCE TO RELATED APPLICATIONS

[0002] This application is based on and claims priority to the European Patent Application No. “24315391.3” , filed on August 27, 2024, the entire content of which is incorporated herein by reference.Technical Field

[0003] The present disclosure generally relates to the field of encoding / decoding pictures, images or videos, and embodiments of the present disclosure concern improvements regarding a prediction. More specific embodiments of the present disclosure relate to a new intra prediction coding tool.Background

[0004] In the JVET document “Algorithm description of the Enhanced Compression Model (ECM) ” [5] , some intra prediction tools are described, which all serve in efficiently coding a picture block, namely:

[0005] · Decoder-side Intra Mode Derivation (DIMD)

[0006] · Template-based Intra Mode Derivation (TIMD)

[0007] · Occurence-based Intra Coding (OBIC)

[0008] · Spatial Geometric Partitioning Mode (SGPM)

[0009] · Matrix-based Intra Prediction (MIP)

[0010] · Intra Block Copy (IBC)

[0011] · IntraTmp

[0012] · Extrapolation Intra Prediction (EIP)

[0013] But there is still need for a further efficiency improvement.Summary

[0014] It is an object of the present disclosure, to provide a more efficient intra prediction .

[0015] This object is achieved by the subject matter of the claims.

[0016] It is a finding of the inventors that a more efficient intra prediction may be achieved by fusing, for an intra-predicted block for which a most probable mode syntax element is signaled in the data stream, a first prediction signal obtained using a principal intra prediction mode and one or more second prediction signals obtained using one or more fusion intra prediction modes.

[0017] Especially, the fact a most probable mode syntax element is signalled in the data stream for the intra predicted block, is indicative of a certain characteristic of the intra-predicted block, namely a characteristic which makes it qualified to gain advantage from an additional overhead associated with the fused intra prediction. In particular, the fact that the sending of a most probable mode syntax element has been deemed worthwhile for the intra-predicted block is indicative of a certain amount of similarity to the intra-predicted block’s neighborhood from which a most probable mode is, for instance, determined, and this qualifies such an intra-predicted block a candidate for which the additional efforts associated with the fusion are overcompensated, such as additional efforts in terms of syntax element (s) controlling the fusion mode (s) and / or the fusion and / or in terms of rate distortion optimization.

[0018] The one or more fusion intra prediction modes may be selected depending on one or more of a) which principal intra prediction mode is determined out of the first set of intra-prediction modes, b) information on previously decoded blocks of the picture, and c) an analysis of a previously reconstructed portion within a spatial neighborhood of the intra-prediction block in the picture, so that the additional signalling overhead may  be kept low. Additionally, one or more fusion mode syntax elements may be signalled in the data stream and used for selected one or more fusion intra prediction modes.

[0019] It is to be understood that the content described in this section is not intended to identify key or critical features of the embodiment of the present disclosure, nor is it intended to limit the scope of the present disclosure. Other features of the present disclosure become readily apparent from the following description.Brief Description of the Drawings

[0020] The drawings are explanatory and serve to explain the present disclosure, and are not to be construed to limit the present disclosure to the illustrated embodiments.

[0021] Fig. 1 shows a block diagram of a conventional video encoder;

[0022] Fig. 2 shows a block diagram of a conventional video decoder;

[0023] Fig. 3 shows a flow or block diagram of an example concept for selecting a Fusion IPM relative to the principal IPM;

[0024] Fig. 4 shows a flow or block diagram of an example concept of using BV-based fusion mode for the fusion with the principal IPM;

[0025] Fig. 5 shows a flow or block diagram of a concept for implementing the fusion intra prediction coding tool at decoding side according to an embodiment;

[0026] Fig. 6 shows a flow or block diagram of a concept for implementing the prediction in the fusion intra prediction coding tool according to an embodiment;

[0027] Fig. 7 shows a data stream in accordance with embodiments of the present disclosure; and

[0028] Fig. 8 shows a block diagram illustrating an electronic device according to embodiments of the present disclosure.Detailed Description of Embodiments

[0029] Illustrative embodiments of the present disclosure are described below with reference to the drawings, where various details of the embodiments of the present disclosure are included to facilitate understanding and are to be considered as illustrative only. Accordingly, those of ordinary skill in the art recognize that various changes and modifications of the embodiments described herein can be made without departing from the scope of the present disclosure. Also, descriptions of well-known functions and constructions are omitted from the following description for clarity and conciseness.

[0030] In the present disclosure, the term "and / or" is intended to cover all possible combinations and sub-combinations of the listed elements, including any one of the listed elements alone, any sub-combination, or all of the elements, and without necessarily excluding additional elements.

[0031] In the present disclosure, the phrase "at least one of. . . or. . . " is intended to cover any one or more of the listed elements, including any one of the listed elements alone, any sub-combination, or all of the elements, without necessarily excluding any additional elements, and without necessarily requiring all of the elements.

[0032] In the present disclosure, the term “coding” refers to "encoding” or to “decoding” as becomes apparent from the context of the described embodiments. Likewise, the term “coder” refers to " an encoder” or to “a decoder” .

[0033] A block diagram of a standard video compression system 100 operating in accordance with the VVC standard is illustrated in Fig. 1. The standard video coder 100 compresses and encodes a picture 102 of a video sequence. The picture 102 to be encoded is partitioned into blocks 104 also referred to as coding units, CUs. The encoder 100 comprises a pre-encode filter 106 and a prediction residual signal former 108 which generates a prediction residual signal 110 so as to measure a deviation of a prediction signal 112 from the signal 114 output by the filter 106. The encoder further comprises a transformer 116, a quantizer 118 and provides an  output bitstream or data stream 120 using an entropy coder 122. Further, the encoder 100 comprises a prediction stage 124 for determining the prediction signal 112, which includes a de-quantizer or inverse quantizer 126, an inverse transformer 128, a combiner 130, an in-loop filter 134, a picture buffer 136, a motion estimator 138, an intra / inter mode selector 140, an inter predictor 142 and an intra predictor 144.

[0034] The video coder 100 as described with reference to Fig. 1 compresses and encodes a picture 102 of a video sequence as follows. The picture 102 to be encoded is partitioned into the blocks or CUs 104. Each coding unit 104 is encoded using either an intra or inter coding mode. When a CU is encoded in the intra mode, intra prediction is performed by the intra predictor 144. The intra prediction comprises predicting the current CU 114 being encoded by means of already coded, decoded and reconstructed picture samples located around the current CU, e.g., on the top and on the left of the current CU. The intra prediction is performed in the spatial domain. In an inter mode, motion compensation and motion estimation are performed by the motion estimator 138 which searches, in one or more reference pictures provided by the picture buffer 136 and used to predictively code the current picture, a CU that is a good predictor of a current CU. For example, a good predictor of a current CU is a predictor which is similar to the current CU, i.e., the distortion between the two CUs is low or below a certain threshold. The motion estimation may also account for the rate cost of signalling the predictor to optimize a rate-distortion tradeoff. The output of the motion estimation step is one or more motion vectors and reference indices associated with the current CU. The motion compensation then predicts the current CU by means of the one or more motion vectors and reference pictures indices as determined by the motion estimator 138. Basically, the block or CU contained in the selected reference picture and pointed to by the determined motion vector is used as the prediction block for the current CU. The encoder 100, by means of the selector 140, selects one of the intra coding mode or the inter coding mode to use for encoding the CU and indicates the intra / inter decision, for example, by means of a prediction mode flag. Prediction residuals 110 are then transformed and quantized by blocks 116 and 118, and the quantized transform coefficients as well as the motion vectors and other syntax elements are entropy encoded and written into the output bitstream 120. The encoder 100 may skip the transform stage 116 and apply the quantization directly to the non-transformed residual signal 110 in a so-called transform-skip coding mode. After a block or CU has been encoded, the encoder decodes the CU and reconstructs it so as to obtain the reconstructed signal 110”’ that may serve as a reference data for predicting future CUs or blocks to encode. The quantized transform coefficients 110’ are de-quantized and inverse transformed leading to a decoded prediction CU or block 110” , and the decoded prediction residuals and the predicted block are then combined at 130, typically summed, so as to provide the reconstructed block or CU 110”’ . The in-loop filters 134 are applied to the reconstructed picture to reduce compensation artifacts. For example, a deblocking filter, a sample adaptive offset, SAO, filter, and an adaptive loop filter, ALF, may be applied to reduce encoding artifacts. The filtered picture is stored in the buffer 136, also referred to as the decoded picture buffer, DPB, so that it may be used as a reference picture for coding subsequent pictures.

[0035] Fig. 2 is a block diagram of a video decoder 150 for predictively decoding from a data or bitstream 152 a picture or video which is provided at an output 154 of the decoder 150. The decoder 150 includes an entropy decoder 156, a partitioning block 158, an inverse quantizer 160, an inverse transformer 162, a combiner 164, an in-loop filter 166, optionally a post-decoding processor 168, and a prediction module 170. The prediction module 170 includes a decoded picture buffer 180 a motion compensator 182 an intra predictor 184.

[0036] An encoded picture of a video sequence is decompressed and decoded by the decoder 150 as follows. The input bitstream 152 is entropy decoded by the decoder 156 which provides, for example, the block partitioning information, the coding mode for each coding unit, the transform coefficients contained in each transform block, prediction information, like intra prediction mode, motion vectors, reference picture indices, and other coding information. The block partitioning information indicates how the picture is partitioned and the decoder 150 may divide the input picture into coding tree units, CTUs, typically of a size of 64x64 or 128x128  pixels and divide each CTU into rectangular or square coding units, CUs, according to the decoded partitioning information. The entropy decoded quantized coefficients 172 are de-quantized 160 and inverse transformed 162 so as to obtain the decoded residual picture or CU 174. The decoded prediction parameters are used to predict the current block or CU, i.e., whether the predicted block is to be obtained through its intra prediction or through its motion-compensated temporal prediction. The prediction process performed at the decoder side is the same as the one performed at the encoder side. The decoded residual blocks 174 are added to the predicted block 176, thereby yielding the reconstructed current image block 1768 The in-loop filters 166 are applied to the reconstructed picture or image which is also stored in the decoded picture buffer 180 to serve with the reference picture for future pictures to decode. As mentioned above, the decoded picture may further go through a post-decoding processing, for example for performing an inverse color transformation, for example a conversion from YCbCr 4: 2: 0 to RGB 4: 4: 4.

[0037] In all above processes, the entropy (de) coding of syntax elements representing encoder decisions such as block partitioning information, prediction modes / parameters, quantized transform coefficients, etc. may be carried out by using a context-adaptive entropy coder, such as Context-Adaptive Binary Arithmetic Coding (CABAC) . To use CABAC, each syntax element is first binarized to be represented with a series of bins. Then each bin is associated with a CABAC context model that keeps track of binary values of that particular bin in the past, in order to more efficiently model its probability distribution.

[0038] The encoder and decoder designs shown in Fig. 1 and 2 may be used to build the subsequently proposed embodiments thereinto.

[0039] In current design of ECM, when regular IPM is used as the coded mode of a CU, only a single mode can be used for the prediction of the block. This limitation keeps ECM using fusion for texture smoothing as in other fusion-based prediction modes (e.g. DIMD, OBIC, TIMD, SGPM etc. ) . This embodiments described below address this potential shortcoming by allowing multiple mode fusion when the regular IPM is selected for a CU.

[0040] According to embodiments of the proposed disclosure, the method for CUs that are coded by the so-called regular IPM tool, where the signalling includes at least one Most Probable Mode (MPM) flag, is modified. The modification allows at least one additional mode to be fused with the principal mode coded by the regular IPM coded CU. In other words, it is proposed that pixels of regular IPM coded CUs be predicted as fusion of A) one “principal IPM” that is coded using at least one MPM flag and B) at least one additional “fusion IPM” that is different from the principal IPM of the CU.

[0041] For the present disclosure, the abbreviation IPM (Intra Prediction Mode) is used to define a prediction mode provided by the codec that can be either angular or non-angular mode. For example, in VVC, the set of all 67 IPMs include two non-angular IPMs of DC and Planar, as well as 65 angular IPMs, covering 180 degrees of all angles.

[0042] A Regular IPM (RIPM) CU is a CU that uses IPM for its prediction and that IPM is signalled by using Most Probable Mode (MPM) and non-MPM list (s) . In other words, an RIPM CU is in contrast with other CUs such as DIMD or TIMD, where even though those CUs use IPM (s) , their signalling does not involve MPM and non-MPM lists. Instead, they have their own dedicated flags.

[0043] An RIPM CU in the state-of-the-art is therefore associated with exactly one IPM. In the description of the embodiments presented below, this IPM that is explicitly signalled for the RIPM CU, is referred to as the “principal mode” of that RIPM CU.

[0044] Here, according to embodiments described herein, new prediction mode (s) are introduced for each RIPM CUs. This (these) mode (s) is (are) referred to as “fusion mode” of that RIPM CU.

[0045] The methods of embodiments described herein are called Fusion Regular IPM, or, using different words, relate to a fusion intra prediction coding tool, that can be applied only on RIPMs. Correspondingly, an  RIPM CU that uses the proposed method is called Fusion RIPM or in short, an FRIPM CU. Conversely, an RIPM CU that does not use the proposed methods, is called a Non-Fusion RIPM or an NFRIPM CU.

[0046] According to a embodiments, FRIPM CUs use at least one fusion mode, in addition to their principal modes. As a result, the prediction process of an FRIPM CU includes:

[0047] Prediction using the principal mode (that has to be an IPM, according to the previous section) and obtaining a principal prediction signal noted as:

[0048] Pprinc

[0049] 1. Prediction using one or more fusion modes and obtaining a set of fusion prediction signals, noted as:

[0050]

[0051] 2. Applying a prediction fusion on the principal prediction signal and the fusion prediction signals in order to compute a final prediction signal as:

[0052] Below, for the sake of simplicity, we assume that there exists only one fusion mode. However, without loss of generality, one can extend all aspects to more than one fusion IPM.

[0053] That is, according to an embodiment illustrated in Fig. 6, the decoder, in decoding a picture from a data stream, decodes an intra-predicted block using a fusion intra prediction coding tool by determining S102 a principal intra-prediction mode out of a first set of intra prediction modes, determining S104 one or more fusion modes out of a second set of intra prediction modes and forming S106 a final prediction signal for the intra-predicted block by fusing a first prediction signal obtained using the principal intra prediction mode and one or more second prediction signals obtained using the one or more fusion intra prediction modes. While the decoder reconstructs the intra-predicted block using the final prediction signal, namely by correcting the final prediction signal using a prediction residual signalled in the data stream for intra-predicted block, the encoder encodes the intra-predicted block using the final prediction signal, namely determining the prediction residual so that same corrects the final prediction signal and encoding same into the data stream for then intra-predicted block. Step S104 is optional, as will become clear from the following description. The one or more fusion modes used in step S106 might be fixed by default at decoder and encoder.

[0054] The choice of fusion mode can be made differently. In particular, a fusion mode can be either itself an IPM (e.g. one of 67 IPMs of VVC) , or a non-IPM.

[0055] That is, the second set of intra prediction modes from which the fusion mode (s) is / are selected may include the first set of intra prediction modes from which a principal mode is selected, or a subset thereof, and additionally comprise one or more further intra-prediction modes. However, alternatively, the first and second sets of intra-prediction modes might be disjoint or merely a proper subset of intra-prediction modes out of the first set might be included in the second set. Even alternatively, the second set may equal the first set.

[0056] In the IPM-based category, where fusion mode is itself an IPM, the decision of what IPM to choose can be made differently. First example of the IPM-based fusion mode is to choose an IPM that is defined relative to the principal mode IPM (e.g. with an offset index) . This example is depicted in Fig. 3. Second example of the IPM-based fusion mode is to choose an IPM based on available information from neighboring CUs that have already been coded. The second example also includes using TIMD (Template-based Intra Mode Derivation) or DIMD (Decoder-side Intra Mode Derivation) methods to derive an IPM as the fusion mode. Third example of IPM-based fusion mode selection is to always choose a constant (i.e. hardcoded by the specification) IPM (e.g. Planar mode) .

[0057] That is, in one embodiment, the second set of intra-prediction modes equals the first set of intra-prediction modes or a proper subset of the latter, and the determining the one or more fusion intra prediction modes out of the second set of intra prediction modes may be performed depending on one or more of, which principal intra prediction mode is determined out of the first set of intra-prediction modes, information on  previously decoded blocks of the picture, and / or an analysis of a previously reconstructed portion within a spatial neighbourhood of the intra-prediction block in the picture, but the dependencies could also be used if the second set if defined differently, i.e. comprises one or more intra-prediction modes outside the first set.

[0058] In the non-IPM-based category, where fusion mode is not an IPM, the decision about the prediction mode can be made differently. First example of the non-IPM-based fusion mode is to choose a BV-based prediction mode, such as in IBC (Intra Block Copy) or IntraTmp (Intra Template-based) . This example is illustrated in Fig. 4. Second example of the non-IPM-based fusion mode is to use the MIP mode (Matrix-based Intra Prediction) fusion mode. Third example of the non-IPM-based fusion mode is to use an EIP mode (Extrapolation Intra Prediction) as fusion mode.

[0059] Alternatively, it is possible for an FRIPM to have several fusion modes, consisting of a combination of IPM-based and non-IPM-based fusion modes. For the choice of IPM-based and non-IPM-based fusion modes, same options as above are available.

[0060] Given a principal mode and at least one fusion mode, different fusion methods can be used to combine the individual prediction signal of each mode in order to provide the final prediction signal of an FRIPM CU, i.e. to fuse them.

[0061] First example of fusion method is fixed linear weighting. In this method, a set of pre-defined scalars  i=1, 2, …and a possibly a bias β are used to linearly combine the predictions by their weighted sum:

[0062] Second example of fusion method is adaptive linear weighting. In this method, similar to previous method, a linear combination of the individual prediction signals is used for the fusion. However, the weights are adaptively computed for each CU. For instance, one can use the template cost of each mode to determine its fusion weight.

[0063] The signalling aspect of the proposed method involves two sub-aspects: CU-level signalling for the usage of the proposed algorithm, and signalling for the choice of fusion mode (s) .

[0064] The use of the fusion intra prediction tool can be controlled in the High-Level Syntax (HLS) such as Sequence Parameters Set (SPS) , Picture Parameters Set (PPS) etc. To this end, a flag is added to enable or disable the fusion intra prediction tool for the whole sequence or picture, respectively.

[0065] As to the signalling of the tool in the CU-level, its use might be signalled explicitly or implicitly.

[0066] In explicit mode, each RIPM carries a flag to indicate whether it is a FRIPM or NFRIPM. In this mode, it is possible to enable the enable the proposed method, i.e. the fusion intra prediction, only for a subset of all RIPMs and signal the flag only for those. For example, this constraint can be based on the block size. Fig. 5 illustrates this explicit mode.

[0067] Alternatively, in implicit mode, no flag is carried in the CU and to determine whether and RIPM is FRIPM or an NFRIPM, available information at the decoder side is taken into account. First example of how to implicitly choose between FRIPM and NFRIPM is to use the template cost. In this approach, the fusion using the same principal, and fusion modes is applied on the template around the current CU and a template cost is computed. Moreover, the template cost of only the principal mode is computed. If the fusion cost is lower than a certain threshold of the principal cost, then the block is coded as FRIPM. A second example of implicit usage of the proposed method is to always enable it for blocks that meet certain requirements, such as block size etc.

[0068] As to the question of how to signal the fusion mode for FRIPM CUs, several options exist. That is, when a CU is coded as FRIPM, the decoder should determine its fusion mode. There are two approaches to do so.

[0069] In first approach, the fusion mode is also be explicitly signalled. In other words, at least one syntax element is parsed for determining what fusion mode should be used for current FRIPM CU. That is, fusion information could be present the data stream for those blocks for which the fusion mode is determined to be used  as also illustrated as optional in Fig. 5. The syntax element used to this end could be used differently to determine the fusion mode. In first example of this approach, the syntax element can be a signed index that is relative to the IPM index of the principal mode and is to be added to it in order to derive the fusion mode. In second example of this approach, the syntax element is a flag or index indicating one of possible sources of deriving the fusion mode (e.g. source 1: TIMD, source 2: DIMD etc. ) . It is useful to note that the explicit approach is applicable only when the CU-level flag for the use of the proposed method is present (as described above) .

[0070] In second approach, the fusion mode is derived implicitly, meaning that it derivation is not associated with any syntax elements. Therefore, it can be applied to both explicit and implicit modes described above. In this approach, to derive the fusion mode, available information from neighbouring CUs that have already been decoded could be used. This information could be related to the prediction mode or reconstructed pixels of those neighbouring CUs. Furthermore, the implicitly derived fusion mode can be either computed relative to the principal mode, or computed independently from the principal mode.

[0071] Fig. 7 illustrates a data stream 700 in accordance with embodiments of the present disclosure, which has encoded thereinto a picture and information data associated with the picture. For example, the data stream or bitstream 700 may be provided by an encoder 600 that performs the inventive method for encoding the picture into the data stream 700. The data stream 700 is transmitted to a decoder 500 via a wired or wireless transmission medium 704, like cable or a radio link, and the decoder 500 decodes from the data stream 700 the picture. The data stream might include information 702, which is encoded into the data stream by the encoder 600, with this information controlling the fusion mode as discussed above, i.e. this information may activate the fusion mode for a certain block, and / or may select the fusion mode for this block is the fusion mode is activated, and / or may control the fusion itself for this block if the fusion mode is activated.

[0072] Although some aspects of the disclosed concept have been described in the context of an apparatus, it is clear that these aspects also represent a description of the corresponding method, where a block or a device corresponds to a method step or a feature of a method step. Analogously, aspects described in the context of a method step also represent a description of a corresponding block or item or feature of a corresponding apparatus.

[0073] Fig. 8 is a block diagram illustrating an electronic device 900 according to embodiments of the present disclosure. The electronic device is intended to represent various forms of digital computers, such as a laptop, a desktop, a workstation, a personal digital assistant, a server, a blade server, a mainframe computer, and other suitable computers. The electronic device may also represent various forms of mobile devices, such as a personal digital processor, a cellular phone, a smart phone, a wearable device, and other similar computing devices. The components shown herein, their connections and relationships, and their functions are described as examples only, and are not intended to limit implementations of the present disclosure described and / or claimed herein. The device 900 includes a computing unit 901 to perform various appropriate actions and processes according to computer program instructions stored in a read only memory (ROM) 902, or loaded from a storage unit 908 into a random access memory (RAM) 903. In the RAM 903, various programs and data for the operation of the storage device 900 can also be stored. The computing unit 901, the ROM 902, and the RAM 903 are connected to each other through a bus 904. An input / output (I / O) interface 905 is also connected to the bus 904.

[0074] Components in the device 900 are connected to the I / O interface 905, including: an input unit 906, such as a keyboard, a mouse; an output unit 907, such as various types of displays, speakers; a storage unit 908, such as a disk, an optical disk; and a communication unit 909, such as network cards, modems, wireless communication transceivers, and the like. The communication unit 909 allows the device 900 to exchange information / data with other devices through a computer network such as the Internet and / or various telecommunication networks. The computing unit 901 may be formed of various general-purpose and / or special-purpose processing components with processing and computing capabilities. Some examples of the computing unit 901 include, but are not limited to, a central processing unit (CPU) , graphics processing unit (GPU) , various  specialized artificial intelligence (AI) computing chips, various computing units that run machine learning model algorithms, digital signal processor (DSP) , and any suitable processor, controller, microcontroller, etc. The computing unit 901 performs various methods and processes described above, such as an image processing method. For example, in some embodiments, the image processing method may be implemented as computer software programs that are tangibly embodied on a machine-readable medium, such as the storage unit 908. In some embodiments, part or all of the computer program may be loaded and / or installed on the device 900 via the ROM 902 and / or the communication unit 909. When a computer program is loaded into the RAM 903 and executed by the computing unit 901, one or more steps of the image processing method described above may be performed. In some embodiments, the computing unit 901 may be configured to perform the image processing method in any other suitable manner (e.g., by means of firmware) .

[0075] Various implementations of the systems and techniques described herein above may be implemented in digital electronic circuitry, integrated circuit systems, field programmable gate arrays (FPGA) , application specific integrated circuits (ASIC) , application specific standard products (ASSP) , system-on-chip (SOC) , complex programmable logic device (CPLD) , computer hardware, firmware, software, and / or combinations thereof. These various embodiments may include being implemented in one or more computer programs executable and / or interpretable on a programmable system including at least one programmable processor, and the programmable processor may be a special-purpose or general-purpose programmable processor, and may receive data and instructions from a storage system, at least one input device and at least one output device, and may transmit data and instructions to the storage system, the at least one input device, and the at least one output device.

[0076] Program code for implementing the methods of the present disclosure may be written in any combination of one or more programming languages. These program codes may be provided to a processor or controller of a general computer, a dedicated computer, or other programmable data processing device, such that the program codes, when executed by the processor or controller, cause the functions and / or operations specified in the flow diagrams and / or block diagrams is performed. The program code can be executed entirely on the machine, partly on the machine, as a stand-alone software package partly on a machine and partly on a remote machine or entirely on a remote machine or server.

[0077] In the context of the present disclosure, a machine-readable medium may be a tangible medium that may contain or store a program for use by or in connection with an instruction execution system, apparatus, or device. The machine-readable medium may be a machine-readable signal medium or a machine-readable storage medium. A machine-readable medium may include, but is not limited to, an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any suitable combination of the foregoing. More specific examples of machine-readable storage media include electrical connections based on one or more wires, portable computer disks, hard disks, random access memories (RAM) , read-only memories (ROM) , erasable programmable read-only memories (EPROM or flash memory) , fiber optics, compact disc read-only memories (CD-ROM) , optical storage devices, magnetic storage devices, or any suitable combination of the foregoing.

[0078] To provide interaction with a user, the systems and techniques described herein may be implemented on a computer having a display device (e.g., a cathode ray tube (CRT) or liquid crystal display (LCD) ) for displaying information for the user; and a keyboard and pointing device (e.g., a mouse or trackball) through which a user can provide an input to the computer. Other types of devices can also be used to provide interaction with the user, for example, the feedback provided to the user may be any form of sensory feedback (e.g., visual feedback, auditory feedback, or tactile feedback) ; and may be in any form (including acoustic input, voice input, or tactile input) to receive the input from the user.

[0079] The systems and techniques described herein may be implemented on a computing system that includes back-end components (e.g., as a data server) , or a computing system that includes middleware components (e.g., an application server) , or a computing system that includes front-end components (e.g., a user computer with a graphical user interface or web browser through which a user can interact with implementations of the systems and techniques described herein) , or a computer system including such a backend components, middleware components, front-end components or any combination thereof. The components of the system may be interconnected by any form or medium of digital data communication (e.g., a communication network) . Examples of the communication network includes: Local Area Networks (LAN) , Wide Area Networks (WAN) , the Internet and blockchain networks.

[0080] The computer system may include a client and a server. The Client and server are generally remote from each other and usually interact through a communication network. The relationship of the client and the server is generated by computer programs running on the respective computers and having a client-server relationship with each other. The server may be a cloud server, also known as a cloud computing server or a cloud host, which is a host product in the cloud computing service system, and solves the defects of difficult management and weak business expansion in traditional physical hosts and virtual private servers ( "VPS" for short) . The server may also be a server of a distributed system, or a server combined with a blockchain.

[0081] It is to be understood that the steps may be reordered, added or deleted by using the various forms of flows shown above. For example, the steps described in the present disclosure may be executed in parallel, sequentially, or in different orders, as long as the desired results of the technical solutions in the present disclosure can be achieved, and no limitation is imposed herein.

[0082] Summarizing the above, the following embodiments are derivable from above description.

[0083] In an embodiment, an intra CU which is coded using Most Probable Mode (MPM) flag, uses one regular IPM (e.g., among 67 IPMs in VVC) as the principal mode, along with at least one fusion mode. Then, the final prediction of the CU is computed by fusing the prediction signal from the principal mode and the prediction signal (s) from the fusion mode (s) .

[0084] The fusion mode may be IPM-based, meaning that it has been selected among available IPMs (e.g. 67 IPMs in VVC) , i.e. out of the first set of intra prediction modes.

[0085] The IPM-based fusion mode may be computed or selected relative to the index of the principal mode.

[0086] The IPM-based fusion mode may be computed or selected based on the available information in the neighborhood.

[0087] The computation or selection based on the available neighborhood consists of a template processing step.

[0088] The fusion mode may be non-IPM-based, meaning that it has not been selected among the regular IPMs (e.g. 67 IPMs in VVC) .

[0089] The non-IPM-based fusion mode may be a mode that requires a Block Vector (BV) for computing the prediction signal.

[0090] The BV-based non-IPM-based fusion mode may be IntraTmp mode.

[0091] The BV-based non-IPM-based fusion mode may be Intra Block Copy (IBC) .

[0092] The non-IPM-based fusion mode may use Matrix-based Intra Prediction (MIP) for computing the prediction signal.

[0093] The non-IPM-based fusion mode may use Extrapolation-based Intra Prediction (EIP) for computing the prediction signal.

[0094] There may be both IPM-based and non-IPM-based prediction modes among the fusion modes.

[0095] As to the fusion, the fusion process may be carried out by a linear combination of individual prediction signals, including the principal mode's prediction signal, as well as fusion modes' prediction signals.

[0096] The weights of the linear combination of prediction signals may be constant for all CUs.

[0097] The weights of the linear combination of prediction signals may be adapted for different CUs. As noted above, the template cost of each mode might be used to determine its fusion weight.

[0098] As to the signaling, a High-Level Syntax (HLS) such as SPS or PPS flag may be signalled to indicate whether the above prediction fusion is used in the coded video / image. An example syntax portion out of a SPS syntax is shown hereinbelow:

[0099] A CU-level flag may be signalled for a regular IPM coded CU to indicate whether or not it uses the above prediction fusion method.

[0100] The CU-level flag may only be signalled for a subset of regular IPM coded CUs, depending on a condition such as CU size etc.

[0101] When a CU is determined to use the above prediction fusion method, CU-level information may be signalled to indicate the choice of fusion mode (s) of the CU.

[0102] Further embodiments encompass the following ones, each of which is combinable with one or more of the details set out above.

[0103] A 1st embodiment provides a method for decoding a picture from a data stream, comprising

[0104] determining, based on a most probable mode syntax element signaled in the data stream, a principal intra-prediction mode out of a first set of intra prediction modes,

[0105] forming a fused prediction signal for an intra-predicted block by fusing a first prediction signal obtained using the principal intra prediction mode and one or more second prediction signals obtained using one or more fusion intra prediction modes;

[0106] reconstructing the intra-predicted block using the fused prediction signal.

[0107] A 2nd embodiment provides the method of the 1st embodiment, wherein the first set of intra prediction modes comprises directional intra-prediction modes.

[0108] A 3rd embodiment provides the method of the 1st to 2nd embodiment, wherein the determining, based on the most probable mode syntax element signaled in the data stream, the principal intra-prediction mode out of the first set of intra prediction modes, comprises

[0109] determining one or more most probable intra prediction modes out of the first set of intra prediction modes, wherein the principle intra prediction mode is one of the one or more most probable intra prediction modes, or

[0110] decoding an index for the intra-predicted block from the data stream, the index pointing into a subset of least-probable intra prediction modes out of the the one or more most probable intra prediction modes and determining the principle mode out of the less-probable intra prediciton modes using the index.

[0111] A 4th embodiment provides the method of any one of the preceding embodiments, wherein the determining, based on the most probable mode syntax element signaled in the data stream, the principal intra-prediction mode out of the first set of intra prediction modes, further comprises

[0112] determining, based on the most probable mode syntax element, whether the principle intra prediction mode shall be one of the one or more most probable intra prediction modes, or whether the principle intra prediction mode shall be one of the first set of intra prediction modes, other than the one or more most probable intra prediction modes.

[0113] A 5th embodiment provides the method of any one of the preceding embodiments, comprising, in determining the principal intra prediction mode out of the first set of intra prediction modes,

[0114] determinig, based on the most probable mode syntax element, whether the principle intra prediction mode shall be one of one or more most probable intra prediction modes, or whether the principle intra prediction mode shall be one of the first set of intra prediction modes, other than the one or more most probable intra prediction modes, and

[0115] if the principle intra prediction mode shall be one of the one or more most probable intra prediction modes,

[0116] determining the one or more most probable intra prediction modes out of the first set of intra prediction modes, wherein the principle intra prediction mode is one of the one or more most probable intra prediction modes, and

[0117] if the principle intra prediction mode shall be one of the first set of intra prediction modes,

[0118] decoding an index for the intra-predicted block from the data stream, the index pointing into a subset of least-probable intra prediction modes out of the the one or more most probable intra prediction modes and determining the principle mode out of the less-probable intra prediciton modes using the index.

[0119] A 6th embodiment provides the method of any one of the preceding embodiments, further comprising

[0120] determining the one or more fusion intra prediction modes out of a second set of one or more intra prediction modes, wherein the second set of one or more intra prediction modes

[0121] a) includes the first set of intra prediction modes, or a subset thereof, and comprises one or more further intra-prediction modes, or

[0122] b) is disjoint relative to the first set of intra prediction modes, or

[0123] c) equals a proper subset of intra prediction modes out of the first set of intra prediction modes or equals the first set of intra prediction modes.

[0124] A 7th embodiment provides the method of the 6th embodiment, wheren the determining the one or more fusion intra prediction modes out of the second set of intra prediction modes is performed depending on one or more  of

[0125] a) which principal intra prediction mode is determined out of the first set of intra-prediction modes,

[0126] b) information on previously decoded blocks of the picture,

[0127] c) an analysis of a previously recontructed portion within a spatial neighborhood of the intra-prediction block in the picture, and

[0128] d) one or more fusion mode syntax elements.

[0129] A 8th embodiment provides the method of any one of the preceding embodiments, wherein the one or more fusion intra prediction modes comprises one or more of

[0130] a) a block vector (BV) based prediction mode,

[0131] b) an IntraTmp (Intra Template-based) prediction mode,

[0132] c) a MIP (Matrix-based Intra Prediction) prediction mode,

[0133] d) an EIP mode (Extrapolation Intra Prediction) prediction mode.

[0134] A 9th embodiment provides the method of any one of the preceding embodiments, wherein the method comprises switching, for each of a set of predetermined intra-predicted blocks, between

[0135] determining, based on the most probable mode syntax element signaled in the data stream for the respective predetermined intra predicted block, a principal intra-prediction mode out of the first set of intra prediction modes,

[0136] forming a fused prediction signal for the respective predetermined intra-predicted block by fusing a first prediction signal obtained using the principal intra prediction mode and one or more second prediction signals obtained using one or more fusion intra prediction modes;

[0137] reconstructing the respective predetermined intra-predicted block using the fused prediction signal, and

[0138] determining, based on the most probable mode syntax element signaled in the data stream for the respective predetermined intra predicted block, a principal intra-prediction mode out of the first set of intra prediction modes, and

[0139] decoding the respective predetermined intra-predicted block using the principal intra-prediction mode.

[0140] A 10th embodiment provides the method of the 9th embodiment,

[0141] wherein the set of predetermined intra-predicted blocks is formed by

[0142] intra-predicted blocks for which a most probable mode syntax element is signalled in the data stream, or intra-predicted blocks, for which a most probable mode syntax element is signalled in the data stream, which indicates the use of a most probable intra prediction mode.

[0143] wherein the switching depends on one or more

[0144] a) characteristics of the respective predetermined intra-prediction block

[0145] b) a syntax element signalled in the data stream for the respective predetermined intra-prediction block

[0146] c) an analysis performed on a template area in a spatial neighbourhood of the intra-predicted block by checking which among predicting the template 1) using a fused prediction test signal for the template area formed by using a first prediction test signal obtained using the principal intra prediction mode and one or more second prediction test signals obtained using the one or more fusion intra prediction modes and 2) using the first prediction test signal is more effective.

[0147] An 11th embodiment provides the method of any one of the preceding embodiments, wherein the fused prediction signal is formed by one or more of

[0148] a) a weighted sum with default weights,

[0149] b) a weighted sum with weights among which at least one is signalled in the data stream for the intra-predicted block, and

[0150] c) a weighted sum with weights among which at least one is implicitly derived for the intra-predicted block based on a previously decoded portion of the data stream.

[0151] A 12th embodiment provides the method of any one of the preceding embodiments, comprising

[0152] for each of a set of intra-predicted blocks for which a most probable mode syntax element is signalled in the data stream (e.g. determining whether the respective intra-predicted block belongs to this set is done based on a corresponding syntax element for the respective intra predicted block in the data stream or based on other information such as by means of analyzing an already de / coded neighborhood of the respective intra-predicted block) ,

[0153] decoding the most probable mode syntax element and a fusion mode syntax element from the data stream for the respective intra predicted block,

[0154] if the fusion mode syntax element is indicative of a fused intra prediction,

[0155] determining, based on the most probable mode syntax element signaled in the data stream for the respective intra predicted block, the principal intra-prediction mode out of the first set of intra prediction modes,

[0156] forming a fused prediction signal for the respective intra-predicted block by fusing a first prediction signal obtained using the principal intra prediction mode and one or more second prediction signals obtained using one or more fusion intra prediction modes;

[0157] reconstructing the respective intra-predicted block using the fused prediction signal,

[0158] if the fusion mode syntax element is not indicative of the fused intra prediction,

[0159] determining, based on the most probable mode syntax element signaled in the data stream for the respective intra predicted block, a principal intra-prediction mode out of the first set of intra prediction modes, and

[0160] decoding the respective intra-predicted block using the principal intra-prediction mode.

[0161] A 13th embodiment provides the method of any one of the preceding embodiments, wherein the intra-prediction block belongs to a set of intra-predicted blocks for which a most probable mode syntax element is signalled in the data stream, and the method comprises, for each of the set of intra-predicted blocks,

[0162] decoding the most probable mode syntax element and a fusion mode syntax element from the data stream for the respective intra predicted block, and

[0163] determining, based on the most probable mode syntax element signaled in the data stream for the respective intra predicted block, a principal intra-prediction mode out of the first set of intra prediction modes,

[0164] forming a fused prediction signal for the respective intra-predicted block by fusing a first prediction signal obtained using the principal intra prediction mode and one or more second prediction signals obtained using one or more fusion intra prediction modes;

[0165] reconstructing the respective intra-predicted block using the fused prediction signal, or

[0166] determining, based on the most probable mode syntax element signaled in the data stream for the respective intra predicted block, a principal intra-prediction mode out of the first set of intra prediction modes, and

[0167] decoding the respective intra-predicted block using the principal intra-prediction mode.

[0168] A 14th embodiment provies a method for encoding a picture into a data stream, comprising

[0169] determining, based on a most probable mode syntax element signaled in the data stream, a principal intra-prediction mode out of a first set of intra prediction modes,

[0170] forming a fused prediction signal for an intra-predicted block by fusing a first prediction signal obtained using the principal intra prediction mode and one or more second prediction signals obtained using one or more fusion intra prediction modes;

[0171] encoding the intra-predicted block using the fused prediction signal.

[0172] A 15th embodiment provides the method of the 14th embodiment, wherein the first set of intra prediction modes comprises directional intra-prediction modes.

[0173] A 16th embodiment provides the method of the 14th to 15th embodiment, wherein the determining, based on the most probable mode syntax element signaled in the data stream, the principal intra-prediction mode out of the first set of intra prediction modes, comprises

[0174] determining one or more most probable intra prediction modes out of the first set of intra prediction modes, wherein the principle intra prediction mode is one of the one or more most probable intra prediction modes,  or

[0175] encoding an index for the intra-predicted block into the data stream, the index pointing into a subset of least-probable intra prediction modes out of the the one or more most probable intra prediction modes and determining the principle mode out of the less-probable intra prediciton modes using the index.

[0176] A 17th embodiment provides the method of the 14th to 16th embodiments, wherein the determining, based on the most probable mode syntax element signaled in the data stream, the principal intra-prediction mode out of the first set of intra prediction modes, further comprises

[0177] determining, based on the most probable mode syntax element, whether the principle intra prediction mode shall be one of the one or more most probable intra prediction modes, or whether the principle intra prediction mode shall be one of the first set of intra prediction modes, other than the one or more most probable intra prediction modes.

[0178] An 18th embodiment provides the method of the 14th to 17th embodiments, comprising, in determining the principal intra prediction mode out of the first set of intra prediction modes,

[0179] determinig, based on the most probable mode syntax element, whether the principle intra prediction mode shall be one of one or more most probable intra prediction modes, or whether the principle intra prediction mode shall be one of the first set of intra prediction modes, other than the one or more most probable intra prediction modes, and

[0180] if the principle intra prediction mode shall be one of the one or more most probable intra prediction modes,

[0181] determining the one or more most probable intra prediction modes out of the first set of intra prediction modes, wherein the principle intra prediction mode is one of the one or more most probable intra prediction modes, and

[0182] if the principle intra prediction mode shall be one of the first set of intra prediction modes,

[0183] encoding an index for the intra-predicted block into the data stream, the index pointing into a subset of

[0184] least-probable intra prediction modes out of the the one or more most probable intra prediction modes and determining the principle mode out of the less-probable intra prediciton modes using the index.

[0185] A 19th embodiment provides the method of 14th to 18th embodiments, further comprising

[0186] determining the one or more fusion intra prediction modes out of a second set of one or more intra prediction modes, wherein the second set of one or more intra prediction modes

[0187] a) includes the first set of intra prediction modes, or a subset thereof, and comprises one or more further intra-prediction modes, or

[0188] b) is disjoint relative to the first set of intra prediction modes, or

[0189] c) equals a proper subset of intra prediction modes out of the first set of intra prediction modes or equals the first set of intra prediction modes.

[0190] A 20th embodiment provides the method of the 19th embodiment, wheren the determining the one or more fusion  intra prediction modes out of the second set of intra prediction modes is performed depending on one or more of

[0191] a) which principal intra prediction mode is determined out of the first set of intra-prediction modes,

[0192] b) information on previously encoded blocks of the picture,

[0193] c) an analysis of a previously recontructed portion within a spatial neighborhood of the intra-prediction block in the picture, and

[0194] d) one or more fusion mode syntax elements.

[0195] A 21st embodiment provides the method of the 14th to 20th embodiments, wherein the one or more fusion intra prediction modes comprises one or more of

[0196] a) a block vector (BV) based prediction mode,

[0197] b) an IntraTmp (Intra Template-based) prediction mode,

[0198] c) a MIP (Matrix-based Intra Prediction) prediction mode,

[0199] d) an EIP mode (Extrapolation Intra Prediction) prediction mode.

[0200] A 22nd embodiment provides the method of the 14th to 21st embodiments, wherein the method comprises switching, for each of a set of predetermined intra-predicted blocks, between

[0201] determining, based on the most probable mode syntax element signaled in the data stream for the respective predetermined intra predicted block, a principal intra-prediction mode out of the first set of intra prediction modes,

[0202] forming a fused prediction signal for the respective predetermined intra-predicted block by fusing a first prediction signal obtained using the principal intra prediction mode and one or more second prediction signals obtained using one or more fusion intra prediction modes;

[0203] reconstructing the respective predetermined intra-predicted block using the fused prediction signal, and

[0204] determining, based on the most probable mode syntax element signaled in the data stream for the respective predetermined intra predicted block, a principal intra-prediction mode out of the first set of intra prediction modes, and

[0205] encoding the respective predetermined intra-predicted block using the principal intra-prediction mode.

[0206] A 23rd embodiment provides the method of the 22nd embodiment,

[0207] wherein the set of predetermined intra-predicted blocks is formed by

[0208] intra-predicted blocks for which a most probable mode syntax element is signalled in the data stream, or intra-predicted blocks, for which a most probable mode syntax element is signalled in the data stream, which indicates the use of a most probable intra prediction mode.

[0209] wherein the switching depends on one or more

[0210] a) characteristics of the respective predetermined intra-prediction block

[0211] b) a syntax element signalled in the data stream for the respective predetermined intra-prediction block

[0212] c) an analysis performed on a template area in a spatial neighbourhood of the intra-predicted block by checking which among predicting the template 1) using a fused prediction test signal for the template area formed by using a first prediction test signal obtained using the principal intra prediction mode and one or more second prediction test signals obtained using the one or more fusion intra prediction modes and 2) using the first prediction test signal is more effective.

[0213] A 24th embodiment provides the method of the 14th to 23rd embodiments, wherein the fused prediction signal is formed by one or more of

[0214] a) a weighted sum with default weights,

[0215] b) a weighted sum with weights among which at least one is signalled in the data stream for the intra-predicted block, and

[0216] c) a weighted sum with weights among which at least one is implicitly derived for the intra-predicted block based on a previously encoded portion of the data stream.

[0217] A 25th embodiment provides the method of any one of the 14th to 24th embodiments, comprising

[0218] for each of a set of intra-predicted blocks for which a most probable mode syntax element is signalled in the data stream (e.g. determining whether the respective intra-predicted block belongs to this set is done based on a corresponding syntax element for the respective intra predicted block in the data stream or based on other information such as by means of analyzing an already de / coded neighborhood of the respective intra-predicted block) ,

[0219] encoding the most probable mode syntax element and a fusion mode syntax element into the data stream for the respective intra predicted block,

[0220] if the fusion mode syntax element is indicative of a fused intra prediction,

[0221] determining, based on the most probable mode syntax element signaled in the data stream for the respective intra predicted block, the principal intra-prediction mode out of the first set of intra prediction modes,

[0222] forming a fused prediction signal for the respective intra-predicted block by fusing a first prediction signal obtained using the principal intra prediction mode and one or more second prediction signals obtained using one or more fusion intra prediction modes;

[0223] reconstructing the respective intra-predicted block using the fused prediction signal,

[0224] if the fusion mode syntax element is not indicative of the fused intra prediction,

[0225] determining, based on the most probable mode syntax element signaled in the data stream for the respective  intra predicted block, a principal intra-prediction mode out of the first set of intra prediction modes, and

[0226] encoding the respective intra-predicted block using the principal intra-prediction mode.

[0227] A 26th embodiment provides the method of the 14th to 25th embodiments, wherein the intra-prediction block belongs to a set of intra-predicted blocks for which a most probable mode syntax element is signalled in the data stream, and the method comprises, for each of the set of intra-predicted blocks,

[0228] encoding the most probable mode syntax element and a fusion mode syntax element into the data stream for the respective intra predicted block, and

[0229] determining, based on the most probable mode syntax element signaled in the data stream for the respective intra predicted block, a principal intra-prediction mode out of the first set of intra prediction modes,

[0230] forming a fused prediction signal for the respective intra-predicted block by fusing a first prediction signal obtained using the principal intra prediction mode and one or more second prediction signals obtained using one or more fusion intra prediction modes;

[0231] reconstructing the respective intra-predicted block using the fused prediction signal, or

[0232] determining, based on the most probable mode syntax element signaled in the data stream for the respective intra predicted block, a principal intra-prediction mode out of the first set of intra prediction modes, and

[0233] encoding the respective intra-predicted block using the principal intra-prediction mode.

[0234] A 27th embodiment provides an apparatus for decoding a picture from a data stream, comprising:

[0235] a principal intra-prediction mode determination module configured to determine, based on a most probable mode syntax element signaled in the data stream, a principal intra-prediction mode out of a first set of intra prediction modes,

[0236] a fused prediction signal forming module configured to form a fused prediction signal for an intra-predicted block by fusing a first prediction signal obtained using the principal intra prediction mode and one or more second prediction signals obtained using one or more fusion intra prediction modes;

[0237] an intra-predicted block reconstructing module configured to reconstruct the intra-predicted block using the final prediction signal.

[0238] A 28h embodiment provides an apparatus for encoding a picture into a data stream, comprising:

[0239] a principal intra-prediction mode determination module configured to determine, based on a most probable mode syntax element signaled in the data stream, a principal intra-prediction mode out of a first set of intra prediction  modes,

[0240] a fused prediction signal forming module configured to form a final prediction signal for an intra-predicted block by fusing a first prediction signal obtained using the principal intra prediction mode and one or more second prediction signals obtained using one or more fusion intra prediction modes;

[0241] an intra-predicted block encoding module configured to encode the intra-predicted block using the final prediction signal

[0242] A 29th embodiment provides a data stream having encoded thereinto a picture, wherein the data stream is encoded using a method of the 13th embodiment.

[0243] List of Abbreviations

[0244] AVC ISO / IEC 14496-10 Advanced Video Coding (AVC)  / ITU-T Rec. H. 264 [1]

[0245] EVC ISO / IEC 23094-1 Essential video coding (EVC)

[0246] HEVC ISO / IEC 23008-2 High Efficiency Video Coding (HEVC)  / ITU-T Rec. H. 265 [2]

[0247] VVC ISO / IEC 23090-3 Versatile Video Coding (VVC)  / ITU-T Rec. H. 266 [3]

[0248] AV1 AOMedia Video 1 (AV1)

[0249] References

[0250] [1] H. 264: Advanced video coding for generic audiovisual services, https:  / / www. itu. int / rec / T-REC-H. 264-202108-P / en

[0251] [2] H. 265: High efficiency video coding, https:  / / www. itu. int / rec / T-REC-H. 265-202108-P / en

[0252] [3] H. 266: Versatile video coding, https:  / / www. itu. int / rec / T-REC-H. 266-202008-I / en

[0253] [4] AV1 Bitstream &Decoding Process Specification, http:  / / aomedia. org / av1 / specification /

[0254] [5] Algorithm description of Enhanced Compression Model 13 (ECM 13) , document JVET-AH2025, https: / / jvet-experts.org / doc_end_user / documents / 33_Teleconference / wg11 / JVET-AG2025-v1.zip

Claims

1.Method for decoding a picture from a data stream, comprisingdetermining, based on a most probable mode syntax element signaled in the data stream, a principal intra-prediction mode out of a first set of intra prediction modes,forming a fused prediction signal for an intra-predicted block by fusing a first prediction signal obtained using the principal intra prediction mode and one or more second prediction signals obtained using one or more fusion intra prediction modes;reconstructing the intra-predicted block using the fused prediction signal.2.Method according to claim 1, wherein the first set of intra prediction modes comprises directional intra-prediction modes.3.Method according to any of claims 1 to 2, wherein the determining, based on the most probable mode syntax element signaled in the data stream, the principal intra-prediction mode out of the first set of intra prediction modes, comprisesdetermining one or more most probable intra prediction modes out of the first set of intra prediction modes, wherein the principle intra prediction mode is one of the one or more most probable intra prediction modes, ordecoding an index for the intra-predicted block from the data stream, the index pointing into a subset of least-probable intra prediction modes out of the the one or more most probable intra prediction modes and determining the principle mode out of the less-probable intra prediciton modes using the index.4.Method according to any of claim 1 to 3, wherein the determining, based on the most probable mode syntax element signaled in the data stream, the principal intra-prediction mode out of the first set of intra prediction modes, further comprisesdetermining, based on the most probable mode syntax element, whether the principle intra prediction mode shall be one of the one or more most probable intra prediction modes, or whether the principle intra prediction mode shall be one of the first set of intra prediction modes, other than the one or more most probable intra prediction modes.5.Method according to any of the previous claims, further comprisingdetermining the one or more fusion intra prediction modes out of a second set of one or more intra prediction modes, wherein the second set of one or more intra prediction modesa) includes the first set of intra prediction modes, or a subset thereof, and comprises one or more further intra-prediction modes, orb) is disjoint relative to the first set of intra prediction modes, orc) equals a proper subset of intra prediction modes out of the first set of intra prediction modes or equals the first set of intra prediction modes.6.Method according to claim 5, wherein the determining the one or more fusion intra prediction modes out of the second set of intra prediction modes is performed depending on one or more ofa) which principal intra prediction mode is determined out of the first set of intra-prediction modes,b) information on previously decoded blocks of the picture,c) an analysis of a previously recontructed portion within a spatial neighborhood of the intra-prediction block in the picture, andd) one or more fusion mode syntax elements.7.Method according to any of claims 1 to 6, wherein the one or more fusion intra prediction modes comprises one or more ofa) a block vector (BV) based prediction mode,b) an IntraTmp (Intra Template-based) prediction mode,c) a MIP (Matrix-based Intra Prediction) prediction mode,d) an EIP mode (Extrapolation Intra Prediction) prediction mode.8.Method according to any of previous claims 1 to 7, wherein the method comprises switching, for each of a set of predetermined intra-predicted blocks, betweendetermining, based on the most probable mode syntax element signaled in the data stream for the respective predetermined intra predicted block, a principal intra-prediction mode out of the first set of intra prediction modes,forming a fused prediction signal for the respective predetermined intra-predicted block by fusing a first prediction signal obtained using the principal intra prediction mode and one or more second prediction signals obtained using one or more fusion intra prediction modes;reconstructing the respective predetermined intra-predicted block using the fused prediction signal, anddetermining, based on the most probable mode syntax element signaled in the data stream for the respective predetermined intra predicted block, a principal intra-prediction mode out of the first set of intra prediction modes, anddecoding the respective predetermined intra-predicted block using the principal intra-prediction mode.9.Method according to claim 8,wherein the set of predetermined intra-predicted blocks is formed byintra-predicted blocks for which a most probable mode syntax element is signalled in the data stream, or intra-predicted blocks, for which a most probable mode syntax element is signalled in the data stream, which indicates the use of a most probable intra prediction mode,wherein the switching depends on one or morea) characteristics of the respective predetermined intra-prediction blockb) a syntax element signalled in the data stream for the respective predetermined intra-prediction blockc) an analysis performed on a template area in a spatial neighbourhood of the intra-predicted block by checking which among predicting the template 1) using a fused prediction test signal for the template area formed by using a first prediction test signal obtained using the principal intra prediction mode and one or more second prediction test signals obtained using the one or more fusion intra prediction modes and 2) using the first prediction test signal is more effective.10.Method of any of claim 1 to 9, wherein the fused prediction signal is formed by one or more ofa) a weighted sum with default weights,b) a weighted sum with weights among which at least one is signalled in the data stream for the intra-predicted block, andc) a weighted sum with weights among which at least one is implicitly derived for the intra-predicted block based on a previously decoded portion of the data stream.11.Method according to any of claims 1 to 10, wherein the intra-prediction block belongs to a set of intra-predicted blocks for which a most probable mode syntax element is signalled in the data stream, and the method comprises, for each of the set of intra-predicted blocks,decoding the most probable mode syntax element and a fusion mode syntax element from the data stream for the respective intra predicted block, anddetermining, based on the most probable mode syntax element signaled in the data stream for the respective intra predicted block, a principal intra-prediction mode out of the first set of intra prediction modes,forming a fused prediction signal for the respective intra-predicted block by fusing a first prediction signal obtained using the principal intra prediction mode and one or more second prediction signals obtained using one or more fusion intra prediction modes;reconstructing the respective intra-predicted block using the fused prediction signal,ordetermining, based on the most probable mode syntax element signaled in the data stream for the respective intra predicted block, a principal intra-prediction mode out of the first set of intra prediction modes, anddecoding the respective intra-predicted block using the principal intra-prediction mode.12.Method for encoding a picture into a data stream, comprisingdetermining, based on a most probable mode syntax element signaled in the data stream, a principal intra-prediction mode out of a first set of intra prediction modes,forming a fused prediction signal for an intra-predicted block by fusing a first prediction signal obtained using the principal intra prediction mode and one or more second prediction signals obtained using one or more fusion intra prediction modes;encoding the intra-predicted block using the fused prediction signal.13.Apparatus for decoding a picture from a data stream, comprising:a principal intra-prediction mode determination module configured to determine, based on a most probable mode syntax element signaled in the data stream, a principal intra-prediction mode out of a first set of intra prediction modes,a fused prediction signal forming module configured to form a fused prediction signal for an intra-predicted block by fusing a first prediction signal obtained using the principal intra prediction mode and one or more second prediction signals obtained using one or more fusion intra prediction modes;an intra-predicted block reconstructing module configured to reconstruct the intra-predicted block using the final prediction signal.14.Apparatus for encoding a picture into a data stream, comprising:a principal intra-prediction mode determination module configured to determine, based on a most probable mode syntax element signaled in the data stream, a principal intra-prediction mode out of a first set of intra prediction modes,a fused prediction signal forming module configured to form a final prediction signal for an intra-predicted block by fusing a first prediction signal obtained using the principal intra prediction mode and one or more second prediction signals obtained using one or more fusion intra prediction modes;an intra-predicted block encoding module configured to encode the intra-predicted block using the final prediction signal.15.Data stream having encoded thereinto a picture, wherein the data stream is encoded using a method according to claim 12.

Images