Method and apparatus for decoding a geometry of a point cloud and improving an edge-based vertices refinement

Abstract

A method of decoding from a bitstream a geometry of a point cloud is described. The point cloud is represented by a plurality of cuboid volumes. The plurality of cuboid volumes includes a plurality of occupied cuboid volumes being modelled by one or more triangles. The one or more triangles have vertices on edges of the occupied cuboid volume. The method includes decoding vertices located on edges of the occupied cuboid volumes, decoding a centroid residual per occupied cuboid volume, and refining vertices on one or more unique edges, which are shared by two or more of the occupied cuboid volumes, wherein the vertices are refined using the centroid residuals.

Description

METHOD AND APPARATUS FOR DECODING A GEOMETRY OF A POINT CLOUD AND IMPROVING AN EDGE-BASED VERTICES REFINEMENTTECHNICAL FIELD

[0001] The present invention generally relates to data compression, more specifically to methods and apparatus for decoding a geometry of a point cloud. Embodiments of the present invention concern methods and apparatus for decoding a geometry of a point cloud improving an edge-based vertices refinement.BACKGROUND

[0002] Data compression is used in communications and computer networking to store, transmit, and reproduce information efficiently. For example, as a format for the representation of three-dimensional (3D) data, point clouds have recently gained attraction as they are versatile in their capability in representing all types of 3D objects or scenes. Therefore, many use cases can be addressed by point clouds, among which are

[0003] ● movie post-production,

[0004] ● real-time 3D immersive telepresence or VR  / AR (virtual reality  / augmented reality) applications,

[0005] ● free viewpoint video, e.g., for sports viewing,

[0006] ● geographical information systems, also known as cartography,

[0007] ● culture heritage, e.g., the storage of scans of rare objects into a digital form,

[0008] ● autonomous driving, including 3D mapping of the environment and real-time LiDAR data acquisition (LiDAR: Light Detection And Ranging = a method for measuring distances (ranging) by illuminating the target with laser light and measuring the reflection with a sensor) .

[0009] Upon reconstruction visible holes may be generated in surfaces of a reconstructed point cloud which result in a lower visual quality and a lower compression efficiency. Thus, the problem to be solved is to reduce or remove or avoid holes generated in surfaces of a reconstructed point cloud.SUMMARY

[0010] Accordingly, it is an object of the present invention to provide for methods and apparatus reducing or removing / avoiding holes generated in one or more surfaces of a reconstructed point cloud.

[0011] The present invention provides a method of decoding from a bitstream a geometry of a point cloud, the point cloud being represented by a plurality of cuboid volumes, the plurality of cuboid volumes comprising a plurality of occupied cuboid volumes being modelled by one or more triangles, the one or more triangles having vertices on edges of the occupied cuboid volume, the method comprising:

[0012] decoding vertices located on edges of the occupied cuboid volumes,

[0013] decoding a centroid residual per occupied cuboid volume, and

[0014] refining vertices on one or more unique edges, which are shared by two or more of the occupied cuboid volumes, wherein the vertices are refined using the centroid residuals.

[0015] Optionally, decoding vertices located on edges of the occupied cuboid volumes comprises decoding positions of the vertices.

[0016] Optionally, the method further comprises:

[0017] - constructing, e.g., for the occupied cuboid volumes, at least one triangle using the decoded and refined vertices and the decoded centroid residuals, and

[0018] - reconstructing the point cloud on the constructed triangles, e.g., using ray tracing on the constructed triangles in the occupied cuboid volumes.

[0019] Optionally, reconstructing the point cloud comprises using ray tracing on the constructed triangles in the occupied cuboid volumes.

[0020] Optionally, refining a vertex on a unique edge comprises determining a refined vertex V’ along the unique edge using vertex shift information.

[0021] Optionally, the vertex shift information comprises respective shifts of vertices on the edges, which correspond to the unique edge.

[0022] Optionally, the method comprises obtaining the vertex shift information for the unique edge using the decoded centroid residual for each occupied cuboid volumes  sharing the unique edge.

[0023] Optionally, obtaining the vertex shift information for the unique edge comprises:

[0024] for each occupied cuboid volume sharing the unique edge, determining a vertex shift  using the decoded centroid residual for the occupied cuboid volume, and mapping the vertex shifts of the edges, which correspond to a unique edge, to the unique edge.

[0025] Optionally, mapping the vertex shifts of the edges comprises using a mapping relationship between edges of all occupied cuboid volumes and all unique edges.

[0026] Optionally, a centroid residual vector is set as with C denoting a centroid point defined as C=Cmean+Cres, with Cmean denoting a mean position of the centroid point obtained by averaging coordinates of all vertices of the occupied cuboid volume, and with Cres denoting the centroid residual of the occupied cuboid volume, and determining the vertex shift comprises determining an axis axis_max along which the centroid residual vector has a maximum value, and setting the vertex shift for each edge parallel to the axis axis_max within the occupied cuboid volume to

[0027] Optionally, the vertex shift for an edge not parallel to the axis axis_max is set to zero.

[0028] Optionally, obtaining the vertex shift information for the unique edge further comprises storing the vertex shifts of the edges corresponding to the unique edge.

[0029] Optionally, the vertex shifts of the edges corresponding to the unique edge are stored using a list L containing at most K elements with each element representing the vertex shift of an edge corresponding to the unique edge.

[0030] Optionally, K = 4 or K > 4.

[0031] Optionally, the list L contains N vertex shifts of N  edges belonging to N occupied cuboid volumes.

[0032] Optionally, determining the refined vertex V’ along the unique edge comprises:

[0033] determining a unique edge vertex shift using the vertex shift information, and determining the refined vertex V’ along the unique edge using the unique edge vertex shift and a position of an original vertex V on the unique edge.

[0034] Optionally, the unique edge vertex shift is determined using a weighting average of all vertex shifts of the edges corresponding to the unique edge.

[0035] Optionally, decoding the vertices comprises:

[0036] decoding from the bitstream vertices information for the edges of each occupied cuboid volume is decoded and constructing a mapping relationship between the edges of all occupied cuboid volume and all unique edges.

[0037] Optionally, decoding the centroid residual per occupied cuboid volume comprises:

[0038] decoding the centroid residual and obtaining vertex shift information for the corresponding unique edges using the decoded centroid residual for each occupied cuboid volume.

[0039] Optionally, refining the vertices on one or more unique edges comprises:

[0040] determining refined vertices along the unique edges by iterating each unique edge using the vertex shift information,

[0041] mapping the refined vertices along the unique edges to edges of all occupied cuboid volumes based on the mapping relationship between edges of all occupied cuboid volumes and all unique edges,

[0042] constructing triangles based on the vertices and centroid points within the occupied cuboid volumes, and

[0043] reconstructing the point cloud using a ray tracing method onto the constructed triangles.

[0044] Optionally, the centroid point of an occupied cuboid volume has coordinates  which are the mean coordinates of all vertices of the occupied cuboid volume.

[0045] Optionally, the centroid residual is a one dimensional, 1D, residual.

[0046] Optionally, the centroid residual is equal to

[0047] with

[0048] Cres centroid residual

[0049] normal vector obtained from the vertices and a mean position of a centroid point of the occupied cuboid volume, the centroid point obtained by averaging coordinates of the vertices of the occupied cuboid volume, and

[0050] α a 1D signed scalar value coded in the bitstream.

[0051] Optionally, the normal vector is determined by:

[0052] and

[0053] normalization

[0054] where × is the cross product, also named vector (cross) product, between two vectors, and the edges are

[0055] Optionally, the normal vector is parallel to a certain axis.

[0056] Optionally, the certain axis is a dominant axis, the dominant axis being an axis along which a vertical projection of an occupied cuboid volume exhibits a 2D total surface of triangles that is the maximum.

[0057] Optionally, α is a binarized value with each bit being encoded.

[0058] Optionally, α is encoded by a binary entropy coder such as an arithmetic coder or a context adaptive binary coder like CABAC.

[0059] Optionally, α is binarized into

[0060] ● a flag f0 indicating if α is equal to 0,

[0061] ● a sign that indicates if α>0 or α<0,

[0062] ● a flag f1 indicating if |α| is equal to 1,

[0063] ● a remainder |α|-2 coded by an expGolomb coder.

[0064] Optionally, α is determined by considering all points Pk of the point cloud belonging to an occupied cuboid volume.

[0065] Optionally, wherein α is obtained by:

[0066] with

[0067] S a set of points Pk having a distance dk below a predefined threshold,

[0068] |S| the number of points belonging to the set, and

[0069] rk a 1D residual of a point Pk relative to the mean position Cmean of the centroid point of the occupied cuboid volume,

[0070] wherein

[0071] and

[0072] The present invention provides a non-transitory computer-readable storage medium comprising instructions which, when executed by a computer, cause the computer to carry out the inventive method.

[0073] The present invention provides an apparatus for decoding from a bitstream a geometry of a point cloud, the point cloud being represented by a plurality of cuboid volumes, the plurality of cuboid volumes comprising at least one occupied cuboid volume being modelled by one or more triangles, the one or more triangles having vertices on edges of the occupied cuboid volume, the apparatus comprising:

[0074] a decoding module configured to decode positions of vertices located on edges of the occupied cuboid volumes and a centroid drift per occupied cuboid volume, and

[0075] a refining module configured to refine vertices on one or more unique edges, which are shared by two or more of the occupied cuboid volumes, wherein the vertices are refined using the centroid residuals.

[0076] The technical solutions provided according to embodiments of the present invention have the following beneficial effects. In accordance with the inventive approach, artifacts in a reconstructed point cloud are removed or reduced without adding substantial computing complexity and overhead at the decoder and without changes to the bitstream.

[0077] It should be understood that the content described in this section is not intended to identify key or critical features of embodiments of the present invention, nor is  intended to limit the scope of the present invention. Other features of the present invention will become readily appreciated from the following descriptions.BRIEF DESCRIPTION OF THE DRAWINGS

[0078] The drawings are explanatory and serve to explain the present invention, and are not construed to limit the present invention to the illustrated embodiments.

[0079] Fig. 1 illustrates TriSoup vertices along edges of a volume associated with a leaf node of an octree representation of a point cloud geometry;

[0080] Fig. 2 illustrates a volume including two TriSoup triangles having their respective vertices on the edges of the volume;

[0081] Fig. 3 illustrates a process for choosing triangles to be constructed inside a leaf node, wherein Fig. 3 (a) illustrates the volume of Fig. 2 without triangles, Fig. 3 (b) illustrates a 2D surface of the triangles using a vertical projection of the volume, and Fig. 3 (c) illustrates a 2D surface of the triangles using a vertical horizontal projection of the volume;

[0082] Fig. 4 illustrates the volume of Fig. 2 with two TriSoup triangles constructed under the assumption of the horizontal axis being the dominant axis;

[0083] Fig. 5 illustrates the ray tracing to render a TriSoup triangle as a decoded point cloud;

[0084] Fig. 6 illustrates a TriSoup geometry representation of a volume comprising four vertices and a centroid point;

[0085] Fig. 7 illustrates a normal vector obtained from the vertices and a mean point Cmean;

[0086] Fig. 8 illustrates an example of the 1D residual along a line constructed from a mean point and a normal vector.

[0087] Fig. 9 illustrates visible holes generated on a common face of two neighbouring leaf nodes when applying a conventional vertices refinement method;

[0088] Fig. 10 illustrates a relationship between an unique edge and respective leaf edges.

[0089] Fig. 11 illustrates a flow diagram of a method of decoding a geometry of a  point cloud from a bitstream in accordance with embodiments of the present invention;

[0090] Fig. 12 illustrates a flow diagram of a method of decoding from a bitstream a geometry of a point cloud in accordance with further embodiments of the present invention.

[0091] Fig. 13 illustrates embodiments for obtaining vertex shift information for unique edges;

[0092] Fig. 14 illustrates embodiments for determining refined vertices along the unique edges;

[0093] Fig. 15 illustrates a block diagram of an apparatus / decoder for decoding from a bitstream a geometry of a point cloud in accordance with embodiments of the present invention;

[0094] Fig. 16 illustrates a data stream in accordance with embodiments of the present invention; and

[0095] Fig. 17 illustrates a block diagram illustrating an electronic device configured to implement an image processing method according to embodiments.DETAILED DESCRIPTION

[0096] Illustrative embodiments of the present invention are described below with reference to the drawings, where various details of the embodiments of the present invention are included to facilitate understanding and should be considered as illustrative only. Accordingly, those of ordinary skill in the art will recognize that various changes and modifications of the embodiments described herein can be made without departing from the scope of the present invention. Also, descriptions of well-known functions and constructions are omitted from the following description for clarity and conciseness.

[0097] In the present invention, the terms "node" , "volume" , "sub-volume" and “occupied cubic volume” may be used interchangeably. It will be appreciated that a node is associated with a volume or sub-volume. The node is a particular point on the tree that may be an internal node or a leaf node. The volume or sub-volume is the bounded physical space that the node represents. The term "volume" may, in some cases, be used to refer to the largest bounded space defined for containing the point cloud. A volume may be  recursively divided into sub-volumes for the purpose of building out a tree-structure of interconnected nodes for coding the point cloud data. A “occupied cubic volume” is a volume including one or more triangles that may be rendered.

[0098] In the present invention, the term "and / or" is intended to cover all possible combinations and sub-combinations of the listed elements, including any one of the listed elements alone, any sub-combination, or all of the elements, and without necessarily excluding additional elements.

[0099] In the present invention, the phrase "at least one of... or... " is intended to cover any one or more of the listed elements, including any one of the listed elements alone, any sub-combination, or all of the elements, without necessarily excluding any additional elements, and without necessarily requiring all of the elements.

[0100] In the present invention, the term “coding” refers to "encoding” or to “decoding” as becomes apparent from the context of the described embodiments concerning the coding of the geometrical information into / from a bitstream. Likewise, the term “coder” refers to "an encoder” or to “a decoder” .

[0101] A point cloud is a set of points in a three-dimensional coordinate system. The points are often intended to represent an external surface of one or more objects. Each point has a location or position in the three-dimensional coordinate system. The position may be represented by three coordinates (X, Y, Z) , which can be Cartesian or any other coordinate system. The points may have other associated attributes, such as color, which may also be a three-component value in some cases, such as R, G, B or Y, Cb, Cr. Other associated attributes may include transparency, reflectance, a normal vector, etc., depending on the desired application for the point cloud data.

[0102] Point clouds can be static or dynamic. For example, a detailed scan or mapping of an object or topography may be static point cloud data. The LiDAR-based scanning of an environment for machine-vision purposes may be dynamic in that the point cloud, at least potentially, changes over time, e.g., with each successive scan of a volume. The dynamic point cloud is therefore a time-ordered sequence of point clouds.

[0103] As mentioned above, point cloud data may be used in a number of applications or use cases, including conservation, like scanning of historical or cultural  objects, mapping, machine vision, e.g., for autonomous or semi-autonomous cars, and virtual or augmented reality systems. Dynamic point cloud data for applications, like machine vision, can be quite different from static point cloud data, like that for conservation purposes. Automotive vision, for example, typically involves relatively small resolution, non-colored, highly dynamic point clouds obtained through LiDAR or similar sensors with a high frequency of capture. The objective of such point clouds is not for human consumption or viewing but rather for machine object detection / classification in a decision process. As an example, typical LiDAR frames contain in the order of tens of thousands of points, whereas high quality virtual reality applications require several millions of points. It may be expected that there is a demand for higher resolution data over time as computational speed increases and new applications or use cases are found.

[0104] Stated differently, a point cloud is a set of points located in a 3D space, optionally with additional values attached to each of the points. These additional values are usually called point attributes. Consequently, a point cloud may be considered a combination of a geometry (the 3D position of each point) and attributes. Attributes may be, for example, three-component colours, material properties, like reflectance, and / or two-component normal vectors to a surface associated with the point. Point clouds may be captured by various types of devices like an array of cameras, depth sensors, the mentioned LiDARs, scanners, or they may be computer-generated, e.g., in movie post-production use cases. Depending on the use cases, points clouds may have from thousands to up to billions of points for cartography applications.

[0105] Raw representations of point clouds require a very high number of bits per point, with at least a dozen of bits per spatial component X, Y or Z, and optionally more bits for the one or more attributes, for instance three times 10 bits for the colours. Therefore, a practical deployment of point-cloud-based applications or use cases requires compression technologies that enable the storage and distribution of point clouds with reasonable storage and transmission infrastructures. In other words, while point cloud data is useful, a lack of effective and efficient compression, i.e., encoding and decoding processes, may hamper adoption and deployment. A particular challenge in coding point clouds that does not arise in the case of other data compression, like audio or video, is the coding of the  geometry of the point cloud, and the tendency of point clouds to be sparsely populated makes efficiently coding the location of the points much more challenging.

[0106] Until recently, point cloud compression, also referred to as PCC, was not addressed by the mass market and there was no standardized point cloud codec available. In 2017, the standardization working group ISO / JCT1 / SC29 / WG11, also known as Moving Picture Experts Group or MPEG, initiated work items on point cloud compression which have led to two standards, namely:

[0107] ● MPEG-I Part 5 (ISO / IEC 23090-5) also referred to as Video-based Point Cloud Compression, V-PCC,

[0108] ● MPEG-I Part 9 (ISO / IEC 23090-9) also referred to as Geometry-based Point Cloud Compression, G-PCC.

[0109] The first versions of the V-PCC standard and the G-PCC standard were finalized respectively in 2020 and 2022.

[0110] The V-PCC coding method compresses a point cloud by performing multiple projections of a 3D object to obtain two-dimensional (2D) patches that are packed into an image or into a video when dealing with moving point clouds. The images or videos are then compressed using existing image / video codecs, allowing for the leverage of already deployed image and video solutions. By its very nature, V-PCC is efficient only on dense and continuous point clouds because image / video codecs are unable to compress non-smooth patches in case they are obtained from the projection of, for example, LiDAR acquired sparse geometry data.

[0111] The G-PCC coding method has two schemes for the compression of the geometry.

[0112] ● The first scheme is based on an occupancy tree representation of the point cloud geometry, for example, by means of an octree representation, a quad tree representation or a binary tree representation. In a tree-based structure, the bounding three-dimensional volume for the point cloud is recursively divided into sub-volumes. Nodes of the tree correspond to sub-volumes. The decision of whether or not to further divide a sub-volume may be based on a resolution of the tree and / or whether there are any points contained in the sub-volume. A leaf node may have an occupancy  flag that indicates whether its associated sub-volume contains a point or not. Splitting flags may signal whether a node has child nodes, i.e., whether a current volume has been further split into sub-volumes. A commonly used tree structure is an octree. In this structure, the volumes / sub-volumes are all cuboids and each split of a sub-volume results in eight further sub-volumes / sub-cuboids. Another commonly used tree structure is a KD-tree, in which a volume, like a cuboid, is recursively divided in two by a plane orthogonal to one of the axes. Octrees are a special case of KD-trees, where the volume is divided by three planes, each being orthogonal to one of the three axes.

[0113] In other words, occupied nodes are split down until a certain size is reached, and occupied leaf modes provide the location of points, typically at the center of these nodes. By using neighbor-based prediction techniques, a high level of compression may be obtained for dense point clouds. Sparse point clouds are also addressed by directly coding the position of a point within a node with a non-minimal size, by stopping the tree construction when only isolated points are present in a node. This stopping technique is also referred to as a direct coding mode (DCM) .

[0114] ● The second scheme is based on a predictive tree, in which each node represents the 3D location of one point and the relation between nodes is a spatial prediction from the parent node to the child nodes. This method may only address sparse point clouds and offers the advantage of a lower latency and a simpler decoding when compared to using an occupancy tree. However, the compression performance is slightly better while, when compared to the first scheme, the encoding is complex due to the need to intensively look for a best predictor among along list of potential predictors when constructing the predictive tree.

[0115] In both schemes attribute coding, i.e., attribute encoding and attribute decoding, is performed after coding the complete geometry which, in turn, leads to a two-pass coding process. A low latency may be obtained by using slices that decompose the 3D space into sub-volumes that are coded independently, without prediction between the sub-volumes. However, this may heavily impact the compression performance when many slices are used.

[0116] One use case of specific interest is the transmission of dynamic AR / VR point clouds, wherein dynamic means that the point cloud evolves over time. Also, AR / VR point clouds are typically locally 2D as, most of the time, they represent the surface of an object. As such, AR / VR point clouds are highly connected, also referred to as being dense, in the sense that a point is rarely isolated and, instead, has many neighbors. Thus, dense or solid point clouds represent continuous surfaces with a resolution such that volumes, also referred to as small cubes or voxels, associated with points touch each other without exhibiting any visual hole in the surface. Such point clouds, as mentioned above, are typically used in AR / VR environments and may be viewed by an end user through a device, like a TV, a smart phone or a headset including AR / VR glasses. The point clouds may be transmitted to the device or may be stored locally. Many AR / VR applications make use of moving point clouds which, as opposed to static point clouds, vary with time. Therefore, the volume of data may be huge and needs to be compressed. For example, when applying the above-mentioned octree representation of the geometry of a point cloud, a lossless compression may be achieved down to slightly less than 1 bit per point (or 1 bpp) . However, this may not be sufficient for real time transmissions that may involve several millions of points per frame with a frame rate as high as 50 frames per second leading, in turn, to hundreds of megabytes of data per second.

[0117] Consequently, a lossy compression scheme may be used with the usual requirement of maintaining an acceptable visual quality by providing for a compression that is sufficient to fit the compressed data within a bandwidth available in the transmission channel while, at the same time, maintaining a real time transmission of the frames. In many applications, bit rates as low as 0.1 bpp may already allow for a real time transmission, meaning that by means of the lossy compression the point cloud is compressed ten times more than when applying a lossless coding scheme.

[0118] The codec based on MPEG-I part 5 (ISO / IEC 23090-5) or V-PCC may achieve such low bitrates by using the lossy compression of video codecs that compress 2D frames obtained from the projection of the point cloud on the planes. The geometry is represented by a series of projection patches assembled into a frame with each patch being a small local depth map. However, V-PCC is not versatile and is limited to a narrow type of  point clouds that do not exhibit a locally complex geometry, like trees or hair or the like, because the obtained projected depth map may not be smooth enough to be efficiently compressed by video codecs.

[0119] On the other hand, pure 3D compression techniques may handle any type of point clouds. For example, G-PCC may provide in the future a lossy compression that also allows compressing dense point clouds as good as V-PCC intra while maintaining the versatility of G-PCC so as to handle any type of point clouds, like dense point clouds, point clouds obtained by LiDAR or point clouds representing 3D maps. For implementing such a G-PCC mechanism, the so-called TriSoup coding scheme may be applied over a first layer based on an octree. Currently, the TriSoup coding scheme is discussed in the standardization working group JTC1 / SC29 / WG7 of ISO / IEC. When considering the possibilities for obtaining a lossy scheme from G-PCC, there are basically three approaches for obtaining a lossy scheme over the octree representation as used by the 3-PCC codec, namely

[0120] ● down-sampling + (lossless) coding + re-up-sampling

[0121] ● modifying the voxels locally on the encoder side

[0122] ● modelling the point cloud locally.

[0123] The first approach basically comprises down-sampling the entire point cloud to a smaller resolution, lossless coding of the down-sampled point cloud, and then up-sampling after decoding. There are many up-sampling schemes, e.g., super resolution, artificial intelligence, AI or learning-based 3D post-processing and the like, which may provide for good peak signal-to-noise ratio, PSNR, results when the down-sampling is not too aggressive, for example not more than a factor of two in each direction. However, even if the metrics show a good PSNR, the visual quality is still disputable and not well controlled.

[0124] The second approach allows the encoder to adjust the point cloud locally such that the coding of the octree requires a lesser bitrate. For this purpose, the points may be slightly moved so as to obtain occupancy information that may be better predicted by neighboring nodes, thereby leading to a lossless encoding of a modified octree with a lower bitrate. However, this approach, unfortunately, only leads to a small bitrate reduction.

[0125] The third approach is to code the geometry using a tree, like an octree, down to a certain resolution, for example down to NxNxN blocks, where N may be 4, 8 or 16, for example. This tree is then coded using a lossless scheme, like the G-PCC scheme. The tree itself does not require a high bitrate because it does not go down to the deepest depth and has only a small number of leaf nodes when compared to the number of points in the point cloud. Then, in each NxNxN block the point cloud is modelled by a local model. Such a model may be a mean plane or a set of triangles as in the above-mentioned TriSoup coding scheme which is described now in more detail.

[0126] The TriSoup coding scheme models a point cloud locally by using a set of triangles without explicitly providing connectivity information -that is why its name is derived from the term “soup of triangles” . As mentioned above, each NxNxN block defines a volume associated with a leaf node, and in each NxNxN block or volume the point cloud is modeled locally using a set of triangles wherein vertices of the triangles are coded along the edges of the volume associated with the leaf nodes of the tree. Fig. 1 illustrates a volume 100 associated with a leaf node which is a cuboid volume designed by twelve edges 1001 to 10012.

[0127] The part of the point cloud encompassed by the volume 100 is modeled by at least one triangle having at least one vertex on one of the edges 1001 to 10012. In the example of Fig. 1, five vertices 1 to 4 are illustrated among which vertices 1 to 4 are located on the edges 1002, 1001, 1008 and 1007 , respectively.

[0128] The vertices located on the edges are shared among those leaf nodes that have a common edge which means that at most one vertex is coded per edge that belongs to at least one leaf node, and by doing so the continuity of the model is ensured through the leaf nodes. The coding of the TriSoup vertices requires two information per edge:

[0129] ● a vertex flag indicating if a TriSoup vertex is present on the edge, also referred to herein as the presence flag, and

[0130] ● in case the vertex is present, the vertex position along the edge.

[0131] Consequently, the coded data comprises the octree data plus the TriSoup data. For example, the vertex flag may be coded by an adaptive binary arithmetic coder that uses one specific context for coding vertex flags, while the position of the vertex on the edge having a length  N=2s is coded with unitary precision by pushing s bits into the bitstream, i.e., by bypassing / not entropy coding the s bits.

[0132] Fig. 2 illustrates a volume 100 associated with a leaf node including two TriSoup triangles 102, 104 having their respective vertices 1 to 4 on the edges (see Fig. 1) 1002, 1001, 1008 and 1004, respectively, of the volume 100. Triangle 102 comprises the vertices 1, 2 and 3, while triangle 104 comprises the vertices 1, 3 and 4. Thus, triangles may be constructed in case at least three vertices are present on the edges of the volume 100. Naturally, any other combination of triangles than those shown in Fig. 2 is possible inside the volume 100 associated with a leaf node . Also, the one or more triangles inside the volume 100 do not have necessarily all of their vertices on the edges of the volume 100, rather, one or two of the vertices of a triangle may be located anywhere inside the volume 100.

[0133] The triangles to be constructed inside the volume 100 is based on the following three-step process including:

[0134] 1. Determining a dominant direction along one of the three axes.

[0135] 2. Ordering the TriSoup vertices dependent on the dominant direction.

[0136] 3. Constructing the triangles based on the ordered list of vertices.

[0137] Fig. 3 illustrates the process for choosing triangles to be constructed inside the volume 100 associated with a leaf node of Fig. 2 which is illustrated again in Fig. 3 (a) without the triangles. Fig. 3 (b) and Fig. 3 (c) illustrate the process over two axes, namely the vertical or z-axis (Fig. 3 (b) ) and the horizontal axis or x-axis (Fig. 3 (c) ) .

[0138] The first test along the vertical axis, i.e., from the top, is performed by projecting the volume or cube 100 and the TriSoup vertices vertically onto a 2D plane as is illustrated in Fig. 3 (c) . The vertices are then ordered following a clockwise order relative to the center of the projected node 114 which, in the illustrated example, is a square. The triangles are constructed following a fixed rule based on the ordered vertices, and in the example of Fig. 3 four vertices are involved and the triangles 102, 104 are constructed systematically to include the vertices 1, 2 and 3 for the first triangle, and vertices 1, 3 and 4 for the second triangle, as illustrated in Fig. 3 (c) . In case only three vertices are present, the only possible triangle is a triangle including vertices 1, 2 and 3, and in case five vertices are  present, a fixed rule may be used to construct triangles including the vertices (1, 2, 3) , (1, 3, 5) and (4, 5, 1) , and so on. This may be repeated up to 12 vertices.

[0139] A second test along the horizontal axis is performed by projecting the cube 100 and the TriSoup vertices horizontally on a 2D plane when looking from the left of Fig. 3 (a) yielding the projection 116 illustrated in Fig. 3 (b) . When ordering the vertices following the clockwise order relative to the center of the projected node 100, the triangles 102, 104 include the vertices 1, 2 and 3 for the first triangle, and vertices 1, 3 and 4 for the second triangle, as illustrated in Fig. 3 (b) .

[0140] As may be seen from Fig. 3, the vertical projection (Fig. 3 (c) ) exhibits a 2D total surface of triangles that is the maximum so that the dominant axis is selected to be the vertical or z axis, and the TriSoup triangles to be constructed are obtained from the order of the vertical projection as illustrated in Fig. 3 (c) , which, in turn, yields triangles inside the volume as depicted in Fig. 2. It is noted that when considering the horizontal axis as the dominant axis, this leads to a different construction of the triangles within the volume 100 as depicted in Fig. 4 illustrating the volume 100 in which the triangles 102, 104 are constructed when assuming the dominant axis to be the horizontal axis and in order of the vertices as illustrated in Fig. 3 (b) .

[0141] The adequate selection of the dominant axis by maximizing the projected surface leads to a continuous reconstruction of the point cloud without holes.

[0142] The rendering of the TriSoup triangles is performed by ray tracing, and the set of all rendered points by ray tracing results in the decoded point cloud. Fig. 5 illustrates the ray tracing to render the TriSoup triangle 102 of Fig. 2 including the vertices 1, 2 and 3. Rays, like ray 118 in Fig. 5, are launched along directions parallel to an axis, like the z axis in Fig. 5. The origin of the rays is a point of integer, voxelized, coordinates of precision corresponding to the sampling position desired for the rendering. The intersection 120 of the ray 118 with triangle 102 is then voxelized, i.e., is rounded to the closest point at the desired sampling position, and is added to the list of rendered points. After applying the TriSoup coding scheme to all leaf nodes, i.e., after constructing the triangles and obtaining the intersections by ray tracing, copies of the same points in the list of all rendered points  are discarded, i.e., only one voxel is kept among all voxels sharing the same 3D position, thereby obtaining a set of decoded, unique points.

[0143] In addition, as is described, e.g., in PCT / CN2023 / 077400, one centroid vertex or centroid point per volume or leaf node 100 may be coded so as to characterize a surface curvature within each volume 100. Fig. 6 illustrates a TriSoup geometry representation of the volume 100 comprising four vertices V1 to V4. The centroid point C has coordinates which are the mean coordinates of all (ordered) vertices Vi. The triangles are constructed from the ordered vertices (V1, V2, …, VM) by pivoting around the centroid point C. The following M triangles are constructed:

[0144] ● V1 V2 C

[0145] ● V2 V3 C

[0146] ● …

[0147] ● VM-1 VM C

[0148] ● VM V1 C

[0149] This construction preserves natural symmetries of the model and provides an additional degree of freedom to improve the accuracy of the model, namely the position of the centroid point C.

[0150] The position of the centroid point C may be improved by coding a residual position in the bitstream such that the position of the centroid point C is closer to original points of the point cloud. The centroid point may be defined as C=Cmean+Cres, with Cmean denoting a mean position of the centroid point obtained by averaging coordinates of all vertices of the occupied cuboid volume, and with Cres denoting the centroid residual of the occupied cuboid volume.

[0151] The coded centroid residual may be a 3D residual. However, it has been observed that a 3D residual is rarely advantageous because it requires many bits to be coded and this many bits are not fully compensated by the better accuracy of the model. Therefore, it is proposed to code a 1D residual. Fig. 7 illustrates a normal vector obtained from the ordered vertices Vi and the mean point Cmean, and the centroid residual may be equal to

[0152] where α is a 1D signed scalar value coded in the bitstream. Fig. 8 illustrates an example of the 1D residual α along a line constructed from the mean point Cmean and the normal vector The normal vector may be determined as follows:

[0153] and

[0154] normalization

[0155] where × is the cross product, also named vector (cross) product, between two vectors, and the edges are

[0156] In a variant, the vector  may be taken to be parallel to an axis in order to simplify its computation. The vector  may be taken parallel to the dominant axis as a good approximation of the vector computed above.

[0157] The value α may be determined by the encoder, encoded into the bitstream and obtained by the decoder by decoding the bitstream. The value α may be binarized and each bit may be encoded by using a binary entropy coder such as an arithmetic coder or a context adaptive binary coder like CABAC. The value α may be binarized into

[0158] ● a flag f0 indicating if α is equal to 0,

[0159] ● a sign that indicates if α>0 or α<0,

[0160] ● a flag f1 indicating if |α| is equal to 1,

[0161] ● a remainder |α|-2 coded by an expGolomb coder.

[0162] The value α may be determined by the encoder by considering all points Pk of the point cloud belonging to a current leaf node. For each point Pk, its distance dk from the line  is found by

[0163] In case this distance dk is below a threshold th (like th =2) , the point Pk is used to compute the value α. The 1D residual rk of a point Pk relative to the mean point Cmean is obtained by the scalar product, also named inner product or dot product

[0164] The value α is thus obtained by

[0165] where S is the set of points Pk such that their distance dk is below the threshold th, and |S| is the number of points belonging to this set.

[0166] The triangle modelling in the leaf nodes may be refined, as is described, e.g., in PCT / CN2023 / 089073, to make the reconstructed surface closer to original surface at the decoder side. After obtaining the decoded vertices and the decoded centroid point C at the decoder side, the positions of the vertices may be adjusted towards the direction of the vector in leaf nodes of convex or concave areas. At decoder side, after decoding the vertices of each leaf node from the bitstream, for each leaf node triangles are constructed by the above-mentioned ray tracing method for getting a reconstructed point cloud. More specifically, for each leaf node, the following is performed:

[0167] If the processed leaf node has more than 3 vertices:

[0168] ● The centroid point C is determined to construct a modelling surface consisting of triangles constructed by the vertices and the centroid point C. More specifically, the mean point Cmean of the vertices (V0, …, Vi) in the leaf node and the unit vector of the centroid residual are determined. The magnitude value Cres of the centroid residual is decoded from the bitstream. The centroid point C is obtained by  where is the vector from Cmean to C, which is also named as

[0169] ● A prominence degree of modelling surface in the leaf node is judged, e.g., it is judge if the centroid residual Cresis large or not relative to a leaf node size.

[0170] ○ If the centroid residual Cres is large relative to leaf node size so that it is more probably that a constructed surface based on the current vertices V0,…, Vi and centroid point C have pointy protrusions artefacts in the generated modelling surface, among all the vertices V0, …, Vi in the leaf node, those vertices that are on edges along axis where the vector  has a maximum value among all three axes, are refined along  the edges which they belong to, within the boundary of the edge in the leaf node, and toward a direction that can make reconstructed surface more natural.

[0171] ○ Otherwise, all vertices V0, …, Vi in the leaf node will not be refined.

[0172] ● Then all vertices in the leaf node, including the refined vertices V’ and the other non-refined vertices V, are used to construct triangles combined with centroid point C, and the above-mentioned ray tracing method is applied onto each triangle to get reconstructed points in the leaf node.

[0173] If the processed leaf node has 3 vertices:

[0174] ● There is no mean point Cmean and centroid point C in the processed leaf node, and only 1 triangle V1V2V3 can be constructed, and the above-mentioned ray tracing method is applied onto the triangle to get reconstructed points in the leaf node.

[0175] If the leaf node has less than 3 vertices:

[0176] ● There is no triangle to be constructed for the leaf node, so no reconstructed points are be generated for the leaf node.

[0177] The above-described technique for adjusting the positions of the vertices causes the vertices on edges of a leaf node to be refined leaf node by leaf node following an order, and the refined vertices in the leaf nodes will be used to reconstruct the triangles to get the reconstructed point cloud. However, this refinement is only based on the centroid drift information of a current leaf node. Therefore, the vertices on edges belonging to two neighbouring leaf nodes may shift by different distances along the direction of  in following cases:

[0178] case (a) : the directions of the centroid drifts in the two neighbouring leaf nodes are opposite, or

[0179] case (b) : the centroid drift values of the two neighbouring leaf nodes have a large difference even if the directions are same.

[0180] This causes cause visible holes in the surface of reconstructed point cloud. Fig. 9 illustrates such visible holes generated on a common face 150 of two neighbouring leaf nodes. The points 152a and 152b on the edges represent the vertices without refining,  and represent the vertex shift vectors (including direction and value) shifting points 152a and 152b to the positions indicated by points 152a1, 152b1 and 152a2, 152b2, and the dashed areas 154 represent the holes or voids caused by the vertex shifting. In Fig. 9 (a) the holes are generated because the vertex shift vectors and are in opposite directions in two neighbouring leaf nodes, which corresponds to case (a) . and in Fig. 9 (b) , although the vertex shift vectors and are in same direction, their values have a large difference, which will also cause a hole, which corresponds to case (b) .

[0181] These visible holes may cause a lower visual quality and a lower compression efficiency. Thus, the problem to be solved is to reduce or remove or avoid holes generated by the above described vertices refinement method.

[0182] When modeling a point cloud by applying the TriSoup coding scheme in a way as described above using a set of triangles for each leaf node or volume, TriSoup data is provided. The TriSoup data includes, for example, the information about the vertices of the respective triangles for a volume, also referred to as an occupied cuboid volume or leaf node. As outlined above, a vertices refinement method may be applied at the decoder side, however, applying such a vertices refinement method may cause the visible holes, and the present invention is based on the finding that the reason why the conventional vertices refinement method generates unwanted visible holes is that the vertices on the edges of leaf nodes are refined leaf node by leaf node. Every leaf node has its own 12 edges so that the vertices refinement method in a leaf node is performed independently from that in another leaf node, even if the two leaf nodes sharing the same edge. For example, since an edge can be shared by four leaf nodes at most, the vertex along one edge of a leaf node may also belong to three other leaf nodes. Therefore, if the vertex is refined when processing current leaf node, the refined vertex becomes different from non-refined vertices along same edge belonging to other three leaf nodes, thus, a hole will generate because of the mismatching vertices on the same edge sharing more than one leaf node.

[0183] Embodiments of the present invention avoid the unwanted visible holes by introducing an unique-edge-based vertices refinement method for TriSoup coding. More specifically, in accordance with embodiments, all unique edges Ue of all leaf nodes, i.e.,  edges shared by more than one leaf node, are iterated to determine their respective refined vertices, if any vertices exist on the unique edge. Since one unique edge can be shared among more than two leaf nodes, e.g., it may be shared among four leaf nodes at most, the refined vertex along an unique edge is no longer determined only on the basis of the centroid residual information for a currently processed leaf node, rather, in accordance with embodiments, the refined vertex along an unique edge is determined based on the centroid residual information of all leaf nodes intersecting the unique edge.

[0184] The unique edge Ue may be considered to represent a skeleton edge constructing all leaf nodes without using repeated edges. The relationship between an unique edge Ue and an edge Le of a leaf node is that an unique edge Ue can contain N leaf edges Le, with 1≤N≤4. Fig. 10 illustrates a relationship between an unique edge Ue and respective leaf edges Le. For example, as is shown in Fig. 10 (a) , an unique edge Ue can contain two leaf edges Le when the unique edge Ue is a sharing edge among or is shared by two leaf nodes. As is shown in Fig. 10 (b) , an unique edge Ue can contain four leaf edges Le at most when four leaf nodes share the unique edge Ue, and, as is shown in Fig. 10 (c) , an unique edge Ue can also contain only one leaf edge Le when there are no adjacent 2 leaf nodes intersecting on the unique edge Ue.

[0185] Fig. 11 illustrates a flow diagram of a method of decoding from a bitstream a geometry of a point cloud in accordance with embodiments of the present invention. The point cloud is represented by a plurality of cuboid volumes. The plurality of cuboid volumes includes a plurality of occupied cuboid volumes being modelled by one or more triangles. The one or more triangles have vertices on edges of the occupied cuboid volume. In accordance with embodiments, as depicted in Fig. 11, the method includes the following steps:

[0186] S100: Decoding vertices or positions of vertices located on edges of the occupied cuboid volumes.

[0187] S102: Decoding a centroid residual per occupied cuboid volume.

[0188] S104: Refining vertices on one or more unique edges, which are shared by two or more of the occupied cuboid volumes. For example, the vertices may be refined using the centroid residuals decoded for the occupied cuboid volumes sharing the unique  edge.

[0189] Embodiments of the present invention are now described in more detail.

[0190] As described above, the problems associated with the creation of artifacts or holes in a reconstructed point cloud are addressed by the inventive approach by modifying the vertices refinement method such that a refined vertex along an unique edge is no longer determined only on the basis of the centroid residual information for a currently processed leaf node, but, in accordance with embodiments, on the basis of the centroid residual information of all leaf nodes intersecting the unique edge.

[0191] Fig. 12 illustrates a flow diagram of a method of decoding from a bitstream a geometry of a point cloud in accordance with further embodiments of the present invention. In accordance with embodiments, as depicted in Fig. 12 a method for vertices refinement at a decoder side includes the following steps:

[0192] S200: Vertices information for the edges of each leaf node is decoded from bitstream. During this process a mapping relationship between the leaf edges Le of all leaf nodes and all unique edges Ue is constructed.

[0193] S202: The centroid residual Cres is decoded and vertex shift information for the corresponding unique edges Ue is obtained using the decoded centroid residual Cres for each leaf node.

[0194] S204: The refined vertices V’ along the unique edges are determined by iterating each unique edge Ue using the obtained vertex shift information.

[0195] S206: The refined vertices V’ are mapped along the unique edges Ue to leaf edges Le of all leaf nodes based on the mapping relationship between leaf edges Le of all leaf nodes and all unique edges Ue.

[0196] S208: Optionally, a face vertex is decoded.

[0197] S210: Triangles are constructed based on the determined vertices and centroid points within the leaf nodes.

[0198] S212: The point cloud is reconstructed using a ray tracing method onto the constructed triangles.

[0199] Embodiments for obtaining the vertex shift information (see S202) for the corresponding unique edges Ue are now described with reference to Fig. 13. In accordance  with embodiments, for each leaf node, after decoding centroid residuals at the decoder side, the vertex shift information is obtained for the corresponding unique edges Ue using the decoded centroid residual Cres of the leaf node. In accordance with embodiments, as depicted in Fig. 13, obtaining the vertex shift information for the corresponding unique edges includes for each leaf node the following steps:

[0200] S300: A vertex shift for the leaf edge Le of the leaf node is determined based on the decoded centroid residual. For example, if the centroid residual vector is set as  then the axis axis_max is determined along which the vector has a maximum value, and then a vertex shift for each leaf edge Le being parallel to the axis axis_max within the leaf node is set by

[0201] For leaf edges Le not being parallel to the axis axis_max within the leaf node, vertex shift  is set to be zero. In accordance with other embodiments, for leaf edges Le not being parallel to the axis axis_max within the leaf node, no vertex shift is generated or set.

[0202] S302: Mapping the vertex shift of corresponding leaf edges Le within the leaf node to the corresponding unique edges Ue based on the mapping relationship between leaf edges Le of all leaf nodes and all unique edges Ue, thereby obtaining the vertex shift information for the corresponding unique edges within the leaf node. For example, if a leaf edge Le of a current leaf node maps to the i-th unique edge Ue and the vertex shift of the leaf edge Le is the vertex shift is stored or used to determine the vertex shift information for the i-th unique edge Ue. In accordance with embodiments, a list L is used for each unique edge Ue to determine the vertex shift information. The list may contain at most K elements, with each element representing a vertex shift of a leaf edge Le, which has same start position and same end position as the unique edge Ue. For example, K = 4 or K > 4.

[0203] After iterating each leaf node and implementing the steps S300 and S302 described above, the vertex shift information, for example the list L , for each unique edge is obtained.

[0204] Embodiments for determining refined vertices V’ along the unique edges are now described with reference to Fig. 14. In accordance with embodiments, as depicted in Fig. 14, after obtaining the vertex shift information, for example the list L , for each unique edge Ue, the following steps are performed for each unique edge:

[0205] S400: Determining a vertex shift for the unique edge Ue using the stored vertex shift information. In accordance with embodiments, the list L may contain N vertex shifts of N leaf edges Le belonging to N leaf nodes, and the vertex shift for the unique edge Ue is determined based on a weighting average of all elements in list L. In accordance with embodiments, the weighting average is as follows:

[0206] wherein the weights (w1, …, wN) satisfy the following conditions:

[0207] (1) 0≤w1+…+wN≤1,

[0208] (2) 0≤wN≤1, 1≤N≤4.

[0209] S402: Determining a refined vertex V’ along each unique edge Ue based on the determined vertex shift and a position of an original vertex V along the unique edge Ue, if the original vertex exists. The refined vertex V’ may be described by

[0210] If no original vertex V exists along a certain unique edge, the vertex refinement process is not applied to the certain unique edge.

[0211] So far, the inventive concept has been described with reference to embodiments concerning methods for decoding the geometry of a point cloud from a bitstream. In accordance with further embodiments, the present invention also provides apparatuses for decoding a geometry of a point cloud from a bitstream, e.g., a decoder operating in accordance with the above-described embodiments.

[0212] Fig. 15 illustrates a block diagram of an apparatus or decoder 200 for  decoding from a bitstream a geometry of a point cloud. The point cloud is represented by a plurality of cuboid volumes. The plurality of cuboid volumes includes at least one occupied cuboid volume being modelled by one or more triangles. The one or more triangles have vertices on edges of the occupied cuboid volume. In accordance with embodiments, the apparatus 200 includes the following modules:

[0213] A decoding module 202 configured to decode positions of vertices located on edges of the occupied cuboid volumes and a centroid drift per occupied cuboid volume.

[0214] A refining module 204 configured to refine vertices on one or more unique edges, which are shared by two or more of the occupied cuboid volumes. For example, the vertices may be refined using the centroid residuals decoded for the occupied cuboid volumes sharing the unique edge.

[0215] Fig. 16 illustrates a data stream or bit stream 300 in accordance with embodiments of the present invention, which has encoded thereinto a geometry of a point cloud. The point cloud is represented by a plurality of cuboid volumes. The plurality of cuboid volumes includes at least one occupied cuboid volume modelled by one or more triangles. The one or more triangles have vertices on edges of the occupied cuboid volume. For example, the data stream or bitstream 300 may be provided by an encoder 400 for encoding into a bitstream 300 the geometry of a point cloud. The data stream 300 is transmitted to the decoder 200 via a wired or wireless transmission medium 302, like a cable or a radio link, and the decoder 200 decodes from the data stream 300 the geometry of the point cloud. Thus, in accordance with embodiments, as depicted in Fig. 16, the data stream 300 includes encoded positions 304 of vertices located on edges of the occupied cuboid volumes and an encoded centroid residual per occupied cuboid volume.

[0216] The present invention further provides in embodiments an electronic device, a computer-readable storage medium and a computer program product.

[0217] Although some aspects of the disclosed concept have been described in the context of an apparatus, it is clear that these aspects also represent a description of the corresponding method, where a block or a device corresponds to a method step or a feature of a method step. Analogously, aspects described in the context of a method step also represent a description of a corresponding block or item or feature of a corresponding  apparatus.

[0218] Fig. 17 is a block diagram illustrating an electronic device 600 according to embodiments of the present invention.

[0219] The electronic device is intended to represent various forms of digital computers, such as a laptop, a desktop, a workstation, a personal digital assistant, a server, a blade server, a mainframe computer, and other suitable computers. The electronic device may also represent various forms of mobile devices, such as a personal digital processor, a cellular phone, a smart phone, a wearable device, and other similar computing devices. The components shown herein, their connections and relationships, and their functions are described as examples only, and are not intended to limit implementations of the present invention described and / or claimed herein.

[0220] Referring to Fig. 17, the device 600 includes a computing unit 601 to perform various appropriate actions and processes according to computer program instructions stored in a read only memory (ROM) 602, or loaded from a storage unit 608 into a random access memory (RAM) 603. In the RAM 603, various programs and data for the operation of the storage device 600 can also be stored. The computing unit 601, the ROM 602, and the RAM 603 are connected to each other through a bus 604. An input / output (I / O) interface 605 is also connected to the bus 604.

[0221] Components in the device 600 are connected to the I / O interface 605, including: an input unit 606, such as a keyboard, a mouse; an output unit 607, such as various types of displays, speakers; a storage unit 608, such as a disk, an optical disk; and a communication unit 609, such as network cards, modems, wireless communication transceivers, and the like. The communication unit 609 allows the device 600 to exchange information / data with other devices through a computer network such as the Internet and / or various telecommunication networks.

[0222] The computing unit 601 may be formed of various general-purpose and / or special-purpose processing components with processing and computing capabilities. Some examples of the computing unit 601 include, but are not limited to, a central processing unit (CPU) , graphics processing unit (GPU) , various specialized artificial intelligence (AI) computing chips, various computing units that run machine learning model algorithms,  digital signal processor (DSP) , and any suitable processor, controller, microcontroller, etc. The computing unit 601 performs various methods and processes described above, such as an image processing method. For example, in some embodiments, the image processing method may be implemented as computer software programs that are tangibly embodied on a machine-readable medium, such as the storage unit 608. In some embodiments, part or all of the computer program may be loaded and / or installed on the device 600 via the ROM 602 and / or the communication unit 609. When a computer program is loaded into the RAM 603 and executed by the computing unit 601, one or more steps of the image processing method described above may be performed. In some embodiments, the computing unit 601 may be configured to perform the image processing method in any other suitable manner (e.g., by means of firmware) .

[0223] Various implementations of the systems and techniques described herein above may be implemented in digital electronic circuitry, integrated circuit systems, field programmable gate arrays (FPGA) , application specific integrated circuits (ASIC) , application specific standard products (ASSP) , system-on-chip (SOC) , complex programmable logic device (CPLD) , computer hardware, firmware, software, and / or combinations thereof. These various embodiments may include being implemented in one or more computer programs executable and / or interpretable on a programmable system including at least one programmable processor, and the programmable processor may be a special-purpose or general-purpose programmable processor, and may receive data and instructions from a storage system, at least one input device and at least one output device, and may transmit data and instructions to the storage system, the at least one input device, and the at least one output device.

[0224] Program code for implementing the methods of the present invention may be written in any combination of one or more programming languages. These program codes may be provided to a processor or controller of a general computer, a dedicated computer, or other programmable data processing device, such that the program codes, when executed by the processor or controller, cause the functions and / or operations specified in the flowcharts and / or block diagrams is performed. The program code can be executed entirely on the machine, partly on the machine, as a stand-alone software package  partly on a machine and partly on a remote machine or entirely on a remote machine or server.

[0225] In the context of the present invention, a machine-readable medium may be a tangible medium that may contain or store a program for use by or in connection with an instruction execution system, apparatus, or device. The machine-readable medium may be a machine-readable signal medium or a machine-readable storage medium. A machine-readable medium may include, but is not limited to, an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any suitable combination of the foregoing. More specific examples of machine-readable storage media include electrical connections based on one or more wires, portable computer disks, hard disks, random access memories (RAM) , read-only memories (ROM) , erasable programmable read-only memories (EPROM or flash memory) , fiber optics, compact disc read-only memories (CD-ROM) , optical storage devices, magnetic storage devices, or any suitable combination of the foregoing.

[0226] To provide interaction with a user, the systems and techniques described herein may be implemented on a computer having a display device (e.g., a cathode ray tube (CRT) or liquid crystal display (LCD) ) for displaying information for the user; and a keyboard and pointing device (e.g., a mouse or trackball) through which a user can provide an input to the computer. Other types of devices can also be used to provide interaction with the user, for example, the feedback provided to the user may be any form of sensory feedback (e.g., visual feedback, auditory feedback, or tactile feedback) ; and may be in any form (including acoustic input, voice input, or tactile input) to receive the input from the user.

[0227] The systems and techniques described herein may be implemented on a computing system that includes back-end components (e.g., as a data server) , or a computing system that includes middleware components (e.g., an application server) , or a computing system that includes front-end components (e.g., a user computer with a graphical user interface or web browser through which a user can interact with implementations of the systems and techniques described herein) , or a computer system including such a backend components, middleware components, front-end components or  any combination thereof. The components of the system may be interconnected by any form or medium of digital data communication (e.g., a communication network) . Examples of the communication network includes: Local Area Networks (LAN) , Wide Area Networks (WAN) , the Internet and blockchain networks.

[0228] The computer system may include a client and a server. The Client and server are generally remote from each other and usually interact through a communication network. The relationship of the client and the server is generated by computer programs running on the respective computers and having a client-server relationship with each other. The server may be a cloud server, also known as a cloud computing server or a cloud host, which is a host product in the cloud computing service system, and solves the defects of difficult management and weak business expansion in traditional physical hosts and virtual private servers ( "VPS" for short) . The server may also be a server of a distributed system, or a server combined with a blockchain.

[0229] It should be understood that the steps may be reordered, added or deleted by using the various forms of flows shown above. For example, the steps described in the present invention may be executed in parallel, sequentially, or in different orders, as long as the desired results of the technical solutions in the present invention can be achieved, and no limitation is imposed herein.

[0230] The above-mentioned specific embodiments do not limit the scope of protection of the present invention. It should be understood by those skilled in the art that various modifications, combinations, sub-combinations and replacements may be made depending on design requirements and other factors. Any modifications, equivalent replacements, and improvements made within the principles of the present invention should be included within the protection scope of the present invention.

Claims

1.A method of decoding from a bitstream a geometry of a point cloud, the point cloud being represented by a plurality of cuboid volumes, the plurality of cuboid volumes comprising a plurality of occupied cuboid volumes being modelled by one or more triangles, the one or more triangles having vertices on edges of the occupied cuboid volume, the method comprising:decoding vertices located on edges of the occupied cuboid volumes,decoding a centroid residual per occupied cuboid volume, andrefining vertices on one or more unique edges, which are shared by two or more of the occupied cuboid volumes, wherein the vertices are refined using the centroid residuals.2.The method of claim 1, wherein decoding vertices located on edges of the occupied cuboid volumes comprises decoding positions of the vertices.3.The method of claim 1 or 2, further comprising:- constructing at least one triangle using the decoded and refined vertices and the decoded centroid residuals, and- reconstructing the point cloud on the constructed triangles.4.The method of claim 3, wherein reconstructing the point cloud comprises using ray tracing on the constructed triangles in the occupied cuboid volumes.5.The method of any one of the preceding claims, wherein refining a vertex on a unique edge comprises determining a refined vertex V’ a long the unique edge using vertex shift information.6.The method of claim 5, wherein the vertex shift information comprises respective shifts of vertices on the edges, which correspond to the unique edge.7.The method of claim 5 or 6, comprising:obtaining the vertex shift information using the decoded centroid residual for each occupied cuboid volumes sharing the unique edge.8.The method of claim 7, wherein obtaining the vertex shift information for the unique edge comprises:for each occupied cuboid volume sharing the unique edge, determining a vertex shiftusing the decoded centroid residual, andmapping the vertex shiftsof the edges, which correspond to a unique edge, to the unique edge using a mapping relationship between edges of all occupied cuboid volumes and all unique edges.9.The method of claim 5, wherein mapping the vertex shifts of the edges comprises using a mapping relationship between edges of all occupied cuboid volumes and all unique edges.10.The method of claim 8 or 9, whereina centroid residual vector is set aswith C denoting a centroid point defined as C=Cmean+Cres, with Cmean denoting a mean position of the centroid point obtained by averaging coordinates of all vertices of the occupied cuboid volume, and with Cres denoting the centroid residual of the occupied cuboid volume, anddetermining the vertex shiftcomprises:determining an axis axis_max along which the centroid residual vectorhas a maximum value, and setting the vertex shiftfor each edge parallel to the axis axis_max within the occupied cuboid volume to11.The method of claim 10, wherein the vertex shift for an edge not parallel to the axis axis_max is set to zero.12.The method of any one of claims 6 to 11, wherein obtaining the vertex shift information for the unique edge further comprises storing the vertex shifts of the edges corresponding to the unique edge.13.The method of claim 12, wherein the vertex shifts of the edges corresponding to the unique edge are stored using a list L containing at most K elements with each element representing the vertex shift of an edge corresponding to the unique edge.14.The method of claim 13, wherein K = 4 or K > 4.15.The method of claim 13 or 14, wherein the list L contains N vertex shifts of N edges belonging to N occupied cuboid volumes.16.The method of any one of claims 5 to 15, wherein determining the refined vertex V’ along the unique edge comprises:determining a unique edge vertex shiftusing the vertex shift information, anddetermining the refined vertex V’ along the unique edge using the unique edge vertex shiftand a position of an original vertex V on the unique edge.17.The method of claim 16, wherein the unique edge vertex shift is determined using a weighting average of all vertex shifts of the edges corresponding to the unique edge.18.The method of claim 1, wherein decoding the vertices comprises:decoding from the bitstream vertices information for the edges of each occupied cuboid volume is decoded and constructing a mapping relationship between the edges of all occupied cuboid volume and all unique edges.19.The method of claim 1, wherein decoding the centroid residual per occupied cuboid volume comprises:decoding the centroid residual and obtaining vertex shift information for the corresponding unique edges using the decoded centroid residual for each occupied cuboid volume.20.The method of claim 1, wherein refining the vertices on one or more unique edges comprises:determining refined vertices along the unique edges by iterating each unique edge using the vertex shift information,mapping the refined vertices along the unique edges to edges of all occupied cuboid volumes based on the mapping relationship between edges of all occupied cuboid volumes and all unique edges,constructing triangles based on the vertices and centroid points within the occupied cuboid volumes, andreconstructing the point cloud using a ray tracing method onto the constructed triangles.21.The method of claim 1, wherein the centroid point of an occupied cuboid volume has coordinates which are the mean coordinates of all vertices of the occupied cuboid volume.22.The method of any one of the preceding claims, wherein the centroid residual is a one dimensional, 1D, residual.23.The method of any one of the preceding claims, wherein the centroid residual is equal to withCres centroid residualnormal vector obtained from the vertices and a mean position of a centroid point of the occupied cuboid volume, the centroid point obtained by averaging coordinates of the vertices of the occupied cuboid volume, andα a 1D signed scalar value coded in the bitstream.24.The method of claim 23, wherein the normal vector is determined by: and normalization where × is the cross product, also named vector (cross) product, between two vectors, and the edgesare25.The method of claim 32, wherein the normal vector is parallel to a certain axis.26.The method of claim 25, wherein the certain axis is a dominant axis, the dominant axis being an axis along which a vertical projection of an occupied cuboid volume exhibits a 2D total surface of triangles that is the maximum.27.The method of any one of claims 23 to 26, wherein α is a binarized value with each bit being encoded.28.The method of claim 27, wherein α is encoded by a binary entropy coder such as an arithmetic coder or a context adaptive binary coder like CABAC.29.The method of claim 27 or 28, wherein α is binarized into· a flag f0 indicating if α is equal to 0,· a sign that indicates if α>0 or α<0,· a flag f1 indicating if |α| is equal to 1,· a remainder |α|-2 coded by an expGolomb coder.30.The method of any one of claims 23 to 29, wherein α is determined by considering all points Pk of the point cloud belonging to an occupied cuboid volume.31.The method of claim 30, wherein α is obtained by: withS a set of points Pk having a distance dk below a predefined threshold,|S| the number of points belonging to the set, andrk a 1D residual of a point Pk relative to the mean position Cmean of the centroidpoint of the occupied cuboid volume,wherein32.A non-transitory computer-readable storage medium comprising instructions which, when executed by a computer, cause the computer to carry out the method of any one of the preceding claims.33.An apparatus for decoding from a bitstream a geometry of a point cloud, the point cloud being represented by a plurality of cuboid volumes, the plurality of cuboid volumes comprising at least one occupied cuboid volume being modelled by one or more triangles, the one or more triangles having vertices on edges of the occupied cuboid volume, the apparatus comprising:a decoding module configured to decode vertices located on edges of the occupied cuboid volumes and a centroid drift per occupied cuboid volume, anda refining module configured to refine vertices on one or more unique edges, which are shared by two or more of the occupied cuboid volumes, wherein the vertices are refined using the centroid residuals.

Images