Method and apparatus for point cloud segmentation

Abstract

A method for point cloud segmentation is disclosed. The method may comprise performing a down-sampling and feature transformation step on an embedding feature extracted from point cloud data to produce a representation of the point cloud data, wherein performing the down-sampling and feature transformation step comprises performing a down-sampling sub-step for reducing a number of points by a pooling layer and performing one or more times of a feature transformation sub-step; and performing an up-sampling and feature transformation step on the representation of the point cloud data to produce the point cloud segmentation, wherein performing the up-sampling and feature transformation step comprises performing an up-sampling sub-step for restoring the number of points by an un-pooling layer and performing one or more times of the feature transformation sub-step. The feature transformation sub-step comprises at least one of capturing a local feature of the point cloud data by a local perceiver; capturing a global feature of the point cloud data by a selective state space model (SSM) block; and capturing a cross-channel dependency of the point cloud data by a channel modulator.

Description

METHOD AND APPARATUS FOR POINT CLOUD SEGMENTATIONFIELD

[0001] The present disclosure relates generally to artificial intelligence technology, and more particularly, to a deep learning network for point cloud segmentation.BACKGROUND

[0002] Point cloud segmentation is an important topic in 3D understanding and has drawn attention from the research community in the recent years. The evolution of network architectures for point cloud segmentation has followed a path similar to that of natural language processing (NLP) , where Transformer model has become the prevalent architecture and consistently topping performance charts across a variety of relevant benchmarks. However, the quadratic complexity of self-attention in Transformer models poses a substantial challenge when dealing with point clouds, as the computational and memory requirements often become prohibitive when scaling to a large number of points. To mitigate this issue, researchers have resorted to a variety of more efficient strategies. These include aggressive down-sampling, efficient attention algorithms, and windowed attention mechanisms. While these approaches help to reduce the computational burden, they achieve at the cost of reducing valuable spatial and geometric information. This may impair the global contextual understanding of the point cloud and weaken the performance of models for point cloud segmentation.

[0003] Therefore, there exists a pressing need for improved deep learning network architectures for point cloud segmentation that can effectively address the limitations of Transformer models.SUMMARY

[0004] The following presents a simplified summary of one or more aspects according to the present disclosure in order to provide a basic understanding of such aspects. This summary is not an extensive overview of all contemplated aspects, and is intended to neither identify key or critical elements of all aspects nor delineate the scope of any or all aspects. Its sole purpose is to present some concepts of one or more aspects in a simplified form as a prelude to the more detailed description that is presented later.

[0005] In an aspect of the disclosure, a method for point cloud segmentation is  disclosed. The method may comprise performing a down-sampling and feature transformation step on an embedding feature extracted from point cloud data to produce a representation of the point cloud data, wherein performing the down-sampling and feature transformation step comprises performing a down-sampling sub-step for reducing a number of points by a pooling layer and performing one or more times of a feature transformation sub-step; and performing an up-sampling and feature transformation step on the representation of the point cloud data to produce the point cloud segmentation, wherein performing the up-sampling and feature transformation step comprises performing an up-sampling sub-step for restoring the number of points by an un-pooling layer and performing one or more times of the feature transformation sub-step. The feature transformation sub-step may comprise at least one of capturing a local feature of the point cloud data by a local perceiver; capturing a global feature of the point cloud data by a selective state space model (SSM) block; and capturing a cross-channel dependency of the point cloud data by a channel modulator.

[0006] In another aspect of the disclosure, an apparatus for point cloud segmentation is disclosed. The apparatus may comprise a down-sampling and feature transformation module configured to produce a representation of point cloud data based on an embedding feature extracted from the point cloud data, the down-sampling and feature transformation module comprising a down-sampling block with a pooling layer for reducing a number of points and one or more feature transformation blocks; and an up-sampling and feature transformation module configured to produce the point cloud segmentation based on the representation of the point cloud data, the up-sampling and feature transformation module comprising an up-sampling block with an un-pooling layer for restoring the number of points and one or more feature transformation blocks. The feature transformation block may comprise at least one of a local perceiver for capturing a local feature of the point cloud data; a selective state space model (SSM) block for capturing a global feature of the point cloud data; and a channel modulator for capturing a cross-channel dependency of the point cloud data.

[0007] In another aspect of the disclosure, an apparatus for point cloud segmentation is disclosed. The apparatus may comprise a memory and at least one processor coupled to the memory. The at least one processor may be configured to perform a down-sampling and feature transformation step on an embedding feature extracted from point cloud data to produce a representation of the point cloud data, the down-sampling and feature transformation step comprising a down-sampling sub-step for reducing a number of points by a pooling layer and one or more times of a feature transformation  sub-step; and perform an up-sampling and feature transformation step on the representation of the point cloud data to produce the point cloud segmentation, the up-sampling and feature transformation step comprising an up-sampling sub-step for restoring the number of points by an un-pooling layer and one or more times of the feature transformation sub-step. The feature transformation sub-step may comprise at least one of capturing a local feature of the point cloud data by a local perceiver; capturing a global feature of the point cloud data by a selective state space model (SSM) block; and capturing a cross-channel dependency of the point cloud data by a channel modulator.

[0008] In another aspect of the disclosure, a computer readable medium storing computer program codes for point cloud segmentation is disclosed. The computer program codes, when executed by a processor, may cause the processor to perform a down-sampling and feature transformation step on an embedding feature extracted from point cloud data to produce a representation of the point cloud data, the down-sampling and feature transformation step comprising a down-sampling sub-step for reducing a number of points by a pooling layer and one or more times of a feature transformation sub-step; and perform an up-sampling and feature transformation step on the representation of the point cloud data to produce the point cloud segmentation, the up-sampling and feature transformation step comprising an up-sampling sub-step for restoring the number of points by an un-pooling layer and one or more times of the feature transformation sub-step. The feature transformation sub-step may comprise at least one of capturing a local feature of the point cloud data by a local perceiver; capturing a global feature of the point cloud data by a selective state space model (SSM) block; and capturing a cross-channel dependency of the point cloud data by a channel modulator.

[0009] In another aspect of the disclosure, a computer program product for point cloud segmentation is disclosed. The computer program product may comprise processor executable computer program codes for performing a down-sampling and feature transformation step on an embedding feature extracted from point cloud data to produce a representation of the point cloud data, the down-sampling and feature transformation step comprising a down-sampling sub-step for reducing a number of points by a pooling layer and one or more times of a feature transformation sub-step; and performing an up-sampling and feature transformation step on the representation of the point cloud data to produce the point cloud segmentation, the up-sampling and feature transformation step comprising an up-sampling sub-step for restoring the number of  points by an un-pooling layer and one or more times of the feature transformation sub-step. The feature transformation sub-step may comprise at least one of capturing a local feature of the point cloud data by a local perceiver; capturing a global feature of the point cloud data by a selective state space model (SSM) block; and capturing a cross-channel dependency of the point cloud data by a channel modulator.

[0010] Other aspects or variations of the disclosure will become apparent by consideration of the following detailed description and accompanying drawings.BRIEF DESCRIPTION OF THE DRAWINGS

[0011] The following figures depict various embodiments of the present disclosure for purposes of illustration only. One skilled in the art will readily recognize from the following description that alternative embodiments of the methods and structures disclosed herein may be implemented without departing from the spirit and principles of the disclosure described herein.

[0012] FIG. 1 illustrates an architecture of a deep learning network for point cloud segmentation in accordance with one aspect of the present disclosure.

[0013] FIG. 2 illustrates an exemplary structure of a feature transformation block in the deep learning network for point cloud segmentation in accordance with one aspect of the present disclosure.

[0014] FIG. 3 illustrates an exemplary structure of a local perceiver in the feature transformation block in accordance with one aspect of the present disclosure.

[0015] FIG. 4 illustrates an exemplary structure of a selective SSM block in the feature transformation block in accordance with one aspect of the present disclosure.

[0016] FIG. 5 illustrates an exemplary structure of a channel modulator in the feature transformation block in accordance with one aspect of the present disclosure.

[0017] FIG. 6 illustrates a flow chart of a method for point cloud segmentation in accordance with one aspect of the present disclosure.

[0018] FIG. 7 illustrates a block diagram of an apparatus for point cloud segmentation in accordance with one aspect of the present disclosure.DETAILED DESCRIPTION

[0019] Before any embodiments of the present disclosure are explained in detail, it is to be understood that the disclosure is not limited in its application to the details of construction and the arrangement of features set forth in the following description. The  disclosure is capable of other embodiments and of being practiced or of being carried out in various ways.

[0020] Point cloud segmentation is a kind of task in the field of understanding 3D environment. Point cloud segmentation may classify 3D point clouds into multiple homogeneous regions, the points in the same region will have the same properties or represent the same object. For example, after performing point cloud segmentation on the 3D point cloud data regarding an indoor environment including a table, a bed, a sofa, a chair, a bookshelf, a door, a window, etc., the points representing the same object, such as the table, should be classified into a same region and identified as a table. Similarly, for the 3D point cloud data regarding an outdoor environment, such as, traffic environment including road, traffic signs, pedestrians, bicycles, motorcycles, cars, etc., the point cloud segmentation may classify the points representing the same object into the same region. For example, the points representing roads may be classified into a same region and identified as roads, the points representing traffic signs may be classified into a same region and identified as traffic signs, the points representing pedestrians may be classified into a same region and identified as pedestrians, and so on. Therefore, the point cloud segmentation technique may be applied to various downstream tasks for such as smart robot, automatic drive, and other artificial intelligence apparatuses that need to understand the 3D environment.

[0021] Since the point cloud data usually comprises a large number of points, there exists a great challenge on the computational and memory requirements when applying the Transformer models famous for NLP to deal with point cloud data. Recently, State Space Models (SSMs) have emerged as a promising alternative to Transformer models. These SSMs integrate elements of recurrent neural networks and convolutional neural networks within a framework grounded in classical state space theories. Similar to Transformer models, SSMs have effective global modeling capability. However, unlike Transformer models, which scales quadratically with respect to the sequence length, SSMs scale linearly and use constant memory during inference. This is greatly advantageous for tasks that require maintaining a large global context. Although early SSMs lag behind Transformers in performance, the innovative selective SSM with selective scan mechanism (such as the Mamba model) significantly boosts its capabilities, enabling it to achieve competitive results in numerous NLP tasks.

[0022] However, although previous attempts of using SSMs for point cloud segmentation show that their performances are competitive with many convolutional-based segmentation approaches, the existing SSM-based network architectures still  underperform the best Transformer-based models such as PTv3. For example, a network architecture for point cloud segmentation comprising only a Mamba block may perform even worse, achieving only 63.7 mIoU compared to PTv3’s 77.5 on the ScanNet dataset.

[0023] The network with only a Mamba block can hardly effectively leverage local contextual and geometric cues in 3D space. For example, in a case of indoor environment, the network with only a Mamba block may misidentify a window behind a bed as a door and misidentify a bookshelf on a table as a table, since it may fail to recognize that a door is unlikely to be positioned behind a bed or that a table is unlikely to be located above another table. The challenges faced by Mamba in point cloud segmentation may arise from fundamental differences between modalities, such as the 3D vision and natural language. The first significant difference is scale. Unlike word tokens in language processing, visual elements may vary greatly in size and require techniques that dynamically adjust the receptive field to accommodate objects of various dimensions. The second critical difference is the high variability in local geometries. Different objects may have distinct shapes and minor variations at the local level, requiring robust local modeling capabilities. However, existing Mamba, traditionally designed for autoregressive language tasks, lacks these crucial multi-scale sensitivity and essential local adaptability.

[0024] Accordingly, an SSM-based network architecture for point cloud segmentation may be improved by incorporating various domain-specific designs attuned to the unique characteristics of point clouds. In one aspect of the present disclosure, a core of the network architecture for point cloud segmentation may comprise at least two feature transformation blocks. The feature transformation block may comprise a selective SSM block (such as, the Mamba block) to model the global context and a local perceiver to capture the local geometry. In addition, in order to address the technical problem of inherent processing limitation of Mamba (namely its isolated operation per channel) and a lack of effective mechanism to handle variability in point cloud density across different scenes, the feature transformation block may further comprise a channel modulator to boost channel-wise interaction, and the selective SSM block may further incorporate a density-adaptive scanning strategy to manage irregular point cloud distribution. In another aspect, the network architecture for point cloud segmentation may be a hierarchical architecture that can accurately capture and represent visual elements at various scales.

[0025] FIG. 1 illustrates an architecture of a deep learning network for point cloud  segmentation in accordance with one aspect of the present disclosure. The deep learning network may be implemented as an apparatus for point cloud segmentation. The apparatus may comprise several modules implemented by software, hardware (such as, application specific integrated circuits, central processing units, graphic processing units, neural processing units, etc. ) or a combination of software and hardware. The apparatus may be a central control unit of a smart robot or an automatic drive vehicle.

[0026] As shown in FIG. 1, the deep learning network for point cloud segmentation may comprise a hierarchical structure 100 designed for multi-scale features. The hierarchical structure 100 may comprise one or more down-sampling and feature transformation modules (such as, down-sampling and feature transformation modules 102 and 104) followed by one or more up-sampling and feature transformation modules (such as, up-sampling and feature transformation modules 106 and 108) . The down-sampling and feature transformation modules may be configured to produce a representation of point cloud data based on an embedding feature extracted from the point cloud data. The up-sampling and feature transformation modules may be configured to produce the point cloud segmentation based on the representation of the point cloud data.

[0027] Each of the down-sampling and feature transformation modules may comprise a down-sampling block with a pooling layer for reducing a number of points and one or more feature transformation blocks. The down-sampling block may comprise a grid pooling layer. The grid pooling layers of the down-sampling and feature transformation modules may progressively reduce the number of points during down sampling. Each of these grid pooling layers may divide the point cloud into uniform grid regions, and perform max-pooling on feature values and / or mean-pooling on point positions in each grid region. The max pooling may select the max value, while the mean-pooling may calculate an average value. The grid pooling layer may condense the point cloud, representing each region with a single point while preserving key information of the points in each region.

[0028] Several feature transformation blocks may be deployed after the down-sampling block to produce a representation of the point cloud. The combination of a down-sampling block and subsequent feature transformation blocks, forming the down-sampling and feature transformation module, may be repeated multiple times. The multiple repeated down-sampling and feature transformation modules may have the same structure, but may have different learned parameters. For example, the hierarchical structure 100 may comprise two down-sampling and feature transformation modules to produce hierarchical representations during a down- sampling phase.

[0029] Each of the up-sampling and feature transformation modules in the hierarchical structure 100 may comprise an up-sampling block with an un-pooling layer for restoring the number of points and one or more feature transformation blocks. The up-sampling block may comprise a grid unpooling layer. The combination of an up-sampling block and subsequent feature transformation blocks, forming the up-sampling and feature transformation module, may be repeated multiple times. The multiple repeated up-sampling and feature transformation modules may have the same structure, but may have different learned parameters. For example, the hierarchical structure 100 may comprise two up-sampling and feature transformation modules to produce the point cloud segmentation with restored number of points during an up-sampling phase mirroring the down-sampling phase.

[0030] During the up sampling phase, the representations generated by each previous module may guide the reconstruction process in a U-Net-like architecture. The number of points may be progressively restored by grid unpooling layers of multiple up-sampling and feature transformation modules, which track the original positions of all points during the pooling stage. The learned feature values of the corresponding pooled points may be assigned to the original points in the unpooled point cloud. This process effectively restores the original point positions while propagating the learned features from the pooled representation. The up-sampling phase mirrors the down-sampling structure. For example, the number of up-sampling and feature transformation modules in the up-sampling phase is the same as the number of down-sampling and feature transformation modules in the down-sampling phase.

[0031] Accordingly, the number of points in the output sequence of the hierarchical structure 100 may be the same as the number of point in the input sequence of the hierarchical structure 100. In addition, each point in the output sequence of the hierarchical structure 100 may be identified as or classified into a specific category of object, such as, a table or a bed in a room, or a car or a traffic light on a road, by the point cloud segmentation inference.

[0032] The feature transformation block may comprise at least one of a local perceiver for capturing a local feature of the point cloud data; a selective state space model (SSM) block for capturing a global feature of the point cloud data; and a channel modulator for capturing a cross-channel dependency of the point cloud data. The feature transformation blocks repeated in the down-sampling and feature transformation modules and repeated in the up-sampling and feature transformation modules may have  the same structure, and may have different learned parameters.

[0033] Before the hierarchical structure 100, the deep learning network for point cloud segmentation may further comprise a voxelization module 110 and an embedding module 120 for pre-processing the point cloud data obtained from a Radar (such as, Lidar or millimeter wave radar) or generated by multi-view reconstruction method based on multiple 2D images obtained from different views. The voxelization module 110 may be configured to segment the point cloud data into a plurality of non-overlapping voxels to produce a voxel sequence.

[0034] For example, the voxelization module may segment a 3D space from which the point cloud data is captured into 100x100x100 non-overlapping voxels in the 3 dimensions of length, width and height. If there is one or more points of the point cloud data in a voxel, the value of the voxel may be identified as “1” , otherwise the value of the voxel may be identified as “0” . Some other algorithms may be used for calculating the value of a voxel. Each voxel may also be identified with a position value. Then, the voxels may be mapped to an ordered voxel sequence, such as, a voxel sequence with a length of 106. In one embodiment, the voxels may be mapped to a voxel sequence using a locality-preserving spacing-filling curve. The voxels may also be mapped to a voxel sequence in other ways.

[0035] The embedding module 120 configured to process the voxel sequence to produce an embedding feature. The embedding feature may be extracted from the point cloud data, and may be a representation of the point cloud data in a lower dimension vector space. The embedding module may be an encoder that converts the point cloud data (such as, a voxel sequence of the point cloud data) from a higher dimension space into a lower dimension space while remaining the key features of the point cloud data. In one embodiment, the embedding module may comprise a submanifold sparse convolution layer. The submanifold sparse convolution is a modified sparse convolution. The sparse convolution may compute a set of active sites in the same way as a regular convolution, i.e., it looks for the presence of any active sites in its receptive field. Unlike the regular convolution, the sparse convolution may discard the ground state for non-active sites by assuming that the input from those sites is zero. Such a change to the regular convolution may bring computational benefits in practice. The submanifold sparse convolution is a modified sparse convolution with the stride equals to 1.

[0036] FIG. 2 illustrates an exemplary structure of a feature transformation block in the deep learning network for point cloud segmentation in accordance with one aspect of  the present disclosure. In one embodiment, the feature transformation block 200 may comprise a local perceiver 210, followed by selective SSM block 230, and a channel modulator 250. The selective SSM block 230 may be preceded by an RMSNorm layer 220, and the channel modulator 250 may be preceded by a LayerNorm layer 240. The RMSNorm layer may regularize the summed inputs to a neuron in one layer according to root mean square (RMS) , giving the feature transformation block rescaling invariance property and implicit learning rate adaptation ability. RMSNorm is computationally simpler and thus more efficient than LayerNorm. Each of the local perceiver 210, selective SSM block 230 and channel modulator 250 may also incorporate a residual connection after their respective executions. Although as shown in FIG. 2, in a preferred embodiment the feature transformation block may comprise the local perceiver 210, selective SSM block 230 and channel modulator 250, the feature transformation block may comprise one or two of the local perceiver, selective SSM block and channel modulator in some other embodiment. In other words, one or two of the local perceiver, selective SSM block and channel modulator may be optional depending on different requirement or characteristic of the input point cloud data, since each of the local perceiver, selective SSM block and channel modulator may focus on different aspects of the features of the input point cloud data.

[0037] For example, as shown in FIG. 2, the inputs to the local perceiver 210 are added to the outputs of the local perceiver 210; the inputs to the RMSNorm layer 220 preceding the selective SSM block 230 (i.e., the summation of the inputs of the local perceiver 210 and the outputs of the local perceiver 210) are added to the outputs of the selective SSM block 230; and the inputs to the LayerNorm layer 240 preceding the channel modulator 250 (i.e., the summation of the inputs of the RMSNorm layer 220 and the outputs of the selective SSM block 230) are added to the outputs of the channel modulator 250. The residual connection may be used to reduce the problems such as gradient vanishing and gradient explosion in the training process of deep neural networks.

[0038] The local perceiver 210 may be used for effective local modelling. Objects in 3D scenes exhibit a wide range of shapes and structures, making it essential to have mechanisms that effectively capture local geometric nuances for precise point cloud segmentation. For example, even in the specific traffic scenes (such as on the urban roads or on the expressways) , there may be different kinds of objects, such as, buildings, trees, traffic signs, pedestrians, various types of vehicles.

[0039] While the SSM-based networks excel at modeling long range dependencies,  they can hardly extract local information effectively. This limitation hampers their ability to differentiate between objects with similar global features but distinct local structures. For example, the SSM-based networks may not be able to accurately distinguish between a bicycle and motorcycle. To address this problem, a local perceiver is designed to enhance the sensitivity to local geometry of the novel deep learning network for point cloud segmentation. The local perceiver may employs multiple learnable submanifold sparse convolution layers on the local neighborhoods of each point, enabling the network to capture intricate geometric patterns and edge features. This capability allows the deep learning network for point cloud segmentation to dynamically adapt to the complex local geometries of objects, significantly improving its segmentation accuracy.

[0040] FIG. 3 illustrates an exemplary structure of a local perceiver 210 in the feature transformation block in accordance with one aspect of the present disclosure. The local perceiver 210 may comprise two or more submanifold sparse convolution layers (such as, 310 and 320) connected in order. Each layer may perform a submanifold sparse convolution is a modified sparse convolution, which is a modified sparse convolution with the stride equals to 1. The sparse convolution may compute a set of active sites in the same way as a regular convolution, and discard the ground state for non-active sites by assuming that the input from those sites is zero.

[0041] Referring back to FIG. 2, the selective SSM block 230 in the feature transformation block 200 may be used for efficient global modelling. In one embodiment, the selective SSM block 230 may be based on the Mamba model described in “Mamba: Linear-time sequence modeling with selective state spaces” (arXiv: 2312.00752, 2023) . Although existing transformer models excel at point cloud segmentation due to their ability to effectively model global correlations and interdependencies, they face challenges due to the quadratic time and memory complexities associated with the global self-attention mechanism. To mitigate these computational demands, strategies such as aggressive point cloud down-sampling, efficient attention variants, and windowed attention mechanisms are employed to reduce computational costs. However, these approaches often sacrifice essential spatial and geometric details, which are crucial for distinguishing subtle differences and understanding complex structures within point clouds, thus impacting accurate segmentation. To overcome these limitations, a Mamba block based on SSM may be employed to model global relationships in the feature transformation block. Unlike transformer models that scale quadratically with sequence length, SSM models may  achieve linear scaling during inference. With its efficient time complexity and memory complexity during inference, a Mamba block can efficiently handle large point clouds without requiring any approximation or down-sampling operations, enabling it to effectively deliver robust global contextual understanding.

[0042] A state space model (SSM) is a sequence-to-sequence model that maps an input sequence to an output sequence through a latent state h′ (t) =Ah (t) +Bx (t) , y (t) =Ch (t)               (1)

[0043] where may be a space of the point cloud, the input sequence may be a sequence of the points in the point cloud, t may be an index of a point in the sequence of points, and N may be the dimension of the SSM.

[0044] The continuous parameters (A, B) can be transformed to discrete parameters  via a discretization rule, such as the zero-order hold (ZOH) discretization:

[0045] where Δ is the discretization step size and I is the identity matrix.

[0046] The discretized SSM can be computed efficiently as a linear recurrence:

[0047] or as a global convolution:

[0048] where L is the sequence length and denotes matrix power.

[0049] A Mamba model improves SSMs by making SSM parameters to be functions of the input: Bt=fB (x (t) ) Ct=fC (x (t) ) Δt=fΔ (x (t) )          (5)

[0050] This enables SSMs to selectively propagate or forget information based on the input, and thus may be called as selective SSMs. Additionally, a Mamba model employs a hardware-aware parallel scan algorithm for efficient recurrence computation and simplifies the previous SSM architecture by combining the SSM and Multilayer Perceptron (MLP) blocks into a single, repeated block to further improve performance.

[0051] In one embodiment, the selective SSM block 230 may perform density adaptive scanning for handling irregular point cloud density. 3D point cloud data often suffers from varying point cloud densities due to different scanning methods or equipment. For instance, indoor datasets (such as, ScanNet and S3DIS) may use multi-view reconstruction techniques, while outdoor datasets (such as, nuScenes) may employ  LiDAR cameras that capture environments with laser pulses, and different LiDARs may generate point cloud data with different resolutions. In order to adapt this irregular distribution, the selective SSM block 230 can process diverse point clouds across different scenes more accurately in a single unified network by performing density adaptive scanning. For example, density adaptive scanning may enhance selective SSM block’s existing bidirectional scanning directions by incorporating two additional n-strided scanning directions. Specifically, an n-strided forward scan may skip every n points during scanning (n may be an integer greater than 1) and restart the pattern at the beginning once the end is reached.

[0052] FIG. 4 illustrates an exemplary structure of a selective SSM block 230 in the feature transformation block in accordance with one aspect of the present disclosure. In one embodiment, the selective SSM block may be an improved Mamba block. The improved Mamba block may comprise an RMSNorm layer 410 followed by a linear layer 422 and a linear layer 424. In one example, the output of linear layer 422 may be connected to 4 depth-wise convolution layers 432, 434, 436 and 438. In some other examples, the output of linear layer 422 may be connected to more depth-wise convolution layers. The depth-wise convolution layers may bring better performance for the network than other normal convolution layers. The outputs of the depth-wise convolution layers 432, 434, 436 and 438 as well as the output of the linear layer 424 may be processed respectively by 5 activation functions a1～a5. In one example, the activation functions may be a Sigmoid Linear Unit (SiLU) function.

[0053] The outputs of the activation functions a1～a4 may be input respectively into SSM blocks 442, 444, 446 and 448. Each of the SSM blocks 442-448 may perform SSM operations (such as, equation (5) ) with a different scanning direction. In one example, the length of a sequence of point cloud data may be 6n, where n is an integer greater than 1. In this case, the SSM block 442 may perform the SSM operation on the sequence of point cloud data with a normal forward scanning direction, i.e., 1, 2, 3, 4, 5, 6, …, 6n. The SSM block 444 may perform the SSM operation on the sequence of point cloud data with a normal backward scanning direction, i.e., 6n, 6n-1, 6n-2, 6n-3, …, 6, 5, 4, 3, 2, 1. The SSM block 446 may perform the SSM operation on the sequence of point cloud data with a 2-strided forward scanning direction, i.e., 1, 3, 5, …, 6n-1, 2, 4, 6, …, 6n. Alternatively, the SSM block 446 may perform the SSM operation on the sequence of point cloud data with a 3-strided forward scanning direction, i.e., 1, 4, 7, …, 6n-2, 2, 5, 8, …, 6n-1, 3, 6, 9, …, 6n. The SSM block 448 may perform the SSM operation on the sequence of point cloud data with a 2-strided backward scanning  direction, i.e., 6n, 6n-2, 6n-4, …, 6, 4, 2, 6n-1, 6n-3, 6n-5, …, 5, 3, 1. Alternatively, the SSM block 448 may perform the SSM operation on the sequence of point cloud data with a 3-strided backward scanning direction, i.e., 6n, 6n-3, 6n-6, …, 9, 6, 3, 6n-1, 6n-4, 6n-7, …, 8, 5, 2, 6n-2, 6n-5, 6n-8, …, 7, 4, 1. The stride size of 2 may provide a better result than a larger stride size. The scanning directions may also comprise inward direction and / or outward direction.

[0054] By utilizing multiple scanning directions including stride scanning directions, an improved Mamba block may effectively capture features from areas with varying densities, providing a robust representation of the scene. Integrating the improved Mamba block may greatly enhances the feature transformation block’s ability to manage irregular point cloud density and boosts its segmentation performance across various point cloud data, such as the point cloud data generated by different Radars or generated by different multi-view reconstruction techniques based on images with different resolutions.

[0055] In addition to the local modeling capabilities provided by the Local Perceiver and the global relationships captured by a selective SSM block, a channel modulator 250 is deployed in the feature transformation block 200. Since the selective SSM block operates independently per channel, it has limited ability to capture crucial cross-channel dependencies. The channel modulator 250 may be used for improving channel-wise information exchange. This module may be implemented by two linear layers with non-linearity activation functions (such as, GELU) and may be specifically designed to manage channel-wise interactions, enabling the network to capture complex dependencies between different channels. The channel modulator 250 may enhance the network’s ability to learn discriminative features that are beneficial for effective point cloud segmentation.

[0056] FIG. 5 illustrates an exemplary structure of a channel modulator 250 in the feature transformation block in accordance with one aspect of the present disclosure. The channel modulator 250 may comprise two or more linear layers, such as, a linear layer 510, and a linear layer 520. The linear layer is also known as a fully connected layer, which connects each neuron to all neurons in the previous layer, and its function is to achieve linear combination or linear transformation of the previous layer. The linear layer may map an input vector to an output vector using a weight matrix and a bias vector with learnable parameters. The channel modulator 250 may further comprise two or more activation function layers (such as, an activation function layer 515 and an activation function layer 525) , following each of the linear layers (such as,  the linear layer 510 and the linear layer 520) . The activation function layer is also known as a nonlinear layer, and its function is to increase the expressive and abstract capabilities of the network.

[0057] Table 1 below shows an exemplary settings of the deep learning network for point cloud segmentation described in connection with FIGs. 1-5.

[0058] Table 1

[0059] The deep learning network for point cloud segmentation described in connection with FIGs. 1-5 may be trained based on existing settings used for training the PTv3 model (see Point transformer v3: Simpler, faster, stronger. In CVPR, 2024) . For example, the optimizer may be AdamW, and the loss function may be CrossEntropy or Lovasz. The training settings may be different for the training the networks for outdoor point cloud segmentation and indoor point cloud segmentation.

[0060] The disclosed deep learning network for point cloud segmentation may outperform all current point cloud segmentation models across both indoor and outdoor scenes in multiple key benchmark datasets and various efficiency metrics. For example, it may surpass previous best method, PTv3, by +0.4, +0.8, +0.1, and +0.4 mIoU on ScanNet, ScanNet200, S3DIS, and nuScenes datasets, respectively, with 18.3%smaller latency and 5.8× smaller memory usage. Notably, when scaling to a large number of points, the disclosed deep learning network for point cloud segmentation is also much more efficient and effective than previous methods.

[0061] FIG. 6 illustrates a flow chart of a method 600 for point cloud segmentation in accordance with one aspect of the present disclosure. The method 600 may be performed by an intelligent device which need to understand the 3D environment based on the point cloud data. The intelligent device may be a smart robot or an automatic drive car.

[0062] The method 600 for point cloud segmentation may comprise a step 610 for performing a down-sampling and feature transformation on an embedding feature  extracted from point cloud data to produce a representation of the point cloud data. The down-sampling and feature transformation step 610 may comprise a down-sampling sub-step 612 for reducing a number of points by a pooling layer and one or more times of a feature transformation sub-step 614.

[0063] The method 600 for point cloud segmentation may also comprise a step 620 for performing an up-sampling and feature transformation on the representation of the point cloud data to produce the point cloud segmentation. The up-sampling and feature transformation step 620 may comprise an up-sampling sub-step 622 for restoring the number of points by an un-pooling layer and one or more times of a feature transformation sub-step 624.

[0064] The point cloud data may be 3D point cloud data obtained by a Radar for outdoor environment, or 3D point cloud data generated by multi-view reconstruction based on image data obtained by multiple cameras. The 3D point cloud data may represent the outdoor or indoor objects, such as, cars, traffic signs, tables, beds, and so on. The point cloud segmentation may classify the points representing the same object into the same region. For example, the points representing a car may be classified into a same region and identified as a car, the points representing traffic signs may be classified into a same region and identified as a traffic sign, the points representing a table may be classified into a same region and identified as a table, the points representing a bed may be classified into a same region and identified as a bed. The representations of the point cloud data generated during a procedure of preforming the method 600 comprise features that can represent the point cloud data. Generally, the representation of point cloud data may also be called as point cloud data or a point cloud sequence.

[0065] In one embodiment, the method 600 may comprise repeating the down-sampling and feature transformation step 610 multiple times during a down-sampling phase to produce hierarchical representations; and repeating the up-sampling and feature transformation step 620 multiple times during an up-sampling phase mirroring the down-sampling phase. The number of times repeating the down-sampling and feature transformation step 610 may be the same as the number of times repeating the up-sampling and feature transformation step 620, such that the number of points in the produced point cloud segmentation may be the same as the number of points in the input point cloud data.

[0066] Although not shown in FIG. 6, the method 600 may further comprise segmenting the point cloud data into a plurality of non-overlapping voxels to produce  a voxel sequence, and processing the voxel sequence by an embedding module to produce the embedding feature, before the steps of 610 and 620. In one embodiment, the embedding module may comprise a submanifold sparse convolution layer.

[0067] The feature transformation sub-steps 614 and 624 of the method 600 may comprise at least one of capturing a local feature of the point cloud data by a local perceiver, capturing a global feature of the point cloud data by a selective state space model (SSM) block, and capturing a cross-channel dependency of the point cloud data by a channel modulator. The local perceiver, the selective SSM block, and the channel modulator may be the local perceiver 210, the selective SSM block 230, and the channel modulator 250 described in connection with FIGs. 2-5. For example, the local perceiver may comprise multiple submanifold sparse convolution layers as shown in FIG. 3. The selective SSM block may comprise a forward scanning SSM, a backward scanning SSM, a stride forward scanning SSM, and a stride backward scanning SSM as shown in FIG. 4. The channel modulator may comprises multiple linear layers and one or more non-linear activation layers as shown in FIG. 5.

[0068] FIG. 7 illustrates a block diagram of an apparatus 700 for point cloud segmentation in accordance with one aspect of the present disclosure. The apparatus 700 may be an intelligent device, such as, a smart robot or an automatic drive car, or a central control unit therein. The apparatus 700 may comprise a memory 710 and at least one processor 720. The processor 720 may be coupled to the memory 710 and configured to perform the method 600 described above with reference to FIG. 6. The processor 720 may be a general-purpose processor, a graphic processor, a neural processor, or may also be implemented as a combination of computing devices, e.g., a combination of a DSP and a microprocessor, multiple microprocessors, one or more microprocessors in conjunction with a DSP core, or any other such configuration. The memory 710 may store the input data, output data, data generated by processor 720, and / or instructions executed by processor 720.

[0069] The various operations, modules, and networks described in connection with the disclosure herein may be implemented in hardware, software executed by a processor, firmware, or any combination thereof. According an embodiment of the disclosure, a computer program product for point cloud segmentation may comprise processor executable computer program codes for performing the method 600 described above with reference to FIG. 6. According to another embodiment of the disclosure, a computer readable medium may store computer program codes for point cloud segmentation. The computer program codes when executed by a processor may  cause the processor to perform the method 600 described above with reference to FIG. 6. The computer readable media includes both non-transitory computer storage media and communication media including any medium that facilitates transfer of a computer program from one place to another. Any connection may be properly termed as a computer-readable medium. Other embodiments and implementations are within the scope of the disclosure.

[0070] The preceding description of the disclosed embodiments is provided to enable any person skilled in the art to make or use the various embodiments. Various modifications to these embodiments will be readily apparent to those skilled in the art, and the generic principles defined herein may be applied to other embodiments without departing from the scope of the various embodiments. Thus, the claims are not intended to be limited to the embodiments shown herein but is to be accorded the widest scope consistent with the following claims and the principles and novel features disclosed herein.

Claims

1.A method for point cloud segmentation, comprising:performing a down-sampling and feature transformation step on an embedding feature extracted from point cloud data to produce a representation of the point cloud data, wherein performing the down-sampling and feature transformation step comprises performing a down-sampling sub-step for reducing a number of points by a pooling layer and performing one or more times of a feature transformation sub-step; andperforming an up-sampling and feature transformation step on the representation of the point cloud data to produce the point cloud segmentation, wherein performing the up-sampling and feature transformation step comprises performing an up-sampling sub-step for restoring the number of points by an un-pooling layer and performing one or more times of the feature transformation sub-step,wherein the feature transformation sub-step comprises at least one of:capturing a local feature of the point cloud data by a local perceiver;capturing a global feature of the point cloud data by a selective state space model (SSM) block; andcapturing a cross-channel dependency of the point cloud data by a channel modulator.2.The method of claim 1, further comprising:segmenting the point cloud data into a plurality of non-overlapping voxels to produce a voxel sequence; andprocessing the voxel sequence by an embedding module to produce the embedding feature, wherein the embedding module comprises a submanifold sparse convolution layer.3.The method of claim 1, further comprising:repeating the down-sampling and feature transformation step multiple times during a down-sampling phase to produce hierarchical representations; andrepeating the up-sampling and feature transformation step multiple times during an up-sampling phase mirroring the down-sampling phase.4.The method of claim 1, wherein the feature transformation sub-step comprises at least the local perceiver, and the local perceiver comprises multiple submanifold sparse convolution layers.5.The method of claim 1, wherein the feature transformation sub-step comprises at least the selective SSM block, and the selective SSM block comprises a forward scanning SSM, a backward scanning SSM, a stride forward scanning SSM, and a stride backward scanning SSM.6.The method of claim 1, wherein the feature transformation sub-step comprises at least the channel modulator, and the channel modulator comprises multiple linear layers and one or more non-linear activation layers.7.The method of claim 1, wherein the point cloud data is obtained by a Radar, or generated by multi-view reconstruction based on image data obtained by multiple cameras.8.An apparatus for point cloud segmentation, comprising:a down-sampling and feature transformation module configured to produce a representation of point cloud data based on an embedding feature extracted from the point cloud data, the down-sampling and feature transformation module comprising a down-sampling block with a pooling layer for reducing a number of points and one or more feature transformation blocks; andan up-sampling and feature transformation module configured to produce the point cloud segmentation based on the representation of the point cloud data, the up-sampling and feature transformation module comprising an up-sampling block with an un-pooling layer for restoring the number of points and one or more feature transformation blocks,wherein the feature transformation block comprises at least one of:a local perceiver for capturing a local feature of the point cloud data;a selective state space model (SSM) block for capturing a global feature of the point cloud data; anda channel modulator for capturing a cross-channel dependency of the point cloud data.9.The apparatus of claim 8, further comprising:a voxelization module configured to segment the point cloud data into a plurality of non-overlapping voxels to produce a voxel sequence; andan embedding module configured to process the voxel sequence to produce the embedding feature, wherein the embedding module comprises a submanifold sparse convolution layer.10.The apparatus of claim 8, comprising:multiple down-sampling and feature transformation modules configured to produce hierarchical representations during a down-sampling phase; andmultiple up-sampling and feature transformation modules configured to produce the point cloud segmentation with restored number of points during an up-sampling phase mirroring the down-sampling phase.11.An apparatus for point cloud segmentation, comprising:a memory; andat least one processor coupled to the memory and configured to perform the method of one of claims 1-7.12.A computer program product for point cloud segmentation, comprising: processor executable computer program codes for performing the method of one of claims 1-7.

Images