基于深度学习的点云分割网络及点云分割数据集( 二 ) 来源|新机器视觉作者丨泡椒味

图5PCT网络结构
PCT应用Transformer进行点云分割的具体原理如图6所示，其中星号代表Transformer的查询向量，黄色到蓝色代表注意力权重逐渐增加，最后一列代表分割结果。

文章图片
图6PCT点云分割原理
为了更好地捕获点云中的localcontext ，作者在最远点采样和最近邻居搜索的支持下增强了输入嵌入，同时Transformer在点云分割领域的成功，也逐渐打通了NLP、图像、点云等不同领域的壁垒，对于“模型大一统”具有重要意义。 PCT点云分割与其他分割算法的对比如图7所示，大量的实验表明， PCT在形状分类， part分割和法向量估算任务方面达到了最先进的性能。

文章图片
图6PCT点云分割效果与其他算法对比
03Cylinder网络
Cylinder网络来源于CVPR论文“CylindricalandAsymmetrical3DConvolutionNetworksforLiDARSegmentation” ， Cylinder网络结构如图7所示。 Cylinder网络由圆柱坐标体素划分和非对称3D卷积网络组成，作者认为圆柱分割可以有效提高分割精度，此外作者还引入了一个point-wise模块来改进体素块输出，提高辨识精度。

文章图片
图7Cylinder网络结构
作者认为基于柱坐标的voxel的划分，可以与激光雷达扫描过程保持一致。进而有效地减少空voxel的比率。此外，作者将Cylinder网络在两个大型室外场景数据集（SemanticKITTI和nuScenes）上进行了评估，评估效果对比如表2和表3所示。评估显示，在SemanticKITTI数据集上， Cylinder网络排名第一。在nuScenes数据集上，新方法的表现也大大超过了之前的方法。

文章图片
表2Cylinder网络在SemanticKITTI数据集上的对比效果
表3Cylinder网络在nuScenes数据集上的对比效果
04JSNet网络
JSNet来源于AAAI论文“JSNet:JointInstanceandSemanticSegmentationof3DPointClouds” ， JSNet可以同时解决3D点云的实例和语义分割问题，其网络结构如图8所示。

文章图片
图8JSNet网络结构
JSNet首先建立有效的骨干网络，以从原始点云数据中提取鲁棒的特征。其次为了获得更多的判别特征，提出了一种点云特征融合模块来融合骨干网的不同层特征。此外， JSNet开发了联合实例语义分割模块以将语义特征转换为实例嵌入空间，然后将转换后的特征进一步与实例特征融合以促进实例分割。同时，该模块还将实例特征聚合到语义特征空间中，以促进语义分割。最后， JSNet通过对实例嵌入应用简单的均值漂移聚类来生成实例预测。
如表4和表5所示是JSNet网络在大型3D室内点云数据集S3DIS上的评估结果，图9是JSNet网络的分割效果。实验结果表明， JSNet网络在3D实例分割中的性能优于最新方法，在3D语义预测方面有重大改进，同时有利于零件分割。

文章图片
表4JSNet网络在S3DIS数据集上的实例分割结果

文章图片
表5JSNet网络在S3DIS数据集上的语义分割结果

文章图片
图9JSNet网络的分割效果
05点云分割数据集
深度神经网络的训练往往需要大量的数据集，同时深度神经网络性能的优劣也往往是在公开数据集上进行评估，因此选择合适的数据集至关重要。常用的点云分割数据集主要有如下几个：