清华大学曾龙副教授团队：堆叠场景下多参数形状的6dof姿态估计数据集和网络 | mdpi machines—论文—科学网-亚博电竞网站

论文标题：a 6dof pose estimation dataset and network for multiple parametric shapes in stacked scenarios

期刊：

作者：xinyu zhang,weijie lv and long zeng

发表时间：27 november 2021

doi：

微信链接：

期刊链接：

文章导读

目前，参数化技术被广泛应用于工业产品设计领域，一个完整的工业产品通常包含来自不同参数化模板的参数化零件实例。因此，当我们对工业产品中的可回收零件进行分拣回收时，需要在多种类多实例的参数化零件堆叠场景中，将每个零件根据其模板种类和参数值分拣到各自的回收箱中。近年来，由视觉引导的机器人被广泛应用于零件的自动分拣任务。然而，零件模板种类繁多、参数值调整频繁、堆叠场景遮挡严重、传感器噪声严重等问题，给视觉机器人在多种类多实例的参数化零件堆叠场景中进行准确的6d位姿估计和参数值预测带来了很大的挑战。

清华大学张欣宇、吕伟杰、曾龙在machines期刊发表的文章，通过深度学习的方法对多种类多实例参数化零件堆叠场景中物体的6d位姿估计和参数值预测进行了研究。首先，针对数据集缺乏的问题，作者们通过参数化建模和仿真技术构建了一个rgb-d大型仿真数据集multi-parametric dataset。其次，针对目前深度学习的方法缺乏对该种堆叠场景的位姿估计和参数值预测进行研究应用的问题，作者们提出了一个带有残差模块的深度学习网络multi-templates parametric pose network (mpp-net) 作为multi-parametric dataset的基准方法。该网络能够针对堆叠场景，同时实现前景分割、个体分割、种类识别、6d位姿估计和参数值预测任务。图1为本文所提出的数据集的构造流程和基准方法所实现的任务。

图1. 数据集的构造流程和基准方法所实现的任务。

研究方法

作者们通过参数化建模、动力学仿真、渲染仿真生成了一个多种类多实例参数化零件堆叠场景的rgb-d大型仿真数据集——multi-parametric dataset，并为该数据集设计了评价标准。该数据集包括一个训练集 (50k个场景) 以及两个测试集，其中一个测试集test-l (10k个场景) 中的物体与训练集中的物体完全相同用来评估学习性能，另一个测试集test-g (10k个场景) 中的物体与训练集中的物体完全不同用来评估泛化性能。该数据集的具体内容示例如图2所示。

图2. multi-parametric dataset数据集的内容示例。

作者们还提出了一个深度学习网络mpp-net作为multi-parametric dataset的基准方法。该网络将属于同种参数化模板的零件实例视为同一类别，同时实现堆叠场景中物体的前景分割、个体分割、模板识别、6d位姿估计和参数值预测。图3为mpp-net的网络架构，该网络首先将场景的无序点云输入到骨干网络中，提取出逐点高维特征fe。然后，分别通过逐点高维特征fe和fef实现前景分割和模板识别，并将高维特征fefc输入四个残差模块中，得到每个点的平移、旋转、参数值和可见度的预测结果。最后，通过霍夫投票机制实现个体分割，从而得到每个物体的平移、旋转、参数值和可见度预测结果。图4为mpp-net在四个测试场景上进行预测，对得到的前景分割、个体分割、模板识别、位姿估计和参数值预测的结果进行可视化的效果。表1、表2为不同任务在两个测试集上的评估结果。此外，本文还探究了残差模块对网络性能的影响 (表3、表4、表5)，并评估了不同阈值下mpp-net对不同模板的预测结果，如图5所示。

图3. mpp-net的网络架构。

图4. 对四个测试场景的预测结果进行可视化: (a) 原始输入点云；(b) 个体分割；(c) 前景分割；(d) 模板识别；(e) 6d位姿估计与参数值预测结果。

表1. 前景分割和模板识别的评估结果。

表2. mpp-net的学习性能和泛化性能评估结果。

表3. 残差模块对平移预测结果的影响。

表4. 残差模块对旋转预测结果的影响。

表5. 残差模块对参数值预测结果的影响。

图5. 不同阈值下不同模板在6d位姿和参数值预测任务上的评估结果 (左列为学习性能评估结果，右列为泛化性能评估结果)。

研究总结

本文针对多种类多实例参数化零件堆叠场景提出了一个大型rgb-d仿真数据集multi-parametric dataset，同时也为该数据集设计了评价标准。为了提供基准的测试结果，本文设计了一个新的深度学习网络mpp-net，作为multi-parametric dataset的基准方法。实验结果表明，multi-parametric dataset在6d位姿估计和参数值预测任务上还具有一定的探索价值。未来，作者们将进一步提高网络对于不同参数化模板的零件在姿态预测任务和参数值预测任务上的泛化能力，并探索包含更多参数化模板和实例零件的复杂堆叠场景的6d位姿估计和参数值预测任务。

原文出自machines期刊

zhang, x.; lv, w.; zeng, l. a 6dof pose estimation dataset and network for multiple parametric shapes in stacked scenarios. machines 2021, 9, 321.

machines期刊介绍

主编：antonio j. marques cardoso, university of beira interior, portugal

主要刊发机器诊断和预测、机器设计，机械系统、机器和相关组件，机械工业、机电一体化、机器人、工业设计、自动化应用、系统和控制工程、电子工程、人机界面、机器视觉、涡轮机械等领域的最新学术成果。

2020 impact factor：2.428

2020 citescore：4.5

time to first decision：13.1 days

time to publication：37 days