传统2D视觉技术在机械臂自动化操作中仅能提供平面信息,导致其在复杂工业场景(如非结构化环境、动态光照条件)下的定位精度不足,难以满足精密装配、柔性抓取等高精度任务需求。
随着深度相机技术(如结构光、ToF、双目立体视觉)的突破,其能够实时获取RGB-D数据,直接提供物体三维坐标信息,为解决上述问题提供了关键硬件基础,本文将基于深度相机的物体检测进行相关介绍。
基于深度相机识别物体位姿,颜色抓取有以下几步: (1)检测物体位姿,中心点,四元数 (2)检测抓取物体颜色 (3)检测抓取物体形状 01 首先针对深度相机采集的物体颜色与图像获取相对应的点云信息,进行点云图的下采样,获取基础平面及平面法向量。 02 然后剔除平面多余杂质区域,对去除基础平面的深度点云进行聚类,得到对应的点云块中心点后进行点云块到基础平面的映射; 接着进行边界框的拟合,圆形和四方形的拟合检测,获取对应边界坐标及顶点坐标计算最短边界,并计算其法向量得到y轴法向量后得到具体的点云块物体坐标系转化四元。 03 最后根据中心点提取点云块中心点坐标,对应于彩色图上的hsv值,结合对应的hsv颜色表取得物体颜色。进行深度相机输出信息检测,得到结果如图1。
图1
蒙帕机器人通过深度相机的物体的采集,检测到物体的坐标系、姿态及物体颜色等信息,有效提高了深度相机在复杂场景中的识别精度,从而为后续机械臂抓取做充分准备。
电话: 400-166-0296
邮箱: contact@moonpac.com
地址: 上海市闵行区申长路990弄
虹桥汇 T6-805