400-166-0296
400-166-0296
400-166-0296
新 闻
蒙帕视角|基于深度相机的物体检测
. | 蒙帕Moonpac | 日期:2025-07-18 | 60 次浏览 | 分享到:

传统2D视觉技术在机械臂自动化操作中仅能提供平面信息,导致其在复杂工业场景(如非结构化环境、动态光照条件)下的定位精度不足,难以满足精密装配、柔性抓取等高精度任务需求。


随着深度相机技术(如结构光、ToF、双目立体视觉)的突破,其能够实时获取RGB-D数据,直接提供物体三维坐标信息,为解决上述问题提供了关键硬件基础,本文将基于深度相机的物体检测进行相关介绍。


基于深度相机识别物体位姿,颜色抓取有以下几步:

(1)检测物体位姿,中心点,四元数

(2)检测抓取物体颜色

(3)检测抓取物体形状


01


首先针对深度相机采集的物体颜色与图像获取相对应的点云信息,进行点云图的下采样,获取基础平面及平面法向量。

02


然后剔除平面多余杂质区域,对去除基础平面的深度点云进行聚类,得到对应的点云块中心点后进行点云块到基础平面的映射;

接着进行边界框的拟合,圆形和四方形的拟合检测,获取对应边界坐标及顶点坐标计算最短边界,并计算其法向量得到y轴法向量后得到具体的点云块物体坐标系转化四元。

03


最后根据中心点提取点云块中心点坐标,对应于彩色图上的hsv值,结合对应的hsv颜色表取得物体颜色。进行深度相机输出信息检测,得到结果如图1。


图1


蒙帕机器人通过深度相机的物体的采集,检测到物体的坐标系、姿态及物体颜色等信息,有效提高了深度相机在复杂场景中的识别精度,从而为后续机械臂抓取做充分准备。


————————————————————————————————————————————————————————————————————————————————————