视觉抓取与目标检测实验平台

咨询电话：

电话：

18653120376

立即

咨询

视觉抓取与目标检测实验平台

概述

视觉抓取与目标检测实验平台是面向机器视觉、深度学习和机器人抓取领域的综合教学与科研实验系统。平台以六轴机械臂为核心，集成 Intel RealSense 深度相机和 YOLO 系列目标检测算法，提供从视觉感知、目标识别、位姿估计到机械臂抓取的全链路实验环境，帮助学生掌握"眼在手"（Eye-in-Hand）和"眼在外"（Eye-to-Hand）两种视觉引导抓取方案。

硬件层面，平台采用红树林/ABB/JAKA 等品牌 6 轴教学机械臂，搭载 RealSense D415/D435i 深度相机，配合高精度滑轨和光源系统；软件层面，预装 Ubuntu + ROS/ROS2 环境，集成 YOLOv5/v8 目标检测框架、Grasp Pose Detection (GPD) 抓取位姿检测算法和 MoveIt! 运动规划器，支持 Python/C++ 开发。

功能要求

1. 视觉感知系统

• Intel RealSense D415/D435i 深度相机，RGB 分辨率 1920×1080，深度精度 ±1-2mm

• 支持"眼在手"（Eye-in-Hand）和"眼在外"（Eye-to-Hand）两种构型

• 支持相机标定、手眼标定（ Tsai-Lenz 算法）

• 提供多目标跟踪和动态物体检测能力

2. 深度学习目标检测

• 集成 YOLOv5/v8 目标检测模型，支持自定义数据集训练

• 提供预训练模型，支持常见物体（零件、水果、工具等）的快速识别

• 支持模型量化压缩，适配边缘计算部署

• 支持 TensorRT 加速推理，帧率达 30fps+

3. 抓取位姿估计

• 支持基于 CNN 的 6-DOF 抓取位姿估计

• 提供 Grasp Pose Detection (GPD) 开源算法集成

• 支持基于点云的 3D 抓取策略规划

• 内置碰撞检测，确保抓取路径安全

4. 机械臂控制与运动规划

• 支持基于 ROS MoveIt! 的机械臂运动规划

• 支持视觉伺服控制（Image-Based / Position-Based Visual Servoing）

• 提供点到点抓取和连续轨迹抓取两种模式

• 支持 ROS 通信接口和 Python API

5. 实验与数据集

• 提供标准物体抓取数据集（含标注）

• 支持自定义数据集采集与标注工具

• 提供多种抓取场景（平面抓取、堆叠抓取、遮挡抓取）

• 支持 Sim-to-Real 迁移训练

技术规格

参数	规格
机械臂	6 轴教学机械臂，负载 3-5kg
工作半径	600-900mm
重复定位精度	±0.05mm
深度相机	Intel RealSense D415/D435i
RGB 分辨率	1920×1080 @30fps
深度范围	0.2-10m
GPU	NVIDIA RTX 3060 / 同级别
操作系统	Ubuntu 20.04 + ROS Noetic
检测算法	YOLOv5/v8 / Faster R-CNN

配套课程与实验项目

序号	课程名称	实验项目
1	机器视觉	相机标定与手眼标定实验
2	深度学习目标检测	YOLOv8 目标检测模型训练与部署实验
3	三维视觉与点云处理	PCL 点云处理与目标分割实验
4	抓取位姿估计	6-DOF 抓取检测网络训练与验证实验
5	视觉伺服控制	Image-Based 视觉伺服机械臂跟踪实验
6	机器人运动规划	MoveIt! 机械臂运动规划与避障实验
7	综合应用	杂乱场景下的多目标抓取综合实验
8	Sim-to-Real 迁移	仿真环境训练到实物抓取迁移实验