CN114260886A - 一种智能识别、机械抓取的无人监管运输*** - Google Patents
一种智能识别、机械抓取的无人监管运输*** Download PDFInfo
- Publication number
- CN114260886A CN114260886A CN202111262243.9A CN202111262243A CN114260886A CN 114260886 A CN114260886 A CN 114260886A CN 202111262243 A CN202111262243 A CN 202111262243A CN 114260886 A CN114260886 A CN 114260886A
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- image
- grabbed
- speckle
- movable joint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 5
- 230000033001 locomotion Effects 0.000 description 10
- 238000011161 development Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种智能识别、机械抓取的无人监管运输***，可用于工业、市政等行业的物流运输、智慧仓储、重工等，该***主要包括远程监控终端以及前端抓取运输无人监管小车，是一种高度自动化和信息分享一体化的智慧运输控制***。本发明相对于现有技术，路线方案已提前规划并通过***传输至小车，信息传输后不会产生疏忽或错漏；自主抓取物体的机械臂大大减少了人工成本，且承重力大，效率高。
Description
技术领域
本发明涉及智慧物流技术领域，特别是涉及一种智能识别、机械抓取的无人监管运输***。
背景技术
人类的进化其实质就是智能的进化，而智能又与人类的进步相辅相成。在国家建设飞速发展的时代前提下，人力的建设力度、成本及效率已远远达不到国家发展速度的要求，越来越多自动化、智能化、小成本的工业技术被研发出来。智能控制是自动控制技术的最新发展阶段，也是用计算机模拟人类智能进行控制的研究领域。
早在1954年钱学森博士就已在《工程控制论》中***的揭示了控制论对各领域的深远意义，现今我国各个领域也能看到机械控制***的蓬勃发展，包括部分城市在初步投入使用中的无人驾驶汽车、快递物流行业的自动分检机器人、酒店银行商城等等的导航服务机器人等以上种种。因此，我们可以看到在未来，智能化的机器会很大程度上取代很多人力有局限的建设、经营活动。
发明内容
有鉴于此，本发明的目的在于提供一种智能识别、机械抓取的无人监管运输***，用以实现机械臂的物体识别及抓取、后台路线规划及智能使用。
为了实现上述目的，本发明采用如下技术方案：
一种智能识别、机械抓取的无人监管运输***，包括所述无人监管运输***包括机械臂车本体，其包括运动小车，以及设置在运动小车上的多自由度机械臂，所述的运动小车上还设置有GPS定位模块、图像获取及处理模块、舵机转动控制模块以及通信模块；
所述图像获取及处理模块，其设置在所述运动小车上，用于标记所述多自由度机械臂的各个活动关节，定位各个活动关节的活动位置，将各个活动关节的坐标及舵机转动角度标定清晰，再获取待抓取物的空间坐标以及对应活动关节的需旋转的角度；
所述舵机转动控制模块，根据所述图像获取及处理模块中计算得到的活动关节需要旋转的角度，控制所述多自由度机械臂中相应的活动关节的旋转；
其中，所述无人监管运输***还包括地面站控制***，所述的地面站控制***用于根据获取的所述机械臂车本体的实时位置信息，生成以及调整所述机械臂车本体的行驶航线，所述的无人监管运输***通过所述通信模块与所述机械臂车本体实现数据通信。
进一步的，所述图像获取及处理模块包括一个RGB摄像头、一个红外摄像头和一个红外发射器，其中，
所述红外发射器发射出镭射光，通过红外发射器镜头前的光栅，均匀地投射到测量空间，测量空间的物体反射，形成随机的散斑，再通过红外摄影机记录空间的每个散斑，通过晶片的计算便得到3D深度图像。
进一步的，所述获取待抓取物的空间坐标以及对应活动关节的需旋转的角度的具体方法包括：
步骤S1、在同一平面、不同距离拍摄多张散斑图像，以此作为参考图像；
步骤S2、红外发射机发出的镭射光光栅生成结构光到待抓取物的表面，得到散斑图案，再通过红外摄影机拍摄得到待抓取物的散斑图像，该散斑图像定义为待测图像；
步骤S3、将步骤S2中获取到的散斑图案与步骤S1中获取的参考图像进行匹配，找到互关性最大的参考图案，将该互关性最大的参考图案所对应的深度距离确认为待抓取物的近似深度距离；
步骤S4、基于待测图像和参考图像间的局部补偿进行三维重建，利用三角测量法和最大互相关散斑图，对待测图像进行局部补偿，从而实现三维重建，显示3D图像，再通过***找到用于抓取待抓取物的一个中心定位点，以这个中心定位点位置作为目标抓取点；
步骤S5、通过几何运动学，根据待抓取物的三维空间角度等数据，解算多自由度机械臂中各个应活动关节的需旋转的角度。
进一步的，所述地面站控制***包括小车路线规划平台，该平台使用GoogleEarth软件规划路线，生成经纬度坐标文件。
本发明的有益效果是：
在本发明中，运动小车的路线方案已提前规划并通过***传输至小车，信息传输后不会产生疏忽或错漏；
在本发明中，通过使用自主抓取物体的机械臂，因此大大减少了人工成本，且承重力大，效率高。
附图说明
图1为实施例1中提供的各模块交互示意图。
图2为实施例1中提供的Kinect深度图像获取原理示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
参见图1和图2，本实施例提供一种智能识别、机械抓取的无人监管运输***，具体包括：
机械臂车本体，其包括运动小车，以及设置在运动小车上的多自由度机械臂，运动小车上还设置有GPS定位模块、图像获取及处理模块、舵机转动控制模块以及通信模块；
图像获取及处理模块，其设置在运动小车上，用于标记多自由度机械臂的各个活动关节，定位各个活动关节的活动位置，将各个活动关节的坐标及舵机转动角度标定清晰，再获取待抓取物的空间坐标以及对应活动关节的需旋转的角度；
具体的说，在本实施例中，图像获取及处理模块包括一个RGB摄像头、一个红外摄像头和一个红外发射器，其中，
所述红外发射器发射出镭射光，通过红外发射器镜头前的光栅，均匀地投射到测量空间，测量空间的物体反射，形成随机的散斑，再通过红外摄影机记录空间的每个散斑，通过晶片的计算便得到3D深度图像。
更具体的说，在本实施例中，上述的获取待抓取物的空间坐标以及对应活动关节的需旋转的角度的具体方法包括：
步骤S1、在同一平面、不同距离拍摄多张散斑图像，以此作为参考图像；
步骤S2、红外发射机发出的镭射光光栅生成结构光到待抓取物的表面，得到散斑图案，再通过红外摄影机拍摄得到待抓取物的散斑图像，该散斑图像定义为待测图像；
步骤S3、将步骤S2中获取到的散斑图案与步骤S1中获取的参考图像进行匹配，找到互关性最大的参考图案，将该互关性最大的参考图案所对应的深度距离确认为待抓取物的近似深度距离；
步骤S4、基于待测图像和参考图像间的局部补偿进行三维重建，利用三角测量法和最大互相关散斑图，对待测图像进行局部补偿，从而实现三维重建，显示3D图像，再通过***找到用于抓取待抓取物的一个中心定位点，以这个中心定位点位置作为目标抓取点；
步骤S5、通过几何运动学，根据待抓取物的在坐标系中的(x，y，z)坐标数据(kinect可直接读出)，矩阵变换后转化为相对于机械臂舵机的坐标位置，解算多自由度机械臂中各个舵机需旋转的角度。机械臂的各舵机类比于人类手臂的活动关节，负责各关键点的转动或抓取，每个舵机的完全转动范围约在0-180度。
舵机转动控制模块，根据图像获取及处理模块中计算得到的活动关节需要旋转的角度，控制多自由度机械臂中相应的活动关节的旋转。
具体的说，在本实施例中，经反复的测试验证后，通过分析各个运动关节在整个运动过程中反复运动并达到一个固定物理位置的时间占空比数据，多次测试可得到到各运动关节的占空比范围，用硬件控制的方式来直接控制舵机控制器谐波输出的PWM和谐波的时间占空比值来实现***对舵机横向转动的直接控制，进而直接实现各个传动关节的舵机位置移动控制。
具体的说，在本实施例中，无人监管运输***还包括地面站控制***、运动载荷模块和任务载荷模块。
地面站控制***用于根据获取的机械臂车本体的实时位置信息，生成以及调整机械臂车本体的行驶航线，无人监管运输***通过通信模块与机械臂车本体实现数据通信。
运动载荷模块负责小车任务规划数据的接收与运动方向的计算功能；
任务载荷主要模块负责小车附加功能的实现，如视频接入、探测挂载等功能。
更具体的说，在本实施例中，通信模块具体包括：
1、通讯平台：整个功能最主要的部分在于通讯平台的设置，无线数传电台DTU具有RS232和RS485通讯接口，该无线电台常用工作频段为410-441MHz，最大功率1W，电台核心模块采用SX1278作为射频芯片，LORA扩频调制，空中速率：0.3～19.2kbps，通信距离可达到10km，符合设计通讯需求，同时根据传输协议设定反馈通信机制,实现通信保障需求。
2、综合控制***利用.NET平台开发电台软件，负责控制***和智能小车之间的数据收发，设置可选择波特率、空中速率的功能,实现与规划平台和监控平台的UDP数据收发等功能。
更具体的说，在本实施例中，地面站控制***中还设置有小车路线规划平台以及监控平台，其中，规划平台的设计主要采用C#语言开发WinForm应用框架，使用GoogleEarth软件规划路线，生成经纬度坐标文件，经规划平台调用与平台内部数据合成，形成规划任务数据，再通过UDP协议传送至无线电台，无线电台依照通信协议组成待发送数据，调制后经天线进行发射。
监控平台为常规仪表及数据列表，小车工作时自身和机械臂的实时数据，包括经纬度、方向和速度等信息，送至后台设备实时显示。
综上所述，本发明提供了一种智能识别及监管的运输控制***，可用于工业、市政等行业的物流运输、智慧仓储、重工等等，主要包括远程监控终端以及前端抓取运输无人监管小车，是一种高度自动化和信息分享一体化的智慧运输控制***。
前端的智慧运输小车在传统机械臂车的基础上使用车载GPS***结合无线通信***，实时监测周遭人与物的环境状态，结合控制***发送的路径规划信息和任务执行信息，计算行驶路线并控制车辆行驶与转向，使小车到达预定目标。
在自动完成行驶路线任务的情况下，小车的机械臂还需达到人眼协调，自主抓取物体，使用KinectV2作为视觉输入，获取目标物体以及机械臂各关节在三维空间中的位置，结合几何运动学和数据训练方法实现机械臂自主抓取目标物体。
本发明未详述之处，均为本领域技术人员的公知技术。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (4)
1.一种智能识别、机械抓取的无人监管运输***，其特征在于，包括所述无人监管运输***包括机械臂车本体，其包括运动小车，以及设置在运动小车上的多自由度机械臂，所述的运动小车上还设置有GPS定位模块、图像获取及处理模块、舵机转动控制模块以及通信模块；
所述图像获取及处理模块，其设置在所述运动小车上，用于标记所述多自由度机械臂的各个活动关节，定位各个活动关节的活动位置，将各个活动关节的坐标及舵机转动角度标定清晰，再获取待抓取物的空间坐标以及对应活动关节的需旋转的角度；
所述舵机转动控制模块，根据所述图像获取及处理模块中计算得到的活动关节需要旋转的角度，控制所述多自由度机械臂中相应的活动关节的旋转；
其中，所述无人监管运输***还包括地面站控制***，所述的地面站控制***用于根据获取的所述机械臂车本体的实时位置信息，生成以及调整所述机械臂车本体的行驶航线，所述的无人监管运输***通过所述通信模块与所述机械臂车本体实现数据通信。
2.根据权利要求1所述的一种智能识别、机械抓取的无人监管运输***，其特征在于，所述图像获取及处理模块包括一个RGB摄像头、一个红外摄像头和一个红外发射器，其中，
所述红外发射器发射出镭射光，通过红外发射器镜头前的光栅，均匀地投射到测量空间，测量空间的物体反射，形成随机的散斑，再通过红外摄影机记录空间的每个散斑，通过晶片的计算便得到3D深度图像。
3.根据权利要求2所述的一种智能识别、机械抓取的无人监管运输***，其特征在于，所述获取待抓取物的空间坐标以及对应活动关节的需旋转的角度的具体方法包括：
步骤S1、在同一平面、不同距离拍摄多张散斑图像，以此作为参考图像；
步骤S2、红外发射机发出的镭射光光栅生成结构光到待抓取物的表面，得到散斑图案，再通过红外摄影机拍摄得到待抓取物的散斑图像，该散斑图像定义为待测图像；
步骤S3、将步骤S2中获取到的散斑图案与步骤S1中获取的参考图像进行匹配，找到互关性最大的参考图案，将该互关性最大的参考图案所对应的深度距离确认为待抓取物的近似深度距离；
步骤S4、基于待测图像和参考图像间的局部补偿进行三维重建，利用三角测量法和最大互相关散斑图，对待测图像进行局部补偿，从而实现三维重建，显示3D图像，再通过***找到用于抓取待抓取物的一个中心定位点，以这个中心定位点位置作为目标抓取点；
步骤S5、通过几何运动学，根据待抓取物的三维空间角度等数据，解算多自由度机械臂中各个应活动关节的需旋转的角度。
4.根据权利要求3所述的一种智能识别、机械抓取的无人监管运输***，其特征在于，所述地面站控制***包括小车路线规划平台，该平台使用GoogleEarth软件规划路线，生成经纬度坐标文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111262243.9A CN114260886A (zh) | 2021-10-28 | 2021-10-28 | 一种智能识别、机械抓取的无人监管运输*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111262243.9A CN114260886A (zh) | 2021-10-28 | 2021-10-28 | 一种智能识别、机械抓取的无人监管运输*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114260886A true CN114260886A (zh) | 2022-04-01 |
Family
ID=80824711
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111262243.9A Pending CN114260886A (zh) | 2021-10-28 | 2021-10-28 | 一种智能识别、机械抓取的无人监管运输*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114260886A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622591A (zh) * | 2012-01-12 | 2012-08-01 | 北京理工大学 | 3d人体姿态捕捉模仿*** |
| CN102922521A (zh) * | 2012-08-07 | 2013-02-13 | 中国科学技术大学 | 一种基于立体视觉伺服的机械臂***及其实时校准方法 |
| CN103170973A (zh) * | 2013-03-28 | 2013-06-26 | 上海理工大学 | 基于Kinect摄像机的人机协作装置及方法 |
| CN105446472A (zh) * | 2014-09-02 | 2016-03-30 | 上海智翔信息科技股份有限公司 | 360度可视的直接交互式真三维虚拟显示*** |
| US20160104044A1 (en) * | 2014-10-14 | 2016-04-14 | Lg Electronics Inc. | Robot cleaner and method for controlling the same |
| CN105643589A (zh) * | 2016-03-08 | 2016-06-08 | 北京工业大学 | 一种自主排障式智能车*** |
| CN109794921A (zh) * | 2019-03-18 | 2019-05-24 | 大连理工大学 | 一种带机械臂的智能循迹搬运小车 |
-
2021
- 2021-10-28 CN CN202111262243.9A patent/CN114260886A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622591A (zh) * | 2012-01-12 | 2012-08-01 | 北京理工大学 | 3d人体姿态捕捉模仿*** |
| CN102922521A (zh) * | 2012-08-07 | 2013-02-13 | 中国科学技术大学 | 一种基于立体视觉伺服的机械臂***及其实时校准方法 |
| CN103170973A (zh) * | 2013-03-28 | 2013-06-26 | 上海理工大学 | 基于Kinect摄像机的人机协作装置及方法 |
| CN105446472A (zh) * | 2014-09-02 | 2016-03-30 | 上海智翔信息科技股份有限公司 | 360度可视的直接交互式真三维虚拟显示*** |
| US20160104044A1 (en) * | 2014-10-14 | 2016-04-14 | Lg Electronics Inc. | Robot cleaner and method for controlling the same |
| CN105643589A (zh) * | 2016-03-08 | 2016-06-08 | 北京工业大学 | 一种自主排障式智能车*** |
| CN109794921A (zh) * | 2019-03-18 | 2019-05-24 | 大连理工大学 | 一种带机械臂的智能循迹搬运小车 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105352508A (zh) | 机器人定位导航方法及装置 | |
| CN214520204U (zh) | 一种基于深度相机和激光雷达的港区智能巡检机器人 | |
| CN111273128A (zh) | 一种用于检测地下电缆故障的管道机器人 | |
| US20230064071A1 (en) | System for 3d surveying by an autonomous robotic vehicle using lidar-slam and an estimated point distribution map for path planning | |
| Tavakoli et al. | Cooperative multi-agent mapping of three-dimensional structures for pipeline inspection applications | |
| CN113674355A (zh) | 一种基于相机与激光雷达的目标识别与定位方法 | |
| CN102566552A (zh) | 面向物联网和3d gis的公路隧道智能检修机器人 | |
| Ruan et al. | Feature-based autonomous target recognition and grasping of industrial robots | |
| CN107607939B (zh) | 一种基于真实地图及影像的光学目标跟踪定位雷达装置 | |
| CN110161527B (zh) | 一种基于rfid和激光雷达的三维地图重构***及方法 | |
| Song et al. | Robot autonomous sorting system for intelligent logistics | |
| Giordano et al. | 3D structure identification from image moments | |
| CN114260886A (zh) | 一种智能识别、机械抓取的无人监管运输*** | |
| Chow et al. | Learning human navigational skill for smart wheelchair in a static cluttered route | |
| Lang et al. | Mobile robot localization and object pose estimation using optical encoder, vision and laser sensors | |
| Faria et al. | Implementation of an autonomous ROS-based mobile robot with AI depth estimation | |
| Gao et al. | Research on a panoramic mobile robot for autonomous navigation | |
| Wang | Autonomous mobile robot visual SLAM based on improved CNN method | |
| Yang et al. | A human-like dual-forklift collaborative mechanism for container handling | |
| Jiménez Serrata et al. | An intelligible implementation of FastSLAM2. 0 on a low-power embedded architecture | |
| CN113989472A (zh) | 一种精准抓取目标物的方法、***和设备 | |
| Wang et al. | Agv navigation based on apriltags2 auxiliary positioning | |
| Mahaadevan et al. | AViTRoN: Advanced vision track routing and navigation for autonomous charging of electric vehicles | |
| Jaman et al. | Cost Effective Mobile Robots Navigation and Mapping System for Education | |
| Marmoiton et al. | Toward Smart Autonomous Cars |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |