CN110355757A - 基于3d视觉的体感交互*** - Google Patents
基于3d视觉的体感交互*** Download PDFInfo
- Publication number
- CN110355757A CN110355757A CN201910602465.7A CN201910602465A CN110355757A CN 110355757 A CN110355757 A CN 110355757A CN 201910602465 A CN201910602465 A CN 201910602465A CN 110355757 A CN110355757 A CN 110355757A
- Authority
- CN
- China
- Prior art keywords
- control cabinet
- vision
- grinding apparatus
- hand
- mechanical arm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/005—Manipulators for mechanical processing tasks
- B25J11/0065—Polishing or grinding
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明公开一种基于3D视觉的体感交互***，包括：主机、从机以及被打磨物体；所述主机包括手持打磨设备、3D体感设备、控制柜、示教器，手持打磨设备以及3D体感设备与控制柜连接，控制柜控制示教器；手持打磨设备用于打磨被打磨物体，3D体感设备收集人体动作信息，控制柜内设有机器视觉***和深度学习***，并对手持打磨设备以及3D体感设备的信息进行优化处理；从机包括机械臂，包括控制***和机械结构，控制***接收以及处理所述控制柜的信息，并驱动所述机械机构进行工作。本发明的一种基于3D视觉的体感交互***通过手持打磨设备和3D体感设备对模型进行3D重建，并在模型上直接生成运动轨迹，让示教更简单，保障工人的安全问题和健康问题。
Description
技术领域
本发明涉及工业机器人领域，尤其是涉及一种打磨机器人基于3D视觉的体感交互***。
背景技术
近年来国内开始逐渐重视并发展工业自动化，打磨机器人目前在汽车零部件、陶瓷卫浴行业、家电行业、工业零部件、医疗器械等行业已经有较为成熟的应用，但相对焊接、抛光打磨、搬运码垛等机器人应用来说，国内抛光打磨应用规模还比较小。
目前常用的打磨机器人，重心放置于机器与机器之间的交互效率的提高，关注机器与人之间的交互效率的提高的较少。对于打磨的示教过程的优化主要集中在离线编程、拖动示教和对现有的示教器的优化，而离线编程解决方案能够解决轨迹编程复杂的问题，但是它要求工件一致性好，工作站标定精确，这使得工业机器人在打磨过程中安装、调试和使用难度依然很大；而拖动示教的精度和力度难以把握，造成容易造成打偏打糊的效果。
目前部分厂商在研究打磨机器的智能化和自动化，但是局限于传统打磨机器人，比如前期利用拖动示教来操作大型机器以获取数据，工人的安全问题和健康问题无法得到完全的保障，且操作不便捷。
发明内容
本发明的目的是为了解决现有技术中的问题，提出一种工人的安全问题和健康问题得到保障且操作便捷的应用基于3D视觉的体感交互***的打磨机器人。
本发明采用的技术方案如下：
一种基于3D视觉的体感交互***，包括：主机、从机以及被打磨物体；所述主机包括手持打磨设备、3D体感设备、控制柜、示教器，所述手持打磨设备以及所述3D体感设备与所述控制柜连接，所述控制柜控制所述示教器；所述手持打磨设备用于打磨被打磨物体，并记录打磨的力度和轨迹，并将信息传输至所述控制柜中；所述3D体感设备收集人体动作信息，并进行图像处理，识别出人体动作，并将信息传输至所述控制柜中；所述控制柜内设有机器视觉***和深度学习***，并对所述手持打磨设备以及所述3D体感设备的信息进行优化处理；所述示教器接收所述控制柜处理后的信息；所述从机包括机械臂，所述机械臂与所述控制柜连接，所述控制柜将信息传输至所述机械臂，并控制所述机械臂进行工作；所述机械臂包括控制***和机械结构，所述控制***接收以及处理所述控制柜的信息，并驱动所述机械机构进行工作。
进一步地，所述机械结构包括多自由度的手臂、连接所述手臂的根部以及连接所述根部的底盘，所述根部以及所述底盘可以全方位旋转。
进一步地，所述多自由度的手臂设有不同自由度的关节，所述关节对应设有电机。
进一步地，所述机械臂对所述手持打磨设备的打磨轨迹以及力度信息和所述3D体感设备的人体动作信息进行实时处理，并完成相应的动作。
进一步地，所述手持打磨设备内设有六维力传感位移传感器。
另外，一种基于3D视觉的体感交互***，包括：被打磨物体；控制柜，所述控制柜连接手持打磨设备、3D体感设备、示教器、机械臂，所述控制柜内设有机器视觉***和深度学习***；所述基于3D视觉的体感交互***的操作步骤如下：步骤一，所述手持打磨设备打磨被打磨物体，并记录相应的位移轨迹和力度数据，同时所述3D体感设备识别人体动作信息；步骤二，所述机器视觉***和所述深度学习***对所述被打磨物体和所述机械臂进行三维重建；步骤三，利用三维重建生成的模型和步骤一中记录的数据优化出最佳轨迹和力度，并存储到控制柜中；步骤四，通过所述示教器选择刚才生成的轨迹；步骤五，所述机械臂进行调节校正，同时结合所述机器视觉***和轨迹数据进行初始定位。步骤六，所述机械臂按照生成的轨迹打磨被打磨物体，形成共件。
进一步地，所述机械臂设有六维力传感器。
本发明的有益效果是：
本发明的基于3D视觉的体感交互***通过所述手持打磨设备和所述3D体感设备对模型进行3D重建，并在模型上直接生成运动轨迹，让示教更简单，保障工人的安全问题和健康问题。另外一种基于3D视觉的体感交互***简化了示教过程，只需要工人示教一次，就可以在加工同种物体，不需要在对每个机器示教，操作便捷。另外通过深度学习***，结合机器视觉***和3D体感设备，对路径进行优化，节省打磨时间，更智能化。
本发明的优选实施方案及其有益效果，将结合具体实施方式进一步详细说明。
附图说明
附图是用来提供对本发明的进一步理解，并构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但不应构成对本发明的限制。在附图中，
图1：本发明的基于3D视觉的体感交互***连接示意图；
图2：本发明的基于3D视觉的体感交互***的示教器上的3D模型和轨迹力度显示图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
请参照图1-2所示，本发明的实施例公开的基于3D视觉的体感交互***，包括：主机、从机以及被打磨物体。
所述主机包括手持打磨设备、3D体感设备、控制柜、示教器，所述手持打磨设备以及所述3D体感设备与所述控制柜连接，所述控制柜控制所述示教器。所述手持打磨设备在示教时用于打磨被打磨物体，并记录打磨的力度和轨迹，并将信息传输至所述控制柜中。所述3D体感设备收集示教时人体动作信息，并进行图像处理，识别出人体动作，并将信息传输至所述控制柜中。应用了所述手持打磨设备和所述3D体感设备收集信息，不需要再进行离线编程，简化了程序以及过程。
所述控制柜内设有机器视觉***和深度学习***，并对所述手持打磨设备以及所述3D体感设备的信息进行优化处理。所述示教器接收所述控制柜处理后的信息。所述机器视觉***和所述深度学习***，基于每次提取的工人手持打磨设备运动时***记录的轨迹、力度等数据特征，通过所述机器视觉***评估打磨学习结果，根据评估结果对所述机械臂自身的位置不断进行调整修正，最终优化打磨路径。
所述从机包括机械臂，所述机械臂与所述控制柜连接，所述控制柜将信息传输至所述机械臂，并控制所述机械臂进行工作。所述机械臂包括控制***和机械结构，所述控制***接收以及处理所述控制柜的信息，并驱动所述机械机构进行工作。
进一步地，所述机械结构包括多自由度的手臂、连接所述手臂的根部以及连接所述根部的底盘，所述根部以及所述底盘可以全方位旋转。
进一步地，所述多自由度的手臂设有不同自由度的关节，所述关节对应设有电机。
进一步地，所述机械臂对所述手持打磨设备的打磨轨迹以及力度信息和所述3D体感设备的人体动作信息进行实时处理，并完成相应的动作。
进一步地，所述手持打磨设备内设有六维力传感位移传感器，利于获取运动的轨迹以及力度数据等信息。
另外，一种基于3D视觉的体感交互***，包括：被打磨物体；控制柜，所述控制柜连接手持打磨设备、3D体感设备、示教器、机械臂，所述控制柜内设有机器视觉***和深度学习***；所述基于3D视觉的体感交互***的操作步骤如下：步骤一，所述手持打磨设备打磨被打磨物体，并记录相应的位移轨迹和力度数据，同时所述3D体感设备识别人体动作信息；步骤二，所述机器视觉***和所述深度学习***对所述被打磨物体和所述机械臂进行三维重建；步骤三，利用三维重建生成的模型和步骤一中记录的数据优化出最佳轨迹和力度，并存储到控制柜中；步骤四，通过所述示教器选择刚才生成的轨迹；步骤五，所述机械臂进行调节校正，同时结合所述机器视觉***和轨迹数据进行初始定位。步骤六，所述机械臂按照生成的轨迹打磨被打磨物体，形成共件。
进一步地，所述机械臂设有六维力传感器，利于调整校正所述机械臂的位置、运动轨迹以及力度。
综上所述，本发明的基于3D视觉的体感交互***有以下的有益效果：
1、通过所述手持打磨设备和所述3D体感设备对模型进行3D重建，并在模型上直接生成运动轨迹，让示教更简单，保障工人的安全问题和健康问题。
2、一种基于3D视觉的体感交互***简化了示教过程，只需要工人示教一次，就可以在加工同种物体，不需要在对每个机器示教，操作便捷。
3、通过深度学习***，结合机器视觉***和3D体感设备，对路径进行优化，节省打磨时间，更智能化，提供人与机器之间的交互效率。
4、在机械臂上搭载六维力传感器，实现对机械臂的调平校正，防止机械臂和被打磨物体存在倾角而损坏物体或打磨用的砂轮。
只要不违背本发明创造的思想，对本发明的各种不同实施例进行任意组合，均应当视为本发明公开的内容；在本发明的技术构思范围内，对技术方案进行多种简单的变型及不同实施例进行的不违背本发明创造的思想的任意组合，均应在本发明的保护范围之内。
Claims (7)
1.一种基于3D视觉的体感交互***，其特征在于，包括：
主机、从机以及被打磨物体；
所述主机包括手持打磨设备、3D体感设备、控制柜、示教器，所述手持打磨设备以及所述3D体感设备与所述控制柜连接，所述控制柜控制所述示教器；所述手持打磨设备用于打磨被打磨物体，并记录打磨的力度和轨迹，并将信息传输至所述控制柜中；所述3D体感设备收集人体动作信息，并进行图像处理，识别出人体动作，并将信息传输至所述控制柜中；所述控制柜内设有机器视觉***和深度学习***，并对所述手持打磨设备以及所述3D体感设备的信息进行优化处理；所述示教器接收所述控制柜处理后的信息；
所述从机包括机械臂，所述机械臂与所述控制柜连接，所述控制柜将信息传输至所述机械臂，并控制所述机械臂进行工作；所述机械臂包括控制***和机械结构，所述控制***接收以及处理所述控制柜的信息，并驱动所述机械机构进行工作。
2.如权利要求1所述的基于3D视觉的体感交互***，其特征在于：所述机械结构包括多自由度的手臂、连接所述手臂的根部以及连接所述根部的底盘，所述根部以及所述底盘可以全方位旋转。
3.如权利要求2所述的基于3D视觉的体感交互***，其特征在于：所述多自由度的手臂设有不同自由度的关节，所述关节对应设有电机。
4.如权利要求3所述的基于3D视觉的体感交互***，其特征在于：所述机械臂对所述手持打磨设备的打磨轨迹以及力度信息和所述3D体感设备的人体动作信息进行实时处理，并完成相应的动作。
5.如权利要求1所述的基于3D视觉的体感交互***，其特征在于：所述手持打磨设备内设有六维力传感位移传感器。
6.一种基于3D视觉的体感交互***，其特征在于，包括：
被打磨物体；
控制柜，所述控制柜连接手持打磨设备、3D体感设备、示教器、机械臂，所述控制柜内设有机器视觉***和深度学习***；
所述基于3D视觉的体感交互***的操作步骤如下：
步骤一，所述手持打磨设备打磨被打磨物体，并记录相应的位移轨迹和力度数据，同时所述3D体感设备识别人体动作信息；
步骤二，所述机器视觉***和所述深度学习***对所述被打磨物体和所述机械臂进行三维重建；
步骤三，利用三维重建生成的模型和步骤一中记录的数据优化出最佳轨迹和力度，并存储到控制柜中；
步骤四，通过所述示教器选择刚才生成的轨迹；
步骤五，所述机械臂进行调节校正，同时结合所述机器视觉***和轨迹数据进行初始定位。
步骤六，所述机械臂按照生成的轨迹打磨被打磨物体，形成共件。
7.如权利要求6所述的基于3D视觉的体感交互***，其特征在于：所述机械臂设有六维力传感器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910602465.7A CN110355757A (zh) | 2019-07-05 | 2019-07-05 | 基于3d视觉的体感交互*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910602465.7A CN110355757A (zh) | 2019-07-05 | 2019-07-05 | 基于3d视觉的体感交互*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110355757A true CN110355757A (zh) | 2019-10-22 |
Family
ID=68218279
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910602465.7A Withdrawn CN110355757A (zh) | 2019-07-05 | 2019-07-05 | 基于3d视觉的体感交互*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110355757A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110712192A (zh) * | 2019-10-17 | 2020-01-21 | 佛山智能装备技术研究院 | 基于3d视觉的体感交互*** |
| CN111906788A (zh) * | 2020-08-12 | 2020-11-10 | 湖北民族大学 | 一种基于机器视觉的卫浴智能打磨***及其打磨方法 |
| CN114663513A (zh) * | 2022-05-17 | 2022-06-24 | 广州纳丽生物科技有限公司 | 一种操作仪工作端移动轨迹的实时位姿估计与评估方法 |
-
2019
- 2019-07-05 CN CN201910602465.7A patent/CN110355757A/zh not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110712192A (zh) * | 2019-10-17 | 2020-01-21 | 佛山智能装备技术研究院 | 基于3d视觉的体感交互*** |
| CN111906788A (zh) * | 2020-08-12 | 2020-11-10 | 湖北民族大学 | 一种基于机器视觉的卫浴智能打磨***及其打磨方法 |
| CN111906788B (zh) * | 2020-08-12 | 2021-09-14 | 湖北民族大学 | 一种基于机器视觉的卫浴智能打磨***及其打磨方法 |
| CN114663513A (zh) * | 2022-05-17 | 2022-06-24 | 广州纳丽生物科技有限公司 | 一种操作仪工作端移动轨迹的实时位姿估计与评估方法 |
| CN114663513B (zh) * | 2022-05-17 | 2022-09-20 | 广州纳丽生物科技有限公司 | 一种操作仪工作端移动轨迹的实时位姿估计与评估方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110355757A (zh) | 基于3d视觉的体感交互*** | |
| US9579787B2 (en) | Method of programming an industrial robot and industrial robots | |
| US8175750B2 (en) | Control apparatus and control method for robot arm, robot, control program for robot arm, and robot arm control-purpose integrated electronic circuit | |
| CN107921645A (zh) | 远程操作机器人*** | |
| CN110281108A (zh) | 一种基于六维力传感器的机器人柔性智能打磨*** | |
| CN104552300B (zh) | 一种基于示教机器人的离线编程示教装置及方法 | |
| CN103128729B (zh) | 机器人装置和控制该机器人装置的方法 | |
| CN108115705A (zh) | 一种机器人打磨控制***及方法 | |
| CN210452170U (zh) | 一种基于六维力传感器的机器人柔性智能打磨*** | |
| CN207900862U (zh) | 一种激光扫描打磨*** | |
| CN105382840A (zh) | 机器人的控制装置以及控制方法 | |
| KR101312371B1 (ko) | 7 자유도 움직임을 갖는 마스터 암 | |
| CN112790885A (zh) | 牙体预备*** | |
| CN207724306U (zh) | 一种机器人打磨力控制*** | |
| CN113876556A (zh) | 一种三维激光扫描按摩机器人*** | |
| CN107336228A (zh) | 显示包含附加轴的状态的动作程序的机器人的控制装置 | |
| TWI494889B (zh) | 端菜機器人及其控制方法 | |
| Debus et al. | Cooperative human and machine perception in teleoperated assembly | |
| JP2021133470A (ja) | ロボットの制御方法およびロボットシステム | |
| CN205342238U (zh) | 管道环形激光切割工业机器人 | |
| CN109414820A (zh) | 机器人的运转方法、计算机程序、及机器人*** | |
| CN204322082U (zh) | 一种基于示教机器人的离线编程示教装置 | |
| CN112338689A (zh) | 一种全自动打磨机器人的控制*** | |
| CN110712192A (zh) | 基于3d视觉的体感交互*** | |
| CN210616537U (zh) | 一种可拆卸终端拖拽示教仪 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20191022 |