CN115648226B - 基于任务空间分割和动态距离监控的安全人机协作方法 - Google Patents
基于任务空间分割和动态距离监控的安全人机协作方法 Download PDFInfo
- Publication number
- CN115648226B CN115648226B CN202211679848.2A CN202211679848A CN115648226B CN 115648226 B CN115648226 B CN 115648226B CN 202211679848 A CN202211679848 A CN 202211679848A CN 115648226 B CN115648226 B CN 115648226B
- Authority
- CN
- China
- Prior art keywords
- robot
- distance
- task space
- data
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 24
- 230000011218 segmentation Effects 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000002159 abnormal effect Effects 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims abstract description 5
- 230000009467 reduction Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 230000003993 interaction Effects 0.000 claims 1
- 238000013459 approach Methods 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Abstract
本发明提出了一种基于任务空间分割和动态距离监控的安全人机协作方法，包括：利用传感器***获取机器人数据，对获取到的机器人数据进行预处理，去除异常值；利用八叉树过滤器对去除异常值后的数据进行处理并生成点云，包括：利用八叉树过滤器对机器人的三维图像数据进行分割，记录机器人在任务空间的点云分布，实现所述任务空间的分割；当判断点云的数量达到预设值时，融合所述点云，生成任务空间；根据所述任务空间设置距离阈值；利用超声波距离传感器检测物体或人与机器人之间的距离；判断所述物体或人与机器人之间的距离是否低于所述距离阈值，如果是则控制所述机器人急停或安全停止。
Description
技术领域
本发明涉及工业机器人技术领域，特别涉及一种基于任务空间分割和动态距离监控的安全人机协作方法。
背景技术
近年来人机协作这一概念在机器人领域得到了广泛应用，安全问题是其中一个重大挑战。目前有多种常见的人机协作方案——轻量化的机器人机构设计、基于力矩传感器的控制或者增添压力敏感表面。这些方案发展出了多种新型机器人，一般称之为协作机器人。然而，据统计，协作机器人在全世界的机器人占比不到10%，而传统的工业机器人占据了绝大多数出货量。此外，协作机器人在性能上和工业机器人也有着较大差距。综合以上两点，需要提出在现有的工业机器人基础上的安全解决方案，以应对人机协作的需求。
发明内容
本发明的目的旨在至少解决所述技术缺陷之一。
为此，本发明的目的在于提出一种基于任务空间分割和动态距离监控的安全人机协作方法。
为了实现上述目的，本发明的实施例提供一种基于任务空间分割和动态距离监控的安全人机协作方法，包括如下步骤：
步骤S1，利用传感器***获取机器人数据，对获取到的机器人数据进行预处理，去除异常值；
步骤S2，利用八叉树过滤器对去除异常值后的数据进行处理并生成点云，包括：利用八叉树过滤器对机器人的三维图像数据进行分割，记录机器人在任务空间的点云分布，实现所述任务空间的分割；
步骤S3，当判断点云的数量达到预设值时，融合所述点云，生成任务空间；
步骤S4，根据所述任务空间设置距离阈值，
步骤S5，利用超声波距离传感器检测物体或人与机器人之间的距离；
步骤S6，判断所述物体或人与机器人之间的距离是否低于所述距离阈值，如果是则执行步骤S7，否则返回步骤S5；
步骤S7，控制所述机器人急停或安全停止。
进一步，所述传感器***包括：2D图像采集***和深度传感器，利用所述2D图像采集***获得的2D图像数据与所述深度传感器的深度信息进行组合，生成点云。
进一步，在所述步骤S1中，对数据进行预处理包括：对数据进行降采样和降噪处理。
进一步，在所述步骤S3中，当判断点云的数量没有达到预设值时，返回所述步骤S1。
进一步，采用多个安装在不同方向的超声波距离传感器和一个中央控制器组成距离监控***，利用超声波距离传感器检测物体或人与机器人之间的距离，当判断所述物体或人与机器人之间的距离低于所述距离阈值时，由所述中央控制器向所述机器人发送指令，控制所述机器人急停或安全停止。
进一步，多个超声波距离传感器所设定的距离阈值均独立，所述距离阈值的大小与所述任务空间有关。
根据本发明实施例的基于任务空间分割和动态距离监控的安全人机协作方法，采用２Ｄ图像传感器和深度传感器完成机器人任务空间分割，搭配多超声波传感器距离监测***实现安全的人机协作。本发明无需对现有机器人本体或控制***进行改动，可适用工业机器人。
本发明使用任务空间分割，无需先验地了解机器人内部程序，就可以识别实际使用的任务空间。在进一步的步骤中，集成了由可单独配置的超声波模块组成的距离监测***，可以根据物体或人接近的方向实现具有不同距离阈值的安全或紧急停止。当机器人任务改变时，可以轻易地对任务空间重新进行分割，能够适应复杂多变的工业场景。本发明完全独立于机器人，无需对机器人本体进行改造或者了解机器人内部控制***，可适配目前占有绝大多数出货量的工业机器人。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的基于任务空间分割和动态距离监控的安全人机协作方法的流程图；
图2为根据本发明实施例的机器人任务空间分割效果图；
图3为根据本发明实施例的基于任务空间分割和动态距离监控的安全人机协作***工作流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
机器人在工作时往往进行重复操作，其任务空间只占到可达空间的一部分，可以将其从可达空间分割出来，从而实现更加精准的安全性判断。
基于此，本发明提出一种基于任务空间分割和动态距离监控的安全人机协作方法可以机器人任务空间的分割以及距离监控。
如图1至图3所示，本发明实施例的基于任务空间分割和动态距离监控的安全人机协作方法，包括如下步骤：
步骤S1，利用传感器***获取机器人数据，对获取到的机器人数据进行预处理，去除异常值。
具体的，采用传感器***来从外部记录处于操作模式的任意机器人。传感器***包括：2D图像采集***和深度传感器，利用2D图像采集***获得的2D图像数据与深度传感器的深度信息进行组合，生成一系列点云，然后利用这些点云能够重建任务空间。
机器人数据是指2D图像数据和深度信息融合，即为2D图像的每个像素附加上深度信息。融合后的数据具备3维空间的信息，具体数据为空间内实体的空间位置信息。
首先，对传感器***获得的数据进行预处理包括：通过降采样算法和降噪进行预处理，然后过滤去除异常值。
步骤S2，利用八叉树过滤器对去除异常值后的数据进行处理并生成点云，包括：利用八叉树过滤器对机器人的三维图像数据进行分割，记录机器人在任务空间的点云分布，实现任务空间的分割。
使用修改后的八叉树过滤器对操作机器人进行分割。采用这套流程持续监控机器人，能够记录机器人在任务空间的点云分布，从而完成任务空间的分割。图2为任务空间分割效果。
具体的，利用八叉树过滤器对机器人的三维图像数据进行分割，包括：上一步获取的三维数据包括了机器人和周围其他物体，这里的分割指的是对每一帧三维图像进行处理，将机器人从整个空间剥离出来。在之后的步骤中，多帧机器人的点云融合，便能得到任务空间。
步骤S3，当判断点云的数量达到预设值时，融合点云，生成任务空间。当判断点云的数量没有达到预设值时，则返回步骤S1。
需要说明的是，这里的预设值可以用点云的密度作为标准，密度越高，任务空间越准确。
步骤S4，根据任务空间设置距离阈值。
步骤S5，利用超声波距离传感器检测物体或人与机器人之间的距离。
步骤S6，判断物体或人与机器人之间的距离是否低于距离阈值，如果是则执行步骤S7，否则返回步骤S5。
步骤S7，控制机器人急停或安全停止。
具体的，在对任务空间进行分割之后，为实现不同方向上的距离检测，采用多个安装在不同方向的超声波距离传感器和一个中央控制器组成距离监控***，利用超声波距离传感器检测物体或人与机器人之间的距离，当判断物体或人与机器人之间的距离低于距离阈值时，由中央控制器向机器人发送指令，控制机器人急停或安全停止。
在本发明的实施例中，多个超声波距离传感器所设定的距离阈值均独立，距离阈值的大小与任务空间有关。
超声波距离传感器的检测方向是一个有着一定方向角的扇形区域，采用多个传感器可以实现对不同方向距离的监测。只要有一个不满足距离要求就触发急停。
根据本发明实施例的基于任务空间分割和动态距离监控的安全人机协作方法，采用２Ｄ图像传感器和深度传感器完成机器人任务空间分割，搭配多超声波传感器距离监测***实现安全的人机协作。本发明无需对现有机器人本体或控制***进行改动，可适用工业机器人。
本发明使用任务空间分割，无需先验地了解机器人内部程序，就可以识别实际使用的任务空间。在进一步的步骤中，集成了由可单独配置的超声波模块组成的距离监测***，可以根据物体或人接近的方向实现具有不同距离阈值的安全或紧急停止。当机器人任务改变时，可以轻易地对任务空间重新进行分割，能够适应复杂多变的工业场景。本发明完全独立于机器人，无需对机器人本体进行改造或者了解机器人内部控制***，可适配目前占有绝大多数出货量的工业机器人。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求极其等同限定。
Claims (3)
1.一种基于任务空间分割和动态距离监控的安全人机协作方法，其特征在于，包括如下步骤：
步骤S1，利用传感器***获取机器人数据，对获取到的机器人数据进行预处理，去除异常值；采用传感器***来从外部记录处于操作模式的任意机器人，传感器***包括：2D图像采集***和深度传感器，利用2D图像采集***获得的2D图像数据与深度传感器的深度信息进行组合，生成一系列点云，然后利用这些点云能够重建任务空间；机器人数据是指2D图像数据和深度信息融合，即为2D图像的每个像素附加上深度信息；融合后的数据具备3维空间的信息，为空间内实体的空间位置信息；
步骤S2，利用八叉树过滤器对去除异常值后的数据进行处理并生成点云，包括：利用八叉树过滤器对机器人的三维图像数据进行分割，记录机器人在任务空间的点云分布，实现所述任务空间的分割；
步骤S3，当判断点云的数量达到预设值时，融合所述点云，生成任务空间；
步骤S4，根据所述任务空间设置距离阈值；
步骤S5，利用超声波距离传感器检测物体或人与机器人之间的距离；其中，采用多个安装在不同方向的超声波距离传感器和一个中央控制器组成距离监控***，利用超声波距离传感器检测物体或人与机器人之间的距离；多个超声波距离传感器所设定的距离阈值均独立，所述距离阈值的大小与所述任务空间有关；步骤S6，判断所述物体或人与机器人之间的距离是否低于所述距离阈值，如果是则执行步骤S7，否则返回步骤S5；其中，当判断所述物体或人与机器人之间的距离低于所述距离阈值时，由所述中央控制器向所述机器人发送指令；
步骤S7，控制所述机器人急停或安全停止。
2.如权利要求1所述的基于任务空间分割和动态距离监控的安全人机协作方法，其特征在于，在所述步骤S1中，对数据进行预处理包括：对数据进行降采样和降噪处理。
3.如权利要求1所述的基于任务空间分割和动态距离监控的安全人机协作方法，其特征在于，在所述步骤S3中，当判断点云的数量没有达到预设值时，返回所述步骤S1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211679848.2A CN115648226B (zh) | 2022-12-27 | 2022-12-27 | 基于任务空间分割和动态距离监控的安全人机协作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211679848.2A CN115648226B (zh) | 2022-12-27 | 2022-12-27 | 基于任务空间分割和动态距离监控的安全人机协作方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115648226A CN115648226A (zh) | 2023-01-31 |
| CN115648226B true CN115648226B (zh) | 2023-03-21 |
Family
ID=85022323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211679848.2A Active CN115648226B (zh) | 2022-12-27 | 2022-12-27 | 基于任务空间分割和动态距离监控的安全人机协作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115648226B (zh) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102004041821A1 (de) * | 2004-08-27 | 2006-03-16 | Abb Research Ltd. | Vorrichtung und Verfahren zur Sicherung eines maschinell gesteuerten Handhabungsgerätes |
| US9694497B2 (en) * | 2012-07-10 | 2017-07-04 | Siemens Aktiengesellschaft | Robot arrangement and method for controlling a robot |
| DE102014012563B4 (de) * | 2014-08-04 | 2018-10-25 | Abb Schweiz Ag | Näherungssensorik für einen Roboter |
| DE102016007519A1 (de) * | 2016-06-20 | 2017-12-21 | Kuka Roboter Gmbh | Überwachung einer Anlage mit wenigstens einem Roboter |
| EP3572971B1 (de) * | 2018-05-22 | 2021-02-24 | Sick Ag | Absichern eines überwachungsbereichs mit mindestens einer maschine |
| CN112991356B (zh) * | 2019-12-12 | 2023-08-01 | 中国科学院沈阳自动化研究所 | 机械臂在复杂环境下的快速分割方法 |
| CN112621754A (zh) * | 2020-12-11 | 2021-04-09 | 中国科学院沈阳计算技术研究所有限公司 | 一种多机器人协同的装配线安全布局的设计方法 |
| EP4070921A1 (en) * | 2021-04-08 | 2022-10-12 | Collobro AB | A safety system for a collaborative robot |
-
2022
- 2022-12-27 CN CN202211679848.2A patent/CN115648226B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115648226A (zh) | 2023-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3715065B1 (en) | Controlling a robot in the presence of a moving object | |
| TWI547355B (zh) | 人機共生安全監控系統及其方法 | |
| CN104944168B (zh) | 一种基于图像三维重构的码垛机器人安全控制方法 | |
| CN110069990B (zh) | 一种限高杆检测方法、装置以及自动驾驶*** | |
| CN109305165A (zh) | 智能超声***、车辆后方碰撞警告装置及其控制方法 | |
| JP2016531462A (ja) | 自動的に作動する機械を保護する装置および方法 | |
| Liu et al. | Real-time cutting tool state recognition approach based on machining features in NC machining process of complex structural parts | |
| CN106680832A (zh) | 一种移动机器人的障碍物检测方法、装置和移动机器人 | |
| CN108021899A (zh) | 基于双目相机的车载智能前车防撞预警方法 | |
| CN105882632A (zh) | 高级紧急制动***及其制动控制方法 | |
| CN109591009A (zh) | 机器人*** | |
| CN115648226B (zh) | 基于任务空间分割和动态距离监控的安全人机协作方法 | |
| KR20160088099A (ko) | 차량의 충돌 회피 경로 설정 방법 | |
| Schneider et al. | Unsupervised anomaly detection from time-of-flight depth images | |
| TW201228766A (en) | Interference preventing method and device | |
| CN112348837B (zh) | 一种点线检测融合的物体边缘检测方法及*** | |
| KR102270827B1 (ko) | 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법 및 장치 | |
| CN114815821B (zh) | 基于多线激光雷达的室内自适应全景避障方法及*** | |
| JP6941226B2 (ja) | 物体認識装置 | |
| CN104698290A (zh) | 一种电机缺相报警的方法和*** | |
| CN111445519A (zh) | 一种工业机器人三维姿态估计方法、装置及存储介质 | |
| Nagata et al. | Generation of triangulated patches smoothed from original point cloud data with noise and its application to robotic machining | |
| CN113523902B (zh) | 一种五轴联动叉式摆头防撞控制的方法 | |
| CN113689468A (zh) | 工件加工装置的控制方法及其装置、计算机可读存储介质 | |
| US10161812B2 (en) | Thermal analysis of electronics racks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231013 Address after: Room 204, 2nd Floor, Building 23, No. 79 Shuangying West Road, Science and Technology Park, Changping District, Beijing 102200 Patentee after: Luoshi (Beijing) Robotics Co.,Ltd. Address before: 100097 1-01, floor 7, building a, Beijing Haiqing Shuguang real estate development center (Office) and postal branch project, East wangfuyuan District, Haidian District, Beijing Patentee before: ROKAE, Inc. |