CN108564628B - 一种面向掘进机自动化的截割头视觉定位定向*** - Google Patents
一种面向掘进机自动化的截割头视觉定位定向*** Download PDFInfo
- Publication number
- CN108564628B CN108564628B CN201810341987.1A CN201810341987A CN108564628B CN 108564628 B CN108564628 B CN 108564628B CN 201810341987 A CN201810341987 A CN 201810341987A CN 108564628 B CN108564628 B CN 108564628B
- Authority
- CN
- China
- Prior art keywords
- cutting head
- heading machine
- image
- explosion
- processing platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000011161 development Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 8
- 238000004880 explosion Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000003384 imaging method Methods 0.000 abstract description 2
- 238000005065 mining Methods 0.000 description 6
- 238000009412 basement excavation Methods 0.000 description 2
- 239000003245 coal Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000005641 tunneling Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种面向掘进机自动化的截割头视觉定位定向***，该***由数台防爆红外摄像仪、数个相机支架和一台工控计算机组成。其中，防爆红外摄像仪用于采集截割头不同视角图像。工控计算机内置视觉处理平台对图像进行预处理和拼接得到截割头宽视场全景图像，进一步进行特征点识别与匹配跟踪工作，拟合出截割头边缘轮廓的曲线；数据处理平台根据特征点的位置坐标及曲线方程，计算出截割头中心一点的坐标、俯仰角以及偏航角。本发明的特点在于使用多台红外摄像仪对截割头进行多视角成像，结合红外图像拼接技术得到截割头的宽视场图像，利用计算机视觉科学实现掘进机截割头的定位定向功能。
Description
技术领域
本发明涉及一种面向掘进机自动化的截割头视觉定位定向***，属矿山机械自动化技术领域和计算机视觉应用领域。
背景技术
悬臂式掘进机作为一种常见的采掘机械，被广泛的应用于采矿和挖掘工作中。
随着煤矿产业的发展，煤矿开采已经成为社会发展的重要能源支撑，实现采掘设备的自动化、智能化、无人化工作，对提高采掘企业生产效率、保障从业人员生命安全尤为重要与迫切，而要解决掘进机的自动化无人精确掘进就必须实现掘进机的自主定位定向功能。
基于计算机视觉的掘进机自动化定位定向技术，其实质就是利用红外成像原理采集截割头工作过程中不同视角的红外图像，结合计算机视觉科学对红外图像进行处理、拼接、特征识别、匹配跟踪和曲线拟合，结合坐标解算模型得到截割头工作过程中的方位和方向信息，该技术与现有的掘进机截割头定位定向技术相比具有操作简便、工作环境可视化、工作过程自动化、无人化、时效性强、***结构简单化和测量精度高等特点。
发明内容
本发明专利针对背景技术的不足，提出一种面向掘进机自动化的截割头视觉定位定向***，可实时准确地确定掘进机截割头中心一点在巷道截断面坐标系下的方位和方向信息，实现基于视觉检测技术的掘进机截割头定位定向功能，且具有操作可视化、结构简单化、稳定性强等特点。
为了实现上述目的，本发明提供了一种面向掘进机自动化的截割头视觉定位定向***，具体方案如下：
本发明专利是一种面向掘进机自动化的截割头视觉定位定向***，可实时准确的获取掘进机截割头在巷道截断面坐标系下的方位方向参数，包括偏航角α、俯仰角β以及掘进机截割头中心一点M(u,v)的坐标位置参数。
由于掘进机在实际巷道掘进过程中，截割头的方位主要依赖截割部的空间姿态，其中决定性参数就是俯仰角和偏航角，因此本发明所述的定位定向功能只涉及截割头的俯仰角α和偏航角β。
进一步的，所述***包括数台防爆红外摄像仪1、数个相机支架2和一台工控计算机3。
进一步的，所述防爆红外摄像仪1，利用红外成像原理采集掘进机截割头工作过程中的红外图像。
进一步的，所述工控计算机3内置视觉处理平台，通过专用端口与防爆红外摄像仪连接，获取截割头不同角度的窄视场红外图像，并对窄视场截割头图像进行中值滤波、直方图均衡化和畸变校正的图像预处理操作，利用角点检测的方法检测出所述预处理后图像边缘的特征点，结合距离函数判断特征点的相似度进行图像配准，得到所述截割头的宽视场全景图像。
进一步的，利用模板匹配的方法对所述截割头全景视频图像进行多目标特征匹配，提取出6～7个特征点的位置坐标，利用最小二乘法拟合出截割头边缘轮廓的曲线，得到截割头边缘轮廓曲线中心一点M的图像像素坐标(u,v)。
进一步的，利用特征识别与检测技术对掘进机工作环境的全景图像进行人物检测，得到人员误入工作面的信息反馈，并对掘进机操作仓内的驾驶员进行预警。
进一步的，所述工控计算机3内置数据处理平台，根据已建立的坐标解算模型，对上述截割头边缘轮廓曲线中心一点M(u,v)进行坐标变换与解算，得到截割头在巷道截断面坐标系下的偏航角α和俯仰角β。
与已有技术相比，本发明的有益效果是：
本发明将红外图像拼接技术应用于掘进机自动化的截割头定位定向***，简化了繁琐的硬件装置，将整体***软件化，利用视觉检测的方法代替了传统的人工目测方式，提高了掘进机截割头定位定向***的时效性与准确性，解决了传统掘进机的不准确挖掘问题，提高了工作人员的安全性，具备一定市场推广价值。
附图说明
图1为本发明面向掘进机自动化的截割头视觉定位定向***结构图；
图2为本发明面向掘进机自动化的截割头视觉定位定向方法流程图；
图3为本发明掘进机截割头在像素坐标模型上的初始位置和工作位置参数；
图4为本发明掘进机截割头俯仰角α的坐标解算模型；
图5为本发明掘进机截割头偏航角β的坐标解算模型；
具体实施方式
为了让技术人员能够更好的理解本发明的技术方案，下面结合附图和具体实施方式对本发明进一步详细阐述。
设备的安装：
如图1所示，本发明专利是一种面向掘进机自动化的截割头视觉定位定向***，包括数台防爆红外摄像仪1、数个相机支架2和一台工控计算机3，掘进机截割头坐标系为OXYZ,约定截割头水平摆动角和上下抬升角均为零度时的姿态为截割部的初始姿态。
所述相机支架2以巷道中轴线为中心对称固定在巷道顶端，爆红外摄像仪1固定在相机支架2上，安装时以标定好的红外摄像仪1的相机外参数为依据，并保证防爆红外摄像仪1的光轴方向沿掘进机截割头的方向以及截割头成像的完整性。
所述工控计算机3安装在远离掘进机的监测室内，为操作员提供可视化的工作界面，实时显示掘进机截割头在巷道截断面上的方位信息。
所述掘进机截割头坐标系OXYZ，以初始状态下截割头中心一点O为原点，垂直于巷道地面方向为Z轴，巷道水平方向为X轴，Y轴垂直于XOZ平面。
本发明专利的流程图如图2所示，具体包括以下步骤：
将防爆红外摄像仪1固定在相机支架2上，结合事先离线标定好的防爆红外摄像仪1的相机外参数，以巷道中轴线为中心对称分布，以采集掘进机截割头工作过程中不同视角的红外图像。
工控计算机3内置视觉处理平台，实时提取所述截割头的红外图像，利用中值滤波、直方图均衡化结合自适应阈值化算法进行红外图像预处理；对预处理后的红外图像进行角点检测结合距离函数对所述图像进行配准，得到截割头宽视场全景图像；对所述全景图像进行边缘轮廓的特征识别与跟踪匹配，得到6～7个特征点的位置坐标；利用最小二乘法对所述特征点位置坐标进行曲线拟合，进一步得到截割头边缘轮廓曲线中心一点M的像素坐标(u,v)。
掘进机截割头初始位置和工作位置坐标示意图如图3，建立截割头全景图像的像素坐标系OoUV，其中U轴与截割头坐标系的X轴平行，V轴与截割头坐标系的Y轴平行。
初始姿态状态下，截割头中心一点O在图像像素坐标系OoUV上的坐标为No(uo,vo)，已知掘进机截割部的长度为h，截割头工作影像某一帧的位置坐标为Mo(u,v)。
掘进机截割头俯仰角α为截割部相对截割头坐标系OXYZ上OXY平面的摆角，具体计算模型如图4所示，其中N1(yo,0)为No(uo,vo)在坐标系OYZ上对应的坐标点，M1(y,z)为Mo(u,v)在坐标系OYZ上对应的坐标点，计算公式如下：
截割头的俯仰角
掘进机截割头俯仰角β为截割部相对截割头坐标系OXYZ上OYZ平面的摆角，具体计算模型如图5所示，其中N1(0,yo)为No(uo,vo)在坐标系OXY上对应的坐标点，M1(x,y)为Mo(u,v)在坐标系OXY上对应的坐标点，计算公式如下：
截割头的偏航角
利用上述公式可以实时的检测截割头的俯仰角α和偏航角β。
本发明未详细描述的内容为本领域技术人员公知技术。
Claims (5)
1.一种面向掘进机自动化的截割头视觉定位定向***，其特征在于，该***包括：数台防爆红外摄像仪(1)、数个相机支架(2)和一台工控计算机(3)；其中，所述相机支架(2)固定在巷道顶端；所述防爆红外摄像仪(1)安装在相机支架(2)上，用于采集截割头的红外图像；所述工控计算机(3)内置视觉处理平台和数据处理平台，固定在远离掘进机的监测室内并通过专用端口与防爆红外摄像仪(1)连接，其中视觉处理平台通过对截割头不同视角的图像进行降噪、增强和拼接，得到截割头工作过程的全景视频图像，在截割头全景视频图像上进行人物检测，能够自动识别误入工作面的工作人员并进行预警；在截割头全景视频图像上进行截割头特征点识别与跟踪，并提取出截割头特征点的位置坐标，能够拟合出截割头边缘轮廓的完整曲线，得到截割头边缘曲线中心一点的图像像素坐标；数据处理平台通过建立好的坐标解算模型，计算出掘进机截割头中心一点的位置坐标，以及截割头的俯仰角和偏航角。
2.根据权利要求1所述的一种面向掘进机自动化的截割头视觉定位定向***，其特征在于，相机支架(2)固定在巷道顶端，防爆红外摄像仪(1)固定在相机支架(2)上，以巷道中轴线为中心对称分布，防爆红外摄像仪(1)的光轴方向沿掘进机截割头的方向。
3.根据权利要求1所述的一种面向掘进机自动化的截割头视觉定位定向***，其特征在于，对所述截割头不同视角的红外图像进行中值滤波、直方图均衡化和校正的图像预处理操作，利用角点检测的方法检测出所述预处理后图像边缘的特征点，结合距离函数判断特征点的相似度进行图像配准，得到所述截割头的全景图像。
4.根据权利要求1所述的一种面向掘进机自动化的截割头视觉定位定向***，其特征在于，所述工控计算机(3)内置视觉处理平台，对所述截割头全景图像进行边缘轮廓的特征识别与匹配，实时跟踪截割头图像上特征点的运动状态及其坐标信息。
5.根据权利要求1所述的一种面向掘进机自动化的截割头视觉定位定向***，其特征在于，所述工控计算机(3)内置数据处理平台，实时提取所述截割头全景图像特征点的位置坐标，利用最小二乘法拟合出截割头纵截面边缘轮廓的曲线方程，进一步计算出所述曲线中心一点的坐标即截割头中心的图像像素坐标M(u,v)，利用已建坐标解算模型最终得到悬臂式掘进机截割头的俯仰角α和偏航角β。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810341987.1A CN108564628B (zh) | 2018-04-17 | 2018-04-17 | 一种面向掘进机自动化的截割头视觉定位定向*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810341987.1A CN108564628B (zh) | 2018-04-17 | 2018-04-17 | 一种面向掘进机自动化的截割头视觉定位定向*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108564628A CN108564628A (zh) | 2018-09-21 |
| CN108564628B true CN108564628B (zh) | 2023-05-26 |
Family
ID=63535528
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810341987.1A Active CN108564628B (zh) | 2018-04-17 | 2018-04-17 | 一种面向掘进机自动化的截割头视觉定位定向*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108564628B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109538208A (zh) * | 2018-12-21 | 2019-03-29 | 冀中能源峰峰集团有限公司 | 一种掘进机截割头复合定位***及方法 |
| CN109767477B (zh) * | 2019-01-14 | 2022-12-20 | 冀中能源峰峰集团有限公司 | 一种精确定位***及方法 |
| CN110880191B (zh) * | 2019-11-22 | 2020-10-20 | 大连理工大学 | 基于直方图均衡化的红外立体相机动态外参计算方法 |
| CN112304285A (zh) * | 2020-11-03 | 2021-02-02 | 中国煤炭科工集团太原研究院有限公司 | 悬臂式掘进机截割头的姿态检测方法及*** |
| CN115962783B (zh) * | 2023-03-16 | 2023-06-02 | 太原理工大学 | 掘进机截割头的定位方法及掘进机 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102393211A (zh) * | 2011-08-29 | 2012-03-28 | 中国煤炭科工集团太原研究院 | 一种悬臂式掘进机断面监视***性能检验方法 |
| WO2014166829A2 (de) * | 2013-04-11 | 2014-10-16 | Aker Wirth Gmbh | Verfahren zur bestimmung der ausrichtung und position der den arbeitskopf tragenden basismaschine einer tunnelbohrmaschine |
| CN105241444A (zh) * | 2015-09-19 | 2016-01-13 | 中国煤炭科工集团太原研究院有限公司 | 一种悬臂式掘进机空间位姿自动检测***及其测量方法 |
| CN106052645A (zh) * | 2016-03-11 | 2016-10-26 | 中国矿业大学 | 一种悬臂式掘进机空间位姿实时检测***及方法 |
| CN107316288A (zh) * | 2017-06-13 | 2017-11-03 | 西安科技大学 | 一种悬臂式掘进机截割头位姿视觉测量方法 |
-
2018
- 2018-04-17 CN CN201810341987.1A patent/CN108564628B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102393211A (zh) * | 2011-08-29 | 2012-03-28 | 中国煤炭科工集团太原研究院 | 一种悬臂式掘进机断面监视***性能检验方法 |
| WO2014166829A2 (de) * | 2013-04-11 | 2014-10-16 | Aker Wirth Gmbh | Verfahren zur bestimmung der ausrichtung und position der den arbeitskopf tragenden basismaschine einer tunnelbohrmaschine |
| CN105241444A (zh) * | 2015-09-19 | 2016-01-13 | 中国煤炭科工集团太原研究院有限公司 | 一种悬臂式掘进机空间位姿自动检测***及其测量方法 |
| CN106052645A (zh) * | 2016-03-11 | 2016-10-26 | 中国矿业大学 | 一种悬臂式掘进机空间位姿实时检测***及方法 |
| CN107316288A (zh) * | 2017-06-13 | 2017-11-03 | 西安科技大学 | 一种悬臂式掘进机截割头位姿视觉测量方法 |
Non-Patent Citations (2)
| Title |
|---|
| Yaoyu Ding 等.Process planning for 8-axis robotized laser-based direct metal deposition system: a case on building revolved part.《Robotics and Computer-Integrated Manufacturing》.2017,第67-76页. * |
| 周玲玲 等.基于双激光标靶图像识别的掘进机位姿检测方法.《激光与光电子学进展》.2017,第1-7页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108564628A (zh) | 2018-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108564628B (zh) | 一种面向掘进机自动化的截割头视觉定位定向*** | |
| CN110232736B (zh) | 一种井下综采工作面三维场景快速构建方法 | |
| US11958197B2 (en) | Visual navigation inspection and obstacle avoidance method for line inspection robot | |
| CN107767423B (zh) | 一种基于双目视觉的机械臂目标定位抓取方法 | |
| CN109685066B (zh) | 一种基于深度卷积神经网络的矿井目标检测与识别方法 | |
| WO2018108098A1 (zh) | 一种基于多传感器信息融合的带电作业机器人自主作业方法 | |
| CN111735445B (zh) | 融合单目视觉与imu的煤矿巷道巡检机器人***及导航方法 | |
| CN109115173A (zh) | 基于直线定位模型的掘进机机身位姿单目视觉测量方法 | |
| CN107316330B (zh) | 基于多图像序列的井下液压支架组位姿及直线度测量方法 | |
| CN110874596B (zh) | 一种仪表智能识别预警方法及*** | |
| CN113643280B (zh) | 一种基于计算机视觉的板材分拣***及方法 | |
| CN107316288B (zh) | 一种悬臂式掘进机截割头位姿视觉测量方法 | |
| CN108269281B (zh) | 基于双目视觉的避障技术方法 | |
| CN110189375B (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
| CN113570631B (zh) | 一种基于图像的指针式仪表智能识别方法及设备 | |
| CN114140439A (zh) | 基于深度学习的激光焊接焊缝特征点识别方法及装置 | |
| CN106568424A (zh) | 基于机器视觉的采煤机摇臂采高检测方法 | |
| CN109967389B (zh) | 一种起爆具缺陷自动检测***及其检测方法 | |
| CN113936291A (zh) | 一种基于机器视觉的铝模板质检、回收方法 | |
| CN109115172A (zh) | 基于机器视觉的采煤机机身位姿检测方法 | |
| US20240051146A1 (en) | Autonomous solar installation using artificial intelligence | |
| CN113092502A (zh) | 一种无人机路面破损检测方法与*** | |
| CN107516328B (zh) | 一种agv工作点定位方法及*** | |
| CN207115499U (zh) | 基于双目视觉的行车自动定位装置 | |
| Du et al. | Applications of machine vision in coal mine fully mechanized tunneling faces: a review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |