CN108564628A - 一种面向掘进机自动化的截割头视觉定位定向*** - Google Patents

一种面向掘进机自动化的截割头视觉定位定向*** Download PDF

Info

Publication number
CN108564628A
CN108564628A CN201810341987.1A CN201810341987A CN108564628A CN 108564628 A CN108564628 A CN 108564628A CN 201810341987 A CN201810341987 A CN 201810341987A CN 108564628 A CN108564628 A CN 108564628A
Authority
CN
China
Prior art keywords
cutterhead
image
development machine
explosion
orientation system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810341987.1A
Other languages
English (en)
Other versions
CN108564628B (zh
Inventor
冯云鹏
崔明玉
程灏波
张步勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201810341987.1A priority Critical patent/CN108564628B/zh
Publication of CN108564628A publication Critical patent/CN108564628A/zh
Application granted granted Critical
Publication of CN108564628B publication Critical patent/CN108564628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20164Salient point detection; Corner detection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种面向掘进机自动化的截割头视觉定位定向***,该***由数台防爆红外摄像仪、数个相机支架和一台工控计算机组成。其中,防爆红外摄像仪用于采集截割头不同视角图像。工控计算机内置视觉处理平台对图像进行预处理和拼接得到截割头宽视场全景图像,进一步进行特征点识别与匹配跟踪工作,拟合出截割头边缘轮廓的曲线;数据处理平台根据特征点的位置坐标及曲线方程,计算出截割头中心一点的坐标、俯仰角以及偏航角。本发明的特点在于使用多台红外摄像仪对截割头进行多视角成像,结合红外图像拼接技术得到截割头的宽视场图像,利用计算机视觉科学实现掘进机截割头的定位定向功能。

Description

一种面向掘进机自动化的截割头视觉定位定向***
技术领域
本发明涉及一种面向掘进机自动化的截割头视觉定位定向***,属矿山机械自动化技术领域和计算机视觉应用领域。
背景技术
悬臂式掘进机作为一种常见的采掘机械,被广泛的应用于采矿和挖掘工作中。
随着煤矿产业的发展,煤矿开采已经成为社会发展的重要能源支撑,实现采掘设备的自动化、智能化、无人化工作,对提高采掘企业生产效率、保障从业人员生命安全尤为重要与迫切,而要解决掘进机的自动化无人精确掘进就必须实现掘进机的自主定位定向功能。
基于计算机视觉的掘进机自动化定位定向技术,其实质就是利用红外成像原理采集截割头工作过程中不同视角的红外图像,结合计算机视觉科学对红外图像进行处理、拼接、特征识别、匹配跟踪和曲线拟合,结合坐标解算模型得到截割头工作过程中的方位和方向信息,该技术与现有的掘进机截割头定位定向技术相比具有操作简便、工作环境可视化、工作过程自动化、无人化、时效性强、***结构简单化和测量精度高等特点。
发明内容
本发明专利针对背景技术的不足,提出一种面向掘进机自动化的截割头视觉定位定向***,可实时准确地确定掘进机截割头中心一点在巷道截断面坐标系下的方位和方向信息,实现基于视觉检测技术的掘进机截割头定位定向功能,且具有操作可视化、结构简单化、稳定性强等特点。
为了实现上述目的,本发明提供了一种面向掘进机自动化的截割头视觉定位定向***,具体方案如下:
本发明专利是一种面向掘进机自动化的截割头视觉定位定向***,可实时准确的获取掘进机截割头在巷道截断面坐标系下的方位方向参数,包括偏航角α、俯仰角β以及掘进机截割头中心一点M(u,v)的坐标位置参数。
由于掘进机在实际巷道掘进过程中,截割头的方位主要依赖截割部的空间姿态,其中决定性参数就是俯仰角和偏航角,因此本发明所述的定位定向功能只涉及截割头的俯仰角α和偏航角β。
进一步的,所述***包括数台防爆红外摄像仪1、数个相机支架2一台工控计算机3。
进一步的,所述防爆红外摄像仪1,利用红外成像原理采集掘进机截割头工作过程中的红外图像。
进一步的,所述工控计算机3内置视觉平台,通过专用端口与防爆红外摄像仪连接,获取截割头不同角度的窄视场红外图像,并对窄视场截割头图像进行中值滤波、直方图均衡化和畸变校正等图像预处理操作,利用角点检测的方法检测出所述预处理后图像边缘的特征点,结合距离函数判断特征点的相似度进行图像配准,得到所述截割头的宽视场全景图像。
进一步的,利用模板匹配的方法对所述截割头全景视频图像进行多目标特征匹配,提取出6~7个特征点的位置坐标,利用最小二乘法拟合出截割头边缘轮廓的曲线,得到截割头边缘轮廓曲线中心一点M的图像像素坐标(u,v)。
进一步的,利用特征识别与检测技术对掘进机工作环境的全景图像进行人物检测,得到人员误入工作面的信息反馈,并对掘进机操作仓内的驾驶员进行预警。
进一步的,所述工控计算机3内置数据处理平台,根据已建立的坐标解算模型,对上述截割头边缘轮廓曲线中心一点M(u,v)进行坐标变换与解算,得到截割头在巷道截断面坐标系下的偏航角α和俯仰角β。
与已有技术相比,本发明的有益效果是:
本发明将红外图像拼接技术应用于掘进机自动化的截割头定位定向***,简化了繁琐的硬件装置,将整体***软件化,利用视觉检测的方法代替了传统的人工目测方式,提高了掘进机截割头定位定向***的时效性与准确性,解决了传统掘进机的不准确挖掘问题,提高了工作人员的安全性,具备一定市场推广价值。
附图说明
图1为本发明面向掘进机自动化的截割头视觉定位定向***结构图;
图2为本发明面向掘进机自动化的截割头视觉定位定向方法流程图;
图3为本发明掘进机截割头在像素坐标模型上的初始位置和工作位置参数;
图4为本发明掘进机截割头俯仰角α的坐标解算模型;
图5为本发明掘进机截割头偏航角β的坐标解算模型;
具体实施方式
为了让技术人员能够更好的理解本发明的技术方案,下面结合附图和具体实施方式对本发明进一步详细阐述。
设备的安装:
如图1所示,本发明专利是一种面向掘进机自动化的截割头视觉定位定向***,包括数台防爆红外摄像仪1、数个相机支架2和一台工控计算机3,掘进机截割头坐标系为OXYZ,约定截割头水平摆动角和上下抬升角均为零度时的姿态为截割部的初始姿态。
所述相机支架2以巷道中轴线为中心对称固定在巷道顶端,爆红外摄像仪1固定在相机支架2上,安装时以标定好的红外摄像仪1的相机外参数为依据,并保证防爆红外摄像仪1的光轴方向沿掘进机截割头的方向以及截割头成像的完整性。
所述工控计算机3安装在远离掘进机的监测室内,为操作员提供可视化的工作界面,实时显示掘进机截割头在巷道截断面上的方位信息。
所述掘进机截割头坐标系OXYZ,以初始状态下截割头中心一点O为原点,垂直于巷道地面方向为Z轴,巷道水平方向为X轴,Y轴垂直于XOZ平面。
本发明专利的流程图如图2所示,具体包括以下步骤:
将防爆红外摄像仪1固定在相机支架2上,结合事先离线标定好的防爆红外摄像仪1的相机外参数,以巷道中轴线为中心对称分布,以采集掘进机截割头工作过程中不同视角的红外图像。
工控计算机3内置视觉平台,实时提取所述截割头的红外图像,利用中值滤波、直方图均衡化结合自适应阈值化算法进行红外图像预处理;对预处理后的红外图像进行角点检测结合距离函数对所述图像进行配准,得到截割头宽视场全景图像;对所述全景图像进行边缘轮廓的特征识别与跟踪匹配,得到6~7个特征点的位置坐标;利用最小二乘法对所述特征点位置坐标进行曲线拟合,进一步得到截割头边缘轮廓曲线中心一点M的像素坐标(u,v)。
掘进机截割头初始位置和工作位置坐标示意图如图3,建立截割头全景图像的像素坐标系OoUV,其中U轴与截割头坐标系的X轴平行,V轴与截割头坐标系的Y轴平行。
初始姿态状态下,截割头中心一点O在图像像素坐标系OoUV上的坐标为No(uo,vo),已知掘进机截割部的长度为h,截割头工作影像某一帧的位置坐标为Mo(u,v)。
掘进机截割头俯仰角α为截割部相对截割头坐标系OXYZ上OXY平面的摆角,具体计算模型如图4所示,其中N1(yo,0)为No(uo,vo)在坐标系OYZ上对应的坐标点,M1(y,z)为Mo(u,v)在坐标系OYZ上对应的坐标点,计算公式如下:
截割头的俯仰角
掘进机截割头俯仰角β为截割部相对截割头坐标系OXYZ上OYZ平面的摆角,具体计算模型如图5所示,其中N1(0,yo)为No(uo,vo)在坐标系OXY上对应的坐标点,M1(x,y)为Mo(u,v)在坐标系OXY上对应的坐标点,计算公式如下:
截割头的偏航角
利用上述公式可以实时的检测截割头的俯仰角α和偏航角β。
本发明未详细描述的内容为本领域技术人员公知技术。

Claims (6)

1.一种面向掘进机自动化的截割头视觉定位定向***,其特征在于,该***包括:数台防爆红外摄像仪(1)、数个相机支架(2)和一台工控计算机(3)。其中,所述相机支架(2)固定在巷道顶端;所述防爆红外摄像仪(1)安装在相机支架(2)上,用于采集截割头的红外图像;所述工控计算机(3)内置视觉处理平台和数据处理平台,固定在远离掘进机的监测室内并通过专用端口与防爆红外摄像仪(1)连接,其中视觉处理平台通过对截割头不同视角的图像进行降噪、增强和拼接等工作,得到截割头工作过程的全景视频图像,在截割头全景视频图像上进行人物检测,能够自动识别误入工作面的工作人员并进行预警;在截割头全景视频图像上进行截割头特征点识别与跟踪,并提取出截割头特征点的位置坐标,能够拟合出截割头边缘轮廓的完整曲线,得到截割头边缘曲线中心一点的图像像素坐标;数据处理平台通过建立好的坐标解算模型,计算出掘进机截割头中心一点的位置坐标,以及截割头的俯仰角和偏航角。
2.根据权利要求1所述的一种面向掘进机自动化的截割头视觉定位定向***,其特征在于,相机支架(2)固定在巷道顶端,防爆红外摄像仪(1)固定在相机支架(2)上,以巷道中轴线为中心对称分布,防爆红外摄像仪(1)的光轴方向沿掘进机截割头的方向。
3.根据权利要求1所述的一种面向掘进机自动化的截割头视觉定位定向***,其特征在于,所述工控计算机(2)内置视觉平台,获取截割头不同视角的红外图像,并对红外图像进行降噪、增强和拼接等工作。
4.根据权利要求3所述的一种面向掘进机自动化的截割头视觉定位定向***,其特征在于,对所述截割头不同视角的红外图像进行中值滤波、直方图均衡化和校正等图像预处理操作,利用角点检测的方法检测出所述预处理后图像边缘的特征点,结合距离函数判断特征点的相似度进行图像配准,得到所述截割头的全景图像。
5.根据权利要求1所述的一种面向掘进机自动化的截割头视觉定位定向***,其特征在于,所述工控计算机(3)内置视觉平台,对所述截割头全景图像进行边缘轮廓的特征识别与匹配,实时跟踪截割头图像上特征点的运动状态及其坐标信息。
6.根据权利要求1所述的一种悬臂式掘进机截割头视觉定位定向***及方法,其特征在于,所述工控计算机(3)内置数据处理平台,实时提取所述截割头全景图像特征点的位置坐标,利用最小二乘法拟合出截割头纵截面边缘轮廓的曲线方程,进一步计算出所述曲线中心一点的坐标即截割头中心的图像像素坐标M(u,v),利用已建坐标解算模型最终得到悬臂式掘进机截割头的俯仰角α和偏航角β。
CN201810341987.1A 2018-04-17 2018-04-17 一种面向掘进机自动化的截割头视觉定位定向*** Active CN108564628B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810341987.1A CN108564628B (zh) 2018-04-17 2018-04-17 一种面向掘进机自动化的截割头视觉定位定向***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810341987.1A CN108564628B (zh) 2018-04-17 2018-04-17 一种面向掘进机自动化的截割头视觉定位定向***

Publications (2)

Publication Number Publication Date
CN108564628A true CN108564628A (zh) 2018-09-21
CN108564628B CN108564628B (zh) 2023-05-26

Family

ID=63535528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810341987.1A Active CN108564628B (zh) 2018-04-17 2018-04-17 一种面向掘进机自动化的截割头视觉定位定向***

Country Status (1)

Country Link
CN (1) CN108564628B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109538208A (zh) * 2018-12-21 2019-03-29 冀中能源峰峰集团有限公司 一种掘进机截割头复合定位***及方法
CN109767477A (zh) * 2019-01-14 2019-05-17 冀中能源峰峰集团有限公司 一种精确定位***及方法
CN110880191A (zh) * 2019-11-22 2020-03-13 大连理工大学 基于直方图均衡化的红外立体相机动态外参计算方法
CN112304285A (zh) * 2020-11-03 2021-02-02 中国煤炭科工集团太原研究院有限公司 悬臂式掘进机截割头的姿态检测方法及***
CN115962783A (zh) * 2023-03-16 2023-04-14 太原理工大学 掘进机截割头的定位方法及掘进机

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102393211A (zh) * 2011-08-29 2012-03-28 中国煤炭科工集团太原研究院 一种悬臂式掘进机断面监视***性能检验方法
WO2014166829A2 (de) * 2013-04-11 2014-10-16 Aker Wirth Gmbh Verfahren zur bestimmung der ausrichtung und position der den arbeitskopf tragenden basismaschine einer tunnelbohrmaschine
CN105241444A (zh) * 2015-09-19 2016-01-13 中国煤炭科工集团太原研究院有限公司 一种悬臂式掘进机空间位姿自动检测***及其测量方法
CN106052645A (zh) * 2016-03-11 2016-10-26 中国矿业大学 一种悬臂式掘进机空间位姿实时检测***及方法
CN107316288A (zh) * 2017-06-13 2017-11-03 西安科技大学 一种悬臂式掘进机截割头位姿视觉测量方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102393211A (zh) * 2011-08-29 2012-03-28 中国煤炭科工集团太原研究院 一种悬臂式掘进机断面监视***性能检验方法
WO2014166829A2 (de) * 2013-04-11 2014-10-16 Aker Wirth Gmbh Verfahren zur bestimmung der ausrichtung und position der den arbeitskopf tragenden basismaschine einer tunnelbohrmaschine
CN105241444A (zh) * 2015-09-19 2016-01-13 中国煤炭科工集团太原研究院有限公司 一种悬臂式掘进机空间位姿自动检测***及其测量方法
CN106052645A (zh) * 2016-03-11 2016-10-26 中国矿业大学 一种悬臂式掘进机空间位姿实时检测***及方法
CN107316288A (zh) * 2017-06-13 2017-11-03 西安科技大学 一种悬臂式掘进机截割头位姿视觉测量方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YAOYU DING 等: "Process planning for 8-axis robotized laser-based direct metal deposition system: a case on building revolved part" *
周玲玲 等: "基于双激光标靶图像识别的掘进机位姿检测方法" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109538208A (zh) * 2018-12-21 2019-03-29 冀中能源峰峰集团有限公司 一种掘进机截割头复合定位***及方法
CN109767477A (zh) * 2019-01-14 2019-05-17 冀中能源峰峰集团有限公司 一种精确定位***及方法
CN109767477B (zh) * 2019-01-14 2022-12-20 冀中能源峰峰集团有限公司 一种精确定位***及方法
CN110880191A (zh) * 2019-11-22 2020-03-13 大连理工大学 基于直方图均衡化的红外立体相机动态外参计算方法
CN112304285A (zh) * 2020-11-03 2021-02-02 中国煤炭科工集团太原研究院有限公司 悬臂式掘进机截割头的姿态检测方法及***
CN115962783A (zh) * 2023-03-16 2023-04-14 太原理工大学 掘进机截割头的定位方法及掘进机

Also Published As

Publication number Publication date
CN108564628B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN108564628A (zh) 一种面向掘进机自动化的截割头视觉定位定向***
CN109270534B (zh) 一种智能车激光传感器与相机在线标定方法
US11361469B2 (en) Method and system for calibrating multiple cameras
CN105302151B (zh) 一种飞机入坞引导和机型识别的***及方法
EP3196853A1 (en) Machine vision-based method and system for aircraft docking guidance and aircraft type identification
US20100121540A1 (en) Industrial machine
US20200357141A1 (en) Systems and methods for calibrating an optical system of a movable object
CN109685858A (zh) 一种单目摄像头在线标定方法
CN111721259B (zh) 基于双目视觉的水下机器人回收定位方法
CN109737981B (zh) 基于多传感器的无人车目标搜索装置及方法
CN110736446B (zh) 一种悬臂式掘进机位姿识别***及方法
CN108132675A (zh) 一种工厂巡视无人机自主路径巡航以及智能避障方法
CN109115173A (zh) 基于直线定位模型的掘进机机身位姿单目视觉测量方法
CN112348034A (zh) 基于无人机图像识别的起重机缺陷检测***和工作方法
Momeni-k et al. Height estimation from a single camera view
CN114140439A (zh) 基于深度学习的激光焊接焊缝特征点识别方法及装置
CN108871409A (zh) 一种故障检测方法和***
CN113525631A (zh) 一种基于光视觉引导的水下终端对接***及方法
CN115877400A (zh) 基于雷达与视觉融合的巷道顶板支护钢带钻孔定位方法
CN115984766A (zh) 一种煤矿井下快速单目视觉三维目标检测方法
US20240051146A1 (en) Autonomous solar installation using artificial intelligence
CN112540382B (zh) 一种基于视觉识别检测的激光导航agv辅助定位方法
CN207923179U (zh) 智能巡检车
CN115760766A (zh) 基于图像识别技术的缺陷识别数字化验收方法及***
McArthur et al. Pose-estimate-based target tracking for human-guided remote sensor mounting with a UAV

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant