CN111553948A - 一种基于双示踪物的掘进机截割头定位***及方法 - Google Patents

一种基于双示踪物的掘进机截割头定位***及方法 Download PDF

Info

Publication number
CN111553948A
CN111553948A CN202010345702.9A CN202010345702A CN111553948A CN 111553948 A CN111553948 A CN 111553948A CN 202010345702 A CN202010345702 A CN 202010345702A CN 111553948 A CN111553948 A CN 111553948A
Authority
CN
China
Prior art keywords
points
camera
cutting head
tracers
tracer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010345702.9A
Other languages
English (en)
Other versions
CN111553948B (zh
Inventor
徐昌盛
王华英
张步勤
王学
张雷
郭海军
李佳俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jizhong Energy Fengfeng Group Co ltd
Hebei University of Engineering
Original Assignee
Jizhong Energy Fengfeng Group Co ltd
Hebei University of Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jizhong Energy Fengfeng Group Co ltd, Hebei University of Engineering filed Critical Jizhong Energy Fengfeng Group Co ltd
Priority to CN202010345702.9A priority Critical patent/CN111553948B/zh
Publication of CN111553948A publication Critical patent/CN111553948A/zh
Application granted granted Critical
Publication of CN111553948B publication Critical patent/CN111553948B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了掘进机截割头的定位方法,其利用两个红外相机对截割头上的两个示踪物进行摄像,将获得的两个示踪物的图像进行图像处理进行轮廓提取处理;根据设定的特征值分割图像中最佳的一块或多块区域,将所述区域的边界曲线提取为方向链码,计算目标区域周长和面积,根据周长和面积计算出圆的最小半径和最大半径,采用最小半径和最大半径作为径向约束条件,选取合格的边界点,从而获得掘进机中的双示踪物的区域,根据双示踪物的二维信息获得其三维信息,并结合掘进机的自身参数获取截割头中心的三维坐标,从而实现对掘进机截割头的定位。

Description

一种基于双示踪物的掘进机截割头定位***及方法
技术领域
本发明属于立体视觉定位技术领域,涉及一种基于双示踪物的掘进机截割头定位***及方法。
背景技术
煤炭作为我国最主要的一次能源之一,是我国能源的基石。随着科学技术的进步,综采技术水平不断 提高。其安全可靠、经济高效的自动化采煤技术变得越来越重要。
近些年来国内外提出了多种解决方案,但是在掘进机截割头定位上还存在诸多问题。故本发明提出一 种面向掘进机的截割头定位的方法。
现今大多数关于截割头定位基本使用普通光学摄像机定位,例如:2014年5月,陕西陕煤黄陵矿业有 限公司完成了1.4m-2.2m煤层国产装备智能化无人综采技术研究与应用项目,其截割头定位方法使用普通 光学摄像机,未使用其他示踪物进行定位,其可视化、截割头三维信息精确化低,不能很好的适应未来数 字化、信息化发展。
在精确定位截割头方法上采用过单目单示踪物方法,但是在实际实验过程中截割头定位不准确,其截 割头三维坐标时常发生坐标点漂移,若应用在实际生产中可能会造成重大事故。
发明内容
本发明申请提供一种双示踪物定位方法,用于掘进机截割头的定位,从而解决现有技术中存在的截割 头定位不准确的问题。
本发明申请采用以下技术方案:
一种掘进机截割头的定位***,其特征在于:包括恒温球形双示踪物、左相机、右相机、以及地面服 务站;所述左相机和右相机均为红外相机;恒温球形双示踪物位于掘进机前端,左相机和右相机设置于掘 进机上且位于所述双示踪物后方,用于拍摄所述双示踪物的图像;所述地面服务站与左相机和右相机进行 无线通信,用于处理左相机和右相机采集的所述双示踪物的图像,从而获得掘进机截割头的准确位置。
一种掘进机截割头的定位方法,包括以下步骤:
1)利用左右红外相机获取图像,对所述图像进行二值化处理后得到二值化图像,对所述二值化图像进行 轮廓提取处理;
2)、所述轮廓提取处理包括:根据设定的特征值分割掘进机场景中最佳的一块或多块区域,并将所述一 块或多块区域的边界曲线提取为弗雷曼链码并归一化;计算目标区域周长Z和面积S;根据周长Z和面积 S计算得出圆的最小半径和最大半径:
Figure RE-GDA0002537775080000011
Rmax=Z/2π;
3)、根据聚类思想和不共线三点确定圆心原理,采用Rmin,Rmax作为径向约束条件作预处理,利用最小 二乘法求取圆心;从所述链码中顺序选取不共线的三点,根据几何原理,不共线三点可唯一确定一个外接 圆,由此求得圆心坐标和半径。
4)、根据径向约束条件,选取合格的边界点;若不满足Rmin<R<Rmax,则顺次取不共线三点计算圆心 及半径R,直至满足约束条件的三点定为基准点;以三个基准点的前两个点为基础,继续从所述链码中选 取下一个点,并以新三点计算圆心坐标和半径R;若满足Rmin<R<Rmax,则保存该点,继续按顺序选区 下一点,不满足则从所述链码中删除该点;直到遍历所有链码,以去除无效或误差过大的边界点;
5)、使用这些合格的边界点,根据最小二乘法拟合获得圆心坐标;然后根据这些合格的边界点到圆心的 距离的方均根求得半径R。
6)、如果步骤2)中的上述根据设定的特征值分割掘进机场景中最佳的一块或多块区域为多块区域,则选 取半径R为最大的一个区域,作为场景中掘进机双示踪物的区域。
7)、根据步骤6)获得的双示踪物的区域后将双示踪物的二维信息转换成双示踪物的三维信息;根据左右 相机的成像公式获得掘进机上的第一示踪物的三维坐标和第二示踪物的三维坐标(第一示踪物和第二示踪 物为上述双示踪物);
8)、根据上述第一示踪物的三维坐标和第二示踪物的三维坐标,结合掘进机的机臂直径、截割头轮廓形 状以及质心参数,获得截割头中心的三维坐标,从而实现对截割头的定位。
本发明申请通过利用双示踪物进行定位,通过采集截割头在工作中的红外图像,对红外图像进行二值化处 理,并进行轮廓提取处理,以获得截割头的轮廓,然后利用根据双示踪物在图像中的坐标,结合掘进机和 截割头的参数获取截割头中心三维坐标,从而对截割头进行准确定位。
附图说明
图1截割部定位***整体示意图;
图2双目视觉中的三种坐标系;
图3双目视觉中相机几何关系;
图4掘进机工作时截割头的中心点三维坐标;
图5双示踪物定位流程示意图。
具体实施方式
如图1所示,提供一种掘进机截割头定位***,包括:恒温球形双示踪物1、识别双示踪物的红外摄 像机2、以及进行运算处理的地面服务站3三大部分。恒温球形双示踪物位于掘进机前端;红外摄像机包 括左摄像机和右摄像机,布置于掘进机上,位于双示踪物后方,用于拍摄双示踪物的图像。地面服务站与 红外摄像机进行无线或有线地通讯,用于处理红外摄像机采集的双目标图像,从而获得截割头的准确位置。 下面详细介绍如何通过双示踪物的图像获取截割头的准确位置。
计算机视觉(Computer Vision)是使用计算机及图像采集设备对生物视觉的一种仿生模拟,根据包含一 张或多张图像的图像组解析示踪物体的三维信息。三维信息包括示踪物体的三维几何坐标,示踪物体之间 的遮挡、相交关系,示踪物体的三维运动信息等。双目视觉是一种利用数字图像恢复示踪物体三维几何信 息的计算机视觉算法。
双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式,它是基于视差原理并利用成像 设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维几何信 息的方法。使用双目立体视觉进行定位的算法简称双目定位。
如图2所示,讨论双目视觉原理涉及到三个坐标系:世界坐标系、相机坐标系和图像坐标系。世界坐 标系中的点坐标记为P(xw,yw,zw),在相机坐标系用(xc,yc,zc)表示,图像坐标为相机所拍摄到的图像二 维坐标,一般分为两种:(u,v)是以像素为单位的图像坐标,(x,y)是以毫米为单位的图像坐标。建立以毫 米为单位的图像坐标是因为(u,v)坐标只表示了像素在数字图像中的行数和列数,并没有表示出该像素在 数字图像中的物理位置。
摄像机成像几何关系可由图1来表示。其中点O称为相机光心,xc轴与yc轴与图像的x轴与y轴平 行,zc轴为摄像机的光心线,与图像平面垂直。由点O与轴xc,yc,zc组成的直角坐标系即摄像机坐 标系。OO1为摄像机焦距,记为f,其值是由摄像机本身决定的。光心线与图像平面的交点称为图像坐标 系的内极点O1,其坐标习惯记为(u0,v0),一般位于图像的中心。由摄像机拍摄的离散数字图像的像素坐 标用(u,v)表示,其坐标原点选在图像的左上角。一般情况下,摄像机成像模型为小孔成像模型,其成像 变换矩阵是一个透视变换矩阵。
根据摄像机成像原理,空间一点P(xw,yw,zw)在图像中的像点P(u,v),是点P与摄像机光心O的连 线与摄像机屏幕的交点。若已知空间一点在左、右摄像机中的像点分别为P1(u1,v1)与P2(u2,v2),则原空 间点p位于空间射线O1P1与O2P2的延长线交点上,O1、O2分别为左右摄像机光心,对空间射线O1P1与 O2P2求交即可反求出P点的三维坐标如图3所示。因此,双目视觉可以看成是由图像坐标向三维世界坐 标影射的一个过程。
为了实现上述三维重构过程,必须解决如下两个问题:
(1)为了获取空间射线O1P1与O2P2的方程,首先须确定左、右摄像机各自的成像变换矩阵,求出成 像变换矩阵中的各元素,这一过程称为摄像机标定。
(2)像素点P1(u1,v1),与P2(u2,v2)要对应于空间同一个点P(xw,yw,zw),这样才能保证空间射线 与O1P1与O2P2相交。像素P1与P2称为一对立体点对,已知二者之一,求另外一点的过程称为立体匹配。
基于上述讨论,双目视觉的基本原理可描述为,首先对左、右摄像机标定,确定各自的成像变换矩阵, 然后在左摄像机图像中指定一个像素点P1(u1,v1),在右摄像机图像中进行立体匹配,找出与之匹配的像 素点P2(u2,v2),最后对空间射线O1P1与O2P2求交,确定P1与P2共同对应的原空间点的三维坐标。
接下来,介绍摄像机的坐标标定。摄像机又名相机,摄像机标定即相机标定,下面介绍相机标定原理:
在双目视觉原理的三个坐标系分别为:世界坐标系中的点坐标记为p(xw,yw,zw),相机坐标系用p(xc,yc,zc),图像坐标系为(x,y);三种坐标的关系如图2所示。
1、摄像机标定
摄像机标定是确定摄像机投影矩阵的一个数值过程。设内极点O1在(u,v)坐标系中的坐标点(u0,v0), 每一个像素在x轴与y轴方向上物理尺寸为dx、dy,则像素坐标与物理坐标(x,y)之间存在以下转换关 系:
x=dx(u-u0)
y=dy(v-v0)
将其写成矩阵形式:
Figure RE-GDA0002537775080000041
由于摄像机可能是从任意角度和位置对世界坐标系中的场景生成图像,因此摄像机坐标系和世界坐标 系之间的关系可以用一个旋转矩阵R和一个平移向量t来描述。点P的坐标P(xw,yw,zw)与P(xc,yc,zc) 之间的变换关系可以写成:
Figure RE-GDA0002537775080000042
其中R为3×3正交单位旋转矩阵,t为3×1平移向量,0=(0,0,0),M为4×4矩阵。
由图2可知,摄像机坐标系中任意一点P(xc,yc,zc)在图像平面上的成像位置p(x,y)为光心O与P点 连线OP与图像平面交点,根据透视公式可得:
x=fxc/zc
y=fyc/zc
其中,f为摄像机焦距,zc为点P在摄像机坐标系下的深度坐标。因此,物体的摄像机坐标与图像坐 标之间的透视投影关系可以表示为
Figure RE-GDA0002537775080000043
把(1)(2)式代入(3)式,得到世界坐标系中的点P(xw,yw,zw)在摄像机屏幕上对应的图像p(u,v)的计算 公式,为了不失一般性,可以引入扭曲参数γ,该参数用来表示像素坐标系两个坐标轴的扭曲:
Figure RE-GDA0002537775080000051
其中f/dx、f/dy、γ、u0、v0只与摄像机内部结构有关,称这些参数为摄像机的内部参数,M1称 为内参数矩阵,因于大多数标准相机而言γ参数可视为0,以下推导将其视为0考虑。M2取决于世界坐 标系的选取与摄像机放置方式,称为外参数矩阵。M=M1M2称为3×4成像变换矩阵,则:
Figure RE-GDA0002537775080000052
摄像机的标定就是确定M矩阵中3×4=12个分量的值,该过程可通过人机交互与最小二乘法完成,首 先选取一个标准测试物体(如标准柱面、标准倾斜平面),选定合适的世界坐标系,并在标准测试物体上 标出若干测试点以pi(i=1,2,3,…,n)确定各测试点的三维坐标P(xw,yw,zw),通过人机交互方法确定各 测试点在图像中的像素坐标(ui,vi),代入方程(5),得到关于矩阵中的12个分量的N个方程,利用最 小二乘法求解得到矩阵中各分量,从而完成摄像机标定。
2、目标中心点像素坐标的确定
根据图3,需要将目标在左右相机中所成像的中心点p1(u1,v1)与p2(u2,v2)构成立体点对,才能最终 映射到原始的目标点。在掘进机工作时,与岩层或煤层持续摩擦而产生大量热量的截割部温度远高于周围 物体,且成像面积也是红外相机可拍摄到的红外热源中最大的。因此我们采用阈值分割和面积筛选的方法 可以方便的得到掘进机截割部在红外相机中所成的像。
阈值分割的基本原理是:通过设定特征阈值,把像素分为若干类。常用的特征包括直接来自原始图像 的灰度或色彩特征,以及由原始灰度或者彩色值变换得到的特征。因红外相机拍摄的图像直接以灰度图像 呈现,所以可以根据灰度范围来分割原始图像以得到对应实景中掘进机截割部的图像部分。
设原始图像为I(x,y),将I(x,y)先腐蚀再膨胀,可以得到消除较小噪点的图像I0(x,y)。按照一定 准则在I0(x,y)中找到特征值T,将图像分割为两个部分,分割后的图像为:
Figure RE-GDA0002537775080000053
取b0=0,b1=255,直接将阈值分割出的图像二值化。因掘进机截割部在工作时温度远高于环境温 度以及其他可能出现在红外相机图像在的热源,因此特征值T的选取较为简单,根据实验情况,一般选取 230~255间的特征值可以很好的分割出图像中包含对应实景中掘进机截割部的一块或多块儿区域。
在确定图像中包含对应实景中掘进机截割部的一块或多块区域后,将各区域其边界曲线提取为Freeman方向链码(弗雷曼链码)并归一化。即在示踪物边界曲线上选取一点作为起点,记录起点的坐标, 然后按照顺时针的方向,以8连通的方式从编码为1的方向(45°)开始搜索下一个边界像素点。找到之 后记录方向编码,然后从找到的像素点开始重复以上步骤,得出一组链码。
设任一区域的归一化Freeman方向链码为A(a1,a2...,an),对应的像素坐标序列为B(b1,b2,...,bn), bi(ui,vi)为链码ai对应的像素坐标。
因链码的编码方式为使用0~7八个数字表示某像素和8邻域内各个像素的连线方向,其中偶数码为水 平或垂直方向链码,码长为1,奇数码为对角线方向链码,码长为
Figure RE-GDA0002537775080000061
所以目标区域周长Z可以表示为:
Figure RE-GDA0002537775080000062
其中n为链码序列中链码总数,ne为链码序列中偶数码个数。目标区域面积S可以 表示为边界链码对x轴的积分:
Figure RE-GDA0002537775080000063
其中vi=vi-1+ai2,v0是初始点的纵坐标,ai0和 ai2分别是链码第i环的长度在k=0(水平方向)和k=2(垂直方向)的分量。由于掘进机截割部对应的 图像区域的边界链码为封闭链码,v0可任意选取。
根据聚类思想并结合不共线三点确定圆心原理,采用
Figure RE-GDA0002537775080000064
Rmax=Z/(2π)作为径向约束 预处理的最小二乘法求取圆心。
从边界链码中顺序选取不共线的三点A(ua,va)、B(ub,vb)、C(uc,vc),根据几何原理,不共线三点 可唯一确定一个外接圆,设圆心为(u0,v0)则有:
(ua-u0)2+(va-v0)2=(ub-u0)2+(vb-v0)2
(ua-u0)2+(va-v0)2=(uc-u0)2+(vc-v0)2 (7)
化简得:
(ua-ub)u0+(va-vb)v0=(ua 2-ub 2)-(vb 2-va 2)2/2
(ua-uc)u0+(vc-va)v0=(ua 2-uc 2)-(vc 2-va 2)2/2 (8)
根据克莱姆法则求解得:
Figure RE-GDA0002537775080000065
Figure RE-GDA0002537775080000066
根据u0、v0可进一步求出半径R。如果求出的半径R不满足Rmin<R<Rmax,再顺次取不共线三点计 算圆心及半径R,直到满足Rmin<R<Rmax。将满足约束条件的三点定为基准三点,以基准三点的前两个 点为基础,继续从链码中选取下一个点,并以新三点计算圆心坐标和半径R,若半径R满足Rmin<R<Rmax, 保存该点,继续按顺序选区下一点,不满足则从链码中删除该点。循环执行此操作,直到遍历所有链码, 以去除无效或误差过大的边界点。
使用保留的边界链码表中对应的边界点坐标根据最小二乘法拟合圆心,设取出的边界点集合为 (ui,vi)(i=1,2,...,n),设与该组数据点的距离的平方和为最小的圆的方程为:
(u-u0)2+(v-v0)2=R (10)
设a1=∑ui,b1=∑vi,a2=∑ui 2,b2=∑vi 2,a3=∑ui 3,b3=∑vi 3,c11=∑ui*vi,c12=∑ui*vi 2,c21=∑ui 2*vi,并设f(u0,v0,R)=∑((ui-u0)2+(vi-v0)2-R2)2,令
Figure RE-GDA0002537775080000071
即:
-4∑((ui-u0)2+(vi-v0)2-R2)(ui-u0)=0
-4∑((ui-u0)2+(vi-v0)2-R2)(vi-v0)=0
-4∑((ui-u0)2+(vi-v0)2-R2)R=0 (11)
将a1,b1,a2,b2,a3,b3,c11,c12,c21,带入(11)式并整理得:
a1(u0 2+v0 2)-2a2u0-2c11v0+a3+c12-a1R2=0
b1(u0 2+v0 2)-2c11u0-2b2v0+c21+b3-b1R2=0
n(u0 2+v0 2)-2a1u0-2b1v0+a2+b2-nR2=0 (12)
解得:
Figure RE-GDA0002537775080000072
Figure RE-GDA0002537775080000073
Figure RE-GDA0002537775080000074
因工作中的掘进机截割部在红外相机拍摄范围内是面积最大的红外热源,因此通过对比每张图像中所 有目标区域的半径R,取半径R最大的一个区域便可确定图像中对应实景中掘进机截割部的区域。
3、目标点空间坐标的确定
由成像变换公式(5)可知,已知空间点的二维图像坐标(u,v),则式(5)成为关于xw、yw、zw以及zc的 一次代数方程组,对于两个摄像机,可以得到关于xw、yw、zw以及zc的两个极线方程,消去zc后可得极 线交点,即为空间点P(xw,yw,zw)。设左右两摄像机的成像公式分别为:
Figure RE-GDA0002537775080000081
Figure RE-GDA0002537775080000082
在两个成像变换公式中分别消去zc1和zc2,可以得到方程组:
Figure RE-GDA0002537775080000083
设:
Figure RE-GDA0002537775080000084
Figure RE-GDA0002537775080000085
Figure RE-GDA0002537775080000086
P=(DTD)-1DTH (15)
由(15)式可得P点的空间三维坐标xw、yw、zw
4、基于双示踪物的掘进机截割部定位
如图3所示,根据上文所述双目定位方法,可求出示踪物tp1、tp2的三维坐标obj1(xobj1,yobj1,zobj1)和 obj2(xobj2,,obj2,zobj2)。
Figure RE-GDA0002537775080000087
为双示踪物构成的与掘进臂平行的直线距离掘进臂中心直线的距离,
Figure RE-GDA0002537775080000091
为过tp2做与掘进臂中心相交的垂直直线的交点md2到截个部中心的距离。则向量
Figure RE-GDA0002537775080000092
其中O=(0,0,0),其单位向量
Figure RE-GDA0002537775080000093
Figure RE-GDA0002537775080000094
由勾股定理可得
Figure RE-GDA0002537775080000095
Figure RE-GDA0002537775080000096
由几何关系可得
Figure RE-GDA0002537775080000097
Figure RE-GDA0002537775080000098
由于θ会影响sin(θ-π/2)的值,为将其拓展到π>θ>0范围内,令
Figure RE-GDA0002537775080000099
则在π>θ>0范围内有:。
Figure RE-GDA00025377750800000910
由(16)式即可得到掘进机截割头的精确三维位置。
至此我们根据示踪物的定位信息精确地对掘进机截割部进行识别定位。
下面,具体描述一下基于双示踪物的掘进机截割头定位的方法步骤:
1、利用左右红外相机获取图像,对所述图像进行二值化处理后得到二值化图像,对所述二值化图像进行 轮廓提取处理;
2、所述轮廓提取处理包括:根据设定的特征值分割掘进机场景中最佳的一块或多块区域,并将所述 一块或多块区域的边界曲线提取为Freeman方向链码并归一化;计算目标区域周长Z和面积S;根据周长 Z和面积S计算得出圆的最小半径和最大半径:
Figure RE-GDA00025377750800000911
Rmax=Z/2π
3、根据聚类思想和不共线三点确定圆心原理,采用Rmin,Rmax作为径向约束条件作预处理,利用最 小二乘法求取圆心;从Freeman方向链码中顺序选取不共线的三点,根据几何原理,不共线三点可唯一确 定一个外接圆,由此求得圆心坐标和半径;
4、根据径向约束条件,选取合格的边界点;若不满足Rmin<R<Rmax,则顺次取不共线三点计算圆 心及半径R,直至满足约束条件的三点定为基准点;以三个基准点的前两个点为基础,继续从Freeman方 向链码中选取下一个点,并以新三点计算圆心坐标和半径R;若满足Rmin<R<Rmax,则保存该点,继续 按顺序选区下一点,不满足则从Freeman方向链码中删除该点;直到遍历所有链码,以去除无效或误差过 大的边界点;
5、使用这些合格的边界点,根据最小二乘法拟合获得圆心坐标;然后根据这些合格的边界点到圆心 的距离的方均根求得半径R;
6、如果步骤2)中的上述根据设定的特征值分割掘进机场景中最佳的一块或多块区域为多块区域,则 选取半径R为最大的一个区域,作为场景中掘进机双示踪物的区域。
7、根据步骤6)获得的双示踪物的区域后将双示踪物的二维信息转换成双示踪物的三维信息;根据左 右相机的成像公式获得掘进机上的第一示踪物的三维坐标和第二示踪物的三维坐标;
8、根据上述第一示踪物的三维坐标和第二示踪物的三维坐标,结合掘进机的机臂直径、截割头轮廓 形状以及质心参数,获得截割头中心的三维坐标,从而实现对截割头的定位。
上述方法步骤的流程示意图如图5所示。
需要注意的是,公布实施例的目的在于帮助进一步理解本发明,但是本领域的技术人员可以理解:在 不脱离本发明及所附权利要求的精神和范围内,各种替换和修改都是可能的。因此,本发明不应局限于实 施例所公开的内容,本发明要求保护的范围以权利要求书界定的范围为准。

Claims (2)

1.一种掘进机截割头的定位***,其特征在于:包括恒温球形双示踪物、左相机、右相机、以及地面服务站;所述左相机和右相机均为红外相机;恒温球形双示踪物位于掘进机前端,左相机和右相机设置于掘进机上且位于所述双示踪物后方,用于拍摄所述双示踪物的图像;所述地面服务站与左相机和右相机进行无线通信,用于处理左相机和右相机采集的所述双示踪物的图像,从而获得掘进机截割头的准确位置。
2.一种掘进机截割头的定位方法,其利用权利要求1所述的定位***对截割头进行定位,其特征在于:包括以下步骤:
1)利用左右红外相机获取图像,对所述图像进行二值化处理后得到二值化图像,对所述二值化图像进行轮廓提取处理;
2)、所述轮廓提取处理包括:根据设定的特征值分割掘进机场景中最佳的一块或多块区域,并将所述一块或多块区域的边界曲线提取为弗雷曼链码并归一化;计算目标区域周长Z和面积S;根据周长Z和面积S计算得出圆的最小半径和最大半径:
Figure FDA0002470110460000011
Rmax=Z/2π;
3)、根据聚类思想和不共线三点确定圆心原理,采用Rmin,Rmax作为径向约束条件作预处理,利用最小二乘法求取圆心;从所述链码中顺序选取不共线的三点,根据几何原理,不共线三点可唯一确定一个外接圆,由此求得圆心坐标和半径。
4)、根据径向约束条件,选取合格的边界点;若不满足Rmin<R<Rmax,则顺次取不共线三点计算圆心及半径R,直至满足约束条件的三点定为基准点;以三个基准点的前两个点为基础,继续从所述链码中选取下一个点,并以新三点计算圆心坐标和半径R;若满足Rmin<R<Rmax,则保存该点,继续按顺序选区下一点,不满足则从所述链码中删除该点;直到遍历所有链码,以去除无效或误差过大的边界点;
5)、使用这些合格的边界点,根据最小二乘法拟合获得圆心坐标;然后根据这些合格的边界点到圆心的距离的方均根求得半径R。
6)、如果步骤2)中的上述根据设定的特征值分割掘进机场景中最佳的一块或多块区域为多块区域,则选取半径R为最大的一个区域,作为场景中掘进机双示踪物的区域。
7)、根据步骤6)获得的双示踪物的区域后将双示踪物的二维信息转换成双示踪物的三维信息;根据左右相机的成像公式获得掘进机上的第一示踪物的三维坐标和第二示踪物的三维坐标(第一示踪物和第二示踪物为上述双示踪物);
8)、根据上述第一示踪物的三维坐标和第二示踪物的三维坐标,结合掘进机的机臂直径、截割头轮廓形状以及质心参数,获得截割头中心的三维坐标,从而实现对截割头的定位。
CN202010345702.9A 2020-04-27 2020-04-27 一种基于双示踪物的掘进机截割头定位方法 Active CN111553948B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010345702.9A CN111553948B (zh) 2020-04-27 2020-04-27 一种基于双示踪物的掘进机截割头定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010345702.9A CN111553948B (zh) 2020-04-27 2020-04-27 一种基于双示踪物的掘进机截割头定位方法

Publications (2)

Publication Number Publication Date
CN111553948A true CN111553948A (zh) 2020-08-18
CN111553948B CN111553948B (zh) 2023-01-17

Family

ID=72007690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010345702.9A Active CN111553948B (zh) 2020-04-27 2020-04-27 一种基于双示踪物的掘进机截割头定位方法

Country Status (1)

Country Link
CN (1) CN111553948B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112161567A (zh) * 2020-09-28 2021-01-01 北京天地玛珂电液控制***有限公司 一种综采工作面的定位方法及***
CN113222907A (zh) * 2021-04-23 2021-08-06 杭州申昊科技股份有限公司 一种基于弯道铁轨的检测机器人
CN113701633A (zh) * 2021-09-06 2021-11-26 安徽深核信息技术有限公司 一种掘进机位姿监测设备
CN115962783A (zh) * 2023-03-16 2023-04-14 太原理工大学 掘进机截割头的定位方法及掘进机

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109555521A (zh) * 2019-01-29 2019-04-02 冀中能源峰峰集团有限公司 一种掘进机截割头复合定位方法
CN109767477A (zh) * 2019-01-14 2019-05-17 冀中能源峰峰集团有限公司 一种精确定位***及方法
CN110532995A (zh) * 2019-09-04 2019-12-03 精英数智科技股份有限公司 基于计算机视觉的巷道掘进监测方法、装置及***
CN110568448A (zh) * 2019-07-29 2019-12-13 浙江大学 一种硬岩隧道掘进机隧道底部积渣识别装置及其方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767477A (zh) * 2019-01-14 2019-05-17 冀中能源峰峰集团有限公司 一种精确定位***及方法
CN109555521A (zh) * 2019-01-29 2019-04-02 冀中能源峰峰集团有限公司 一种掘进机截割头复合定位方法
CN110568448A (zh) * 2019-07-29 2019-12-13 浙江大学 一种硬岩隧道掘进机隧道底部积渣识别装置及其方法
CN110532995A (zh) * 2019-09-04 2019-12-03 精英数智科技股份有限公司 基于计算机视觉的巷道掘进监测方法、装置及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WENJUAN YANG等: "Infrared LEDs-Based Pose Estimation With Underground Camera Model for Boom-Type Roadheader in Coal Mining", 《ACCESS》 *
张梦奇: "截割头齿座参数化定位技术研究", 《煤炭科学技术》 *
杜雨馨: "矿井悬臂式掘进机位姿感知及定位方法研究", 《中国优秀博硕士学位论文全文数据库(博士) 工程科技Ⅰ辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112161567A (zh) * 2020-09-28 2021-01-01 北京天地玛珂电液控制***有限公司 一种综采工作面的定位方法及***
CN112161567B (zh) * 2020-09-28 2022-05-03 北京天玛智控科技股份有限公司 一种综采工作面的定位方法及***
CN113222907A (zh) * 2021-04-23 2021-08-06 杭州申昊科技股份有限公司 一种基于弯道铁轨的检测机器人
CN113701633A (zh) * 2021-09-06 2021-11-26 安徽深核信息技术有限公司 一种掘进机位姿监测设备
CN115962783A (zh) * 2023-03-16 2023-04-14 太原理工大学 掘进机截割头的定位方法及掘进机

Also Published As

Publication number Publication date
CN111553948B (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
CN111553948B (zh) 一种基于双示踪物的掘进机截割头定位方法
CN111524195B (zh) 一种掘进机截割头定位中的相机标定方法
CN111473739B (zh) 一种基于视频监控的隧道塌方区围岩变形实时监测方法
CN107945267B (zh) 一种用于人脸三维模型纹理融合的方法和设备
CN109598714B (zh) 一种基于图像三维重建及网格曲面的隧道超欠挖检测方法
CN104330074B (zh) 一种智能测绘平台及其实现方法
CN110176032B (zh) 一种三维重建方法及装置
CN106650701B (zh) 基于双目视觉的室内阴影环境下障碍物检测方法及装置
CN104463969B (zh) 一种对航空倾斜拍摄的地理照片的模型的建立方法
JP2004213332A (ja) キャリブレーション装置、キャリブレーション方法、キャリブレーション用プログラム、及び、キャリブレーション治具
CN105931234A (zh) 一种地面三维激光扫描点云与影像融合及配准的方法
CN113052903B (zh) 一种用于移动机器人的视觉与雷达融合定位方法
CN109685855B (zh) 一种道路云监控平台下的摄像机标定优化方法
CN110044374B (zh) 一种基于图像特征的单目视觉测量里程的方法及里程计
CN108227929A (zh) 基于bim技术的增强现实放样***及实现方法
CN110223351B (zh) 一种基于卷积神经网络的深度相机定位方法
Frohlich et al. Absolute pose estimation of central cameras using planar regions
CN112037318A (zh) 三维岩体结构模型的构建方法、***及模型的应用
Erickson et al. The accuracy of photo-based three-dimensional scanning for collision reconstruction using 123D catch
CA3233222A1 (en) Method, apparatus and device for photogrammetry, and storage medium
Su et al. A novel camera calibration method based on multilevel-edge-fitting ellipse-shaped analytical model
TWM565860U (zh) 智慧工程資訊系統
CN111161334A (zh) 一种基于深度学习的语义地图构建方法
CN104166995B (zh) 一种基于马步测度的Harris‑SIFT双目视觉定位方法
CN116563377A (zh) 一种基于半球投影模型的火星岩石测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant