CN116524017B - 一种用于矿山井下检测识别定位*** - Google Patents

一种用于矿山井下检测识别定位*** Download PDF

Info

Publication number
CN116524017B
CN116524017B CN202310235978.5A CN202310235978A CN116524017B CN 116524017 B CN116524017 B CN 116524017B CN 202310235978 A CN202310235978 A CN 202310235978A CN 116524017 B CN116524017 B CN 116524017B
Authority
CN
China
Prior art keywords
image
gradient
identification
target pixel
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310235978.5A
Other languages
English (en)
Other versions
CN116524017A (zh
Inventor
丁明宏
丁明福
李杨
刘江威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mingchuang Huiyuan Technology Group Co ltd
Original Assignee
Mingchuang Huiyuan Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mingchuang Huiyuan Technology Group Co ltd filed Critical Mingchuang Huiyuan Technology Group Co ltd
Priority to CN202310235978.5A priority Critical patent/CN116524017B/zh
Publication of CN116524017A publication Critical patent/CN116524017A/zh
Application granted granted Critical
Publication of CN116524017B publication Critical patent/CN116524017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种检测识别定位***，属于检测识别定位技术领域，具体涉及一种用于矿山井下检测识别定位***，本发明包括：图像采集模块，用于目标物体的图像信息采集，并输出图像数据信息；图像处理模块，用于对所述图像数据信息进行图像预处理；目标检测识别模块，对经过预处理的图像进行目标检测识别，检测出测距需要的目标物；目标测距定位模块，对图像目标检测得到的目标物进行测距，并进行精准定位，本发明通过图像采集，并进行图像的快速处理和检测识别，并根据采集信息和图像信息结合，从而可以快速定位当前位置，从而保证于矿山井下作业的安全性。

Description

一种用于矿山井下检测识别定位***
技术领域
本发明公开了一种检测识别定位***，属于检测识别定位技术领域，具体涉及一种用于矿山井下检测识别定位***。
背景技术
井下巷道纵横交错，作业人员、车辆、设备分布面广且复杂，流动性大，地面与井下人员的实时信息交互比较困难，目前绝大数的矿山井下定位***都只停留在区域定位的层面上，存在很大误差，无法实现精准管控及智能化应用；且一旦出现事故，很难精准确定位置，为事故救援带来很大难度。
随着视觉识别技术的发展，对于矿山井下危险识别开始逐步采用实时图象识别技术，具体包括，利用图象识别技术检测采掘面中的设备、人员等要素，利用图象识别技术检测采掘面中的异常区域，识别出裂缝、坍塌等危险因素，现有技术中公开了相关技术：
现有技术1（CN110264532A）公开了一种基于智能视频识别技术的煤矿井下掘进工作面空顶作业识别方法；具体公开了将无线摄像机置于采煤机斜后方墙壁上，通过无线摄像机实时采集前方工作视频，服务器通过软件算法对无线摄像机采集的支护区域图像进行自我学习，找到空顶区域的危险边界。
现有技术2（CN101739716B）公开了一种工程岩体三维空间结构建模与关键块识别方法；具体公开了本发明中同时实现了三种块体搜索与显示的方法，即：确定性关键块体搜索与显示、非确定性结构面和随机块体的空间模拟、确定性和非确定性结构面模型显示与分析，同时，通过对现场数据的对比以及现场观测数据的反馈，可以进一步预测工程岩体破裂与失稳的状态。
现有技术3（CN102609986B）公开了一种数字矿山中矿体建模***及其建模和检测方法；具体公开了首先获取多源矿体数据，并对获取的多源矿体数据进行耦合处理；然后根据经过耦合处理的多源矿体数据建立适用于矿山规划和建设的多种矿体模型；同时对多源矿体数据的耦合处理结果及多种矿体模型的建立过程和结果进行可视化显示和检测；之后根据所建立的多种矿体模型实现多维空间数据的分析与应用。
但是，现有技术中依然存在以下技术问题：
1、以现有技术1为例，现有技术中的矿山识别需要依赖井下无线传输技术，由于井下巷道狭窄，且转角较多，传输效率较低且容易出现信号丢失，造成控制精度不足；
2、以现有技术1为例，现有技术中的矿山识别需要将原始图像序列的每一帧图像与背景图像作差，需要原始背景图像，若原始背景图像中已经存在人员、装备、裂缝、坍塌区等要素，则会影响后续识别，现有技术无法以来实时图像进行前景和背景划分以及图像要素识别，并且，现有技术无法对图像进行分区识别，对于井下作业面来说，不同的工作攻角会涉及不同的地层信息因此需要考虑图像的最大梯度方向和各方向的图像特征，现有技术中缺乏相关记载；
3、以现有技术2、3为例，对井下、矿山作业面的三维建模，需要耗费大量的算力，且随着开采的推进，建模区域是实时变化的，建模的时间有效性较低，难以做到实时监测；并且，三维建模是以激光摄像机、掘进机摄像头等设备为建模基准的，当设备移动时，建模基准原点会随之移动，无法将图像要素在世界坐标上表达，造成管理监控人员无法从后台准确地获知图像要素的精准坐标，一旦发生事故，对于救援的定位，会造成极大的困难。
发明内容
发明目的：提供一种用于矿山井下检测识别定位***，解决上述提到的问题。
一种用于矿山井下检测识别定位***，包括：
图像采集模块，用于目标物体的图像信息采集，并输出图像数据信息；
图像处理模块，用于对所述图像数据信息进行图像预处理；
目标检测识别模块，对经过预处理的图像进行目标检测识别，检测出测距需要的目标物；
目标测距定位模块，对图像目标检测得到的目标物进行测距，并进行精准定位；
对所述图像数据信息进行图像预处理具体包括以下步骤：
采用高斯滤波器和卷积器对图像数据信息进行平滑化处理，得到平滑图像；计算图像每个目标像素点的RGB梯度强度和方向；
消除边缘检测过程中所伴随的散杂响应，确定实际存在和被隐藏起来的边缘；
所述计算图像每个目标像素点的RGB梯度强度和方向具体包括：求取目标像素点水平方向的RGB均值和垂直方向的RGB均值/>，按照下述公式计算得到目标像素点的最大梯度方向/>和目标像素点的梯度强度/>：
式中，代表梯度强度；/>代表/>方向的梯度幅值；/>代表/>方向梯度的幅值，/>代表目标像素点的最大梯度方向。
进一步的，通过所述消除边缘检测所伴随的散杂响应，将局部最大值外所有的梯度值抑制到零，所述确定实际存在和被隐藏起来的边缘具体包括：
计算沿正负梯度方向上的两个插值点像素P1和P2的插值梯度强度，以像素点的梯度方向为零度轴，顺时针方向为正角度，将图像画面划分为8个扇区，扇区编号分别为N、NE、E、SE、S、SW、W、NW；每个扇区覆盖45°，对各扇区赋予特征值P x ，x为扇区编号；
其中，为N扇区，特征值P N =1；/>为NE扇区，特征值P NE =2；为E扇区，特征值P E =3；/>为SE扇区，特征值P SE =4；/>为NW扇区，特征值P NW =-1；/>为W扇区，特征值P W =-2；/>为SW扇区，特征值P SW =-3；/>为S扇区，特征值P S =-4；
计算两个插值点像素P1和P2的插值梯度强度：
其中，表示两个插值点像素P1和P2的插值梯度强度；/>和/>分别表示两个插值点像素P1和P2自身的梯度强度；P x|p1 和P x|p2 分别表示两个插值点像素P1和P2的扇区特征值；/>表示两个插值点像素P1和P2连线与目标像素点的最大梯度方向之间的夹角；
将目标像素的梯度强度，与沿正负梯度方向上的两个插值点像素P1和P2的插值梯度强度进行对比；
若目标像素的梯度强度大于两个插值点像素P1和P2的插值梯度强度，则确定该目标像素点为边缘点；
若目标像素的梯度强度小于等于两个插值点像素P1和P2的插值梯度强度，则确定该目标像素点不是边缘点。
进一步的，所述目标检测识别模块将处理后的图像通过基端模块和顶端模块进行图像的特征提取和识别分类；
所述基端模块用于提取不同层次的纹理图像特征，由卷积层、池化层和激活层组成，其中卷积层包含13个深度可分离卷积模块，将图像输入在数据集上预先训练好的模型，然后去掉最后所有的FC层和输出层，只保留卷积模块用于提取纹理图像特征；所述顶端模块用于对基端模块提取的特征进行降维，并通过FC层和输出层预测样本类别。
进一步的，所述基端模块和顶端模块的具体步骤如下：
将输入图像的红色、绿色、蓝色通道的数据分别减去数据集对应3个通道的均值，同时将输入图像的分辨率调整为统一；
对训练样本进行数据增强，对每个原始样本在多个尺度和角度进行随机缩放和旋转，利用生成的样本扩充训练样本数量；
设置模型的超参数值，载入本文设计的模型，并设置该模型的优化器、代价函数、批尺寸、初始学习率和最大迭代次数作为超参数值；
对顶端模块进行初步训练，使顶端模块获得初步训练的参数值；
对整个模型进行微调训练，初步指定模型的冻结层数，然后对整个模型进行训练，调节可训练层的参数值，当代价函数值不再发生明显变化时，将学习率降为原来的一半继续进行下一轮训练，最后保存代价函数值最小的模型，将其作为当前冻结层数下的优选模型；对当前冻结层数下的优选模型进行测试，在测试数据集上运行保存的当前优选模型，获得在测试数据集上的识别精度；获得最佳的模型逐步调节模型中的冻结层数。
进一步的，所述目标测距定位模块确定图像的当前坐标，并根据图像坐标进行确定图像内容的定位；按照下述公式分割图像的前景和背景：
其中，为分割前的图像函数，/>为分割后的图像函数，为像素点坐标，T为所有图像的RGB均值。
进一步的，分割图像的前景和背景后，利用内部参数识别方法对杂色进行消除处理，对四个方向的四个角度进行定位，将不同角度进行连接处理，连接后的中心位置为目标位置，将世界坐标系的点投影到图像平面，得到目标像素点的世界坐标q：
式中，q为目标像素点的世界坐标，为相机点的世界坐标，/>为目标像素点在相机坐标系内的坐标矩阵，fx和fy分别为目标像素点在相机坐标系的x轴坐标值和y轴坐标值，cx和cy分别为目标像素点的修正坐标值。
有益效果：
本发明公开了一种检测识别定位***，属于检测识别定位技术领域，具体涉及一种用于矿山井下检测识别定位***，本发明包括：图像采集模块，用于目标物体的图像信息采集，并输出图像数据信息；图像处理模块，用于对所述图像数据信息进行图像预处理；目标检测识别模块，对经过预处理的图像进行目标检测识别，检测出测距需要的目标物；目标测距定位模块，对图像目标检测得到的目标物进行测距，并进行精准定位，本发明通过图像采集，并进行图像的快速处理和检测识别，并根据采集信息和图像信息结合，从而可以快速定位当前位置，从而保证于矿山井下作业的安全性。
具体来说：
1、本发明采用高斯滤波器和卷积器对图像数据信息进行平滑化处理，得到平滑图像，并计算图像每个目标像素点的RGB梯度强度和方向，然后消除散杂响应。这一技术手段特别适用于光线阴暗、灰尘较多的井下环境，因为灰尘的光散射会在图像设备上造成极大的散杂相应，本发明通过技术梯度强度和最大梯度方向角，可以准确地判断出图像要素的真实像素点趋势，对于图像要素边缘的确定，具有良好的效果。
2、本发明对图像进行了分区，对各分区赋予自有的特征值，并设置沿最大梯度方向的插值像素点，利用特征值对两个插值像素点进行联合计算，得到像素梯度的参考值，如果目标像素的梯度强度大于该参考值，可以确定为边缘要素的像素点，具体来说，井下设备、人员通常具有与作业面色差较大的警示色，边缘像素点两侧通常具有极大的像素梯度强度，例如黄色警示背心和黑色采矿作业面的跳色，本发明利用对比算法，高效准确地确定边缘像素点，对于确定井下的图像要素，具有明显优势。
3、本发明利用RGB均值来定位前景，如果像素点的RGB小于均值，可以确定其颜色低于黑灰色的采掘作业面，将其赋值为1，而其他图像则赋值为0，可以高效地提取前景图像，完成要素识别。
4、本发明通过坐标算法，将图像要素在摄像设备中的坐标，转换为在世界坐标系中的坐标，可以快速知晓图像要素的准确位置，特别是对于非一线工作的监控、管理人员，可以随时知晓包括人员、装备、采掘面裂缝、坍塌区的世界坐标，一旦发生坍塌、冒井等事故，可以快速进行定位救援，相对于现有技术中的先将救援井大概打到人员附近再进行横向搜寻的技术，本发明在知晓人员实时世界坐标的情况下，可以从地面直接进行精准掘进，将救援井直接打到被困人员身边，快速完成救援。
附图说明
图1是本发明的***示意图。
图2是本发明的像素梯度图。
图3是本发明的工作流程图。
图4是本发明的图像识别示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种用于矿山井下检测识别定位***，包括：
图像采集模块，用于目标物体的图像信息采集，并输出图像数据信息；
图像处理模块，用于对所述图像数据信息进行图像预处理；
目标检测识别模块，对经过预处理的图像进行目标检测识别，检测出测距需要的目标物；
目标测距定位模块，对图像目标检测得到的目标物进行测距，并进行精准定位；
对所述图像数据信息进行图像预处理具体包括以下步骤：
采用高斯滤波器和卷积器对图像数据信息进行平滑化处理，得到平滑图像；计算图像每个目标像素点的RGB梯度强度和方向；
消除边缘检测过程中所伴随的散杂响应，确定实际存在和被隐藏起来的边缘；
所述计算图像每个目标像素点的RGB梯度强度和方向具体包括：求取目标像素点水平方向的RGB均值和垂直方向的RGB均值/>，按照下述公式计算得到目标像素点的最大梯度方向/>和目标像素点的梯度强度/>：
式中，代表梯度强度；/>代表/>方向的梯度幅值；/>代表/>方向梯度的幅值，/>代表目标像素点的最大梯度方向。
进一步的，通过所述消除边缘检测所伴随的散杂响应，将局部最大值外所有的梯度值抑制到零，所述确定实际存在和被隐藏起来的边缘具体包括：
计算沿正负梯度方向上的两个插值点像素P1和P2的插值梯度强度，以像素点的梯度方向为零度轴，顺时针方向为正角度，将图像画面划分为8个扇区，扇区编号分别为N、NE、E、SE、S、SW、W、NW；每个扇区覆盖45°，对各扇区赋予特征值P x ，x为扇区编号；
其中，为N扇区，特征值P N =1；/>为NE扇区，特征值P NE =2；为E扇区，特征值P E =3；/>为SE扇区，特征值P SE =4；/>为NW扇区，特征值P NW =-1；/>为W扇区，特征值P W =-2；/>为SW扇区，特征值P SW =-3；/>为S扇区，特征值P S =-4；
计算两个插值点像素P1和P2的插值梯度强度：
其中，表示两个插值点像素P1和P2的插值梯度强度；/>和/>分别表示两个插值点像素P1和P2自身的梯度强度；P x|p1 和P x|p2 分别表示两个插值点像素P1和P2的扇区特征值；/>表示两个插值点像素P1和P2连线与目标像素点的最大梯度方向之间的夹角；
将目标像素的梯度强度，与沿正负梯度方向上的两个插值点像素P1和P2的插值梯度强度进行对比；
若目标像素的梯度强度大于两个插值点像素P1和P2的插值梯度强度，则确定该目标像素点为边缘点；
若目标像素的梯度强度小于等于两个插值点像素P1和P2的插值梯度强度，则确定该目标像素点不是边缘点。
进一步的，所述目标检测识别模块将处理后的图像通过基端模块和顶端模块进行图像的特征提取和识别分类；
所述基端模块用于提取不同层次的纹理图像特征，由卷积层、池化层和激活层组成，其中卷积层包含13个深度可分离卷积模块，将图像输入在数据集上预先训练好的模型，然后去掉最后所有的FC层和输出层，只保留卷积模块用于提取纹理图像特征；所述顶端模块用于对基端模块提取的特征进行降维，并通过FC层和输出层预测样本类别。
进一步的，所述基端模块和顶端模块的具体步骤如下：
将输入图像的红色、绿色、蓝色通道的数据分别减去数据集对应3个通道的均值，同时将输入图像的分辨率调整为统一；
对训练样本进行数据增强，对每个原始样本在多个尺度和角度进行随机缩放和旋转，利用生成的样本扩充训练样本数量；
设置模型的超参数值，载入本文设计的模型，并设置该模型的优化器、代价函数、批尺寸、初始学习率和最大迭代次数作为超参数值；
对顶端模块进行初步训练，使顶端模块获得初步训练的参数值；
对整个模型进行微调训练，初步指定模型的冻结层数，然后对整个模型进行训练，调节可训练层的参数值，当代价函数值不再发生明显变化时，将学习率降为原来的一半继续进行下一轮训练，最后保存代价函数值最小的模型，将其作为当前冻结层数下的优选模型；对当前冻结层数下的优选模型进行测试，在测试数据集上运行保存的当前优选模型，获得在测试数据集上的识别精度；获得最佳的模型逐步调节模型中的冻结层数。
进一步的，所述目标测距定位模块确定图像的当前坐标，并根据图像坐标进行确定图像内容的定位；按照下述公式分割图像的前景和背景：
其中，为分割前的图像函数，/>为分割后的图像函数，为像素点坐标，T为所有图像的RGB均值。
进一步的，分割图像的前景和背景后，利用内部参数识别方法对杂色进行消除处理，对四个方向的四个角度进行定位，将不同角度进行连接处理，连接后的中心位置为目标位置，将世界坐标系的点投影到图像平面，得到目标像素点的世界坐标q：
式中，q为目标像素点的世界坐标，为相机点的世界坐标，/>为目标像素点在相机坐标系内的坐标矩阵，fx和fy分别为目标像素点在相机坐标系的x轴坐标值和y轴坐标值，cx和cy分别为目标像素点的修正坐标值。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (5)

1.一种用于矿山井下检测识别定位***，其特征在于，包括：
图像采集模块，用于目标物体的图像信息采集，并输出图像数据信息；
图像处理模块，用于对所述图像数据信息进行图像预处理；
目标检测识别模块，对经过预处理的图像进行目标检测识别，检测出测距需要的目标物；
目标测距定位模块，对图像目标检测得到的目标物进行测距，并进行精准定位；
对所述图像数据信息进行图像预处理具体包括以下步骤：
采用高斯滤波器和卷积器对图像数据信息进行平滑化处理，得到平滑图像；计算图像每个目标像素点的RGB梯度强度和方向；
消除边缘检测过程中所伴随的散杂响应，将局部最大值外所有的梯度值抑制到零，确定实际存在和被隐藏起来的边缘；具体包括：
计算沿正负梯度方向上的两个插值点像素P1和P2的插值梯度强度，以像素点的梯度方向为零度轴，顺时针方向为正角度，将图像画面划分为8个扇区，扇区编号分别为N、NE、E、SE、S、SW、W、NW；每个扇区覆盖45°，对各扇区赋予特征值P x ，x为扇区编号；
其中，为N扇区，特征值P N =1；/>为NE扇区，特征值P NE =2；为E扇区，特征值P E =3；/>为SE扇区，特征值P SE =4；/>为NW扇区，特征值P NW =-1；/>为W扇区，特征值P W =-2；/>为SW扇区，特征值P SW =-3；/>为S扇区，特征值P S =-4；
计算两个插值点像素P1和P2的插值梯度强度：其中，/>表示两个插值点像素P1和P2的插值梯度强度；/>和/>分别表示两个插值点像素P1和P2自身的梯度强度；P x|p1 和P x|p2 分别表示两个插值点像素P1和P2的扇区特征值；/>表示两个插值点像素P1和P2连线与目标像素点的最大梯度方向之间的夹角；
将目标像素的梯度强度，与沿正负梯度方向上的两个插值点像素P1和P2的插值梯度强度进行对比；
若目标像素的梯度强度大于两个插值点像素P1和P2的插值梯度强度，则确定该目标像素点为边缘点；
若目标像素的梯度强度小于等于两个插值点像素P1和P2的插值梯度强度，则确定该目标像素点不是边缘点；
所述计算图像每个目标像素点的RGB梯度强度和方向具体包括：求取目标像素点水平方向的RGB均值和垂直方向的RGB均值/>，按照下述公式计算得到目标像素点的最大梯度方向/>和目标像素点的梯度强度/>：/>；/>式中，/>代表梯度强度；/>代表/>方向的梯度幅值；/>代表/>方向梯度的幅值，/>代表目标像素点的最大梯度方向。
2.根据权利要求1所述的一种用于矿山井下检测识别定位***，其特征在于，所述目标检测识别模块将处理后的图像通过基端模块和顶端模块进行图像的特征提取和识别分类；
所述基端模块用于提取不同层次的纹理图像特征，由卷积层、池化层和激活层组成，其中卷积层包含13个深度可分离卷积模块，将图像输入在数据集上预先训练好的模型，然后去掉最后所有的FC层和输出层，只保留卷积模块用于提取纹理图像特征；所述顶端模块用于对基端模块提取的特征进行降维，并通过FC层和输出层预测样本类别。
3.根据权利要求2所述的一种用于矿山井下检测识别定位***，其特征在于，所述基端模块和顶端模块的具体步骤如下：
将输入图像的红色、绿色、蓝色通道的数据分别减去数据集对应3个通道的均值，同时将输入图像的分辨率调整为统一；
对训练样本进行数据增强，对每个原始样本在多个尺度和角度进行随机缩放和旋转，利用生成的样本扩充训练样本数量；
设置模型的超参数值，载入设计的模型，并设置该模型的优化器、代价函数、批尺寸、初始学习率和最大迭代次数作为超参数值；
对顶端模块进行初步训练，使顶端模块获得初步训练的参数值；
对整个模型进行微调训练，初步指定模型的冻结层数，然后对整个模型进行训练，调节可训练层的参数值，当代价函数值不再发生明显变化时，将学习率降为原来的一半继续进行下一轮训练，最后保存代价函数值最小的模型，将其作为当前冻结层数下的优选模型；对当前冻结层数下的优选模型进行测试，在测试数据集上运行保存的当前优选模型，获得在测试数据集上的识别精度；获得最佳的模型逐步调节模型中的冻结层数。
4.根据权利要求3所述的一种用于矿山井下检测识别定位***，其特征在于，所述目标测距定位模块确定图像的当前坐标，并根据图像坐标进行确定图像内容的定位；按照下述公式分割图像的前景和背景：其中，为分割前的图像函数，/>为分割后的图像函数，/>为像素点坐标，T为所有图像的RGB均值。
5.根据权利要求4所述的一种用于矿山井下检测识别定位***，其特征在于，分割图像的前景和背景后，利用内部参数识别方法对杂色进行消除处理，对四个方向的四个角度进行定位，将不同角度进行连接处理，连接后的中心位置为目标位置，将世界坐标系的点投影到图像平面，得到目标像素点的世界坐标q：/>式中，q为目标像素点的世界坐标，/>为相机点的世界坐标，/>为目标像素点在相机坐标系内的坐标矩阵，fx和fy分别为目标像素点在相机坐标系的x轴坐标值和y轴坐标值，cx和cy分别为目标像素点的修正坐标值。
CN202310235978.5A 2023-03-13 2023-03-13 一种用于矿山井下检测识别定位*** Active CN116524017B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310235978.5A CN116524017B (zh) 2023-03-13 2023-03-13 一种用于矿山井下检测识别定位***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310235978.5A CN116524017B (zh) 2023-03-13 2023-03-13 一种用于矿山井下检测识别定位***

Publications (2)

Publication Number Publication Date
CN116524017A CN116524017A (zh) 2023-08-01
CN116524017B true CN116524017B (zh) 2023-09-19

Family

ID=87389312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310235978.5A Active CN116524017B (zh) 2023-03-13 2023-03-13 一种用于矿山井下检测识别定位***

Country Status (1)

Country Link
CN (1) CN116524017B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117097988B (zh) * 2023-10-18 2024-01-19 煤炭科学研究总院有限公司 煤矿综采工作面复杂环境图像采集***及方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6621924B1 (en) * 1999-02-26 2003-09-16 Sony Corporation Contour extraction apparatus, a method thereof, and a program recording medium
EP2414990A1 (de) * 2009-03-30 2012-02-08 Conti Temic Microelectronic GmbH Verfahren und vorrichtung zur fahrspurerkennung
CN103673872A (zh) * 2012-09-10 2014-03-26 中国科学院空间科学与应用研究中心 液滴体积的测量方法和测量***
CN109191480A (zh) * 2018-09-12 2019-01-11 国网江苏省电力有限公司泰州供电分公司 一种在线监测配电图像结构边缘检测方法
CN109685066A (zh) * 2018-12-24 2019-04-26 中国矿业大学(北京) 一种基于深度卷积神经网络的矿井目标检测与识别方法
WO2020103427A1 (zh) * 2018-11-23 2020-05-28 华为技术有限公司 对象检测方法、相关设备及计算机存储介质
CN111473767A (zh) * 2020-04-16 2020-07-31 福建汇川物联网技术科技股份有限公司 一种远程测距方法及装置
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
WO2020237693A1 (zh) * 2019-05-31 2020-12-03 华南理工大学 一种水面无人装备多源感知方法及***
CN113192126A (zh) * 2021-04-19 2021-07-30 中国矿业大学(北京) 一种基于图像圆形物体识别的测距定位方法
CN113326811A (zh) * 2021-07-01 2021-08-31 南京兆通智能科技有限公司 一种基于目标检测算法的边缘端在位监测***
WO2022241874A1 (zh) * 2021-05-18 2022-11-24 烟台艾睿光电科技有限公司 一种红外热成像单目视觉测距方法及相关组件
CN115588040A (zh) * 2022-09-09 2023-01-10 四川省寰宇众恒科技有限公司 一种基于全视图成像点坐标统计定位***及方法
CN115620177A (zh) * 2022-10-12 2023-01-17 中航西安飞机工业集团股份有限公司 一种基于深度学习的飞机识别与检测***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536715A (en) * 2015-03-27 2016-09-28 Mas Innovation (Private) Ltd Image processing method
CN109389038A (zh) * 2018-09-04 2019-02-26 阿里巴巴集团控股有限公司 一种信息的检测方法、装置及设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6621924B1 (en) * 1999-02-26 2003-09-16 Sony Corporation Contour extraction apparatus, a method thereof, and a program recording medium
EP2414990A1 (de) * 2009-03-30 2012-02-08 Conti Temic Microelectronic GmbH Verfahren und vorrichtung zur fahrspurerkennung
CN103673872A (zh) * 2012-09-10 2014-03-26 中国科学院空间科学与应用研究中心 液滴体积的测量方法和测量***
CN109191480A (zh) * 2018-09-12 2019-01-11 国网江苏省电力有限公司泰州供电分公司 一种在线监测配电图像结构边缘检测方法
WO2020103427A1 (zh) * 2018-11-23 2020-05-28 华为技术有限公司 对象检测方法、相关设备及计算机存储介质
CN109685066A (zh) * 2018-12-24 2019-04-26 中国矿业大学(北京) 一种基于深度卷积神经网络的矿井目标检测与识别方法
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
WO2020237693A1 (zh) * 2019-05-31 2020-12-03 华南理工大学 一种水面无人装备多源感知方法及***
CN111473767A (zh) * 2020-04-16 2020-07-31 福建汇川物联网技术科技股份有限公司 一种远程测距方法及装置
CN113192126A (zh) * 2021-04-19 2021-07-30 中国矿业大学(北京) 一种基于图像圆形物体识别的测距定位方法
WO2022241874A1 (zh) * 2021-05-18 2022-11-24 烟台艾睿光电科技有限公司 一种红外热成像单目视觉测距方法及相关组件
CN113326811A (zh) * 2021-07-01 2021-08-31 南京兆通智能科技有限公司 一种基于目标检测算法的边缘端在位监测***
CN115588040A (zh) * 2022-09-09 2023-01-10 四川省寰宇众恒科技有限公司 一种基于全视图成像点坐标统计定位***及方法
CN115620177A (zh) * 2022-10-12 2023-01-17 中航西安飞机工业集团股份有限公司 一种基于深度学习的飞机识别与检测***

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Gauss Gradient Algorithm for Edge Detection in Retinal Optical Coherence Tomography Images;Ranjitha Rajan 等;《Procedia Computer Science》;第218卷;1014-1026 *
基于MATLAB的Canny图像边缘检测优化与实现;蔺玉珂 等;《现代信息科技》;第6卷(第17期);81-84 *
基于动目标特征提取的矿井目标监测;张立亚;;煤炭学报(第S2期);314-321 *
基于融合算法的尿沉渣显微图像有形成分外边缘检测方法研究;刘肖肖;孔德友;刘广宇;刘伯强;;中国医学装备(第11期);35-38 *

Also Published As

Publication number Publication date
CN116524017A (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
WO2018214195A1 (zh) 一种基于卷积神经网络的遥感图像桥梁检测方法
Akagic et al. Pothole detection: An efficient vision based method using rgb color space image segmentation
CN113379712B (zh) 一种基于计算机视觉的钢桥螺栓病害检测方法及***
CN107204004B (zh) 一种铝电解槽火眼视频动态特征识别方法及***
CN116524017B (zh) 一种用于矿山井下检测识别定位***
US20220315243A1 (en) Method for identification and recognition of aircraft take-off and landing runway based on pspnet network
CN112037318A (zh) 三维岩体结构模型的构建方法、***及模型的应用
CN112800938B (zh) 无人驾驶车辆检测侧面落石发生的方法及装置
CN116739183B (zh) 一种矿山安全风险预警预测***
CN108009556A (zh) 一种基于定点图像分析的河道漂浮物检测方法
CN113538503A (zh) 一种基于红外图像的太阳能板缺陷检测方法
CN112785596A (zh) 基于dbscan聚类的点云图螺栓分割和高度测量方法
CN115272353A (zh) 适用于裂纹检测的图像处理方法
Yang et al. Superpixel image segmentation-based particle size distribution analysis of fragmented rock
CN103533332B (zh) 一种2d视频转3d视频的图像处理方法
CN112561989B (zh) 一种建造场景下吊装对象的识别方法
Chen et al. An image restoration and detection method for picking robot based on convolutional auto-encoder
CN116934832A (zh) 基于现场参照物的三维点云的实时标定方法
CN114022415B (zh) 一种基于单像素特征聚类建立集群的液晶屏缺陷检测方法
CN115909099A (zh) 基于无人机巡检的边坡危岩识别与监测方法
CN113569943B (zh) 一种基于深度神经网络的渣片大块预警方法、***及装置
CN114936392A (zh) 一种非煤矿山开采坡面角预裂孔控制方法
CN114332006A (zh) 一种城垛缺失自动定量评估方法
CN114202631A (zh) 一种岩石二次破碎作业中岩石作业面与作业点的确定方法
CN113781422A (zh) 基于单幅图像几何测量算法的管道施工违章识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant