CN113435294B - 基于图像与声音融合的煤岩界面定位识别方法 - Google Patents

基于图像与声音融合的煤岩界面定位识别方法 Download PDF

Info

Publication number
CN113435294B
CN113435294B CN202110695111.9A CN202110695111A CN113435294B CN 113435294 B CN113435294 B CN 113435294B CN 202110695111 A CN202110695111 A CN 202110695111A CN 113435294 B CN113435294 B CN 113435294B
Authority
CN
China
Prior art keywords
coal
rock
image
module
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110695111.9A
Other languages
English (en)
Other versions
CN113435294A (zh
Inventor
伍云霞
徐倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology Beijing CUMTB
Original Assignee
China University of Mining and Technology Beijing CUMTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology Beijing CUMTB filed Critical China University of Mining and Technology Beijing CUMTB
Priority to CN202110695111.9A priority Critical patent/CN113435294B/zh
Publication of CN113435294A publication Critical patent/CN113435294A/zh
Application granted granted Critical
Publication of CN113435294B publication Critical patent/CN113435294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于图像与声音融合的煤岩界面定位识别方法，该方法直接面向煤岩界面识别任务，通过模拟采煤机司机利用视觉与听觉两种模态进行煤岩界面识别，从采煤场景视频中将滚筒截齿误入岩石的深度同割岩声音映射到图像中的定位距离进行匹配，由此确定煤岩分界面的位置，从而使得该方法具有较高的识别稳定性和识别正确率，为自动化采掘生产过程提供可靠的煤岩界面识别信息。

Description

基于图像与声音融合的煤岩界面定位识别方法
技术领域
本发明属于煤岩界面识别方法领域，尤其涉及一种基于图像与声音融合的煤岩界面定位识别方法。
背景技术
煤岩界面识别即用一种方法自动识别出煤岩对象的分界面。在煤炭生产过程中，煤岩界面识别技术可广泛应用于滚筒采煤、掘进、放顶煤开采等生产环节，对于减少采掘工作面作业人员、减轻工人劳动强度、改善作业环境、实现煤矿安全高效生产具有重要意义。
已有多种煤岩界面识别方法，如自然γ射线探测法、雷达探测法、应力截齿法、红外探测法、有功功率监测法、震动检测法、声音检测法、粉尘检测法、记忆截割法等，但这些方法存在以下问题：①需要在现有设备上加装各类传感器获取信息，导致装置结构复杂，成本高。②采煤机滚筒、掘进机等设备在生产过程中受力复杂、振动剧烈、磨损严重、粉尘大，传感器部署比较困难，容易导致机械构件、传感器和电气线路受到损坏，装置可靠性差。③对于不同类型机械设备，传感器的最佳类型和信号拾取点的选择存在较大区别，需要进行个性化定制，***的适应性差。
为解决上述问题，计算机视觉技术越来越受到重视并研发了一些基于图像技术的煤岩界面识别方法，然而已有方法只是通过视觉这一单独的模态进行识别，这往往受到煤矿井下光照、粉尘等的影响，致使在识别正确率和识别稳定性上还有很大的不足。
因此，需要一种解决或至少改善现有技术中固有的一个或多个问题的煤岩界面识别方法。
发明内容
本发明的目的在于提供一种基于图像与声音融合的煤岩界面定位识别方法，该方法直接面向煤岩界面识别任务，模拟采煤机司机利用视觉与听觉两种模态进行煤岩界面识别，从采煤场景视频中将滚筒截齿误入岩石的深度同割岩声音投影到图像中的定位距离进行匹配，由此确定煤岩分界面的位置。该方法较为简洁且具有较高的识别正确率和识别稳定性，为自动化采掘生产过程提供可靠的煤岩界面识别信息。
根据一种实施例形式，提供一种基于图像与声音融合的煤岩界面定位识别方法，其特征在于：包括输入信号预处理模块、视觉子网模块、听觉子网模块、煤岩界面识别模块；所述输入信号预处理模块将摄像机所获取的采煤机滚筒切割煤岩时的视频分成图像流和音频流，将所述的图像流处理后输入视觉子网模块，将所述的音频流转换为声谱图后输入听觉子网模块；所述的视觉子网模块识别滚筒截齿上边缘与煤岩分界线的间距；所述的听觉子网模块识别割岩声音并定位声源位置；所述的煤岩界面识别模块融合图像与音频信息，根据识别的割岩声音，进行图像中滚筒截齿上边缘与煤岩分界线间距同声源映射位置的匹配判别，由此确定煤岩分界面的位置。
在进一步特定的但非限制性的形式中，所述输入信号预处理模块由图像与音频分离单元、图像预处理单元及音频预处理单元组成；所述的图像与音频的分离单元将输入的视频信号分成图像流和音频流，所述的图像预处理单元基于生成对抗网络实现清晰化处理，所述的音频预处理单元基于小波变换将音频流转换为声谱图。
在进一步特定的但非限制性的形式中，所述视觉子网模块由图像特征提取网络及目标图像距离计算单元组成；所述图像特征提取网络提取图像中滚筒截齿的上边缘与煤岩分界线的特征，所述目标图像距离计算单元计算滚筒截齿上边缘与煤岩分界线的间距。
在进一步特定的但非限制性的形式中，所述听觉子网模块由音频特征提取网络及声音的判别单元组成；所述音频特征提取网络提取声谱图中割岩的声音特征，所述声音的判别单元根据割岩声音判别滚筒截齿误入岩层的状态。
在进一步特定的但非限制性的形式中，所述煤岩界面识别模块由视听融合网络、煤岩分界定位单元组成；所述视听融合网络将视觉子网模块输入的图像特征与听觉子网模块输入的割岩声音进行融合，所述煤岩分界定位单元将割岩声音定位映射到图像中的距离同图像中滚筒截齿上边缘与煤岩分界线的间距进行匹配，由此确定煤岩分界面的位置。
附图说明
通过以下说明，附图实施例变得显而易见，其仅以结合附图描述的至少一种优选但非限制性实施例的示例方式给出。
图1是本发明所述煤岩界面定位识别方法的框图。
图2是本发明所述煤岩界面定位识别方法的流程图。
具体实施方式
一种基于图像与声音融合的煤岩界面定位识别方法，包括如下步骤(流程见图2)：
A.采集煤矿井下采煤场景的视频，视频包括不同拍摄点、不同光照、不同拍摄角度等的视频，视频中包含了采煤机割煤场景的信息。将采煤场景视频分为图像流与音频流，将图形流中的图像进行清晰化处理，并将音频流中的音频信息转换成声谱图，其过程如下：
A1.针对煤岩界面识别问题有目的采集采煤场景视频，将采煤场景中的视频通过图像与音频分离单元将其分为图像流与音频流进行处理；
A2.将图像流中每一帧图像清晰化处理，由于煤矿井下亮度不够及采煤过程中存在大量粉尘等原因，导致采集的图像存在严重退化，使用基于生成对抗网络的方法对退化图像进行恢复，实现采煤场景视频图像的清晰化；
A3.将音频流中的声音转换为声谱图，使用小波变换的方法将时域表示的声音信息转换为时频表示的声谱图，即将音频处理转换成为图像处理问题；
B.提取视频中截割岩的音频特征，提取视频中的图像特征判别滚筒截齿误入岩石的深度，提取视频中截割岩的音频特征的步骤如下：
B11.将步骤A3中的声谱图输入到听觉子网络；
B12.提取割岩的声音特征；
B13.判断滚筒误入岩层的状态；
提取视频中的图像特征判别滚筒截齿误入岩石深度的过程如下：
B21.将步骤A2中清晰的采煤场景图像输入到视觉子网络；
B22.提取滚筒截齿上边缘与煤岩分界线的图像特征；
B23.计算滚筒截齿上边缘与煤岩分界线的间距；
C.判别煤岩分界，确定煤岩分界面位置的过程如下：
C1.将步骤B12提取割岩声音的特征与步骤B22提取滚筒截齿误入岩石深度的图像特征进行融合匹配；
C2.将步骤C1中割岩的声音特征映射到图像中，并计算其映射在图像中的距离；
C3.将步骤C2中割岩声音在图像中的映射距离同步骤B23中的间距进行匹配；
C4.根据图像中匹配结果的像素信息计算煤岩分界面的实际物理位置。

Claims (5)

1.一种基于图像与声音融合的煤岩界面定位识别方法，其特征在于：包括输入信号预处理模块、视觉子网模块、听觉子网模块、煤岩界面识别模块；所述的输入信号预处理模块将摄像机所获取的采煤机滚筒切割煤岩时的视频分成图像流和音频流，将所述的图像流处理后输入视觉子网模块，将所述的音频流转换为声谱图后输入听觉子网模块；所述的视觉子网模块识别滚筒截齿上边缘与煤岩分界线的间距；所述的听觉子网模块识别割岩声音并定位声源位置；所述的煤岩界面识别模块融合图像与音频信息，根据识别的割岩声音，进行图像中滚筒截齿上边缘与煤岩分界线间距同声源映射位置的匹配判别，由此确定煤岩分界面的位置。
2.根据权利要求1所述煤岩界面定位识别方法，其特征在于，所述输入信号预处理模块由图像与音频的分离单元、图像预处理单元及音频预处理单元组成；所述的图像与音频的分离单元将输入的视频信号分成图像流和音频流，所述的图像预处理单元基于生成对抗网络实现清晰化处理，所述的音频预处理单元基于小波变换将音频流转换为声谱图。
3.根据权利要求1所述煤岩界面定位识别方法，其特征在于，所述视觉子网模块由图像特征提取网络及目标图像距离计算单元组成；所述图像特征提取网络提取图像中滚筒截齿的上边缘及煤岩分界线的特征，所述目标图像距离计算单元计算滚筒截齿上边缘与煤岩分界线的间距。
4.根据权利要求1所述煤岩界面定位识别方法，其特征在于，所述听觉子网模块由音频特征提取网络及声音的判别单元组成；所述音频特征提取网络提取声谱图中割岩的声音特征，所述声音的判别单元根据割岩声音判别滚筒截齿误入岩层的状态。
5.根据权利要求1所述煤岩界面定位识别方法，其特征在于，所述煤岩界面识别模块由视听融合网络、煤岩分界定位单元组成；所述视听融合网络将视觉子网模块输入的图像特征与听觉子网模块输入的割岩声音进行融合，所述煤岩分界定位单元将割岩声音定位映射到图像中的区域同图像中滚筒截齿上边缘与煤岩分界线的间距进行匹配，确定煤岩分界面的位置。
CN202110695111.9A 2021-06-23 2021-06-23 基于图像与声音融合的煤岩界面定位识别方法 Active CN113435294B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110695111.9A CN113435294B (zh) 2021-06-23 2021-06-23 基于图像与声音融合的煤岩界面定位识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110695111.9A CN113435294B (zh) 2021-06-23 2021-06-23 基于图像与声音融合的煤岩界面定位识别方法

Publications (2)

Publication Number Publication Date
CN113435294A CN113435294A (zh) 2021-09-24
CN113435294B true CN113435294B (zh) 2023-05-23

Family

ID=77757312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110695111.9A Active CN113435294B (zh) 2021-06-23 2021-06-23 基于图像与声音融合的煤岩界面定位识别方法

Country Status (1)

Country Link
CN (1) CN113435294B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102496004A (zh) * 2011-11-24 2012-06-13 中国矿业大学(北京) 一种基于图像的煤岩界面识别方法与***
CN104330836A (zh) * 2014-11-10 2015-02-04 山西潞安集团余吾煤业有限责任公司 采煤机应力截齿煤岩分界检测装置
CN104751193A (zh) * 2015-04-24 2015-07-01 中国矿业大学(北京) 基于距离约束相似性的煤岩识别方法
CN104778461A (zh) * 2015-04-24 2015-07-15 中国矿业大学(北京) 基于相似测度学习的煤岩识别方法
CN106162293A (zh) * 2015-04-22 2016-11-23 无锡天脉聚源传媒科技有限公司 一种视频声音与图像同步的方法及装置
CN206074461U (zh) * 2016-10-19 2017-04-05 中国矿业大学(北京) 一种基于机器视觉的煤岩识别装置
CN108711146A (zh) * 2018-04-19 2018-10-26 中国矿业大学 一种基于可见光和红外图像融合的煤岩识别装置及方法
CN109754069A (zh) * 2018-12-28 2019-05-14 中国矿业大学 基于改进elm和多源参数的煤壁性质识别装置及方法
CN111832604A (zh) * 2020-05-21 2020-10-27 中煤科工集团重庆研究院有限公司 基于多***融合的声发射信号滤噪及危险综合判定方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160090839A1 (en) * 2014-11-26 2016-03-31 Larry G. Stolarczyk Method of protecting the health and well-being of coal mine machine operators
AU2020382780A1 (en) * 2019-11-15 2022-05-26 Peck Tech Consulting Ltd. Systems, apparatuses, and methods for determining rock-coal transition with a drilling machine

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102496004A (zh) * 2011-11-24 2012-06-13 中国矿业大学(北京) 一种基于图像的煤岩界面识别方法与***
CN104330836A (zh) * 2014-11-10 2015-02-04 山西潞安集团余吾煤业有限责任公司 采煤机应力截齿煤岩分界检测装置
CN106162293A (zh) * 2015-04-22 2016-11-23 无锡天脉聚源传媒科技有限公司 一种视频声音与图像同步的方法及装置
CN104751193A (zh) * 2015-04-24 2015-07-01 中国矿业大学(北京) 基于距离约束相似性的煤岩识别方法
CN104778461A (zh) * 2015-04-24 2015-07-15 中国矿业大学(北京) 基于相似测度学习的煤岩识别方法
CN206074461U (zh) * 2016-10-19 2017-04-05 中国矿业大学(北京) 一种基于机器视觉的煤岩识别装置
CN108711146A (zh) * 2018-04-19 2018-10-26 中国矿业大学 一种基于可见光和红外图像融合的煤岩识别装置及方法
CN109754069A (zh) * 2018-12-28 2019-05-14 中国矿业大学 基于改进elm和多源参数的煤壁性质识别装置及方法
CN111832604A (zh) * 2020-05-21 2020-10-27 中煤科工集团重庆研究院有限公司 基于多***融合的声发射信号滤噪及危险综合判定方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Coal–rock interface detection on the basis of image texture features;Sun Jiping等;《International Journal of Mining Science and Technology》;第23卷(第5期);681-687 *
Coal-rock Interface Recognition Based on MFCC and Neural Network;Xu Junkai等;《 Image Processing and Pattern Recognition》;第6卷(第4期);1-10 *
Dynamic identification of coal-rock interface based on adaptive weight optimization and multi-sensor information fusion;Wang Haijian等;《Information Fusion》;第51卷;114-128 *
基于图像识别的煤岩界面识别方法研究;孙继平;;煤炭科学技术(02);77-79 *
基于距离度量学习的煤岩识别方法;伍云霞，申少飞;《工矿自动化》;22-26 *
采煤机技术发展历程(六)——煤岩界面探测;葛世荣;《中国煤炭》;10-24 *

Also Published As

Publication number Publication date
CN113435294A (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN108711146B (zh) 一种基于可见光和红外图像融合的煤岩识别装置及方法
US11216645B2 (en) Multi-camera multi-face video splicing acquisition device and method thereof
CN103248878B (zh) 一种综采工作面异常状况的模式识别方法、装置与***
EP2903261B1 (en) Apparatus and method for detecting event from plurality of photographed images
CN105187785A (zh) 一种基于动态选取显著特征的跨卡口行人识别***与方法
CN114140832A (zh) 井下行人越界风险检测方法、装置、电子设备及存储介质
CN206074461U (zh) 一种基于机器视觉的煤岩识别装置
CN112906481A (zh) 一种基于无人机实现森林火情检测的方法
CN106934796A (zh) 隧道掘进机搭载的高速皮带机岩渣视频分析***及方法
CN105957300B (zh) 一种智慧金睛识别可疑张贴遮蔽报警方法和装置
CN113435294B (zh) 基于图像与声音融合的煤岩界面定位识别方法
CN107358236A (zh) 一种基于摄像装置的车牌号码识别***及方法
CN115880722A (zh) 一种配电作业人员穿戴的智能识别方法、***和介质
CN113569943B (zh) 一种基于深度神经网络的渣片大块预警方法、***及装置
CN116520433A (zh) 多通道信号融合分析的煤矿工作面定向拾震方法
CN106650735A (zh) 一种led字符自动定位识别方法
CN114510027A (zh) 一种基于ar技术的井工煤矿设备巡检方法与装置
CN109873990A (zh) 一种基于计算机视觉的矿山非法开采预警方法
CN106803937B (zh) 一种具有文本日志的双摄像头视频监控方法、***和监控装置
CN113688713A (zh) 基于危险行为识别的线缆保护方法、装置、***和介质
KR101736431B1 (ko) 다중영상을 이용한 교통정보 스마트 모니터링 시스템 및 방법
CN117423157A (zh) 一种结合迁移学习、区域入侵的矿井下异常视频动作理解方法
CN116886874A (zh) 一种生态园安防监控预警数据的采集方法及其***
CN116682162A (zh) 一种基于实时视频流的机器人人员检测算法
Bertozzi et al. A tool for vision based pedestrian detection performance evaluation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant