CN111738117B - 基于深度学习的电铲斗齿视频关键帧的检测方法 - Google Patents
基于深度学习的电铲斗齿视频关键帧的检测方法 Download PDFInfo
- Publication number
- CN111738117B CN111738117B CN202010533835.9A CN202010533835A CN111738117B CN 111738117 B CN111738117 B CN 111738117B CN 202010533835 A CN202010533835 A CN 202010533835A CN 111738117 B CN111738117 B CN 111738117B
- Authority
- CN
- China
- Prior art keywords
- bucket tooth
- electric
- key frame
- video
- electric bucket
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 238000001514 detection method Methods 0.000 title claims abstract description 18
- 238000012544 monitoring process Methods 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 3
- 230000007547 defect Effects 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 206010044048 Tooth missing Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的电铲斗齿视频关键帧的检测方法，该方法包括电铲斗齿监控视频的采集部分，斗齿视频数据处理部分和基于深度学习的电铲斗齿视频关键帧获取部分以及后续利用本方法获取的关键帧的其他应用部分。本发明主要通过利用深度学习的方式解决了以往的对于关键帧选取错误从而导致选取的视频关键帧图像不具备代表性和实时性差以及计算量大的传统方案的缺点。
Description
技术领域
本发明涉及一种基于深度学习的电铲斗齿视频关键帧的检测方法。
背景技术
从监控设备中获取的视频中有很多是冗余数据，从这些视频数据中获取其中的关键帧图像是一个难题。过去有通过以K-means聚类方法并设定初始阈值来提取视频中的关键帧、基于抽样的关键帧提取以及基于镜头边界以及颜色还有纹理特征的方式对视频流中的关键帧图像提取等。通过聚类的方式会受到由于阈值设定的不合理的影响而导致提取的关键帧图像效果不理想。通过抽样的方式则是从视频帧图像中随机抽取机帧当作斗齿关键帧，但是这些关键帧图像并不具备代表性，显然不合理。通过镜头边界和颜色特征法则是根据视频中的镜头变换及颜色特征变换来确定斗齿关键帧图像。这些方法通过针对图像的整体信息变化来确定关键帧的,就很容易造成关键帧选取错误、不理想、代表性差，同时增加计算量。
发明内容
针对现有技术存在的不足，本发明利用现有的深度学习技术提供了一种基于深度学习的电铲斗齿视频关键帧的检测方法，主要应用于从矿山中的电铲斗齿监控视频图像中找到所需要的电铲斗齿关键帧图像并保存。
本发明提出的方法是这样实现的。
本发明的一种基于深度学习的电铲斗齿视频关键帧的检测方法，其特征在于：电铲斗齿监控视频的采集部分，斗齿视频数据处理部分和基于深度学习的电铲斗齿视频关键帧获取部分以及后续利用本方法获取的关键帧的其他应用部分。包括以下主要步骤：
步骤1：关于电铲斗齿的监控视频数据的采集——从安放在电铲上方的监控摄像头中采集电铲斗齿监控视频数据，将其作为后续提取电铲斗齿的视频关键帧图像的输入；
步骤2：对电铲斗齿监控视频数据进行视频数据预处理；
步骤3：搭建电铲斗齿视频关键帧图像提取器；
步骤3.1：搭建初始的电铲斗齿视频关键帧图像提取卷积神经网络，并在此基础上进行修改；
步骤3.2：经过多次实验，在原来的SegNet网络的基础上中加上深度残差子结构，并且在每次池化之前加上1*1的卷积核实现跨通道的信息交互和信息整合，之后再反卷积成原始分辨率大小的效果更好；
步骤4：将步骤2中经过预处理的视频作为电铲斗齿视频关键帧图像提取卷积神经网络的输入；
步骤4.1：通过电铲斗齿视频关键帧图像提取器对电铲斗齿监控视频进行显著性特征检测,继而得到电铲斗齿监控视频中的关键帧图像；
步骤4.2：通过对电铲斗齿监控视频进行显著性检测，就可以得到电铲斗齿监控视频中关于电铲斗齿的显著性特征图像，也就是监控视频中的关于电铲斗齿的图像；
步骤5：对得到的电铲斗齿显著性特征图像，继续进行图像处理；
步骤6：获取电铲斗齿监控视频中的关键帧图像之后，就可将之用于后续的电铲斗齿的缺失检测。
作为本发明的进一步优化，所述步骤2：视频流数据预处理包括：1)对获取的电铲斗齿监控视频图像进行视频预处理，如视频灰度转换或二值转换，能进一步刨除监控视频中由于这些噪声带来各种影响。
作为本发明的进一步优化，所述步骤4对得到的斗齿关键帧图像继续进行图像处理：1)对得到的斗齿关键帧图像再进行进一步的膨胀腐蚀处理。2)再将处理后的斗齿关键帧图像进行二次筛选：利用OpenCV判断图像中的最大连通区域的面积大小，如果该连通区域的面积大小大于设定的阈值，就能确定更加有效的斗齿关键帧图像。
本发明的效果是：通过提出的基于深度学习的电铲斗齿视频关键帧的检测方法，能够有效的将矿山电铲工作时的斗齿关键帧图像给提取出来，并用于后续的电铲斗齿的缺失检测之中。并且提取的视频关键帧图像具有一定的代表性。
说明书附图
图1为基于深度学习的电铲斗齿视频关键帧的检测方法流程。
图2为基于深度学习的电铲斗齿视频关键帧的检测方法的关键帧提取网络。
具体实施方式
以下是对本发明的实施方式作更详细的说明。但本发明的实施方式及实施案例是为了解释目的的一个方案，并不是对本发明的限制。
本实施方式中采用的基于深度学习的电铲斗齿视频关键帧的检测方法，如图1和图2所示。
具体实施步骤如下：
步骤1：从安放在电铲上方的监控摄像头采集视频数据，将其作为后续提取斗齿关键帧图像的输入；
步骤2：将视频数据进行视频灰度化转换或者是二值转换预处理；
步骤3：将步骤2中经过预处理的视频作为电铲斗齿关键帧图像提取卷积神经网络的输入，进行斗齿视频关键帧的显著性检测,得到斗齿的关键帧图像；具体方法如下：斗齿的关键帧图像经过多次实验，斗齿关键帧提取网络在全卷积网络中加上深度残差子结构，且在每次池化之前都加上1*1的卷积核实现跨通道的信息交互和信息整合，之后再反卷积成原始分辨率大小，通过这样得到斗齿视频关键帧图像的就具有很强的代表性。斗齿视频关键帧图像提取卷积神经网络结构如图2所示。
步骤4：然后对得到的斗齿显著性特征图像再进行进一步的膨胀腐蚀处理操作；
步骤5：对处理过后的斗齿显著性特征图像进行二次筛选：计算其中的最大连通区域面积计算，如果大于设定的阈值就判断其为该视频的斗齿关键帧图像；获取斗齿关键帧图像之后，就能将这些关键帧图像用于之后的电铲斗齿缺失检测应用程序之中。
本发明通过深度学习的方式解决了以往的对于关键帧选取错误从而导致不具备代表性以及计算量大的传统方案的缺点，能有效的将矿山电铲工作时的电铲斗齿关键帧图像给抽取出来，并用于后续的电铲斗齿的缺失检测之中。
Claims (3)
1.基于深度学习的电铲监控视频中的斗齿关键帧的检测方法，其特征在于：分为电铲斗齿监控视频的采集部分，视频数据预处理部分，基于深度学习的电铲监控视频的电铲斗齿关键帧获取部分以及后续利用本方法获取的关键帧的应用部分；包括以下主要步骤：
步骤1：关于电铲斗齿的监控视频数据的采集——从安放在电铲上方的监控摄像头中采集电铲斗齿监控视频数据，将其作为后续提取电铲斗齿的视频关键帧图像的输入；
步骤2：对电铲斗齿监控视频数据进行视频数据预处理；
步骤3：搭建电铲斗齿视频关键帧图像提取器；
步骤3.1：搭建初始的电铲斗齿视频关键帧图像提取卷积神经网络，并在此基础上进行修改；
步骤3.2：经过多次实验，在原来的SegNet网络的基础上中加上深度残差子结构，并且在每次池化之前加上1*1的卷积核实现跨通道的信息交互和信息整合，之后再反卷积成原始分辨率大小的效果更好；
步骤4：将步骤2中经过预处理的视频作为电铲斗齿视频关键帧图像提取卷积神经网络的输入；
步骤4.1：通过电铲斗齿视频关键帧图像提取器对电铲斗齿监控视频进行显著性特征检测, 继而得到电铲斗齿监控视频中的关键帧图像；
步骤4.2：通过对电铲斗齿监控视频进行显著性检测，就可以得到电铲斗齿监控视频中关于电铲斗齿的显著性特征图像，也就是监控视频中的关于电铲斗齿的图像；
步骤5：对得到的电铲斗齿显著性特征图像，继续进行图像处理；
所述的步骤5中，对得到的电铲斗齿显著性特征图像继续进行图像处理；包括：1）对得到的斗齿显著性特征图像再进行进一步的膨胀腐蚀处理；2）再将处理后的斗齿显著性特征图像进行二次筛选：利用OpenCV判断图像中的最大连通区域的面积大小，如果该连通区域的面积大小大于设定的阈值，就能确定有效的斗齿关键帧图像；
步骤6：获取电铲斗齿监控视频中的关键帧图像之后，就可将之用于后续的电铲斗齿的缺失检测。
2.据权利要求1中所述的基于深度学习的电铲监控视频中的斗齿关键帧的检测方法，其特征在于：所述步骤2：监控视频流数据预处理包括：对获取的电铲斗齿监控视频图像进行视频灰度转换或二值转换，降低色彩带来的影响。
3.根据权利要求1中所述的基于深度学习的电铲监控视频中的斗齿关键帧的检测方法，其特征在于：所述的步骤3中对于电铲斗齿视频关键帧图像提取是经过多次实验，在全卷积网络中再加上深度残差子结构，并且在每次池化之前加上1*1的卷积核实现跨通道的信息交互和信息整合，之后再反卷积成原始分辨率大小，找到视频中的斗齿关键帧图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010533835.9A CN111738117B (zh) | 2020-06-12 | 2020-06-12 | 基于深度学习的电铲斗齿视频关键帧的检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010533835.9A CN111738117B (zh) | 2020-06-12 | 2020-06-12 | 基于深度学习的电铲斗齿视频关键帧的检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111738117A CN111738117A (zh) | 2020-10-02 |
| CN111738117B true CN111738117B (zh) | 2023-12-19 |
Family
ID=72648959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010533835.9A Active CN111738117B (zh) | 2020-06-12 | 2020-06-12 | 基于深度学习的电铲斗齿视频关键帧的检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111738117B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112561912B (zh) * | 2021-02-20 | 2021-06-01 | 四川大学 | 一种基于先验知识的医学图像***检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921130A (zh) * | 2018-07-26 | 2018-11-30 | 聊城大学 | 基于显著性区域的视频关键帧提取方法 |
| CN110008804A (zh) * | 2018-12-12 | 2019-07-12 | 浙江新再灵科技股份有限公司 | 基于深度学习的电梯监控关键帧获取及检测方法 |
| CN110826491A (zh) * | 2019-11-07 | 2020-02-21 | 北京工业大学 | 级联手工特征与深度特征的视频关键帧检测方法 |
-
2020
- 2020-06-12 CN CN202010533835.9A patent/CN111738117B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921130A (zh) * | 2018-07-26 | 2018-11-30 | 聊城大学 | 基于显著性区域的视频关键帧提取方法 |
| CN110008804A (zh) * | 2018-12-12 | 2019-07-12 | 浙江新再灵科技股份有限公司 | 基于深度学习的电梯监控关键帧获取及检测方法 |
| CN110826491A (zh) * | 2019-11-07 | 2020-02-21 | 北京工业大学 | 级联手工特征与深度特征的视频关键帧检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111738117A (zh) | 2020-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109871938A (zh) | 一种基于卷积神经网络的零部件喷码检测方法 | |
| CN109886974B (zh) | 一种***去除方法 | |
| CN110309806B (zh) | 一种基于视频图像处理的手势识别***及其方法 | |
| US10395374B2 (en) | Surveillance video based video foreground extraction method | |
| CN106682665B (zh) | 一种基于计算机视觉的七段式数显仪表数字识别方法 | |
| CN108665417B (zh) | 一种车牌图像去模糊方法、装置及*** | |
| CN107038445B (zh) | 一种针对中文字符验证码的二值化和分割方法 | |
| CN110288535B (zh) | 一种图像去雨方法和装置 | |
| CN109344820A (zh) | 基于计算机视觉和深度学习的数字式电表读数识别方法 | |
| CN111738117B (zh) | 基于深度学习的电铲斗齿视频关键帧的检测方法 | |
| CN106960196B (zh) | 基于模板匹配和svm的工业视频小数字识别方法 | |
| CN1564600A (zh) | 动态场景下的运动物体检测方法 | |
| CN104966348A (zh) | 一种票据图像要素完整性检测方法及*** | |
| CN110889374A (zh) | ***图像处理方法、装置、计算机及存储介质 | |
| CN109254654B (zh) | 一种结合PCA和PCANet的驾驶疲劳特征提取方法 | |
| CN111127450B (zh) | 一种基于图像的桥梁裂缝检测方法及*** | |
| CN110807747B (zh) | 一种基于前景蒙版的文档图像降噪方法 | |
| Xue et al. | Fingerprint image segmentation based on a combined method | |
| CN109886900B (zh) | 一种基于字典训练和稀疏表示的合成雨图除雨方法 | |
| CN114758139B (zh) | 基坑积水检测方法 | |
| CN110866470A (zh) | 一种基于随机图像特征的人脸防伪检测方法 | |
| Khan et al. | Shadow removal from digital images using multi-channel binarization and shadow matting | |
| CN114612907A (zh) | 一种车牌识别方法及装置 | |
| CN113542771A (zh) | 一种基于内容权重的视频高效压缩处理方法 | |
| CN112101213A (zh) | 一种获取指纹方向信息的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |