CN110298821A - 一种基于Faster R-CNN的钢筋检测方法 - Google Patents
一种基于Faster R-CNN的钢筋检测方法 Download PDFInfo
- Publication number
- CN110298821A CN110298821A CN201910451836.6A CN201910451836A CN110298821A CN 110298821 A CN110298821 A CN 110298821A CN 201910451836 A CN201910451836 A CN 201910451836A CN 110298821 A CN110298821 A CN 110298821A
- Authority
- CN
- China
- Prior art keywords
- reinforcing bar
- faster
- cnn
- network
- detection method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003014 reinforcing effect Effects 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 239000000284 extract Substances 0.000 claims abstract description 6
- 238000007689 inspection Methods 0.000 claims abstract description 5
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 24
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 1
- TZCXTZWJZNENPQ-UHFFFAOYSA-L barium sulfate Chemical compound [Ba+2].[O-]S([O-])(=O)=O TZCXTZWJZNENPQ-UHFFFAOYSA-L 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于Faster R‑CNN的钢筋检测方法，属于目标检测和计算机视觉技术领域。本发明首先输入钢筋图像经过Faster R‑CNN网络的共享卷积层后提取到钢筋图像的特征图；将提取的特征图一部分输入到RPN网络中，经过滑动窗口，产生特征向量，将其产生的特征向量进行分类和回归生成区域建议；接下来将RPN网络产生的区域建议返回到Faster R‑CNN网络，同之前Step1中提取到的特征图输入到位置敏感候选区域池化使其固定成特定尺寸；再生成钢筋检测模型，通过该目标检测模型检测给定钢筋。本发明中得到的钢筋检测模型可以对与视觉任务强相关新场景图像进行效果良好的钢筋检测。
Description
技术领域
本发明涉及一种基于Faster R-CNN的钢筋检测方法，属于目标检测和计算机视觉技术领域。
背景技术
钢筋检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有钢筋和钢筋数量。在工地现场，对于进场的钢筋车，验收人员需要对车上的钢筋进行现场人工点根，确认数量后钢筋车才能完成进场卸货。目前现场采用人工计数的方式,这样浪费了大量的人力和物力。
钢筋检测是一个复杂的具有挑战性的模式检测问题，其主要的难点有三方面：
1)钢筋本身价格较昂贵，且在实际使用中数量很大，误检和漏检都需要人工在大量的标记点中找出，所以需要精度非常高才能保证验收人员的使用体验。需要专门针对此密集目标的检测算法进行优化，另外，还需要处理拍摄角度、光线不完全受控，钢筋存在长短不齐、可能存在遮挡等情况；2)钢筋的直径变化范围较大(12-32中间很多种类)且截面形状不规则、颜色不一，拍摄的角度、距离也不完全受控，这也导致传统算法在实际使用的过程中效果很难稳定；3)一辆钢筋车一次会运输很多捆钢筋，如果直接全部处理会存在边缘角度差、遮挡等问题效果不好。目前在用单捆处理+最后合计的流程，这样的处理过程就会需要对捆间进行分割或者对最终结果进行去重，难度较大。
发明内容
本发明提供了一种基于Faster R-CNN的钢筋检测方法，以用于解决钢筋检测方法特征选择的困难和识别率不高、深度旋转影响较大；光照的影响，如图像中的亮度、对比度的变化和阴影等；图像的成像条件；钢筋图像内在的变化所引起的检测精度不高的问题。
本发明的技术方案是：一种基于Faster R-CNN的钢筋检测方法，所述检测方法的具体步骤如下：
Step1、输入钢筋图像经过Faster R-CNN网络的共享卷积层后提取到钢筋图像的特征图；
Step2、将提取的特征图一部分输入到RPN网络中，经过滑动窗口，产生特征向量，将其产生的特征向量进行分类和回归生成区域建议；
Step3、接下来将RPN网络产生的区域建议返回到Faster R-CNN网络，同之前Step1中提取到的特征图输入到位置敏感候选区域池化Position-sensitive RoI pooling，RSROI使其固定成特定尺寸；再经过全连接层；
Step4、最后对经过全连接层之后得到的结果进行分类和回归，生成预测坐标值从而得到检测目标框，生成钢筋检测模型，通过该目标检测模型检测给定钢筋。
进一步地，所述步骤Step1中，Faster R-CNN网络中用于提取特征图的网络结构为残差网络，采用的网络使用coco2017数据集对网络参数初始化。
进一步地，所述步骤Step4中，采用了位置敏感候选区域池化，该池化层替代了原Faster R-CNN中的感兴趣区域池化，Step4中的位置敏感候选区域池化主要思想是在特征聚集时人工引入位置信息，从而有效改善较深的神经网络对物***置信息的敏感程度。
进一步地，所述步骤Step4中，采用了softer NMS算法进行分类，该算法用定位置信度来训练检测网络，从而提高定位精度。
进一步地，所述步骤Step1中钢筋图像的大小为256*256。
本发明的有益效果是：
1、本发明在Faster R-CNN的钢筋检测方法中精度有较大的提高；
2、本发明中优化了网络结构，在识别的速度上有一定的提高；
3、本发明在比较差的环境下也可以有较好的识别精度，比如在光线昏暗的场景，还有出现大量干扰物，也能实现钢筋检测方法。
4、本发明中得到的钢筋检测模型可以对与视觉任务强相关新场景图像进行效果良好的钢筋检测。本发明结合深度学习卷积神经网络思想，利用卷积特征替代传统手工特征，避免了传统检测问题中特征选择问题。深层卷积特征具有更好的表达能力，同时为解决钢筋检测问题提供了更加泛化和简洁的思路。
附图说明
图1为本发明中的流程图。
具体实施方式
实施例1：如图1所示，一种基于Faster R-CNN的钢筋检测方法，所述检测方法的具体步骤如下：
Step1、输入钢筋图像经过Faster R-CNN网络的共享卷积层后提取到钢筋图像的特征图；
Step2、将提取的特征图一部分输入到RPN网络中，经过滑动窗口，产生特征向量，将其产生的特征向量进行分类和回归生成区域建议；
Step3、接下来将RPN网络产生的区域建议返回到Faster R-CNN网络，同之前Step1中提取到的特征图输入到位置敏感候选区域池化Position-sensitive RoI pooling，RSROI使其固定成特定尺寸；再经过全连接层；
Step4、最后对经过全连接层之后得到的结果进行分类和回归，生成预测坐标值从而得到检测目标框，生成钢筋检测模型，通过该目标检测模型检测给定钢筋。
进一步地，所述步骤Step1中，Faster R-CNN网络中用于提取特征图的网络结构为残差网络，采用的网络使用coco2017数据集对网络参数初始化。
进一步地，所述步骤Step4中，采用了位置敏感候选区域池化，该池化层替代了原Faster R-CNN中的感兴趣区域池化，Step4中的位置敏感候选区域池化主要思想是在特征聚集时人工引入位置信息，从而有效改善较深的神经网络对物***置信息的敏感程度。
进一步地，所述步骤Step4中，采用了softer NMS算法进行分类，该算法用定位置信度来训练检测网络，从而提高定位精度。
进一步地，所述步骤Step1中钢筋图像的大小为256*256。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (5)
1.一种基于Faster R-CNN的钢筋检测方法，其特征在于：
所述检测方法的具体步骤如下：
Step1、输入钢筋图像经过Faster R-CNN网络的共享卷积层后提取到钢筋图像的特征图；
Step2、将提取的特征图一部分输入到RPN网络中，经过滑动窗口，产生特征向量，将其产生的特征向量进行分类和回归生成区域建议；
Step3、接下来将RPN网络产生的区域建议返回到Faster R-CNN网络，同之前Step1中提取到的特征图输入到位置敏感候选区域池化Position-sensitive RoI pooling，RSROI使其固定成特定尺寸；再经过全连接层；
Step4、最后对经过全连接层之后得到的结果进行分类和回归，生成预测坐标值从而得到检测目标框，生成钢筋检测模型，通过该目标检测模型检测给定钢筋。
2.根据权利要求1所述的基于Faster R-CNN的钢筋检测方法，其特征在于：所述步骤Step1中，Faster R-CNN网络中用于提取特征图的网络结构为残差网络，采用的网络使用coco2017数据集对网络参数初始化。
3.根据权利要求1所述的基于Faster R-CNN的钢筋检测方法，其特征在于：所述步骤Step4中，采用了位置敏感候选区域池化，该池化层替代了原Faster R-CNN中的感兴趣区域池化，Step4中的位置敏感候选区域池化主要思想是在特征聚集时人工引入位置信息，从而有效改善较深的神经网络对物***置信息的敏感程度。
4.根据权利要求1所述的基于Faster R-CNN的钢筋检测方法，其特征在于：所述步骤Step4中，采用了softer NMS算法进行分类，该算法用定位置信度来训练检测网络，从而提高定位精度。
5.根据权利要求1所述的基于Faster R-CNN的钢筋检测方法，其特征在于：所述步骤Step1中钢筋图像的大小为256*256。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910451836.6A CN110298821A (zh) | 2019-05-28 | 2019-05-28 | 一种基于Faster R-CNN的钢筋检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910451836.6A CN110298821A (zh) | 2019-05-28 | 2019-05-28 | 一种基于Faster R-CNN的钢筋检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110298821A true CN110298821A (zh) | 2019-10-01 |
Family
ID=68027200
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910451836.6A Pending CN110298821A (zh) | 2019-05-28 | 2019-05-28 | 一种基于Faster R-CNN的钢筋检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110298821A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111127457A (zh) * | 2019-12-25 | 2020-05-08 | 上海找钢网信息科技股份有限公司 | 钢筋数目统计模型训练方法、统计方法、装置及设备 |
| CN111611925A (zh) * | 2020-05-21 | 2020-09-01 | 重庆现代建筑产业发展研究院 | 一种建筑物检测与识别方法及装置 |
| CN111611926A (zh) * | 2020-05-21 | 2020-09-01 | 重庆现代建筑产业发展研究院 | 一种地标建筑物检测与识别方法及装置 |
| CN111815594A (zh) * | 2020-06-29 | 2020-10-23 | 浙江大华技术股份有限公司 | 钢筋检测方法以及相关设备、装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105678332A (zh) * | 2016-01-08 | 2016-06-15 | 昆明理工大学 | 火焰图像cnn识别建模的转炉炼钢终点判断方法及*** |
| CN106599939A (zh) * | 2016-12-30 | 2017-04-26 | 深圳市唯特视科技有限公司 | 一种基于区域卷积神经网络的实时目标检测方法 |
| US20180158189A1 (en) * | 2016-12-07 | 2018-06-07 | Samsung Electronics Co., Ltd. | System and method for a deep learning machine for object detection |
| CN108509839A (zh) * | 2018-02-02 | 2018-09-07 | 东华大学 | 一种基于区域卷积神经网络高效的手势检测识别方法 |
| CN109255352A (zh) * | 2018-09-07 | 2019-01-22 | 北京旷视科技有限公司 | 目标检测方法、装置及*** |
-
2019
- 2019-05-28 CN CN201910451836.6A patent/CN110298821A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105678332A (zh) * | 2016-01-08 | 2016-06-15 | 昆明理工大学 | 火焰图像cnn识别建模的转炉炼钢终点判断方法及*** |
| US20180158189A1 (en) * | 2016-12-07 | 2018-06-07 | Samsung Electronics Co., Ltd. | System and method for a deep learning machine for object detection |
| CN106599939A (zh) * | 2016-12-30 | 2017-04-26 | 深圳市唯特视科技有限公司 | 一种基于区域卷积神经网络的实时目标检测方法 |
| CN108509839A (zh) * | 2018-02-02 | 2018-09-07 | 东华大学 | 一种基于区域卷积神经网络高效的手势检测识别方法 |
| CN109255352A (zh) * | 2018-09-07 | 2019-01-22 | 北京旷视科技有限公司 | 目标检测方法、装置及*** |
Non-Patent Citations (1)
| Title |
|---|
| 黄灿: "基于协同过滤的个性化图书推荐***研究", 《信息技术》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111127457A (zh) * | 2019-12-25 | 2020-05-08 | 上海找钢网信息科技股份有限公司 | 钢筋数目统计模型训练方法、统计方法、装置及设备 |
| CN111611925A (zh) * | 2020-05-21 | 2020-09-01 | 重庆现代建筑产业发展研究院 | 一种建筑物检测与识别方法及装置 |
| CN111611926A (zh) * | 2020-05-21 | 2020-09-01 | 重庆现代建筑产业发展研究院 | 一种地标建筑物检测与识别方法及装置 |
| CN111815594A (zh) * | 2020-06-29 | 2020-10-23 | 浙江大华技术股份有限公司 | 钢筋检测方法以及相关设备、装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110298821A (zh) | 一种基于Faster R-CNN的钢筋检测方法 | |
| CN104392468B (zh) | 基于改进视觉背景提取的运动目标检测方法 | |
| CN102654902B (zh) | 基于轮廓向量特征的嵌入式实时图像匹配方法 | |
| CN108090894B (zh) | 基于距离匹配函数和感知哈希算法的织物疵点检测方法 | |
| CN110717888B (zh) | 一种血管内光学相干层析成像血管壁内轮廓自动识别方法 | |
| CN113592845A (zh) | 一种电池涂布的缺陷检测方法及装置、存储介质 | |
| CN108898610A (zh) | 一种基于mask-RCNN的物体轮廓提取方法 | |
| CN108009529B (zh) | 一种基于特征根和流体力学的森林火灾烟视频目标检测方法 | |
| CN104794721B (zh) | 一种基于多尺度斑点检测的快速视盘定位方法 | |
| CN111582294A (zh) | 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用 | |
| CN109801318A (zh) | 一种快速物体匹配算法 | |
| CN107230203A (zh) | 基于人眼视觉注意机制的铸件缺陷识别方法 | |
| CN103778627A (zh) | 一种基于sar图像的海域溢油检测方法 | |
| CN110097524B (zh) | 基于融合卷积神经网络的sar图像目标检测方法 | |
| Li et al. | An online visual measurement method for workpiece dimension based on deep learning | |
| CN114926407A (zh) | 一种基于深度学习的钢材表面缺陷检测*** | |
| CN109993758A (zh) | 分割方法、分割装置、计算机设备及存储介质 | |
| CN104318559A (zh) | 用于视频图像匹配的特征点快速检测方法 | |
| CN108288020A (zh) | 基于上下文信息的视频遮挡检测***及方法 | |
| CN104700423A (zh) | 一种瓶盖检测方法和装置 | |
| CN112364881B (zh) | 一种进阶采样一致性图像匹配方法 | |
| CN115597494B (zh) | 一种基于点云的预制构件预留孔的精度检测方法、*** | |
| CN106546185A (zh) | 一种基于机器视觉检测的轮廓质量检测方法 | |
| CN112818989A (zh) | 一种基于梯度幅值随机采样的图像匹配方法 | |
| Saranya et al. | Comparison of segmentation techniques for detection of defects in non-destructive testing images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191001 |
|
| RJ01 | Rejection of invention patent application after publication |