CN113112552B - 一种基于深度学习语义分割的棋盘格检查方法 - Google Patents
一种基于深度学习语义分割的棋盘格检查方法 Download PDFInfo
- Publication number
- CN113112552B CN113112552B CN202110439985.8A CN202110439985A CN113112552B CN 113112552 B CN113112552 B CN 113112552B CN 202110439985 A CN202110439985 A CN 202110439985A CN 113112552 B CN113112552 B CN 113112552B
- Authority
- CN
- China
- Prior art keywords
- checkerboard
- network
- image
- deep learning
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于深度学习语义分割的棋盘格检查方法,所述方法用于任何相机标定时检测棋盘格用,首先获取棋盘格图像,以达到标定相机的内外参的目的,通过车载摄像头以获取图像并进行棋盘格检查。相对于传统的图像处理方法,本申请请准度高、误差度小,可以结合传统棋盘格检测的优点,提升对环境中干扰项的适应能力,同时也提升了对环境光照的适应能力。
Description
技术领域
本发明涉及一种基于深度学习语义分割的棋盘格检查方法,属于汽车驾驶辅助技术领域。
背景技术
目前基于相机的视觉***,在智能驾驶车上都扮演越来越重要的角色。相机类似于智能驾驶车的眼睛,用于目标检测,以判断周围的环境。在检测到目标物后,需要知道目标物到车的距离,此时就可以通过相机相对于车的位姿计算得到。相机相对于车的位姿就需要通过标定得到。
相机标定主要是指计算相机的内参及外参(相对于车的位姿)。目前相机标定最常用的是通过检测棋盘格(包括二维码)的角点来计算相机的内外参。从智能驾驶车的下线标定成功率和4S店标定的适用性看,棋盘格(包括二维码)角点检测的鲁棒性就显得格外重要了。
目前棋盘格(包括二维码)检测的主要方法还是传统的图像处理方法,如OCamcalib/ROCHADE/CHESS等(参考后面参考文献)。这些方法在光照比较理想的情况下,检测效果都很不错。但是当环境光不均匀、反光、棋盘格上有脏污、或不同时间光照变化比较大时,检测效果就不太理想了。装有相机的车下线标定工厂的环境一般会比较复杂,有下线车辆前后灯的影响,还有工厂其他灯光的影响。有些工厂会建造密闭的标定工位,这样依然需要对这个标定环境做适配,以保证标定通过率。车在4S店标定相机时,其环境更不可控,这种情况一般是使用人工选角点的方式进行标定,效率很低。
深度学习在处理图像时,对环境的鲁棒性会有非常明显的提升。MATE(参考后面参考文献)是一种利用深度学习直接检测棋盘格角点的方法,对环境的鲁棒性确实提升了。但是因为是直接检测的棋盘格的角点,没有其他的校验信息,当深度学习给出的角点出现错误时,不好排除。同时棋盘格角点特征在物理世界中很容易被其他物体干扰,有时地上的一块污渍的角落也可能会被认为是棋盘格角点,因此该方法容易出现误检。
发明内容
本发明的目的是提出一种基于深度学习语义分割的棋盘格检查方法,该方法可以结合传统棋盘格检测的优点,提升对环境中干扰项的适应能力,同时也提升了对环境光照的适应能力。
为实现上述目的,本发明采用的技术方案如下:一种基于深度学习语义分割的棋盘格检查方法,所述方法用于任何相机标定时检测棋盘格用,首先获取棋盘格图像,以达到标定相机的内外参的目的,通过车载摄像头以获取图像,所述车载摄像头的安装位置包括车前后保、左右后视镜及前后挡风玻璃,采集到的图像为RGB/YUV等任意图像格式;
具体包括如下步骤,
步骤1,使用深度学习语义分割的方法将图像中的棋盘格从图像中分割出来;包括选择分割网络、GT标注、网络参数训练以及最后的预测;
1.1,分割网络可以选择常用的DeepLab等,也可以用resnet等网络加以修改实现分割功能。该方案很多深度学习网络都可以实现,选择深度学习网络的标准:a.为了提高环境的鲁棒性网络的深度必须够,以本方案为例本方案选择的resnet网络,因为resnet解决了随着网络层增加,会出现退化的问题。b.小目标分割精度必须够,因为随着网络不断下采样,特征图中每个piexl的感受野也会也来越大,如果一个pixel的感受野超过6*6个pixel,那小目标的特征就不容易学习到。Resnet可以通过在主干网络旁添加分支网络保留更多小目标的信息。c.在满足以上两个需求的基础上还要考虑速度问题,也就是说并不是网络深度越深越好,分支越多越好。
1.2,GT标注,label主要分两类,一类标签是棋盘格中的黑块,另一类标签是背景,通过人工及图像处理的方法,将原始图二值化,标准是棋盘格黑块部分像素亮度值为0,其他区域为255,然后将像素亮度值为255的像素点标注为1,亮度值为0的部分标注为0;
1.3,训练的参数等,按正常深度学习训练的进行;
网络输入的训练集原始图像和label图像大小为256*256,也可以用其他图像大小。数据来源是不同车型、不同工厂、不同场景量产过程中采集的图片,总样本数接近12万张。对每个像素减去均值。图像适用标准的颜色增强。在每一个卷积层之后,激活层之前均使用batch normalization。使用He initialization方法初始化网络参数,从零开始训练网络。学习速度从0.1开始,50000次迭代后学习率除于10,然后每20000次迭代除于10,总共迭代次数200000次.动量为0.9;
1.4,进行预测,将需要预测的图片输入到预测网络,输出对图片每个pixel的分类,本方案将图像pixel分两类(0,1)。预测网络由测试网络修改而来,本方案用caffe框架完成;
步骤2. 对分割后的图像进行棋盘格的角点检查;
2.1,对分割后的棋盘格图像进行二值化处理;
2.2,对二值化处理后的图像再进行膨胀腐蚀处理,二值化后的图片,主要目标地是将黑块分开。
2.3,找四边形,找图像中四边形。此时非棋盘格中的黑块也会被找出来。
2.4,至少根据四边形之间的距离、方位、大小比例找邻居,棋盘格中相邻黑块是在其对角位置,棋盘格中黑块间间距总是在一定范围内,棋盘格中相邻黑块横纵对应边的比例是在一定区间内的,相连的邻居称为邻居群。棋盘格中黑块间间距为15pixel以内,棋盘格中相邻黑块横纵对应边的比例为1/4~1/1,比例根据具体的棋盘格类型确定。
2.5,四边形和四边形相接对角的地方,称为邻居群的角点。角点坐标由两个四边形棱角计算得到。这种计算方法比直接找角点得到角点坐标的精度要高。根据排列顺序,给每个角点打上序号,即行号和列号,同时得到每个邻居群的行列数目。
2.6,根据邻居群的行列数目,判断是否是目标邻居群。再次排除一些干扰项,目标邻居群行列数目是已知的,如果检测到的邻居群的行列数目与目标邻居群不一致,那该检测到的邻居群就是干扰项;
2.7,最终满足要求的邻居群,即为需要检测的棋盘格。
本发明的有益效果在于:
1.相对于传统的OCamcalib/ROCHADE/CHESS图像处理方法,该方案对环境变化大,光照不均匀,反光,赃物等能够很好的处理。
2.现有通过深度学习直接检测棋盘格角点的方法,因为棋盘格角点特征在物理世界中很容易被其他物体干扰,容易存在误检。
3.现有通过深度学习直接检测棋盘格角点的方法,角点坐标是由角点特征属性决定的,相对于真值偏两到三个pixel依然是满足角点特征属性的。本方案角点的坐标是由相邻的两个四边形共同决定的,精度会更高。
附图说明
图1是本发明中GT标注示例图,其中(a)为原始图像,(b)为label。
图2是本发明中深度学习分割的结果,其中(a)为原始图像,(b)为分割的结果。
图3是本发明中检测四边形邻居规则示意,其中(a)中5个四边形满足棋盘格邻居规则,(b)中右上、右下、左下的四边形不满足棋盘格邻居规则。
图4是本发明的流程框图。
具体实施方式
下面结合附图对本发明做进一步的说明。
本发明是一种对环境适应能力强的高鲁棒性的棋盘格检测算法,该方案是结合了深度学习对环境比较强的适应性和OCamCalib在棋盘格检查中的高鲁棒性设计的。
该方案的实现主要分为以下步骤:
使用深度学习语义分割的方法将图像中的棋盘格从图像中分割出来。实现这一步包含选择分割网络,GT(groudture)标注,网络参数训练,以及最后的预测。
分割网络可以选择常用的DeepLab等,也可以多resnet等网络加以修改实现分割功能。需要注意的是,有些目标棋盘格在图像中只占6*6个pixel,所以小目标的分割精度要够。
GT标注,label主要分两类,一类标签是棋盘格中的黑块,另一类标签是背景,如下图1所示,图1中a为原始图像,b为label。为了方便显示将背景调为255.
训练的参数等,按正常深度学习训练的进行。
预测,下图2中a为标定时接受到的原图,b为预测得到的棋盘格黑块。
从图中可以看出,在反光比较严重的情况下,通过分割网络依然可以将黑块检测出来。通过测试发现,分割在应对亮度不均匀,脏污等情况,也有很好的处理效果。
对分割后的图像进行棋盘格的角点检查,详细流程如下:
对分割后的图像二值化。分割后的图像黑块标签是0,背景标签是1,所以只需将背景变为255即可。
膨胀腐蚀,二值化后的图片,主要目标地是将黑块分开。
找四边形,找图像中四边形。此时非棋盘格中的黑块也会被找出来。
找邻居。根据四边形之间的距离,方位,大小比例等条件找邻居。相连的邻居称为邻居群。如图2,会找到3个邻居群。这样可以排除其他位置黑块的影响。图3(b)中右上角的黑块则不属于中间黑块的邻居。棋盘格中黑块间间距总是在一定范围内,比如15pixel以内,则右下角的黑块则不是中间黑块的邻居。棋盘格中相邻黑块横纵对应边的比例是在一定区间内的(如1/4-1/1,比例可以根据具体的棋盘格类型定),图3(b)左下角黑块可以认为不是中间黑块邻居)。相连的邻居称为邻居群。找四边形在图像算法中是一个很常规的算法,比如opencv中findsquare函数直接检测,也可以自己实现,先找轮廓,再通过轮廓逼近的方式找四边形,这里不详述。
四边形和四边形相接对角的地方,称为邻居群的角点。角点坐标由两个四边形棱角计算得到。这种计算方法比直接找角点得到角点坐标的精度要高。根据排列顺序,给每个角点打上序号,即行号和列号,同时得到每个邻居群的行列数目。
根据邻居群的行列数目,判断是否是目标邻居群。再次排除一些干扰项。
最终满足要求的邻居群,就是我们要检测的棋盘格。
除上述实施例外,本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案,均落在本发明要求的保护范围。
Claims (3)
1.一种基于深度学习语义分割的棋盘格检查方法,其特征在于:所述方法用于任何相机标定时检测棋盘格用,首先获取棋盘格图像,以达到标定相机的内外参的目的,通过车载摄像头以获取图像,所述车载摄像头的安装位置包括车前后保、左右后视镜及前后挡风玻璃,采集到的图像为RGB/YUV等任意图像格式;
具体包括如下步骤,
步骤1,使用深度学习语义分割的方法将图像中的棋盘格从图像中分割出来;包括选择分割网络、GT标注、网络参数训练以及最后的预测;
1.1,分割网络选择DeepLab或resnet网络加以修改实现分割功能;
1.2,GT标注,label主要分两类,一类标签是棋盘格中的黑块,另一类标签是背景,通过人工及图像处理的方法,将原始图二值化,标准是棋盘格黑块部分像素亮度值为0,其他区域为255,然后将像素亮度值为255的像素点标注为1,亮度值为0的部分标注为0;
1.3,训练的参数,按正常深度学习训练的进行;
1.4,进行预测,将需要预测的图片输入到预测网络,输出对图片每个pixel的分类,本方案将图像pixel分两类(0,1);
预测网络由测试网络修改而来,本方案用caffe框架完成;
步骤2. 对分割后的图像进行棋盘格的角点检查;
2.1,对分割后的棋盘格图像进行二值化处理;
2.2,对二值化处理后的图像再进行膨胀腐蚀处理,目的是将黑块分开;
2.3,找四边形,找图像中四边形,在此过程中,非棋盘格中的黑块同时也会被找出来;
2.4,找邻居,根据四边形之间的距离、方位、大小比例找邻居,棋盘格中相邻黑块是在其对角位置,棋盘格中黑块间间距为15pixel以内,棋盘格中相邻黑块横纵对应边的比例为1/4~1/1,比例根据具体的棋盘格类型确定,相连的邻居称为邻居群;
2.5,四边形和四边形相接对角的地方,称为邻居群的角点,角点坐标由两个四边形棱角计算得到,根据排列顺序,给每个角点打上序号,即行号和列号,同时得到每个邻居群的行列数目;
2.6,根据邻居群的行列数目,判断是否是目标邻居群,再次排除一些干扰项,目标邻居群行列数目是已知的,如果检测到的邻居群的行列数目与目标邻居群不一致,那该检测到的邻居群就是干扰项;
2.7,最终满足要求的邻居群,即需要检测的棋盘格。
2.根据权利要求1所述的基于深度学习语义分割的棋盘格检查方法,其特征在于:所述步骤1.1中,选择深度学习网络的标准为:a.为了提高环境的鲁棒性网络的深度,选择resnet网络,因为resnet解决了随着网络层增加,会出现退化的问题;b.保证小目标分割精度,因为随着网络不断下采样,特征图中每个piexl的感受野也会也来越大,如果一个pixel的感受野超过6*6个pixel,那小目标的特征就不容易学习到,Resnet可以通过在主干网络旁添加分支网络保留更多小目标的信息;c.在满足以上两个需求的基础上还要考虑速度问题,也就是说并不是网络深度越深越好,分支越多越好。
3.根据权利要求1所述的基于深度学习语义分割的棋盘格检查方法,其特征在于:所述步骤1.3中,网络输入的训练集原始图像和label图像大小为256*256,也可以用其他图像大小;数据来源是不同车型、不同工厂、不同场景量产过程中采集的图片;对每个像素减去均值,图像适用标准的颜色增强,在每一个卷积层之后,激活层之前均使用batchnormalization,使用He initialization方法初始化网络参数,从零开始训练网络,学习速度从0.1开始,50000次迭代后学习率除于10,然后每20000次迭代除于10,总共迭代次数200000次, 动量为0.9。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110439985.8A CN113112552B (zh) | 2021-04-23 | 2021-04-23 | 一种基于深度学习语义分割的棋盘格检查方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110439985.8A CN113112552B (zh) | 2021-04-23 | 2021-04-23 | 一种基于深度学习语义分割的棋盘格检查方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113112552A CN113112552A (zh) | 2021-07-13 |
CN113112552B true CN113112552B (zh) | 2022-05-27 |
Family
ID=76719860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110439985.8A Active CN113112552B (zh) | 2021-04-23 | 2021-04-23 | 一种基于深度学习语义分割的棋盘格检查方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113112552B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6768509B1 (en) * | 2000-06-12 | 2004-07-27 | Intel Corporation | Method and apparatus for determining points of interest on an image of a camera calibration object |
CN101477687A (zh) * | 2009-01-22 | 2009-07-08 | 上海交通大学 | 复杂背景下的棋盘格角点检测方法 |
CN109949373A (zh) * | 2019-03-22 | 2019-06-28 | 深圳市博维远景科技有限公司 | 一种改进的棋盘格角点检测方法 |
CN110458898A (zh) * | 2019-08-15 | 2019-11-15 | 北京迈格威科技有限公司 | 相机标定板、标定数据采集方法、畸变校正方法及装置 |
CN110689579A (zh) * | 2019-10-18 | 2020-01-14 | 华中科技大学 | 基于合作目标的快速单目视觉位姿测量方法及测量*** |
CN111340893A (zh) * | 2020-03-24 | 2020-06-26 | 深圳奥比中光科技有限公司 | 一种标定板、标定方法及*** |
-
2021
- 2021-04-23 CN CN202110439985.8A patent/CN113112552B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6768509B1 (en) * | 2000-06-12 | 2004-07-27 | Intel Corporation | Method and apparatus for determining points of interest on an image of a camera calibration object |
CN101477687A (zh) * | 2009-01-22 | 2009-07-08 | 上海交通大学 | 复杂背景下的棋盘格角点检测方法 |
CN109949373A (zh) * | 2019-03-22 | 2019-06-28 | 深圳市博维远景科技有限公司 | 一种改进的棋盘格角点检测方法 |
CN110458898A (zh) * | 2019-08-15 | 2019-11-15 | 北京迈格威科技有限公司 | 相机标定板、标定数据采集方法、畸变校正方法及装置 |
CN110689579A (zh) * | 2019-10-18 | 2020-01-14 | 华中科技大学 | 基于合作目标的快速单目视觉位姿测量方法及测量*** |
CN111340893A (zh) * | 2020-03-24 | 2020-06-26 | 深圳奥比中光科技有限公司 | 一种标定板、标定方法及*** |
Non-Patent Citations (3)
Title |
---|
A Checkerboard Corner Detection Method Using Circular Samplers;Linchao Huang, et al;《2018 IEEE 4th International Conference on Computer and Communications (ICCC)》;20190801;全文 * |
Error Distribution of Estimated Checkerboard Corner Location;Matthew J. Edwards, et al;《2018 International Conference on Image and Vision Computing New Zealand (IVCNZ)》;20190207;全文 * |
面向自动驾驶***的相机—激光雷达的自动标定;许涵博;《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》;20200215(第2期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113112552A (zh) | 2021-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Heinzler et al. | Cnn-based lidar point cloud de-noising in adverse weather | |
CN109886896B (zh) | 一种蓝色车牌分割与矫正方法 | |
CN107507167B (zh) | 一种基于点云平面轮廓匹配的货物托盘检测方法及*** | |
CN101334836B (zh) | 一种融合色彩、尺寸和纹理特征的车牌定位方法 | |
CN108256521B (zh) | 用于车身颜色识别的有效区域定位方法 | |
CN111967498A (zh) | 基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法 | |
CN111965636A (zh) | 一种基于毫米波雷达和视觉融合的夜间目标检测方法 | |
CN112766136B (zh) | 一种基于深度学习的空间车位检测方法 | |
CN111881832A (zh) | 车道目标检测方法、装置、设备及计算机可读存储介质 | |
CN112560538B (zh) | 一种根据图像冗余信息快速定位受损qr码的方法 | |
Chang et al. | An efficient method for lane-mark extraction in complex conditions | |
CN115372990A (zh) | 一种高精度语义地图的建图方法、装置和无人车 | |
Magnussen et al. | A survey of the inadequacies in traffic sign recognition systems for autonomous vehicles | |
CN111444916A (zh) | 面向无约束条件下的车牌定位及识别方法、*** | |
CN112907626A (zh) | 基于卫星超时相数据多源信息的运动目标提取方法 | |
CN110705553B (zh) | 一种适用于车辆远景图像的划痕检测方法 | |
Ren et al. | Environment influences on uncertainty of object detection for automated driving systems | |
CN116643291A (zh) | 一种视觉与激光雷达联合剔除动态目标的slam方法 | |
CN109978916B (zh) | 基于灰度图像特征匹配的Vibe运动目标检测方法 | |
Choi et al. | A sensor fusion system with thermal infrared camera and LiDAR for autonomous vehicles: Its calibration and application | |
CN112784675B (zh) | 目标检测方法及装置、存储介质、终端 | |
CN113112552B (zh) | 一种基于深度学习语义分割的棋盘格检查方法 | |
CN110717910B (zh) | 基于卷积神经网络的ct图像目标检测方法及ct扫描仪 | |
CN110910379A (zh) | 一种残缺检测方法及装置 | |
CN114724119A (zh) | 车道线提取方法、检测设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |