CN113112552B - 一种基于深度学习语义分割的棋盘格检查方法 - Google Patents

一种基于深度学习语义分割的棋盘格检查方法 Download PDF

Info

Publication number
CN113112552B
CN113112552B CN202110439985.8A CN202110439985A CN113112552B CN 113112552 B CN113112552 B CN 113112552B CN 202110439985 A CN202110439985 A CN 202110439985A CN 113112552 B CN113112552 B CN 113112552B
Authority
CN
China
Prior art keywords
checkerboard
network
image
deep learning
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110439985.8A
Other languages
English (en)
Other versions
CN113112552A (zh
Inventor
杨盼
王瑞
罗先伟
朱晶星
赖杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SAIC Maxus Vehicle Co Ltd
Original Assignee
SAIC Maxus Vehicle Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAIC Maxus Vehicle Co Ltd filed Critical SAIC Maxus Vehicle Co Ltd
Priority to CN202110439985.8A priority Critical patent/CN113112552B/zh
Publication of CN113112552A publication Critical patent/CN113112552A/zh
Application granted granted Critical
Publication of CN113112552B publication Critical patent/CN113112552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于深度学习语义分割的棋盘格检查方法，所述方法用于任何相机标定时检测棋盘格用，首先获取棋盘格图像，以达到标定相机的内外参的目的，通过车载摄像头以获取图像并进行棋盘格检查。相对于传统的图像处理方法，本申请请准度高、误差度小，可以结合传统棋盘格检测的优点，提升对环境中干扰项的适应能力，同时也提升了对环境光照的适应能力。

Description

一种基于深度学习语义分割的棋盘格检查方法
技术领域
本发明涉及一种基于深度学习语义分割的棋盘格检查方法，属于汽车驾驶辅助技术领域。
背景技术
目前基于相机的视觉***，在智能驾驶车上都扮演越来越重要的角色。相机类似于智能驾驶车的眼睛，用于目标检测，以判断周围的环境。在检测到目标物后，需要知道目标物到车的距离，此时就可以通过相机相对于车的位姿计算得到。相机相对于车的位姿就需要通过标定得到。
相机标定主要是指计算相机的内参及外参（相对于车的位姿）。目前相机标定最常用的是通过检测棋盘格（包括二维码）的角点来计算相机的内外参。从智能驾驶车的下线标定成功率和4S店标定的适用性看，棋盘格（包括二维码）角点检测的鲁棒性就显得格外重要了。
目前棋盘格（包括二维码）检测的主要方法还是传统的图像处理方法，如OCamcalib/ROCHADE/CHESS等（参考后面参考文献）。这些方法在光照比较理想的情况下，检测效果都很不错。但是当环境光不均匀、反光、棋盘格上有脏污、或不同时间光照变化比较大时，检测效果就不太理想了。装有相机的车下线标定工厂的环境一般会比较复杂，有下线车辆前后灯的影响，还有工厂其他灯光的影响。有些工厂会建造密闭的标定工位，这样依然需要对这个标定环境做适配，以保证标定通过率。车在4S店标定相机时，其环境更不可控，这种情况一般是使用人工选角点的方式进行标定，效率很低。
深度学习在处理图像时，对环境的鲁棒性会有非常明显的提升。MATE（参考后面参考文献）是一种利用深度学习直接检测棋盘格角点的方法，对环境的鲁棒性确实提升了。但是因为是直接检测的棋盘格的角点，没有其他的校验信息，当深度学习给出的角点出现错误时，不好排除。同时棋盘格角点特征在物理世界中很容易被其他物体干扰，有时地上的一块污渍的角落也可能会被认为是棋盘格角点，因此该方法容易出现误检。
发明内容
本发明的目的是提出一种基于深度学习语义分割的棋盘格检查方法，该方法可以结合传统棋盘格检测的优点，提升对环境中干扰项的适应能力，同时也提升了对环境光照的适应能力。
为实现上述目的，本发明采用的技术方案如下：一种基于深度学习语义分割的棋盘格检查方法，所述方法用于任何相机标定时检测棋盘格用，首先获取棋盘格图像，以达到标定相机的内外参的目的，通过车载摄像头以获取图像，所述车载摄像头的安装位置包括车前后保、左右后视镜及前后挡风玻璃，采集到的图像为RGB/YUV等任意图像格式；
具体包括如下步骤，
步骤1，使用深度学习语义分割的方法将图像中的棋盘格从图像中分割出来；包括选择分割网络、GT标注、网络参数训练以及最后的预测；
1.1，分割网络可以选择常用的DeepLab等，也可以用resnet等网络加以修改实现分割功能。该方案很多深度学习网络都可以实现，选择深度学习网络的标准：a.为了提高环境的鲁棒性网络的深度必须够，以本方案为例本方案选择的resnet网络，因为resnet解决了随着网络层增加，会出现退化的问题。b.小目标分割精度必须够，因为随着网络不断下采样，特征图中每个piexl的感受野也会也来越大，如果一个pixel的感受野超过6*6个pixel，那小目标的特征就不容易学习到。Resnet可以通过在主干网络旁添加分支网络保留更多小目标的信息。c.在满足以上两个需求的基础上还要考虑速度问题，也就是说并不是网络深度越深越好，分支越多越好。
1.2，GT标注，label主要分两类，一类标签是棋盘格中的黑块，另一类标签是背景，通过人工及图像处理的方法，将原始图二值化，标准是棋盘格黑块部分像素亮度值为0，其他区域为255，然后将像素亮度值为255的像素点标注为1，亮度值为0的部分标注为0；
1.3，训练的参数等，按正常深度学习训练的进行；
网络输入的训练集原始图像和label图像大小为256*256，也可以用其他图像大小。数据来源是不同车型、不同工厂、不同场景量产过程中采集的图片，总样本数接近12万张。对每个像素减去均值。图像适用标准的颜色增强。在每一个卷积层之后，激活层之前均使用batch normalization。使用He initialization方法初始化网络参数，从零开始训练网络。学习速度从0.1开始，50000次迭代后学习率除于10，然后每20000次迭代除于10，总共迭代次数200000次.动量为0.9；
1.4，进行预测，将需要预测的图片输入到预测网络，输出对图片每个pixel的分类，本方案将图像pixel分两类（0,1）。预测网络由测试网络修改而来，本方案用caffe框架完成；
步骤2. 对分割后的图像进行棋盘格的角点检查；
2.1，对分割后的棋盘格图像进行二值化处理；
2.2，对二值化处理后的图像再进行膨胀腐蚀处理，二值化后的图片，主要目标地是将黑块分开。
2.3，找四边形，找图像中四边形。此时非棋盘格中的黑块也会被找出来。
2.4，至少根据四边形之间的距离、方位、大小比例找邻居，棋盘格中相邻黑块是在其对角位置，棋盘格中黑块间间距总是在一定范围内，棋盘格中相邻黑块横纵对应边的比例是在一定区间内的，相连的邻居称为邻居群。棋盘格中黑块间间距为15pixel以内，棋盘格中相邻黑块横纵对应边的比例为1/4~1/1，比例根据具体的棋盘格类型确定。
2.5，四边形和四边形相接对角的地方，称为邻居群的角点。角点坐标由两个四边形棱角计算得到。这种计算方法比直接找角点得到角点坐标的精度要高。根据排列顺序，给每个角点打上序号，即行号和列号，同时得到每个邻居群的行列数目。
2.6，根据邻居群的行列数目，判断是否是目标邻居群。再次排除一些干扰项，目标邻居群行列数目是已知的，如果检测到的邻居群的行列数目与目标邻居群不一致，那该检测到的邻居群就是干扰项；
2.7，最终满足要求的邻居群，即为需要检测的棋盘格。
本发明的有益效果在于：
1.相对于传统的OCamcalib/ROCHADE/CHESS图像处理方法，该方案对环境变化大，光照不均匀，反光，赃物等能够很好的处理。
2.现有通过深度学习直接检测棋盘格角点的方法，因为棋盘格角点特征在物理世界中很容易被其他物体干扰，容易存在误检。
3.现有通过深度学习直接检测棋盘格角点的方法，角点坐标是由角点特征属性决定的，相对于真值偏两到三个pixel依然是满足角点特征属性的。本方案角点的坐标是由相邻的两个四边形共同决定的，精度会更高。
附图说明
图1是本发明中GT标注示例图，其中（a）为原始图像，（b）为label。
图2是本发明中深度学习分割的结果，其中（a）为原始图像，（b）为分割的结果。
图3是本发明中检测四边形邻居规则示意，其中（a）中5个四边形满足棋盘格邻居规则，（b）中右上、右下、左下的四边形不满足棋盘格邻居规则。
图4是本发明的流程框图。
具体实施方式
下面结合附图对本发明做进一步的说明。
本发明是一种对环境适应能力强的高鲁棒性的棋盘格检测算法，该方案是结合了深度学习对环境比较强的适应性和OCamCalib在棋盘格检查中的高鲁棒性设计的。
该方案的实现主要分为以下步骤：
使用深度学习语义分割的方法将图像中的棋盘格从图像中分割出来。实现这一步包含选择分割网络，GT(groudture)标注，网络参数训练，以及最后的预测。
分割网络可以选择常用的DeepLab等，也可以多resnet等网络加以修改实现分割功能。需要注意的是，有些目标棋盘格在图像中只占6*6个pixel，所以小目标的分割精度要够。
GT标注，label主要分两类，一类标签是棋盘格中的黑块，另一类标签是背景，如下图1所示，图1中a为原始图像，b为label。为了方便显示将背景调为255.
训练的参数等，按正常深度学习训练的进行。
预测，下图2中a为标定时接受到的原图，b为预测得到的棋盘格黑块。
从图中可以看出，在反光比较严重的情况下，通过分割网络依然可以将黑块检测出来。通过测试发现，分割在应对亮度不均匀，脏污等情况，也有很好的处理效果。
对分割后的图像进行棋盘格的角点检查，详细流程如下：
对分割后的图像二值化。分割后的图像黑块标签是0，背景标签是1，所以只需将背景变为255即可。
膨胀腐蚀，二值化后的图片，主要目标地是将黑块分开。
找四边形，找图像中四边形。此时非棋盘格中的黑块也会被找出来。
找邻居。根据四边形之间的距离，方位，大小比例等条件找邻居。相连的邻居称为邻居群。如图2，会找到3个邻居群。这样可以排除其他位置黑块的影响。图3（b）中右上角的黑块则不属于中间黑块的邻居。棋盘格中黑块间间距总是在一定范围内，比如15pixel以内，则右下角的黑块则不是中间黑块的邻居。棋盘格中相邻黑块横纵对应边的比例是在一定区间内的（如1/4-1/1，比例可以根据具体的棋盘格类型定），图3（b）左下角黑块可以认为不是中间黑块邻居）。相连的邻居称为邻居群。找四边形在图像算法中是一个很常规的算法，比如opencv中findsquare函数直接检测，也可以自己实现，先找轮廓，再通过轮廓逼近的方式找四边形，这里不详述。
四边形和四边形相接对角的地方，称为邻居群的角点。角点坐标由两个四边形棱角计算得到。这种计算方法比直接找角点得到角点坐标的精度要高。根据排列顺序，给每个角点打上序号，即行号和列号，同时得到每个邻居群的行列数目。
根据邻居群的行列数目，判断是否是目标邻居群。再次排除一些干扰项。
最终满足要求的邻居群，就是我们要检测的棋盘格。
除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。

Claims (3)

1.一种基于深度学习语义分割的棋盘格检查方法，其特征在于：所述方法用于任何相机标定时检测棋盘格用，首先获取棋盘格图像，以达到标定相机的内外参的目的，通过车载摄像头以获取图像，所述车载摄像头的安装位置包括车前后保、左右后视镜及前后挡风玻璃，采集到的图像为RGB/YUV等任意图像格式；
具体包括如下步骤，
步骤1，使用深度学习语义分割的方法将图像中的棋盘格从图像中分割出来；包括选择分割网络、GT标注、网络参数训练以及最后的预测；
1.1，分割网络选择DeepLab或resnet网络加以修改实现分割功能；
1.2，GT标注，label主要分两类，一类标签是棋盘格中的黑块，另一类标签是背景，通过人工及图像处理的方法，将原始图二值化，标准是棋盘格黑块部分像素亮度值为0，其他区域为255，然后将像素亮度值为255的像素点标注为1，亮度值为0的部分标注为0；
1.3，训练的参数，按正常深度学习训练的进行；
1.4，进行预测，将需要预测的图片输入到预测网络，输出对图片每个pixel的分类，本方案将图像pixel分两类（0,1）；
预测网络由测试网络修改而来，本方案用caffe框架完成；
步骤2. 对分割后的图像进行棋盘格的角点检查；
2.1，对分割后的棋盘格图像进行二值化处理；
2.2，对二值化处理后的图像再进行膨胀腐蚀处理，目的是将黑块分开；
2.3，找四边形，找图像中四边形，在此过程中，非棋盘格中的黑块同时也会被找出来；
2.4，找邻居，根据四边形之间的距离、方位、大小比例找邻居，棋盘格中相邻黑块是在其对角位置，棋盘格中黑块间间距为15pixel以内，棋盘格中相邻黑块横纵对应边的比例为1/4~1/1，比例根据具体的棋盘格类型确定，相连的邻居称为邻居群；
2.5，四边形和四边形相接对角的地方，称为邻居群的角点，角点坐标由两个四边形棱角计算得到，根据排列顺序，给每个角点打上序号，即行号和列号，同时得到每个邻居群的行列数目；
2.6，根据邻居群的行列数目，判断是否是目标邻居群，再次排除一些干扰项，目标邻居群行列数目是已知的，如果检测到的邻居群的行列数目与目标邻居群不一致，那该检测到的邻居群就是干扰项；
2.7，最终满足要求的邻居群，即需要检测的棋盘格。
2.根据权利要求1所述的基于深度学习语义分割的棋盘格检查方法，其特征在于：所述步骤1.1中，选择深度学习网络的标准为：a.为了提高环境的鲁棒性网络的深度，选择resnet网络，因为resnet解决了随着网络层增加，会出现退化的问题；b.保证小目标分割精度，因为随着网络不断下采样，特征图中每个piexl的感受野也会也来越大，如果一个pixel的感受野超过6*6个pixel，那小目标的特征就不容易学习到，Resnet可以通过在主干网络旁添加分支网络保留更多小目标的信息；c.在满足以上两个需求的基础上还要考虑速度问题，也就是说并不是网络深度越深越好，分支越多越好。
3.根据权利要求1所述的基于深度学习语义分割的棋盘格检查方法，其特征在于：所述步骤1.3中，网络输入的训练集原始图像和label图像大小为256*256，也可以用其他图像大小；数据来源是不同车型、不同工厂、不同场景量产过程中采集的图片；对每个像素减去均值，图像适用标准的颜色增强，在每一个卷积层之后，激活层之前均使用batchnormalization，使用He initialization方法初始化网络参数，从零开始训练网络，学习速度从0.1开始，50000次迭代后学习率除于10，然后每20000次迭代除于10，总共迭代次数200000次， 动量为0.9。
CN202110439985.8A 2021-04-23 2021-04-23 一种基于深度学习语义分割的棋盘格检查方法 Active CN113112552B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110439985.8A CN113112552B (zh) 2021-04-23 2021-04-23 一种基于深度学习语义分割的棋盘格检查方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110439985.8A CN113112552B (zh) 2021-04-23 2021-04-23 一种基于深度学习语义分割的棋盘格检查方法

Publications (2)

Publication Number Publication Date
CN113112552A CN113112552A (zh) 2021-07-13
CN113112552B true CN113112552B (zh) 2022-05-27

Family

ID=76719860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110439985.8A Active CN113112552B (zh) 2021-04-23 2021-04-23 一种基于深度学习语义分割的棋盘格检查方法

Country Status (1)

Country Link
CN (1) CN113112552B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6768509B1 (en) * 2000-06-12 2004-07-27 Intel Corporation Method and apparatus for determining points of interest on an image of a camera calibration object
CN101477687A (zh) * 2009-01-22 2009-07-08 上海交通大学 复杂背景下的棋盘格角点检测方法
CN109949373A (zh) * 2019-03-22 2019-06-28 深圳市博维远景科技有限公司 一种改进的棋盘格角点检测方法
CN110458898A (zh) * 2019-08-15 2019-11-15 北京迈格威科技有限公司 相机标定板、标定数据采集方法、畸变校正方法及装置
CN110689579A (zh) * 2019-10-18 2020-01-14 华中科技大学 基于合作目标的快速单目视觉位姿测量方法及测量***
CN111340893A (zh) * 2020-03-24 2020-06-26 深圳奥比中光科技有限公司 一种标定板、标定方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6768509B1 (en) * 2000-06-12 2004-07-27 Intel Corporation Method and apparatus for determining points of interest on an image of a camera calibration object
CN101477687A (zh) * 2009-01-22 2009-07-08 上海交通大学 复杂背景下的棋盘格角点检测方法
CN109949373A (zh) * 2019-03-22 2019-06-28 深圳市博维远景科技有限公司 一种改进的棋盘格角点检测方法
CN110458898A (zh) * 2019-08-15 2019-11-15 北京迈格威科技有限公司 相机标定板、标定数据采集方法、畸变校正方法及装置
CN110689579A (zh) * 2019-10-18 2020-01-14 华中科技大学 基于合作目标的快速单目视觉位姿测量方法及测量***
CN111340893A (zh) * 2020-03-24 2020-06-26 深圳奥比中光科技有限公司 一种标定板、标定方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Checkerboard Corner Detection Method Using Circular Samplers;Linchao Huang, et al;《2018 IEEE 4th International Conference on Computer and Communications (ICCC)》;20190801;全文 *
Error Distribution of Estimated Checkerboard Corner Location;Matthew J. Edwards, et al;《2018 International Conference on Image and Vision Computing New Zealand (IVCNZ)》;20190207;全文 *
面向自动驾驶***的相机—激光雷达的自动标定;许涵博;《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》;20200215(第2期);全文 *

Also Published As

Publication number Publication date
CN113112552A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
Heinzler et al. Cnn-based lidar point cloud de-noising in adverse weather
CN109886896B (zh) 一种蓝色车牌分割与矫正方法
CN107507167B (zh) 一种基于点云平面轮廓匹配的货物托盘检测方法及***
CN101334836B (zh) 一种融合色彩、尺寸和纹理特征的车牌定位方法
CN108256521B (zh) 用于车身颜色识别的有效区域定位方法
CN111967498A (zh) 基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法
CN111965636A (zh) 一种基于毫米波雷达和视觉融合的夜间目标检测方法
CN112766136B (zh) 一种基于深度学习的空间车位检测方法
CN111881832A (zh) 车道目标检测方法、装置、设备及计算机可读存储介质
CN112560538B (zh) 一种根据图像冗余信息快速定位受损qr码的方法
Chang et al. An efficient method for lane-mark extraction in complex conditions
CN115372990A (zh) 一种高精度语义地图的建图方法、装置和无人车
Magnussen et al. A survey of the inadequacies in traffic sign recognition systems for autonomous vehicles
CN111444916A (zh) 面向无约束条件下的车牌定位及识别方法、***
CN112907626A (zh) 基于卫星超时相数据多源信息的运动目标提取方法
CN110705553B (zh) 一种适用于车辆远景图像的划痕检测方法
Ren et al. Environment influences on uncertainty of object detection for automated driving systems
CN116643291A (zh) 一种视觉与激光雷达联合剔除动态目标的slam方法
CN109978916B (zh) 基于灰度图像特征匹配的Vibe运动目标检测方法
Choi et al. A sensor fusion system with thermal infrared camera and LiDAR for autonomous vehicles: Its calibration and application
CN112784675B (zh) 目标检测方法及装置、存储介质、终端
CN113112552B (zh) 一种基于深度学习语义分割的棋盘格检查方法
CN110717910B (zh) 基于卷积神经网络的ct图像目标检测方法及ct扫描仪
CN110910379A (zh) 一种残缺检测方法及装置
CN114724119A (zh) 车道线提取方法、检测设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant