CN113221917A - 非充分光照下单目视觉双层四边形结构合作目标提取方法 - Google Patents

非充分光照下单目视觉双层四边形结构合作目标提取方法 Download PDF

Info

Publication number
CN113221917A
CN113221917A CN202110522120.8A CN202110522120A CN113221917A CN 113221917 A CN113221917 A CN 113221917A CN 202110522120 A CN202110522120 A CN 202110522120A CN 113221917 A CN113221917 A CN 113221917A
Authority
CN
China
Prior art keywords
image
double
quadrilateral structure
pixel point
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110522120.8A
Other languages
English (en)
Other versions
CN113221917B (zh
Inventor
曾庆化
张逸舟
许睿
李一能
罗怡雪
吕品
王融
张玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202110522120.8A priority Critical patent/CN113221917B/zh
Publication of CN113221917A publication Critical patent/CN113221917A/zh
Application granted granted Critical
Publication of CN113221917B publication Critical patent/CN113221917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/247Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种非充分光照下单目视觉双层四边形结构合作目标提取方法,采用单目相机采集图像,依据图像的明度通道值作为灰度化依据,利用自适应局部阈值二值化方法对其进行二值化预处理,然后正确提取标记轮廓,使用道格拉斯‑普克算法对所提取的轮廓进行毛刺消除,从而准确地提取四边形合作目标的轮廓边缘与角点。本发明可以应用于光照不足、光照不均等非充分光照条件,可以高效准确地筛选出正确轮廓。本发明鲁棒性好且具备实时性,可实现非充分光照条件下的合作目标的智能提取。

Description

非充分光照下单目视觉双层四边形结构合作目标提取方法
技术领域
本发明属于单目视觉合作目标算法领域。
背景技术
单目视觉***则以其结构简单、获取信息丰富、空间占用小等特点成为了研究领域热门。如使用地面合作标记获取相对位姿信息辅助飞行器完成近地着陆引导,在飞行器空投作业过程中结合靶标实现重物的精准投放,或者在集装箱搬运过程中结合箱体表面纹理获取位姿信息以完成自动抓取操作等。合作目标提取的准确性将影响作业效率,而非充分的光照条件是增加提取难度的首要因素,如在光照不足、光照不均和自然光照变化等环境中使用,都将极易使得单目视觉合作目标识别与定位算法失效,传统的二值化与轮廓提取算法难以满足实际应用场景。
发明内容
发明目的:为了解决上述现有技术存在的问题,本发明提供了一种非充分光照下单目视觉双层四边形结构合作目标提取方法。
技术方案:本发明提供了一种非充分光照下单目视觉双层四边形结构合作目标提取方法,具体包括如下步骤:
步骤1:使用单目相机采集带有双层四边形结构合作目标的图像,对采集的图像进行畸变校正,对校正后的图像进行灰度化,得到灰度图像;所述双层四边形结构合作目标为由内四边形和外四边形构成的双层四边形图案;
步骤2:对步骤1中的灰度图像进行自适应局部阈值二值化操作,得到二值化图像;
步骤3:对步骤2得到的二值化图像进行开操作和闭操作,从而去除二值化图像中联通域的孔隙,得到双层四边形结构合作目标的粗轮廓;然后对粗轮廓的边缘毛刺进行细化,完成双层四边形结构合作目标的轮廓提取。
进一步的,所述步骤1中的内四边形和外四边形满足如下条件:
条件1:两个四边形的形状相同,旋转中心相同以及相应的边互相平行;
条件2:两个四边形的颜色的对比度大于等于预设的阈值。
进一步的,所述步骤1中单目相机采集的带有双层四边形结构合作目标的图像满足如下形态学约束规则:
规则1:该图像中双层四边形结构合作目标所占的像素数与该图像的总像素数的比值大于等于预设的阈值m1
规则2:内四边形的面积与外四边形的面积之比大于等于预设的阈值m2
规则3:该图像进行畸变校正和灰度化后,对灰度图像进行自适应的局部阈值二值化操作时,如果在双层四边形结构合作目标内产生除双层四边形结构合作目标外的其他图形,则该图形的面积与双层四边形结构合作目标的面积之比小于等于预设的阈值m3
进一步的,所述步骤2具体为:
步骤2.1:根据灰度图像的明度均值Vm设置边长为S像素长度,门限值为C的正方形的采样窗口:
Figure BDA0003064457090000021
步骤2.2:以灰度图像的左上角为原点,建立像素坐标系,得到灰度图像中每个像素点的坐标;以灰度图像中第m个像素点为中心,设置与该第m个像素点对应的采样窗口,从而得到既位于采样窗口内也位于灰度图像范围内的像素点的集合N,遍历集合N中所有的像素点,并按照如下公式计算该第m个像素点的独立阈值;
Figure BDA0003064457090000022
其中,(it,jt)表示集合N中第t个像素点的坐标,T表示集合N中像素点的总个数,V(it,jt)表示集合N中第t个像素点的灰度值,thre(i0,j0)为第m个像素点的独立阈值,m=1,2,…,M,M为灰度图像中像素点的总个数,imax为在集合N内像素点坐标中横坐标的最大值,imin为在集合N内像素点坐标中横坐标的最小值,jmax为在集合N内像素点坐标中纵坐标的最大值,jmin为在集合N内像素点坐标中纵坐标的最小值;
步骤2.3:对第m个像素点进行阈值反二值化,从而更新该第m个像素点的灰度:
Figure BDA0003064457090000031
其中V(i0,j0)为第m个像素点的更新前的灰度值,Vdst(i0,j0)为第m个像素点的更新后的灰度值。
进一步的,所述步骤3中采用道格拉斯-普克算法对粗轮廓的边缘毛刺进行细化。
有益效果:本发明对于常规的应用场景均具有较好的效果,使用过程无需对函数参数进行调整,无需手动调节,具备高鲁棒性,高可靠性和实时性,本发明实现了非充分光照条件下的单目合作目标提取功能。
附图说明
图1为本发明整体算法流程图;
图2为本发明设计双层四边形合作目标示例图;
图3为光线不均条件下包容错误连通域的轮廓提取效果图;
图4为非充分光照条件下自适应轮廓提取效果图。
具体实施方式
构成本发明的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
下面结合附图对本发明作进一步说明:
如图1所示,本发明公开了一种非充分光照下单目视觉双层四边形结构合作目标提取方法,包含如下具体步骤:
步骤1:依据发明要求设计双层四边形合作目标。使用单目相机采集粘贴有双层四边形合作目标的物体的图像,且该图像符合本发明的形态学约束规则,结合单目相机的标定参数进行图片的畸变矫正,接着对矫正后的采集图像依据的该图像的明度通道值进行灰度化。
步骤2:对灰度图像进行自适应局部阈值二值化操作:遍历灰度图像中的全部像素点,并对每个像素点依据光照条件自适应地计算独立阈值,进行阈值反二值化操作得到二值化图。
步骤3:筛选轮廓并进行边界拟合输出目标提取结果:对步骤(2)得到的二值化图像进行开操作和闭操作去,从而去除二值化图像中联通域的孔隙,筛选得到合作目标粗轮廓,并使用道格拉斯-普克算法细化粗轮廓的边缘毛刺从而完成合作目标轮廓提取工作,将合作目标轮廓使用灰度值255标记并显示。
所述步骤1中所述双层四边形结构合作目标为由内四边形和外四边形构成的双层四边形图案;且该两个四边形状相同,旋转中心相同以及相应的边互相平行;目标图案由具有高对比度的深浅两色(以黑白色方案为主)构成(也既两个四边形的颜色的对比度超过预设的阈值),两个四边形相应的边长之比为R,外四边形外侧预留宽度为L的浅色区域。需要指出,R、L、四边形形状以及目标图案实际尺寸的选择应遵循合作目标“易于辨识”的设计初衷。例如:如图2所示,本实施例中设置四边形形状为正方形,R为0.65,正方形合作目标中外四边形的边长为40cm,内四边形的边长为26cm,预留白色外框区域宽度L为5cm。
所述步骤1中形态学约束规则包括如下规则:
规则一:为了保证合作目标角点提取具有较高的精度,需要控制目标图案(合作目标)所占的像素点的个数与单目相机所采集的图像总像素数目的比例达到预设的阈值m1,从而筛选掉图中的小点状噪声轮廓,并排除合作目标距离过远时的失效判断。本实施例中阈值m1为0.02%。
规则二:正确的目标轮廓一定具有子轮廓(内四边形),则合作目标内外轮廓包围面积比例(也既内四边形与外四形的面积比例)大于预设的阈值m2,从而筛选掉单层闭合轮廓以及错误的双层嵌套轮廓组。本实施例中合作目标内外轮廓包围面积比例理论最小值为R2,因此m2需要设置略微小于R2,当R为0.65时,本实施例中阈值m2为0.35。
规则三:为包容非充分光照条件下,采用自适应局部阈值算法时可能在双层四边形结构合作目标内产生次子轮廓,需要对三层嵌套轮廓组进行判别。如图3所示为某三层嵌套轮廓,①号为目标轮廓,②号为子轮廓,③号为次子轮廓。由于算法原理产生的次子轮廓包围面积(也既次子轮廓的面积)通常偏小,因此可控制次子轮廓包围面积与目标轮廓包围面积的比例小于等于预设的阈值m3,当比值达到本阈值时排除该组嵌套轮廓。本实施例中m3为0.25。
所述步骤2包括以下子步骤:
步骤2.1:根据步骤1中的灰度图像的明度均值Vm设置边长为S像素长度,门限值为C的正方形的采样窗口:
Figure BDA0003064457090000051
步骤2.2:以灰度图像的左上角为原点,建立像素坐标系,得到灰度图像中每个像素点的坐标,对于第m个像素点,其坐标为(i0,j0),计算其独立阈值thre(i0,j0)时,先以该第m个像素点为中心,设置与该第m个像素点对应的采样窗口,对采样窗口内的像素点进行遍历,若第m个像素点靠近图像边缘,采样窗口区域超出图像边界,则以采样窗口中处于图像范围内的矩形区域中的全部像素点进行遍历;令所需要遍历的像素点的集合为N;
像素点(it,jt)取值约束条件:
Figure BDA0003064457090000052
(it,jt)表示集合N中第t个像素点的坐标;
根据如下公式计算第m个像素点的独立阈值:
Figure BDA0003064457090000053
其中,T表示集合N中像素点的总个数,V(it,jt)表示集合N中第t个像素点的灰度值,thre(i0,j0)为第m个像素点的独立阈值,m=1,2,…,M,M为灰度图像中像素点的总个数,imax为在集合N内像素点坐标中横坐标的最大值,imin为在集合N内像素点坐标中横坐标的最小值,jmax为在集合N内像素点坐标中纵坐标的最大值,jmin为在集合N内像素点坐标中纵坐标的最小值;
步骤2.3:对第m个像素点进行阈值反二值化更新其灰度值:
Figure BDA0003064457090000061
其中V(i0,j0)为第m个像素点的更新前的灰度值,Vdst(i0,j0)为第m个像素点的更新后的灰度值。
为了验证本发明的有效性,采用实际实验场景进行验证。采用本发明方法的非充分光照条件下自适应轮廓提取效果如图4所示。
非充分光照条件可分为光照不足环境(场景明度均值小于60,人眼仍可辨识物体)与光照不均环境(正常的场景明度,但光线存在遮挡或者光照有明显的区域分布不均)。在这两类场景中,使用大津法二值化、常规局部阈值二值化和本发明算法进行测试,合作目标召回率与单帧运算速度统计结果如表1所示:
表1
Figure BDA0003064457090000062
由结果可以看出,本发明提出的方法对比大津法二值化、常规局部阈值二值化算法具有非充分光照条件下的明显优势,在样本中黑暗条件标记召回率为91.7%,光照不均条件下标记召回率为100%。算法处理单帧运算速度处于10-4ms数量级,快于另两种算法,且具备实时处理图像数据的能力。在检测过程中大幅度提升了合作目标提取的鲁棒性,具有良好的工程应用价值。
上面结合附图对本发明的实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (5)

1.非充分光照下单目视觉双层四边形结构合作目标提取方法,其特征在于:具体包括如下步骤:
步骤1:使用单目相机采集带有双层四边形结构合作目标的图像,对采集的图像进行畸变校正,对校正后的图像进行灰度化,得到灰度图像;所述双层四边形结构合作目标为由内四边形和外四边形构成的双层四边形图案;
步骤2:对步骤1中的灰度图像进行自适应局部阈值二值化操作,得到二值化图像;
步骤3:对步骤2得到的二值化图像进行开操作和闭操作,从而去除二值化图像中联通域的孔隙,得到双层四边形结构合作目标的粗轮廓;然后对粗轮廓的边缘毛刺进行细化,完成双层四边形结构合作目标的轮廓提取。
2.根据权利要求1所述的非充分光照下单目视觉双层四边形结构合作目标提取方法,其特征在于:所述步骤1中的内四边形和外四边形满足如下条件:
条件1:两个四边形的形状相同,旋转中心相同以及相应的边互相平行;
条件2:两个四边形的颜色的对比度大于等于预设的阈值。
3.根据权利要求1所述的非充分光照下单目视觉双层四边形结构合作目标提取方法,其特征在于:所述步骤1中单目相机采集的带有双层四边形结构合作目标的图像满足如下形态学约束规则:
规则1:该图像中双层四边形结构合作目标所占的像素数与该图像的总像素数的比值大于等于预设的阈值m1
规则2:内四边形的面积与外四边形的面积之比大于等于预设的阈值m2
规则3:该图像进行畸变校正和灰度化后,对灰度图像进行自适应的局部阈值二值化操作时,如果在双层四边形结构合作目标内产生除双层四边形结构合作目标外的其他图形,则该图形的面积与双层四边形结构合作目标的面积之比小于等于预设的阈值m3
4.根据权利要求1所述的非充分光照下单目视觉双层四边形结构合作目标提取方法,其特征在于:所述步骤2具体为:
步骤2.1:根据灰度图像的明度均值Vm设置边长为S像素长度,门限值为C的正方形的采样窗口:
Figure FDA0003064457080000021
步骤2.2:以灰度图像的左上角为原点,建立像素坐标系,得到灰度图像中每个像素点的坐标;以灰度图像中第m个像素点为中心,设置与该第m个像素点对应的采样窗口,从而得到既位于采样窗口内也位于灰度图像范围内的像素点的集合N,遍历集合N中所有的像素点,并按照如下公式计算该第m个像素点的独立阈值;
Figure FDA0003064457080000022
其中,(it,jt)表示集合N中第t个像素点的坐标,T表示集合N中像素点的总个数,V(it,jt)表示集合N中第t个像素点的灰度值,thre(i0,j0)为第m个像素点的独立阈值,m=1,2,…,M,M为灰度图像中像素点的总个数,imax为在集合N内像素点坐标中横坐标的最大值,imin为在集合N内像素点坐标中横坐标的最小值,jmax为在集合N内像素点坐标中纵坐标的最大值,jmin为在集合N内像素点坐标中纵坐标的最小值;
步骤2.3:对第m个像素点进行阈值反二值化,从而更新该第m个像素点的灰度:
Figure FDA0003064457080000023
其中V(i0,j0)为第m个像素点的更新前的灰度值,Vdst(i0,j0)为第m个像素点的更新后的灰度值。
5.根据权利要求1所述的非充分光照下单目视觉双层四边形结构合作目标提取方法,其特征在于:所述步骤3中采用道格拉斯-普克算法对粗轮廓的边缘毛刺进行细化。
CN202110522120.8A 2021-05-13 2021-05-13 非充分光照下单目视觉双层四边形结构合作目标提取方法 Active CN113221917B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110522120.8A CN113221917B (zh) 2021-05-13 2021-05-13 非充分光照下单目视觉双层四边形结构合作目标提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110522120.8A CN113221917B (zh) 2021-05-13 2021-05-13 非充分光照下单目视觉双层四边形结构合作目标提取方法

Publications (2)

Publication Number Publication Date
CN113221917A true CN113221917A (zh) 2021-08-06
CN113221917B CN113221917B (zh) 2024-03-19

Family

ID=77095319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110522120.8A Active CN113221917B (zh) 2021-05-13 2021-05-13 非充分光照下单目视觉双层四边形结构合作目标提取方法

Country Status (1)

Country Link
CN (1) CN113221917B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106546233A (zh) * 2016-10-31 2017-03-29 西北工业大学 一种面向合作目标的单目视觉定位方法
WO2019000653A1 (zh) * 2017-06-30 2019-01-03 清华大学深圳研究生院 一种图像目标识别方法及装置
CN110332887A (zh) * 2019-06-27 2019-10-15 中国地质大学(武汉) 一种基于特征光标点的单目视觉位姿测量***及方法
CN112132849A (zh) * 2020-09-16 2020-12-25 天津大学 一种基于Canny边缘检测的空间非合作目标角点提取方法
CN112419250A (zh) * 2020-11-13 2021-02-26 湖北工业大学 路面裂缝数字图像提取、裂缝修补及裂缝参数计算方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106546233A (zh) * 2016-10-31 2017-03-29 西北工业大学 一种面向合作目标的单目视觉定位方法
WO2019000653A1 (zh) * 2017-06-30 2019-01-03 清华大学深圳研究生院 一种图像目标识别方法及装置
CN110332887A (zh) * 2019-06-27 2019-10-15 中国地质大学(武汉) 一种基于特征光标点的单目视觉位姿测量***及方法
CN112132849A (zh) * 2020-09-16 2020-12-25 天津大学 一种基于Canny边缘检测的空间非合作目标角点提取方法
CN112419250A (zh) * 2020-11-13 2021-02-26 湖北工业大学 路面裂缝数字图像提取、裂缝修补及裂缝参数计算方法

Also Published As

Publication number Publication date
CN113221917B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN106548463B (zh) 基于暗通道与Retinex的海雾图像自动去雾方法及***
CN107578035B (zh) 基于超像素-多色彩空间的人体轮廓提取方法
CN111415363B (zh) 一种图像边缘识别方法
Zhang et al. Object-oriented shadow detection and removal from urban high-resolution remote sensing images
CN104700085B (zh) 一种基于模板匹配的芯片定位方法
WO2018023916A1 (zh) 一种彩色图像去阴影方法和应用
CN106096491B (zh) 一种眼底彩色照相图像中微动脉瘤自动化识别方法
CN108876743A (zh) 一种图像快速去雾方法、***、终端及存储介质
CN109087254B (zh) 无人机航拍图像雾霾天空和白色区域自适应处理方法
CN102426649A (zh) 一种简单的高准确率的钢印数字自动识别方法
CN109241973B (zh) 一种纹理背景下的字符全自动软分割方法
CN103198319B (zh) 用于矿山井筒环境下的模糊图像角点提取方法
WO2020038312A1 (zh) 多通道舌体边缘检测装置、方法及存储介质
CN110930321A (zh) 一种能够自动选取目标区域的蓝/绿幕数字图像抠取方法
CN105447489B (zh) 一种图片ocr识别***的字符与背景粘连噪声消除方法
CN112861654A (zh) 一种基于机器视觉的名优茶采摘点位置信息获取方法
CN109584258B (zh) 草地边界识别方法及应用其的智能割草装置
CN116843581B (zh) 一种多场景图的图像增强方法、***、设备和存储介质
CN110059701A (zh) 一种基于不良光照下的无人机地标图像处理方法
CN110032946A (zh) 一种基于机器视觉的铝/铝泡罩包装药片识别与定位方法
CN114241438B (zh) 一种基于先验信息的交通信号灯快速精确的识别方法
CN112598674B (zh) 用于车辆的图像处理方法、装置及车辆
CN110930358B (zh) 一种基于自适应算法的太阳能面板图像处理方法
CN113221917A (zh) 非充分光照下单目视觉双层四边形结构合作目标提取方法
Rui Lane line detection technology based on machine vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant