CN111681300B - 轮廓素描线组成的目标区域获取方法 - Google Patents

轮廓素描线组成的目标区域获取方法 Download PDF

Info

Publication number
CN111681300B
CN111681300B CN202010493495.1A CN202010493495A CN111681300B CN 111681300 B CN111681300 B CN 111681300B CN 202010493495 A CN202010493495 A CN 202010493495A CN 111681300 B CN111681300 B CN 111681300B
Authority
CN
China
Prior art keywords
sketch
line
target candidate
outline
lines
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010493495.1A
Other languages
English (en)
Other versions
CN111681300A (zh
Inventor
刘芳
李玲玲
连新涛
焦李成
陈璞华
古晶
刘旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010493495.1A priority Critical patent/CN111681300B/zh
Publication of CN111681300A publication Critical patent/CN111681300A/zh
Application granted granted Critical
Publication of CN111681300B publication Critical patent/CN111681300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种轮廓素描线组成的目标区域获取方法，主要解决现有技术背景噪声大，获取目标区域位置不准确的问题。其实现方案是：获取图像的初始素描图；基于素描线两侧的灰度值判断素描线是否为轮廓素描线；根据轮廓素描线的结构特性对轮廓素描线排序；根据邻近轮廓素描线的近邻关系及拓扑结构定义轮廓素描线间的连接围拢度，以排在最前面的轮廓素描线为根节点进行有界深度优先搜索，获得该根节点的多个闭合曲线和这些闭合曲线内的区域；从顺序表中去除搜索过的轮廓素描线，重复搜索直至顺序表为空，再对这些闭合曲线内的区域执行去重及合并，得到目标区域。本发明减少了生成结果中的背景噪声，提高了目标区域位置的准确性，可用于目标检测。

Description

轮廓素描线组成的目标区域获取方法
技术领域
本发明属于图像处理技术领域，特别涉及一种目标区域获取方法，可用于目标检测。
背景技术
获取图像中目标的区域位置是计算机视觉领域的重要组成部分，被用来获取图像中物体的区域位置。目前已有的目标区域获取方法有滑动窗口法、选择性搜索方法以及基于深度学习的区域推荐网络。其中：
滑动窗口法，由于物体可能以任意的尺度存在于图像的任意位置，因此使用滑动窗口在图像上逐像素地搜索可能存在的物体。然而，这种穷举搜索的方法需要消耗大量的计算资源，效率较低。并且，滑动窗口法一般以固定的长宽比网格，较大的步长进行搜索，这对物体的尺度进行了限制。
选择性搜索方法，使用基础图像结构生成对象位置，首先生成初始的分割区域，然后使用相似度计算方法合并一些小的区域。通过不停的迭代，候选区域列表中的区域越来越大，直至获取到最终结果。
基于深度学习的区域推荐网络，这种方法使用深度网络直接预测每个像素上可能存在物体的概率，其需要大量标注的图像数据作为训练集，同时该方法也是基于固定的长宽比进行预测，限制了物体的尺度。
上述三种目标区域获取方法还存在共同的两大缺陷，一是这些方法产生的是矩形框，且矩形框的位置和大小不够准确，框内包含大量背景噪声；二是这些方法生成数量庞大的结果，往往需要借助分类器和回归器对结果进行修正。
发明内容
本发明的目的在于针对上述已有技术中对图像进行目标区域获取时存在的不足，提出一种轮廓素描线组成的目标区域获取方法，以产生物体的准确区域位置，减少生成结果中包含的背景噪声，减少生成结果的数量。
为实现上述目的，本发明的技术方案包括如下：
(1)获取图像的初始素描图，将初始素描图中的所有素描线表示成集合：X＝{x1,x2,...,xu,...,xn(X)}，其中，
Figure BDA0002519636170000011
为集合X中的第u条素描线,u从1到n(X),n(X)为初始素描图中素描线的数量,
Figure BDA0002519636170000021
为素描线xu中的第v条素描线段,v从1到n(xu)，n(xu)为素描线xu包含的素描线段个数；
(2)计算素描线xu两侧存在的灰度差值di(xu),判断素描线xu是否为轮廓素描线，将初始素描图X中的所有轮廓素描线组成轮廓素描图并记为集合L＝{l1,l2,...,li,...,ln(L)},其中，
Figure BDA0002519636170000022
为集合L中第i条轮廓素描线，i从1到n(L),n(L)为轮廓素描线数量,
Figure BDA0002519636170000023
表示轮廓素描线li中的第j条轮廓素描线段，j从1到n(li)，n(li)为轮廓素描线li包含的轮廓素描线段个数；
(3)对轮廓素描线集合L中的轮廓素描线进行排序，得到顺序列表L：
(3a)计算集合L中任一条轮廓素描线li的轮廓搜索贡献度pi：
Figure BDA0002519636170000024
其中，h(li)和w(li)分别为包围轮廓素描线li最小矩形框的高和宽，ne(li)为轮廓素描线li的邻接度，θ(li)为轮廓素描线li的闭合度，wmax(li),hmax(li),nemax(li)分别为h(li),w(li),ne(li)中的最大值；
(3b)根据轮廓素描线li的轮廓搜索贡献度pi，将轮廓素描线集合L中的轮廓素描线从大到小进行排序得顺序表L；
(4)以排在顺序表L最前面的轮廓素描线lf为根节点，对该根节点执行以连接围拢度为指导的有界深度优先搜索，获得该根节点的多个由轮廓素描线和部分新增加线段组成的闭合曲线和这些闭合曲线内的区域，并从顺序表L中删除轮廓素描线lf；
(5)重复(4)，直至排序列表L为空，再将步骤4中搜索到的所有闭合曲线内的区域组成初始目标候选区域，并记为集合P＝{p1,p2,...,pz,...,pn(P)}，其中，pz为初始目标候选区域集合P中第z个目标候选区域，z从1到n(P)，n(P)为初始目标候选区域的个数；
(6)对初始目标候选区域集合P做矩形形状约束的去重及合并操作得到最终的目标候选区域集合Pr：
(6a)依据目标候选区域pz所占面积大小，获取初始目标候选区域集合P对应的初始目标候选框集合，并对初始目标候选框集合进行排序，得排序后的目标候选框集合：P′＝{p′1,p′2,...,p′z′,...,p′n(P′)}，其中，p′z′为第z′个目标候选框，z′从1到n(P′),n(P′)为集合P′中目标候选框的数量；
(6b)获取目标候选框集合P′中需要与候选框p′1合并的候选框，并记为集合M，将待合并候选框集合M对应初始目标候选区域集合P中的目标候选区域加入最终目标候区域集合Pr；
(6c)获取目标候选框集合P′中与目标候选框p′1的重合度大于th1的候选框，并记为集合D；
(6d)从目标候选框集合P′删除待合并候选框集合M以及候选框集合D，更新目标候选框集合P′，若P′为空集，则结束操作，否则，返回(6a)。
本发明与现有技术相比具有如下优点：
1)本发明直接对素描图进行操作，以代表结构的素描线为单位进行操作，相比于现有方法中基于图像以像素为单位进行操作的方法更加高效。
2)本发明通过定义连接围拢度，执行以连接围拢度为指导的深度优先搜索，本质上是利用图像本身的自监督信息，有目标性的进行搜索，相比于现有基于穷举思想的方法，本方法可以更加准确的产生物体的区域位置，减少生成结果中包含的背景噪声，减少产生结果的数量。
附图说明
图1是本发明的实现总流程图；
图2是本发明中的图像原图及图像的初始素描图；
图3是本发明中轮廓素描线
图4是本发明中的顺序表
图5是本发明中以连接围拢度为指导的有界深度优先搜索子流程；
图6是用本发明对图像中目标区域获取的结果图。
具体实施方式
下面结合附图对本发明的实施例和效果做进一步说明。
参照图1，本实例的具体实施步骤如下：
步骤1，获取图像的初始素描图。
1.1)获取未处理的初始素描图：
首先通过对如图2(a)所示的原始图像与组成图像基元字典的滤波器组中的所有滤波器进行卷积，获得视觉基元字典中对于原图每一点具有的最大响应；然后通过非极大值值抑制，获取未处理的初始素描图；
1.2)获得未修复的初始素描图：
对于初始素描图，利用追踪算法，先找到图中的最大能量位置，通过给定一个图像编码长度增量CLG阈值判断是否进行连边操作，并顺序的添加新的图像基元，最终形成线段轮廓；再确定具体的线段点位置，得到未修复的初始素描图；
1.3)获得最终的初始素描图：
在未修复的初始素描图的基础上，根据Gestalt聚集原理，加入线段的空间约束，利用定义的一组图像操作算子来修正图中的线段的交点和角点，并通过修复这些点来得到新的线段，根据新的线段得到最终的初始素描图，得到的初始素描图如图2(b)所示；
1.4)将初始素描图中的所有素描线表示成集合:X＝{x1,x2,...,xu,...,xn(X)},其中，
Figure BDA0002519636170000041
为集合X中的第u条素描线，u从1到n(X)，n(X)为初始素描图中素描线的数量，
Figure BDA0002519636170000042
为素描线xu中的第v条素描线段，v从1到n(xu)，n(xu)为素描线xu包含的素描线段个数；
步骤2，判断初始素描图X中任一条素描线xu是否为轮廓素描线，并将所有轮廓素描线组成轮廓素描图集合L。
2.1)对于素描线xu中任一条素描线段
Figure BDA0002519636170000043
在该素描线段两侧分别构建关于该素描线段对称的几何长方形窗口:
2.1a)设素描线段
Figure BDA0002519636170000044
的方向为
Figure BDA0002519636170000045
并将素描线段
Figure BDA0002519636170000046
的中点标记为
Figure BDA0002519636170000047
其中
Figure BDA0002519636170000048
表示素描线段
Figure BDA0002519636170000049
中点在x轴上的坐标，
Figure BDA00025196361700000410
表示素描线段
Figure BDA00025196361700000411
中点在y轴上的坐标，将中点
Figure BDA00025196361700000412
沿素描线段的法线方向平移2个像素，得坐标点
Figure BDA00025196361700000413
2.1b)构建一个以坐标点
Figure BDA00025196361700000414
为中心的第一个几何长方形窗口，并标记为
Figure BDA00025196361700000415
几何长方形窗口
Figure BDA00025196361700000416
的长边方向与素描线段
Figure BDA00025196361700000417
的方向
Figure BDA00025196361700000418
相同，其定义如下：
Figure BDA0002519636170000051
其中，(x,y)表示中心点坐标
Figure BDA0002519636170000052
的邻近点，
Figure BDA0002519636170000053
和d分别表示第一几何长方形窗口
Figure BDA0002519636170000054
的长和宽，|·|表示求绝对值操作，g1和g2是一对旋转函数；旋转函数g1，g2分别定义如下：
Figure BDA0002519636170000055
Figure BDA0002519636170000056
其中，
Figure BDA0002519636170000057
表示第一几何长方形窗口
Figure BDA0002519636170000058
的中心点坐标，(x,y)表示中心点
Figure BDA0002519636170000059
的邻近点，
Figure BDA00025196361700000510
表示第一几何长方形窗口
Figure BDA00025196361700000511
长边所对应的方向；
2.1c)同样的，将素描线段
Figure BDA00025196361700000512
的中点坐标
Figure BDA00025196361700000513
沿该素描线段法线方向的反方向平移2个像素，得到新的中点；然后对新中点执行(2.1a)，构建一个以新中点为中心，与
Figure BDA00025196361700000514
关于素描线段
Figure BDA00025196361700000515
对称且大小相同的第二个几何长方形窗口
Figure BDA00025196361700000516
2.2)将上述两个几何长方形窗口
Figure BDA00025196361700000517
作用到图像的像素空间上，分别计算第一个几何长方形窗口内像素的灰度值之和
Figure BDA00025196361700000518
及第二个几何长方形窗口内像素的灰度值之和
Figure BDA00025196361700000519
并根据这两个结果计算得到素描线段
Figure BDA00025196361700000520
两侧灰度均值的差值
Figure BDA00025196361700000521
为：
Figure BDA00025196361700000522
其中，
Figure BDA00025196361700000523
和d分别表示几何长方形窗口
Figure BDA00025196361700000524
的长和宽；
2.3)根据2.2)的结果计算素描线xu两侧灰度均值的差值di(xu)：
Figure BDA00025196361700000525
其中，n(xu)为素描线xu内包含素描线段的数量；
2.4)设定灰度阈值th1，将素描线xu两侧灰度差值di(xu)与设定的灰度阈值th1进行比较：
若di(xu)≥th1,则该素描线为轮廓素描线,并根据素描线xu生成轮廓素描线lk+1加入轮廓素描线集合L，其中，lk+1＝xu，k为当前轮廓素描线集合L内轮廓素描线的数量；
若di(xu)＜th1,则素描线xu不是轮廓素描线；
2.5)将初始素描图X中所有轮廓素描线组成轮廓素描图，如图3所示。
步骤3，对轮廓素描线集合L中的轮廓素描线进行排序，得到顺序列表L。
3.1)计算集合L中任一条轮廓素描线li的轮廓搜索贡献度pi：
Figure BDA0002519636170000061
其中，h(li)和w(li)分别为包围轮廓素描线li最小矩形框的高和宽，ne(li)为轮廓素描线li的邻接度，θ(li)为轮廓素描线li的闭合度，wmax(li),hmax(li),nemax(li)分别为h(li),w(li),ne(li)中的最大值；其中：
h(li)＝maxx(li)-minx(li)
w(li)＝maxy(li)-miny(li)
ne(li)＝ne1(li)+ne2(li)
Figure BDA0002519636170000062
其中，h(li)和w(li)分别为包围轮廓素描线li最小包围框的高和宽，ne(li)和θ(li)分别为轮廓素描线li的邻接度和闭合度，minx(li)，miny(li)分别是在以图像的左上角顶点为坐标原点时，最小矩形框左上角顶点在x轴，y轴上的坐标值；maxx(li)，maxy(li)分别是在以图像的左上角顶点为坐标原点时最小矩形框右下角顶点在x轴和y轴上的坐标值；
ne1(li)表示以轮廓素描线的起始端点为圆心，r为半径的圆内包含的轮廓素描线数量；ne2(li)表示以轮廓素描线的终止端点为圆心，以r为半径的圆内包含的轮廓素描线数量；
Figure BDA0002519636170000071
分别为轮廓素描线li中相邻的两条轮廓素描线段
Figure BDA0002519636170000072
和
Figure BDA0002519636170000073
的方向之间的夹角；
3.2)根据轮廓素描线li的轮廓搜索贡献度pi，将轮廓素描线集合L中的轮廓素描线从大到小进行排序得顺序表L，如图4所示。
步骤4，以排在顺序表L最前面的轮廓素描线lf为根节点，对该根节点执行以连接围拢度为指导的有界深度优先搜索，获得该根节点的多个由轮廓素描线和部分新增加线段组成的闭合曲线和这些闭合曲线内的区域。
参照图5，本步骤的具体实现如下：
4.1)获取顺序表L中排在最前面的轮廓素描线lf；
4.2)将轮廓素描线lf作为根节点，通过轮廓素描线lf的终止端点e(lf)获取轮廓素描线lf的邻近轮廓素描线，并记为集合B(e(lf)),当f＝1时，素描线l1的邻近轮廓素描线如图5(a)所示；
4.3)计算邻近轮廓素描线集合B(e(lf))中每条轮廓素描线对应的连接围拢度，其中，邻近轮廓素描线集合B(e(lk))中每条轮廓素描线对应的连接围拢度
Figure BDA0002519636170000074
计算如下：
Figure BDA0002519636170000075
其中，
Figure BDA0002519636170000076
为邻近轮廓素描线的起点坐标与轮廓素描线lf的终点坐标在x轴上的差值，
Figure BDA0002519636170000077
为邻近轮廓素描线的起点坐标与轮廓素描线lf的终点坐标在y轴上的差值，
Figure BDA0002519636170000078
为轮廓素描线
Figure BDA0002519636170000079
的起始点坐标，
Figure BDA00025196361700000710
为轮廓素描线lf的终止端点坐标，
Figure BDA00025196361700000711
分别为
Figure BDA00025196361700000712
Figure BDA00025196361700000713
中的最大值；
Figure BDA00025196361700000714
为轮廓素描线lf与轮廓素描线
Figure BDA00025196361700000715
之间的夹角，
Figure BDA00025196361700000716
为
Figure BDA00025196361700000717
中的最大值；
4.4)依据轮廓素描线对应连接围拢度的大小，对邻近轮廓素描线集合B(e(lf))内的轮廓素描线按从大到小排序,从排序结果中选择前t条轮廓素描线作为根节点轮廓素描线lf的子节点，然后按顺序依次遍历轮廓素描线中的轮廓素描线，当t＝4，f＝1时，以连接围拢度为指导，以轮廓素描线l1为根节点进行遍历的部分过程如图5(b)所示；
4.5)对遍历的当前轮廓素描线lk执行如下操作：
4.5a)检查当前轮廓素描线lk是否被遍历过：
如果轮廓素描线lk未被遍历过，则以连接围拢度为指导，从当前轮廓素描线lk的邻近轮廓素描线集合B(e(lk))中选取t条轮廓素描线作为当前轮廓素描线lk的子节点集合B′(e(lk))，然后执行4.3b)，其中t∈{0,1,2,3,4}；
如果轮廓素描线lk被遍历过，则直接执行4.3b)；
4.5b)对于当前轮廓素描线lk，判断是否同时满足以下三个条件：
条件1:当前轮廓素描线lk的子节点集合B′(e(lk))中存在未被遍历的轮廓素描线；
条件2：从根节点轮廓素描线lf到当前轮廓素描线lk的深度小于有界深度优先搜索的最大深度值ds；
条件3：当前轮廓素描线lk的子节点集合B′(e(lk))不包含根节点轮廓素描线lf；
若当前轮廓素描线lk同时满足以上三个条件，则执行4.3c)；否则，依次回退到最近被访问的父节点，对父节点返回4.3a)，其中在对根节点轮廓素描线lf判断条件1是否成立时，若根节点轮廓素描线lf的所有子节点都被遍历，则停止遍历过程；
若当前轮廓素描线lk不满足条件3，首先，将当前从根节点lf到节点lk路径中由多个轮廓素描线和新增加线段组成的闭合曲线作为轮廓素描线lf的一个搜索结果，当f＝1时，以素描线l1为根节点搜索到的由轮廓素描线和部分新增加线段组成的闭合曲线如图5(c)所示，然后，回退到最近被访问父节点；
4.5c)获取当前轮廓素描线lk子节点集合B′(e(lk))中排在最前面的未被遍历过的轮廓素描线，在该未被遍历过的轮廓素描线的起始端点与当前轮廓素描线lk的终止端点e(lk)之间新加一条线段，以实现对这两条轮廓素描线的连接，并对该未被遍历过的轮廓素描线执行4.3a)操作。
步骤5，构建初始目标候选区域.
重复步骤4直至排序列表L为空，并将步骤4中搜索到的所有闭合曲线内的区域组成初始目标候选区域，并记为集合P＝{p1,p2,...,pz,…,pn(P)}，其中，pz为初始目标候选区域集合P中第z个目标候选区域，z从1到n(P)，n(P)为初始目标候选区域的个数。
步骤6，对初始目标候选区域集合P做矩形形状约束的去重及合并操作，得到最终的目标候选区域集合Pr。
6.1)依据目标候选区域外接框所占面积大小，对初始目标候选区域集合P进行排序，得到排序后的目标候选区域集合：P′＝{p′1,p′2,...,p′z′,...p′n(P′)}，其中，p′z′为第z′个目标区域，z′从1到n(P′),n(P′)为目标候选区域的数量；
6.2)初始化最终目标候区域集合Pr为空集；将待合并候选区域集合M，待去除目标候选区域集合D初始化为空集；
6.3)将目标候选区域集合P′中第一个目标候选区域p′1与目标候选区域集合P′中除p′1外的其他目标候选区域逐个进行比较，以获取待合并候选区域集合M以及待去除目标候选区域集合D：
6.3a)计算目标候选框p′1与第z′个目标候选区域p′z′之间的相交区域面积overlap(p′z′)，其中，p′z′为第z′个目标候选区域，z′∈{2,3,...,n(P′)}，n(P′)为目标候选区域集合P′中目标候选区域的数量；
6.3b)根据相交区域面积overlap(p′z′)的值确定后续操作：
如果overlap(p′z′)>0时，则执行6.3c)；
如果overlap(p′z′)＝0时，则结束对第z′个.目标候选区域p′z′的判断；
6.3c)判断是否满足
Figure BDA0002519636170000091
w(p1)＝w(p′z′)或
Figure BDA0002519636170000092
h(p1)＝h(p′z′)这几个条件：
若满足，则将第z′个目标候选区域p′j同时加入待合并候选区域集合M和最终目标候区域集合Pr，并执行6.3d)；否则，直接执行6.3d),其中，
Figure BDA0002519636170000101
w(p′z′)和h(p′z′)分别为第z′个目标候选框p′z′的左上角顶点坐标，长度和宽度；
6.3d)计算第一个目标候区域框p′1与第z′个目标候选区域p′z′之间的交并比iou(p′z′):
iou(p′z′)＝overlap(p′z′)/(area(p′1)+area(p′z′)-overlap(p′z′))
其中，area(p′1)和area(p′z′)分别为目标候区域框p′1和目标候选区域p′z′的面积；
6.3e)设定交并比阈值th2，并将iou(p′z′)与交并比阈值th2进行比较：
如果iou(p′z′)≥th2，则将第z′个目标候选区域p′z′加入待去除目标候选区域集合D，其中，th2∈(0,1)；
如果iou(p′j)＜th2，则不执行任何操作；
6.4)从目标候选区域集合P′中减去待合并候选区域集合M与待去除目标候选区域集合D的并集,判断当前的目标候选区域集合P′是否为空集：
若是，则结束；
否则，返回6.2)。
本发明的效果可通过以下仿真结果进一步说明。
1.仿真条件
本发明仿真的硬件条件为：智能感知与图像理解实验室图形工作站；本发明仿真所使用图像为Imagenet数据集中包含人的图像；图像的分辨率、Sketch Map稀疏表示模型中参数取值，如表1所示：
表1
图像分辨率 SM参数取值
388*500 2,5,1.7,0.6
其中SM参数取值分别表示等效视数、编码增益、边缘检测高阈值、边缘检测低阈值。
2.仿真内容：
仿真1，利用Imagenet数据集中的部分图像，使用本发明对这些图像进行目标区域获取实验，结果如6(a)。
从图6(a)可见，本发明可以有效地搜索到图像中人和足球的轮廓，通过这些轮廓即可获取目标的区域。同时，图像中实际存在3个物体，而通过本发明得到了6个候选目标区域。由于本发明直接通过目标轮廓确定目标的区域位置，因此对人和足球的定位较为准确，获取的区域位置中包含较少的背景噪声，实现了较为准确度获取目标区域。
仿真2，利用Imagenet数据集中的另一部分图像，使用本发明对这些图像进行目标区域获取实验，结果如6(b)所示。
从图6(b)可见，本发明同样可以搜索到图像中的汽车和树木，并且获取的区域位置中包含较少的背景噪声，实现了较为准确度获取目标区域，证明了本发明的有效性。同时，图像中实际存在2个物体，而通过本发明得到了4个候选目标区域。
综上，本发明在不使用具有类别标注的数据的情况下，可在实现对物体较高的检测率的同时，产生了物体准确的区域位置，获取的结果中几乎不包含背景噪声，产生结果的数量也几乎与标注的数量相同。

Claims (9)

1.基于轮廓素描线组成的目标区域获取方法，包括：
(1)获取图像的初始素描图，将初始素描图中的所有素描线表示成集合：
X＝{x1,x2,...,xu,...,xn(X)},其中，
Figure FDA0002519636160000011
为集合X中的第u条素描线，u从1到n(X)，n(X)为初始素描图中素描线的数量，
Figure FDA0002519636160000012
为素描线xu中的第v条素描线段，v从1到n(xu)，n(xu)为素描线xu包含的素描线段个数；
(2)计算素描线xu两侧存在的灰度差值di(xu)，判断素描线xu是否为轮廓素描线，将初始素描图X中的所有轮廓素描线组成轮廓素描图并记为集合L＝{l1,l2,...,li,...,ln(L)}，其中，
Figure FDA0002519636160000013
为集合L中第i条轮廓素描线，i从1到n(L)，n(L)为轮廓素描线数量，
Figure FDA0002519636160000014
表示轮廓素描线li中的第j条轮廓素描线段，j从1到n(li)，n(li)为轮廓素描线li包含的轮廓素描线段个数；
(3)对轮廓素描线集合L中的轮廓素描线进行排序，得到顺序列表L：
(3a)计算集合L中任一条轮廓素描线li的轮廓搜索贡献度pi：
Figure FDA0002519636160000015
其中，h(li)和w(li)分别为包围轮廓素描线li最小矩形框的高和宽，ne(li)为轮廓素描线li的邻接度，θ(li)为轮廓素描线li的闭合度，wmax(li),hmax(li),nemax(li)分别为h(li),w(li),ne(li)中的最大值；
(3b)根据轮廓素描线li的轮廓搜索贡献度pi，将轮廓素描线集合L中的轮廓素描线从大到小进行排序得顺序表L；
(4)以排在顺序表L最前面的轮廓素描线lf为根节点，对该根节点执行以连接围拢度为指导的有界深度优先搜索，获得该根节点的多个由轮廓素描线和部分新增加线段组成的闭合曲线和这些闭合曲线内的区域，并从顺序表L中删除轮廓素描线lf；
(5)重复(4)，直至排序列表L为空，再将步骤4中搜索到的所有闭合曲线内的区域组成初始目标候选区域，并记为集合P＝{p1,p2,...,pz,...,pn(P)}，其中，pz为初始目标候选区域集合P中第z个目标候选区域，z从1到n(P)，n(P)为初始目标候选区域的个数；
(6)对初始目标候选区域集合P做矩形形状约束的去重及合并操作得到最终的目标候选区域集合Pr：
(6a)依据目标候选区域pz所占面积大小，获取初始目标候选区域集合P对应的初始目标候选框集合，并对初始目标候选框集合进行排序，得排序后的目标候选框集合:
P′＝{p'1,p'2,...,p'z′,...,p'n(P′)}，其中，p'z′为第z′个目标候选框，z′从1到n(P′),n(P′)为集合P′中目标候选框的数量；
(6b)获取目标候选框集合P′中需要与候选框p'1合并的候选框，并记为集合M，将待合并候选框集合M对应初始目标候选区域集合P中的目标候选区域加入最终目标候区域集合Pr；
(6c)获取目标候选框集合P′中与目标候选框p'1的重合度大于th1的候选框，并记为集合D；
(6d)从目标候选框集合P′删除待合并候选框集合M以及候选框集合D，更新目标候选框集合P′，若P′为空集，则结束操作，否则，返回(6a)。
2.根据权利要求1所述的方法，其中(2)中计算素描线xu两侧存在的灰度差值di(xu)，按如下步骤进行：
(2a)对于素描线xu中任一条素描线段
Figure FDA0002519636160000021
在该素描线段两侧分别构建关于该素描线段对称的几何长方形窗口；
(2a1)设素描线段
Figure FDA0002519636160000022
的方向和中点分别为
Figure FDA0002519636160000023
和
Figure FDA0002519636160000024
将中点
Figure FDA0002519636160000025
沿素描线段的法线方向平移2个像素，得坐标点
Figure FDA0002519636160000026
(2a2)构建一个以坐标点
Figure FDA0002519636160000027
为中心的第一个几何长方形窗口，并标记为
Figure FDA0002519636160000028
几何长方形窗口
Figure FDA0002519636160000029
的长边方向与素描线段
Figure FDA00025196361600000210
的方向
Figure FDA00025196361600000211
相同，其定义如下：
Figure FDA0002519636160000031
其中，(x,y)表示中心点
Figure FDA0002519636160000032
的邻近点，
Figure FDA0002519636160000033
和d分别表示第一几何长方形窗口
Figure FDA0002519636160000034
的长和宽，|·|表示求绝对值操作，g1和g2是一对旋转函数；
(2a3)同样的，将素描线段
Figure FDA0002519636160000035
的中点
Figure FDA0002519636160000036
沿该素描线段法线方向的反方向平移2个像素，得新的中点,然后对新中点执行(2a2)，构建一个以新中点为中心，与
Figure FDA0002519636160000037
关于素描线段
Figure FDA0002519636160000038
对称且大小相同的第二个几何长方形窗口
Figure FDA0002519636160000039
(2b)将上述两个几何长方形窗口
Figure FDA00025196361600000310
作用到图像的像素空间上，分别计算第一个几何长方形窗口内像素的灰度值之和
Figure FDA00025196361600000311
及第二个几何长方形窗口内像素的灰度值之和
Figure FDA00025196361600000312
并根据这两个结果计算得到素描线段
Figure FDA00025196361600000313
两侧灰度均值的差值
Figure FDA00025196361600000314
为：
Figure FDA00025196361600000315
(2c)根据(2b)的结果计算素描线xu两侧灰度均值的差值di(xu)：
Figure FDA00025196361600000316
其中，n(xu)为素描线xu内包含素描线段的数量。
3.根据权利要求2所述的方法，其中(2a2)中的两个旋转函数g1，g2分别定义如下：
Figure FDA00025196361600000317
Figure FDA00025196361600000318
其中，
Figure FDA00025196361600000319
表示第一几何长方形窗口
Figure FDA00025196361600000320
的中心点坐标，(x,y)表示中心点
Figure FDA00025196361600000321
的邻近点，
Figure FDA00025196361600000322
表示第一几何长方形窗口
Figure FDA00025196361600000323
长边所对应的方向。
4.根据权利要求1所述的方法，其中(2)中判断素描线xu是否为轮廓素描线，是将素描线两侧灰度差值di(xu)与设定的阈值th1进行比较：
若di(xu)≥th1,则该素描线为轮廓素描线,并根据素描线xu生成轮廓素描线lk+1加入轮廓素描线集合L，其中，lk+1＝xu，k为当前轮廓素描线集合L内轮廓素描线的数量；
若di(xu)＜th1,则素描线xu不是轮廓素描线。
5.根据权利要求1所述的方法，其中(3a)中公式中的包围轮廓素描线li最小矩形框高h(li)、宽w(li)、邻接度ne(li)、闭合度θ(li)，分别计算如下：
h(li)＝maxx(li)-minx(li)
w(li)＝maxy(li)-miny(li)
ne(li)＝ne1(li)+ne2(li)
Figure FDA0002519636160000041
其中，minx(li)，miny(li)分别是在以图像的左上角顶点为坐标原点时，最小矩形框左上角顶点在x轴，y轴上的坐标值；maxx(li)，maxy(li)分别是在以图像的左上角顶点为坐标原点时最小矩形框右下角顶点在x轴和y轴上的坐标值；
ne1(li)表示以轮廓素描线的起始端点为圆心，r为半径的圆内包含的轮廓素描线数量；
ne2(li)表示以轮廓素描线的终止端点为圆心，以r为半径的圆内包含的轮廓素描线数量；
Figure FDA0002519636160000042
分别为轮廓素描线li中相邻的两条轮廓素描线段
Figure FDA0002519636160000043
和
Figure FDA0002519636160000044
的方向之间的夹角。
6.根据权利要求1所述的方法，其中(3a)中公式中所涉及h(li),w(li),ne(li)的最大值wmax(li),hmax(li),nemax(li)分别表示如下：
wmax(li)＝{w(lj)|w(lj)≥w(li),i＝1,2,...,j-1,j+1,...,n(li)}，
hmax(li)＝{h(lj)|h(lj)≥h(li)x,i＝1,2,...,j-1,j+1,...,n(li)}，
nemax(li)＝{ne(lj)|ne(lj)≥ne(li),i＝1,2,...,j-1,j+1,...,n(li)}；
其中，n(li)为轮廓素描线li包含的轮廓素描线段个数。
7.根据权利要求1所述的方法，其中,(4)中以排在顺序表L最前面的轮廓素描线lf为根节点，对该根节点执行以连接围拢度为指导的有界深度优先搜索，按如下步骤进行：
(4a)获取顺序表L中排在最前面的轮廓素描线lf；
(4b)将轮廓素描线lf作为根节点，通过轮廓素描线lf的终止端点e(lf)获取轮廓素描线lf的邻近轮廓素描线，并记为集合B(e(lf))，计算邻近轮廓素描线集合B(e(lf))中每条轮廓素描线对应的连接围拢度，按连接围拢度对该集合内的轮廓素描线排序,从排序结果中选择前t条轮廓素描线作为根节点轮廓素描线lf的子节点，然后按顺序依次遍历轮廓素描线中的轮廓素描线；
(4c)对遍历的当前轮廓素描线lk执行如下操作：
(4c1)检查当前轮廓素描线lk是否被遍历过：
如果轮廓素描线lk未被遍历过，则以连接围拢度为指导，从当前轮廓素描线lk的邻近轮廓素描线集合B(e(lk))中选取t条轮廓素描线作为当前轮廓素描线lk的子节点集合B′(e(lk))，然后执行(4c2)，其中t∈{0,1,2,3,4}；
如果轮廓素描线lk被遍历过，则直接执行(4c2)；
(4c2)对于当前轮廓素描线lk，判断是否同时满足以下三个条件：
条件1:当前轮廓素描线lk的子节点集合B′(e(lk))中存在未被遍历的轮廓素描线；
条件2：从根节点轮廓素描线lf到当前轮廓素描线lk的深度小于有界深度优先搜索的最大深度值ds；
条件3：当前轮廓素描线lk的子节点集合B′(e(lk))不包含根节点轮廓素描线lf；
若当前轮廓素描线lk同时满足以上三个条件，则执行(4c3)；否则，依次回退到最近被访问的父节点，对父节点返回(4c1)，其中在对根节点轮廓素描线lf判断条件1是否成立时，若根节点轮廓素描线lf的所有子节点都被遍历，则停止遍历过程；
若当前轮廓素描线lk不满足条件3，在回退到最近被访问父节点的同时，并且称当前从根节点lf到节点lk的路径为轮廓路径，该路径中的多个轮廓素描线和新增加线段组成的闭合曲线和这些闭合曲线内的区域为轮廓素描线lf的一个搜索结果；
(4c3)获取当前轮廓素描线lk子节点集合B′(e(lk))中排在最前面的未被遍历过的轮廓素描线，在该未被遍历过的轮廓素描线的起始端点与当前轮廓素描线lk的终止端点e(lk)之间新加一条线段，以实现对这两条轮廓素描线的连接，并对该未被遍历过的轮廓素描线执行(4c1)操作。
8.根据权利要求7所述的方法，其中,(4c1)中以连接围拢度为指导，从当前轮廓素描线lk的邻近轮廓素描线集合B(e(lk))中选取t条轮廓素描线作为当前轮廓素描线lk的子节点集合B′(e(lk))，按如下步骤进行：
(4c11)以当前轮廓素描线lk终止端点e(lk)为中心得到一个以dr为长度的正方形窗口，获取位于该窗口内的所有轮廓素描线，并标记为邻近轮廓素描线集合B(e(lk))：
Figure FDA0002519636160000061
其中，
Figure FDA0002519636160000062
表示第b条邻近轮廓素描线，b从1到n(e(lk)),n(e(lk))表示B(e(lk))中轮廓素描线的数量；
(4c12)计算邻近轮廓素描线集合B(e(lk))中每条轮廓素描线对应的连接围拢度
Figure FDA0002519636160000063
Figure FDA0002519636160000064
其中，
Figure FDA0002519636160000065
为邻近轮廓素描线的起点坐标与当前轮廓素描线的终点坐标在x轴上的差值，
Figure FDA0002519636160000071
为邻近轮廓素描线的起点坐标与当前轮廓素描线的终点坐标在y轴上的差值，
Figure FDA0002519636160000072
为轮廓素描线
Figure FDA0002519636160000073
的起始点坐标，(e(lk)x,e(lk)y)为轮廓素描线lk的终止端点坐标，
Figure FDA0002519636160000074
分别为
Figure FDA0002519636160000075
Figure FDA0002519636160000076
中的最大值；
Figure FDA0002519636160000077
为轮廓素描线lk与轮廓素描线
Figure FDA0002519636160000078
之间的夹角，
Figure FDA0002519636160000079
为
Figure FDA00025196361600000710
中的最大值；
(4c13)按轮廓素描线
Figure FDA00025196361600000711
对应的连接围拢度
Figure FDA00025196361600000712
对轮廓素描线集合B(e(lk))进行排序,从排序结果中选择前t.条轮廓素描线作为当前轮廓素描线lk的子节点,并记为集合：
Figure FDA00025196361600000713
9.根据权利要求1所述的方法，其中，(6)中对初始目标候选区域集合P做矩形形状约束的去重及合并操作，具体步下：
(6a)依据目标候选区域外接框所占面积大小，对初始目标候选区域集合P进行排序，得到排序后的目标候选区域集合P′＝{p'1,p'2,...,p'z′,...,p'n(P′)}，其中，p'z′为第z′个目标区域，z′从1到n(P′),n(P′)为目标候选区域的数量；
(6b)初始化最终目标候区域集合Pr为空集；将待合并候选区域集合M，待去除目标候选区域集合D初始化为空集；
(6c)将目标候选区域集合P′中第一个目标候选区域p'1与目标候选区域集合P′中除p'1外的其他目标候选区域逐个进行比较，以获取待合并候选区域集合M以及待去除目标候选区域集合D；
(6c1)当对第一个目标候选区域p'1与第z′个目标候选区域p'z′进行比较时,首先计算目标候选框p'1与第z′个目标候选区域p'z′之间的相交区域面积overlap(p'z′)，其中，p'z′为第z′个目标候选区域，z′∈{2,3,...,n(P′)}，n(P′)为目标候选区域集合P′中目标候选区域的数量；
如果overlap(p'z′)>0时，则执行(6c2)；
如果overlap(p'z′)＝0时，则结束对第z′个目标候选区域p'z′的判断，并返回(6c1)，对第一个目标候选区域p'1与第z′+1个目标候选区域p'z′+1进行比较；
(6c2)判断是否满足
Figure FDA0002519636160000081
w(p1)＝w(p'z′)或
Figure FDA0002519636160000082
h(p1)＝h(p'z′)这几个条件：
若满足，则将第z′个目标候选区域p'j同时加入待合并候选区域集合M和最终目标候区域集合Pr，并执行(6c3)；否则，直接执行(6c3)；
其中，
Figure FDA0002519636160000083
w(p'z′)和h(p'z′)分别为第z′个目标候选框p'z′的左上角顶点坐标，长度和宽度；
(6c3)计算第一个目标候区域框p'1与第z′个目标候选区域p'z′之间的交并比iou(p'z′)；
如果iou(p'z′)≥th2，则将第z′个目标候选区域p'z′加入待去除目标候选区域集合D，其中th2∈(0,1)；
如果iou(p'j)＜th2，不执行任何操作；
(6d)从目标候选区域集合P′中减去待合并候选区域集合M与待去除目标候选区域集合D的并集,判断当前的目标候选区域集合P′是否为空集，若是，则结束；否则，返回(6b)。
CN202010493495.1A 2020-06-02 2020-06-02 轮廓素描线组成的目标区域获取方法 Active CN111681300B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010493495.1A CN111681300B (zh) 2020-06-02 2020-06-02 轮廓素描线组成的目标区域获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010493495.1A CN111681300B (zh) 2020-06-02 2020-06-02 轮廓素描线组成的目标区域获取方法

Publications (2)

Publication Number Publication Date
CN111681300A CN111681300A (zh) 2020-09-18
CN111681300B true CN111681300B (zh) 2023-03-10

Family

ID=72453199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010493495.1A Active CN111681300B (zh) 2020-06-02 2020-06-02 轮廓素描线组成的目标区域获取方法

Country Status (1)

Country Link
CN (1) CN111681300B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113506356B (zh) * 2021-07-26 2023-09-01 抖音视界有限公司 面积图的绘制方法、装置、可读介质和电子设备
CN117237978B (zh) * 2023-11-16 2024-03-08 江西少科智能建造科技有限公司 一种cad图纸电气桥架信息提取方法及***
CN117351064B (zh) * 2023-11-20 2024-03-01 广州中望龙腾软件股份有限公司 填充累计面积计算方法、装置、存储介质及计算机设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0520466A (ja) * 1991-07-12 1993-01-29 Canon Inc 画像処理方法及びその装置
WO2015184764A1 (zh) * 2014-11-17 2015-12-10 中兴通讯股份有限公司 行人检测方法及装置
CN105447488A (zh) * 2015-12-15 2016-03-30 西安电子科技大学 基于素描线段拓扑结构的sar图像目标检测方法
CN109145850A (zh) * 2018-08-30 2019-01-04 西安电子科技大学 基于先验信息和飞机形状的遥感图像无监督目标检测方法
CN109409375A (zh) * 2018-10-11 2019-03-01 西安电子科技大学 一种基于轮廓结构学习模型的sar图像语义分割方法
EP3522073A1 (en) * 2018-01-31 2019-08-07 Ricoh Company, Ltd. Method and apparatus for detecting road surface marking
CN110232391A (zh) * 2019-06-13 2019-09-13 西安电子科技大学 一种基于素描信息的光学遥感图像舰船轮廓提取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7376246B2 (en) * 2005-06-27 2008-05-20 Mitsubishi Electric Research Laboratories, Inc. Subspace projection based non-rigid object tracking with particle filters

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0520466A (ja) * 1991-07-12 1993-01-29 Canon Inc 画像処理方法及びその装置
WO2015184764A1 (zh) * 2014-11-17 2015-12-10 中兴通讯股份有限公司 行人检测方法及装置
CN105447488A (zh) * 2015-12-15 2016-03-30 西安电子科技大学 基于素描线段拓扑结构的sar图像目标检测方法
EP3522073A1 (en) * 2018-01-31 2019-08-07 Ricoh Company, Ltd. Method and apparatus for detecting road surface marking
CN109145850A (zh) * 2018-08-30 2019-01-04 西安电子科技大学 基于先验信息和飞机形状的遥感图像无监督目标检测方法
CN109409375A (zh) * 2018-10-11 2019-03-01 西安电子科技大学 一种基于轮廓结构学习模型的sar图像语义分割方法
CN110232391A (zh) * 2019-06-13 2019-09-13 西安电子科技大学 一种基于素描信息的光学遥感图像舰船轮廓提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于图像层级的机器素描研究;吴仕超等;《计算机***应用》;20170915(第09期);全文 *
基于阈值判断的CamShift目标跟踪算法;顾苏杭等;《计算机测量与控制》;20160825(第08期);全文 *

Also Published As

Publication number Publication date
CN111681300A (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
CN111681300B (zh) 轮廓素描线组成的目标区域获取方法
CN111091105B (zh) 基于新的边框回归损失函数的遥感图像目标检测方法
CN110866924B (zh) 一种线结构光中心线提取方法及存储介质
CN107146280B (zh) 一种基于切分的点云建筑物重建方法
WO2024077812A1 (zh) 基于点云语义分割与结构拟合的单体建筑三维重建方法
Movaghati et al. Road extraction from satellite images using particle filtering and extended Kalman filtering
Wu et al. Stereo matching with fusing adaptive support weights
Dal Poz et al. Automated extraction of road network from medium-and high-resolution images
Sohn et al. An implicit regularization for 3D building rooftop modeling using airborne lidar data
Galvanin et al. Extraction of building roof contours from LiDAR data using a Markov-random-field-based approach
Hensel et al. Facade reconstruction for textured LoD2 CityGML models based on deep learning and mixed integer linear programming
CN112990183B (zh) 离线手写汉字同名笔画提取方法、***、装置
CN113177456B (zh) 基于单阶段全卷积网络和多特征融合的遥感目标检测方法
CN116452992B (zh) 一种最小路径管状结构中心线的提取方法
CN111783722B (zh) 一种激光点云的车道线提取方法和电子设备
CN112541884A (zh) 缺陷检测方法及设备、计算机可读存储介质
Thiemann et al. 3D-symbolization using adaptive templates
CN117541652A (zh) 一种基于深度lk光流法与d-prosac采样策略的动态slam方法
CN112258449A (zh) 一种基于结节特征的快速结节匹配方法
CN116452826A (zh) 基于机器视觉的遮挡情况下煤矸石轮廓估计方法
Su et al. Slibo-net: Floorplan reconstruction via slicing box representation with local geometry regularization
CN115713633A (zh) 动态场景下基于深度学习的视觉slam方法、***及存储介质
CN112767462B (zh) 基于脊谷特征与深度特征描述符的点云单点对齐方法
CN111402256B (zh) 一种基于模板的三维点云目标检测和姿态估计方法
CN115187744A (zh) 一种基于激光点云的机柜识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant