CN112613427A - 基于视觉信息流分区投射编码模型的道路障碍物检测方法 - Google Patents

基于视觉信息流分区投射编码模型的道路障碍物检测方法 Download PDF

Info

Publication number
CN112613427A
CN112613427A CN202011578651.0A CN202011578651A CN112613427A CN 112613427 A CN112613427 A CN 112613427A CN 202011578651 A CN202011578651 A CN 202011578651A CN 112613427 A CN112613427 A CN 112613427A
Authority
CN
China
Prior art keywords
contour
response
visual
map
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011578651.0A
Other languages
English (en)
Other versions
CN112613427B (zh
Inventor
范影乐
杨瑞
武薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202011578651.0A priority Critical patent/CN112613427B/zh
Publication of CN112613427A publication Critical patent/CN112613427A/zh
Application granted granted Critical
Publication of CN112613427B publication Critical patent/CN112613427B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及基于视觉信息流分区投射编码模型的道路障碍物检测方法。本发明首先在V1拓扑投射轮廓全局感知单元中构建平行视通路模型，对道路交通图的亮度边缘和颜色边缘实现并行提取，获取表征障碍物全貌特征的拓扑投射轮廓图和最优方位索引矩阵；然后在V4稀疏编码精细特征提取单元中构建视觉信息差增强模型，利用位置响应差和方位响应差对拓扑投射轮廓图进行对比度增强，得到细化轮廓图；接着提出自适应尺寸稀疏编码模型，根据细化轮廓图的稀疏程度实现对障碍物轮廓特征的智能聚焦，获取表征障碍物局部特征的池化图；最后模拟视皮层不同脑区间的反馈调控机制，利用池化图对跨视区的拓扑投射轮廓图进行修正，融合得到最终的障碍物轮廓外形结果。

Description

基于视觉信息流分区投射编码模型的道路障碍物检测方法
技术领域
本发明属于机器视觉领域，具体涉及一种基于视觉信息流分区投射编码模型的道路障碍物检测方法。
背景技术
道路障碍物检测任务是智能交通***的子任务之一，对于高速行驶的车辆来说，障碍物可分为行人、道路交通标识、山体落石、车辆遗撒物等多种形式。道路障碍物检测对于车辆安全行驶和交通有效管理具有重要意义。轮廓作为图像的低维空间特征，是对目标主体的一种有效表示方式。道路交通图中的障碍物轮廓获取有助于提高后续障碍物分类、识别等任务的快速性和准确性。
采用数学微分算子的传统图像处理技术检测到的轮廓往往包含大量纹理信息，无法将道路交通目标障碍物与复杂背景很好区分开来。随着生物视觉领域的研究成果大量涌现以及神经计算的飞速发展，基于仿生机制的目标感知方法受到了广泛关注。有研究采用二维Gabor能量模型模拟初级视皮层经典感受野对边缘线段的敏感特性，并利用高斯差分模型模拟非经典感受野的生理结构，提出了各向同性和各向异性的抑制方法，对纹理信息进行了有效抑制；另有研究对视通路中的颜色拮抗机制进行建模，实现了对彩色图像轮廓信息的有效提取。随后在此基础上利用改进后的稀疏度量方法进一步抑制纹理信息。上述轮廓检测方法虽然都利用不同的生物视觉机制对信息流在视通路中的处理过程进行建模，但简化了视通路中的信息流投射过程，同时也简化了高级视皮层对视觉信息的处理作用，仅仅在单一视通路建模的基础上对神经元的信息编码或反馈调控等生理特性进行了黑盒模拟，对于复杂背景下的道路障碍物目标而言，由于目标通常不具有结构化的轮廓外形，因此上述方法不利于障碍物目标的有效提取。
发明内容
本发明提出一种基于视觉信息流分区投射编码模型的道路障碍物检测方法。
本发明所提出的模型由V1拓扑投射轮廓全局感知单元和V4稀疏编码精细特征提取单元构成，分别模拟V1层的前级特性和V4层的编码特性。首先在V1拓扑投射轮廓全局感知单元中构建平行视通路模型，对道路交通图的亮度边缘和颜色边缘实现并行提取，在V1层获取表征障碍物全貌特征的拓扑投射轮廓图E(x,y)和最优方位索引矩阵Θ(x,y)；然后在V4稀疏编码精细特征提取单元中构建视觉信息差增强模型，分别利用位置响应差和方位响应差对拓扑投射轮廓图E(x,y)进行纹理抑制和轮廓增强，得到细化轮廓图Et(x,y)；接着提出一种自适应尺寸稀疏编码模型，根据细化轮廓图Et(x,y)的稀疏程度实现对障碍物轮廓特征的智能聚焦，在V4层获取表征障碍物局部特征的池化图Es(x,y)；最后模拟视皮层不同脑区间的反馈调控机制，利用池化图Es(x,y)对跨视区的拓扑投射轮廓图E(x,y)进行修正，融合得到最终的障碍物轮廓外形结果。
本发明相对于现有技术具有的效果：
本发明构建了一种平行视通路模型，模拟信息流分区投射特性对道路障碍物的轮廓进行初步感知。考虑到M型和P型神经节细胞对亮度信息流和颜色信息流的细节敏感差异性以及两类视觉信息流在初级视通路中的分区投射特性，在V1层前级构建平行视通路模型，对道路交通图的亮度边缘和颜色边缘分别进行提取，融合得到初级轮廓响应，该模型确保了道路交通图中障碍物轮廓信息感知的完整性。
本发明提出了一种视觉信息差增强模型，利用视觉感受野的生理特性对初级轮廓响应进行对比度增强。考虑到经典感受野的方位敏感特性，利用初级轮廓响应对应的最优方位信息和正交方位信息，计算方位响应差来增强轮廓像素点；利用经典感受野与非经典感受野的响应差异性，计算位置响应差来抑制纹理像素点。该模型通过增强对比度来对初级轮廓响应进行细化。
本发明提出了一种稀疏核尺寸自适应选取的稀疏编码新方法。考虑到视觉神经中枢在感知目标主体空间位置时的快速性和准确性，构建稀疏核尺寸自适应选取的稀疏编码模型，根据细化后的轮廓图中像素分布的稀疏程度来进行自适应选取稀疏核尺寸，对障碍物轮廓特征完成智能聚焦的同时进行信息去冗余化。相较于采用固定尺寸稀疏核进行稀疏编码的传统方法，本发明提出的自适应尺寸稀疏编码方法更符合生物视觉***对目标轮廓特征的动态聚焦特性。
提出了一种基于信息流分区投射编码模型的道路障碍物检测方法。首先模拟不同信息流的分区投射特性，构建平行视通路模型对道路交通图的亮度边缘和颜色边缘分别进行提取，并在V1层融合得到初级轮廓响应；然后利用视觉感受野的生理特性构建视觉信息差增强模型，通过位置响应差和方位响应差对初级轮廓响应进行细化；接着模拟视觉神经中枢对目标轮廓特征的动态聚焦特性，构建自适应尺寸稀疏编码模型，获取到池化图；最后模拟视皮层间的反馈调节机制，利用池化图对跨视区的初级轮廓响应进行修正，融合得到最终的障碍物轮廓外形结果。
附图说明
图1为本发明的道路障碍物检测方法流程图。
图2为感受野最优方位与正交方位示意图。
具体实施方式：
注：以E(x,y)为例进行说明，(x,y)代表图像E中像素的二维坐标位置，E(x,y)代表图像E中坐标位置(x,y)处的像素值，步骤中不再进行说明。
下面结合附图1，附图2来说明本发明的具体实施方式。
步骤(1)构建平行视通路模型，提取拓扑投射轮廓图E(x,y)和最优方位索引矩阵Θ(x,y)。针对待检测道路交通图，分解出其亮度分量I(x,y)和红、绿、蓝颜色分量R(x,y)、G(x,y)、B(x,y)，每个分量的行数和列数分别为m和n。平行视通路模型由亮度通路和颜色通路构成，分别对道路交通图的亮度边缘和颜色边缘进行提取。
步骤1.1亮度通路的数学模型如式(1)所示：
Figure BDA0002864739230000031
其中，σ、γ代表经典感受野的尺寸和椭圆率，默认值分别设置为2和0.5。
Figure BDA0002864739230000032
代表选择性方位，默认取等间隔的8个方位，即θi＝{0°,45°,90°,135°,180°,225°,270°,315°}，*代表卷积运算，e(x,y；θi)代表像素坐标为(x,y)，选择性方位为θi所对应的亮度分量边缘响应。
对于每个像素，选取所有选择性方位所对应亮度分量边缘响应的最大值，将其线性归一化后作为输出，同时记录对应的最优方位索引，获得亮度通路的轮廓响应EL(x,y)和最优方位索引矩阵ΘL(x,y)，如式(2)所示：
Figure BDA0002864739230000033
其中，N(·)代表线性归一化操作。
步骤1.2利用颜色拮抗机制对颜色通路进行建模，颜色通路分为R-on/G-off、G-on/R-off、B-on/Y-off、Y-on/B-off四种类型的拮抗通道，其中黄色分量Y(x,y)＝(R(x,y)+G(x,y))/2。以R-on/G-off类型拮抗通道为例进行说明。首先模拟视锥细胞的作用，将R(x,y)、G(x,y)分量分别经高斯滤波器(默认方差设置为1)处理，结果记为
Figure BDA0002864739230000041
然后计算单拮抗感受野的边缘响应，结果记为SRG(x,y)，如式(3)所示：
Figure BDA0002864739230000042
接着模拟双拮抗感受野的作用，计算像素坐标(x,y)处，选择性方位为θi所对应的颜色分量边缘响应dRG(x,y；θi)，如式(4)所示:
Figure BDA0002864739230000043
对于每个像素，选取所有选择性方位所对应颜色分量边缘响应的最大值，将其线性归一化后作为输出，同时记录对应的最优方位索引，获得R-on/G-off类型拮抗通道的边缘响应DRG(x,y)和最优方位索引矩阵ΘRG(x,y)，如式(5)所示:
Figure BDA0002864739230000044
与R-on/G-off类型拮抗通道的计算方式类似，其他三类拮抗通道的边缘响应DGR、DBY、DYB和最优方位索引矩阵ΘGR、ΘBY、ΘYB也可通过计算获得。对于每个像素坐标位置，取四类拮抗通道中边缘响应的最大值作为输出，同时记录对应的最优方位索引，获得颜色通路的轮廓响应EC(x,y)和最优方位索引矩阵ΘC(x,y),如式(6)所示：
Figure BDA0002864739230000045
步骤1.3分别将亮度通路与颜色通路的轮廓响应以及最优方位索引矩阵进行融合，模拟视皮层V1功能层的前级特性，获得拓扑投射轮廓图E(x,y)和最优方位索引矩阵Θ(x,y)。如式(7)所示：
Figure BDA0002864739230000046
步骤(2)构建视觉信息差增强模型,利用位置响应差和方位响应差对拓扑投射轮廓图E(x,y)进行对比度增强，得到细化轮廓图Et(x,y)。首先，对于步骤(1)获得的拓扑投射轮廓图E(x,y)，分别利用高斯函数G(x,y；σ)和高斯差函数DoG+(x,y；σ)与E(x,y)卷积，获取经典感受野的视觉输入LC(x,y；σ)和非经典感受野的视觉输入LN(x,y；σ)，如式(8)所示：
Figure BDA0002864739230000051
其中，
Figure BDA0002864739230000052
式(8)中σ的默认值与式(1)中取值相同，对式中LC(x,y；σ)和LN(x,y；σ)进行差值运算，获得位置响应差ΔL(x,y；σ)，如式(10)所示:
ΔL(x,y；σ)＝max{LC(x,y；σ)-LN(x,y；σ),0} (10)
然后，计算拓扑投射轮廓图E(x,y)的正交方位索引矩阵Θ+(x,y)，如式(11)所示：
Θ+(x,y)＝(Θ(x,y)+2)mod 8 (11)
其中，mod表示取余数操作；步骤(1)获得的Θ(x,y)以索引的形式保存了像素坐标(x,y)处的最优方位信息，取值范围为{0,1,2,3,4,5,6,7}，{0,4}代表水平最优方位，{2,6}代表垂直最优方位，{1,5}代表正斜最优方位，{3,7}代表反斜最优方位；Θ+(x,y)代表与最优方位Θ(x,y)互补的正交方位，其中水平方位与垂直方位互补，左斜方位与右斜方位互补。最优方位与正交方位的示意关系如附图2所示。
对于拓扑投射轮廓图E中每个像素坐标(x,y)，将其二邻域像素值之和作为响应信息。分别计算最优方位响应OΘ(x,y)和正交方位响应OΘ+(x,y)，并对二者进行差值运算，获得方位响应差ΔO(x,y)，如式(12)所示：
Figure BDA0002864739230000053
最后，对E(x,y)进行对比度增强，获得细化轮廓图Et(x,y)，如式(13)所示：
Et(x,y)＝E(x,y)+Eenha(x,y)-Einhi(x,y) (13)
其中，Eenha(x,y)代表方位响应差ΔO(x,y)线性归一化后的结果，用于增强轮廓像素点。Einhi(x,y)代表位置响应差ΔL(x,y；σ)指数归一化后的结果，用于抑制背景像素点。
步骤(3)构建自适应尺寸稀疏编码模型，对细化轮廓图Et(x,y)进行稀疏编码，获得池化图Es(x,y)。对于步骤(2)获得的细化轮廓图Et(x,y)，根据最大类间方差法计算自适应阈值thresh，进行二值化并统计轮廓像素所占比例proportion，如式(14)所示：
Figure BDA0002864739230000061
其中，
Figure BDA0002864739230000062
代表细化轮廓图二值化后的结果，count(·)操作用于统计二值图像
Figure BDA0002864739230000063
中像素值1的个数。
然后计算稀疏编码模型的稀疏核尺寸大小，为了简化计算，将稀疏核视窗形状选为方窗，视窗尺寸根据轮廓像素比例proportion大小进行自适应选取，如式(15)所示：
Figure BDA0002864739230000064
其中，w1、w2、w3表示不同大小的稀疏核视窗尺寸。本发明设置w1＝3、w2＝5、w3＝7。thresh1和thresh2是用来衡量细化轮廓图Et稀疏程度的阈值参数，默认取值thresh1＝0.2，thresh2＝0.1。根据Et中轮廓像素比例proportion和阈值参数的相对大小，对稀疏核视窗尺寸ws进行自适应选取。稀疏编码前采用镜像对称法对细化轮廓图Et进行边界像素填充。对于Et中每个像素，计算以之为中心的视窗内所有像素的平均值，作为该像素点的稀疏编码输出，并以视窗尺寸作为视窗移动步长，实现视觉信息在空间上的稀疏表达，如式(16)所示：
Figure BDA0002864739230000065
其中，w、h分别为横向和纵向偏移量，ws为稀疏核视窗尺寸大小，也是视窗移动步长；floor(·)表示向下取整函数，Es(x,y)为稀疏处理后的池化图。
步骤(4)计算经过反馈修正后的障碍物轮廓外形结果T(x,y)。将步骤(3)获得的池化图Es(x,y)跨视区反馈至V1视皮层，以调节系数的形式对步骤(1)获得的拓扑投射轮廓图E(x,y)进行修正，经过逐个像素点乘融合获得最终的障碍物轮廓外形结果T(x,y),如式(17)所示：
Figure BDA0002864739230000066
其中，resize(·)代表双线性插值操作，
Figure BDA0002864739230000071
为经过双线性插值操作放大后的稀疏精简图，尺寸与拓扑投射轮廓图相同。

Claims (9)

1.基于视觉信息流分区投射编码模型的道路障碍物检测方法，其特征在于，该方法具体包括以下步骤：
步骤一：在V1拓扑投射轮廓全局感知单元中构建平行视通路模型，对道路交通图的亮度边缘和颜色边缘实现并行提取，从而获取表征障碍物全貌特征的拓扑投射轮廓图E(x,y)和最优方位索引矩阵Θ(x,y)；
步骤二：在V4稀疏编码精细特征提取单元中构建视觉信息差增强模型，分别利用位置响应差和方位响应差对拓扑投射轮廓图E(x,y)进行纹理抑制和轮廓增强，得到细化轮廓图Et(x,y)；
步骤三：提出一种自适应尺寸稀疏编码模型，对细化轮廓图Et(x,y)进行池化操作，根据图像特性实现对障碍物轮廓特征的智能聚焦，获取表征障碍物局部特征的池化图Es(x,y)；
步骤四：模拟视皮层不同脑区间的反馈调控机制，利用池化图Es(x,y)对跨视区的拓扑投射轮廓图E(x,y)进行修正，融合得到最终的障碍物轮廓外形结果T(x,y)。
2.根据权力要求1所述的基于视觉信息流分区投射编码模型的道路障碍物检测方法，其特征在于：所述步骤一：在V1拓扑投射轮廓全局感知单元中构建平行视通路模型，对道路交通图的亮度边缘和颜色边缘实现并行提取，从而获取表征障碍物全貌特征的拓扑投射轮廓图E(x,y)和最优方位索引矩阵Θ(x,y)；具体为：
针对待检测道路交通图，分解出其亮度分量I(x,y)和红、绿、蓝颜色分量R(x,y)、G(x,y)、B(x,y)；每个分量的行数和列数分别为m和n；平行视通路模型由亮度通路和颜色通路构成，分别对道路交通图的亮度边缘和颜色边缘进行提取；
步骤1.1亮度通路的数学模型如式(1)所示：
Figure FDA0002864739220000011
其中，σ、γ代表经典感受野的尺寸和椭圆率，
Figure FDA0002864739220000021
θ∈[0，2π)代表选择性方位，取等间隔的8个方位，即θi＝{0°,45°,90°,135°,180°,225°,270°,315°}，*代表卷积运算，e(x,y；θi)代表像素坐标为(x,y)，选择性方位为θi所对应的亮度分量边缘响应；
对于每个像素，选取所有选择性方位所对应亮度分量边缘响应的最大值，将其线性归一化后作为输出，同时记录对应的最优方位索引，获得亮度通路的轮廓响应EL(x,y)和最优方位索引矩阵ΘL(x,y)，如式(2)所示：
Figure FDA0002864739220000022
其中，N(·)代表线性归一化操作；
步骤1.2利用颜色拮抗机制对颜色通路进行建模，颜色通路分为R-on/G-off、G-on/R-off、B-on/Y-off、Y-on/B-off四种类型的拮抗通道，其中黄色分量Y(x,y)＝(R(x,y)+G(x,y))/2；以R-on/G-off类型拮抗通道为例进行说明；首先模拟视锥细胞的作用，将R(x,y)、G(x,y)分量分别经高斯滤波器处理，结果记为
Figure FDA0002864739220000023
Figure FDA0002864739220000024
然后计算单拮抗感受野的边缘响应，结果记为SRG(x,y)，如式(3)所示：
Figure FDA0002864739220000025
接着模拟双拮抗感受野的作用，计算像素坐标(x,y)处，选择性方位为θi所对应的颜色分量边缘响应dRG(x,y；θi)，如式(4)所示:
Figure FDA0002864739220000026
对于每个像素，选取所有选择性方位所对应颜色分量边缘响应的最大值，将其线性归一化后作为输出，同时记录对应的最优方位索引，获得R-on/G-off类型拮抗通道的边缘响应DRG(x,y)和最优方位索引矩阵ΘRG(x,y)，如式(5)所示:
Figure FDA0002864739220000027
与R-on/G-off类型拮抗通道的计算方式相同，得到其他三类拮抗通道的边缘响应DGR、DBY、DYB和最优方位索引矩阵ΘGR、ΘBY、ΘYB；对于每个像素坐标位置，取四类拮抗通道中边缘响应的最大值作为输出，同时记录对应的最优方位索引，获得颜色通路的轮廓响应EC(x,y)和最优方位索引矩阵ΘC(x,y),如式(6)所示：
Figure FDA0002864739220000031
步骤1.3分别将亮度通路与颜色通路的轮廓响应以及最优方位索引矩阵进行融合，模拟视皮层V1功能层的前级特性，获得拓扑投射轮廓图E(x,y)和最优方位索引矩阵Θ(x,y)；如式(7)所示：
Figure FDA0002864739220000032
3.根据权力要求2所述的基于视觉信息流分区投射编码模型的道路障碍物检测方法，其特征在于：σ、γ依次设置为2和0.5。
4.根据权力要求2所述的基于视觉信息流分区投射编码模型的道路障碍物检测方法，其特征在于：所述步骤二：在V4稀疏编码精细特征提取单元中构建视觉信息差增强模型，分别利用位置响应差和方位响应差对拓扑投射轮廓图E(x,y)进行纹理抑制和轮廓增强，得到细化轮廓图Et(x,y)；具体为：
首先，对于步骤一获得的拓扑投射轮廓图E(x,y)，分别利用高斯函数G(x,y；σ)和高斯差函数DoG+(x,y；σ)与E(x,y)卷积，获取经典感受野的视觉输入LC(x,y；σ)和非经典感受野的视觉输入LN(x,y；σ)，如式(8)所示：
Figure FDA0002864739220000033
其中，
Figure FDA0002864739220000034
对式(8)中LC(x,y；σ)和LN(x,y；σ)进行差值运算，获得位置响应差ΔL(x,y；σ)，如式(10)所示:
ΔL(x,y；σ)＝max{LC(x,y；σ)-LN(x,y；σ),0} (10)
然后，计算拓扑投射轮廓图E(x,y)的正交方位索引矩阵Θ+(x,y)，如式(11)所示：
Θ+(x,y)＝(Θ(x,y)+2)mod 8 (11)
其中，mod表示取余数操作；步骤(1)获得的Θ(x,y)以索引的形式保存了像素坐标(x,y)处的最优方位信息，取值范围为{0,1,2,3,4,5,6,7}，{0,4}代表水平最优方位，{2,6}代表垂直最优方位，{1,5}代表正斜最优方位，{3,7}代表反斜最优方位；Θ+(x,y)代表与最优方位Θ(x,y)互补的正交方位，其中水平方位与垂直方位互补，左斜方位与右斜方位互补；
对于拓扑投射轮廓图E中每个像素坐标(x,y)，将其二邻域像素值之和作为响应信息；分别计算最优方位响应OΘ(x,y)和正交方位响应
Figure FDA0002864739220000045
并对二者进行差值运算，获得方位响应差ΔO(x,y)，如式(12)所示：
Figure FDA0002864739220000044
最后，对E(x,y)进行对比度增强，获得细化轮廓图Et(x,y)，如式(13)所示：
Et(x,y)＝E(x,y)+Eenha(x,y)-Einhi(x,y) (13)
其中，Eenha(x,y)代表方位响应差ΔO(x,y)线性归一化后的结果，用于增强轮廓像素点；Einhi(x,y)代表位置响应差ΔL(x,y；σ)指数归一化后的结果，用于抑制背景像素点。
5.根据权力要求4所述的基于视觉信息流分区投射编码模型的道路障碍物检测方法，其特征在于：σ设置为2。
6.根据权力要求4所述的基于视觉信息流分区投射编码模型的道路障碍物检测方法，其特征在于：所述步骤三：提出一种自适应尺寸稀疏编码模型，对细化轮廓图Et(x,y)进行池化操作，根据图像特性实现对障碍物轮廓特征的智能聚焦，获取表征障碍物局部特征的池化图Es(x,y)；具体为：
对于步骤二获得的细化轮廓图Et(x,y)，根据最大类间方差法计算自适应阈值thresh，进行二值化并统计轮廓像素所占比例proportion，如式(14)所示：
Figure FDA0002864739220000041
其中，
Figure FDA0002864739220000042
代表细化轮廓图二值化后的结果，count(·)操作用于统计二值图像
Figure FDA0002864739220000043
中像素值1的个数；
然后计算稀疏编码模型的稀疏核尺寸大小，为了简化计算，将稀疏核视窗形状选为方窗，视窗尺寸根据轮廓像素比例proportion大小进行自适应选取，如式(15)所示：
Figure FDA0002864739220000051
其中，w1、w2、w3表示不同大小的稀疏核视窗尺寸；thresh1和thresh2是用来衡量细化轮廓图Et稀疏程度的阈值参数，根据Et中轮廓像素比例proportion和阈值参数的相对大小，对稀疏核视窗尺寸ws进行自适应选取；稀疏编码前采用镜像对称法对细化轮廓图Et进行边界像素填充；对于Et中每个像素，计算以之为中心的视窗内所有像素的平均值，作为该像素点的稀疏编码输出，并以视窗尺寸作为视窗移动步长，实现视觉信息在空间上的稀疏表达，如式(16)所示：
Figure FDA0002864739220000052
其中，w、h分别为横向和纵向偏移量，ws为稀疏核视窗尺寸大小，也是视窗移动步长；floor(·)表示向下取整函数，Es(x,y)为稀疏处理后的池化图。
7.根据权力要求6所述的基于视觉信息流分区投射编码模型的道路障碍物检测方法，其特征在于：w1＝3，w2＝5，w3＝7。
8.根据权力要求6所述的基于视觉信息流分区投射编码模型的道路障碍物检测方法，其特征在于：thresh1＝0.2，thresh2＝0.1。
9.根据权力要求6所述的基于视觉信息流分区投射编码模型的道路障碍物检测方法，其特征在于：所述步骤四：模拟视皮层不同脑区间的反馈调控机制，利用池化图Es(x,y)对跨视区的拓扑投射轮廓图E(x,y)进行修正，融合得到最终的障碍物轮廓外形结果T(x,y)；具体为：
将步骤三获得的池化图Es(x,y)跨视区反馈至V1视皮层，以调节系数的形式对步骤一获得的拓扑投射轮廓图E(x,y)进行修正，经过逐个像素点乘融合获得最终的障碍物轮廓外形结果T(x,y),如式(17)所示：
Figure FDA0002864739220000061
其中，resize(·)代表双线性插值操作，
Figure FDA0002864739220000062
为经过双线性插值操作放大后的池化图，尺寸与拓扑投射轮廓图相同。
CN202011578651.0A 2020-12-28 2020-12-28 基于视觉信息流分区投射编码模型的道路障碍物检测方法 Active CN112613427B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011578651.0A CN112613427B (zh) 2020-12-28 2020-12-28 基于视觉信息流分区投射编码模型的道路障碍物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011578651.0A CN112613427B (zh) 2020-12-28 2020-12-28 基于视觉信息流分区投射编码模型的道路障碍物检测方法

Publications (2)

Publication Number Publication Date
CN112613427A true CN112613427A (zh) 2021-04-06
CN112613427B CN112613427B (zh) 2024-02-27

Family

ID=75248224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011578651.0A Active CN112613427B (zh) 2020-12-28 2020-12-28 基于视觉信息流分区投射编码模型的道路障碍物检测方法

Country Status (1)

Country Link
CN (1) CN112613427B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113391368A (zh) * 2021-06-30 2021-09-14 山东国瑞新能源有限公司 一种基于虚拟成像技术的道路勘探方法及设备
CN113435455A (zh) * 2021-05-12 2021-09-24 西安工程大学 一种基于时空脉冲编码的图像轮廓提取方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484667A (zh) * 2014-12-30 2015-04-01 华中科技大学 一种基于亮度特征和轮廓完整性的轮廓提取方法
CN109489576A (zh) * 2018-10-19 2019-03-19 杭州电子科技大学 一种基于初级视觉通路计算模型的轮廓检测方法
CN111222518A (zh) * 2020-01-16 2020-06-02 杭州电子科技大学 一种基于分频视觉机制的轮廓特征提取方法
CN111402285A (zh) * 2020-01-16 2020-07-10 杭州电子科技大学 一种基于视觉机制暗边缘增强的轮廓检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484667A (zh) * 2014-12-30 2015-04-01 华中科技大学 一种基于亮度特征和轮廓完整性的轮廓提取方法
CN109489576A (zh) * 2018-10-19 2019-03-19 杭州电子科技大学 一种基于初级视觉通路计算模型的轮廓检测方法
CN111222518A (zh) * 2020-01-16 2020-06-02 杭州电子科技大学 一种基于分频视觉机制的轮廓特征提取方法
CN111402285A (zh) * 2020-01-16 2020-07-10 杭州电子科技大学 一种基于视觉机制暗边缘增强的轮廓检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435455A (zh) * 2021-05-12 2021-09-24 西安工程大学 一种基于时空脉冲编码的图像轮廓提取方法
CN113435455B (zh) * 2021-05-12 2024-03-22 深圳灵图创新科技有限公司 一种基于时空脉冲编码的图像轮廓提取方法
CN113391368A (zh) * 2021-06-30 2021-09-14 山东国瑞新能源有限公司 一种基于虚拟成像技术的道路勘探方法及设备

Also Published As

Publication number Publication date
CN112613427B (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
CN110210551B (zh) 一种基于自适应主体敏感的视觉目标跟踪方法
CN106650640B (zh) 一种基于激光雷达点云局部结构特征的负障碍物检测方法
Zheng et al. Large-scale oil palm tree detection from high-resolution remote sensing images using faster-rcnn
CN103699900B (zh) 卫星影像中建筑物水平矢量轮廓自动批量提取方法
CN108830280A (zh) 一种基于区域提名的小目标检测方法
JP2019523509A (ja) 暗視赤外画像における顕著性に基づく道路オブジェクト抽出方法
CN104408711B (zh) 一种基于多尺度区域融合的显著区域检测方法
CN109489576B (zh) 一种基于初级视觉通路计算模型的轮廓检测方法
CN104766071B (zh) 一种应用于无人驾驶汽车的交通灯快速检测算法
CN112613427B (zh) 基于视觉信息流分区投射编码模型的道路障碍物检测方法
CN103996185A (zh) 一种基于注意力td-bu机制的图像分割方法
CN107315998A (zh) 基于车道线的车辆种类划分方法和***
CN109858487A (zh) 基于分水岭算法和图像类别标签的弱监督语义分割方法
CN111008647B (zh) 一种样本提取及基于空洞卷积与残差链接的图像分类方法
CN110969171A (zh) 基于改进卷积神经网络的图像分类模型、方法及应用
CN103955945A (zh) 基于双目视差和活动轮廓的自适应彩色图像分割方法
CN104134198A (zh) 一种对图像进行局部处理的方法
CN110136075A (zh) 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法
CN111832461A (zh) 一种基于视频流的非机动车骑行人员头盔佩戴检测方法
CN107944437A (zh) 一种基于神经网络和积分图像的人脸定位方法
CN112836573A (zh) 一种基于对抗生成网络的车道线图像增强与补全方法
Balakrishnan et al. Multimedia concepts on object detection and recognition with F1 car simulation using convolutional layers
WO2015010164A1 (en) Enhancing vision for a vision impaired user
CN106529441A (zh) 基于模糊边界分片的深度动作图人体行为识别方法
Vitor et al. Comprehensive performance analysis of road detection algorithms using the common urban Kitti-road benchmark

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant