CN113362356B - 一种基于双侧注意通路的显著轮廓提取方法 - Google Patents
一种基于双侧注意通路的显著轮廓提取方法 Download PDFInfo
- Publication number
- CN113362356B CN113362356B CN202110616753.5A CN202110616753A CN113362356B CN 113362356 B CN113362356 B CN 113362356B CN 202110616753 A CN202110616753 A CN 202110616753A CN 113362356 B CN113362356 B CN 113362356B
- Authority
- CN
- China
- Prior art keywords
- response
- color
- follows
- ventral
- spatial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002146 bilateral effect Effects 0.000 title claims abstract description 13
- 238000000605 extraction Methods 0.000 title claims abstract description 9
- 230000004044 response Effects 0.000 claims abstract description 75
- 210000002569 neuron Anatomy 0.000 claims abstract description 31
- 230000008485 antagonism Effects 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 230000003993 interaction Effects 0.000 claims abstract description 13
- 210000000857 visual cortex Anatomy 0.000 claims abstract description 8
- 230000035945 sensitivity Effects 0.000 claims abstract description 6
- 230000000007 visual effect Effects 0.000 claims description 25
- 210000004027 cell Anatomy 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 11
- 230000002093 peripheral effect Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 7
- 239000012528 membrane Substances 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000005284 excitation Effects 0.000 claims description 3
- 230000002401 inhibitory effect Effects 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 3
- 230000036279 refractory period Effects 0.000 claims description 3
- 210000001525 retina Anatomy 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 239000003086 colorant Substances 0.000 claims 1
- 238000004088 simulation Methods 0.000 claims 1
- 238000005728 strengthening Methods 0.000 claims 1
- 210000000977 primary visual cortex Anatomy 0.000 abstract description 2
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 230000003042 antagnostic effect Effects 0.000 description 10
- 230000037361 pathway Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 208000003098 Ganglion Cysts Diseases 0.000 description 1
- 208000005400 Synovial Cyst Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000002739 subcortical effect Effects 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 210000000239 visual pathway Anatomy 0.000 description 1
- 230000004400 visual pathway Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于双侧注意通路的显著轮廓提取方法。首先改进视皮层下单拮抗感受野模型,构建基于局部亮度特征的单拮抗动态调节模型,实现亮度和颜色边界的联合编码;接着模拟经典感受野的方向敏感特性,提出一种最佳方位区间多方向微动方法,实现方向选择的精细化;随后当初级视皮层信号传递至高级视皮层时,模拟背侧流和腹侧流之间的信息响应特性,构建双侧信息流交互模型,利用高斯金字塔和稀疏编码模型,分别获取背侧空间显著轮廓和腹侧神经元稀疏响应;最后通过加权融合策略将双侧注意通路的信息融合,以多视通路之间的信息互补来增强显著轮廓和抑制纹理背景。
Description
技术领域
本发明属于生物视觉和图像处理领域,具体涉及一种基于双侧注意通路的显著轮廓提取方法。
背景技术
轮廓是图像目标的重要形态特征,通常湮没在图像噪声和纹理背景中,如何准确地在复杂场景中提取显著轮廓,对于后续的计算机图像处理至关重要。显著轮廓提取的难点主要体现在:(1)在光照不均或弱对比度下,轮廓信息更易被纹理干扰而难以提取;(2)在凸显轮廓和抑制纹理的过程中,难以保证剔除大量纹理的同时又保留完整的轮廓。
随着视觉生理实验和计算模型的发展,视觉仿生型轮廓感知方法逐渐受到学者们的关注。例如有研究基于视觉***中各级神经元的解剖特性,构建高斯差分(Differenceof Gaussian,DOG)模型来描述中心-周边型的感受野结构,揭示了单拮抗感受野(Single-Opponent Receptive Field,SORF)感知颜色信息时所呈现的拮抗特性;有研究提出基于经典感受野(Classical Receptive Field,CRF)的最佳方位多层级细化方法,利用高斯导函数的角度细分实现目标方向的精细感知;还有研究指出视皮层拥有背侧流和腹侧流构成的双侧通路,且两者不同层级之间存在着相互调节作用;而视觉感知过程根据场景特征和视觉任务特性,可解释为Bottom-Up和Top-Down两种视觉注意模型,利用其可有效地提取显著目标;后续也有研究在多视通路和多层次视觉信息的基础上,整合多条平行通路的视觉特征,通过不同视通路间的信息融合获取显著轮廓。需要指出的是,上述方法都要预设CRF的偏向角或感受野的调控参数,无法保证不同场景图像的检测效果;并且仅在单一视通路上考虑轮廓和纹理的差异性,忽略或简化了视觉信息分流机制对细节信息的调制作用,易造成弱轮廓的漏检现象;此外,现有方法大都未从多视通路的信息交互层面出发,缺乏多通路信息互补对显著轮廓的修正作用。
发明内容
本发明构建双侧注意通路交互与融合模型,通过模拟视觉信息的分流传递和交互响应特性来提取显著轮廓。模拟视网膜神经节和膝状体(LGN)层(统称为视皮层下)特性,构建基于局部亮度特征的单拮抗动态调节模型,通过亮度和颜色边界的联合编码,获取图像目标的初级边界响应;模拟初级视皮层(V1区)特性,基于经典感受野的方向敏感特性,提出最佳方位区间多方向微动方法,实现方向选择的精细化;模拟V1区与高级视皮层的视觉信号传递特性,构建双侧信息流交互模型,将视通路划分为背侧和腹侧注意通路,利用高斯金字塔和稀疏编码模型,分别获取背侧空间显著轮廓和腹侧神经元稀疏响应;最后通过加权融合策略将双侧注意通路的信息融合,以多视通路之间的功能互补、信息互补,来实现显著轮廓的快速提取。
本发明提出了一种基于双侧注意通路的显著轮廓提取方法,包含如下步骤:
步骤(1)模拟视皮层下神经元的颜色拮抗特性,构建基于局部亮度特征的单拮抗动态调节模型,得到初级边界响应Iborder(x,y),(x,y)表示图像的横纵坐标。
步骤1.1针对输入图像I(x,y),分解出亮度分量L(x,y),以L(x,y)每个像素点为中心,计算出H×H区域内的亮度均值Lavg(x,y),如式(1)所示。
其中,(i,j)表示H×H区域内的坐标,step表示移动步长,默认取H=5,step=3;为解决边界溢出问题,以L(x,y)的边缘像素填充边界。
然后利用L(x,y)与Lavg(x,y)的大小关系,判断点(x,y)是否归属于局部暗区域,从而确定该点是否需要增强处理,得到亮度调节响应Lrod(x,y),如式(2)所示。
其中,a∈(0,1)表示亮度调节因子,默认取a=0.8。
步骤1.2针对输入图像I(x,y),模拟锥细胞的颜色(红、绿、蓝、黄)分离作用,分解出R(x,y)、G(x,y)、B(x,y)及Y(x,y)等4种颜色响应,经过单拮抗编码后形成4种颜色拮抗通道,分别记为R+/G-、G+/R-、B+/Y-及Y+/B-。再对锥细胞对立响应之差与高斯导函数Gau(x,y)进行卷积运算,结果记为如式(3)所示。
其中,*表示卷积运算符;γ、σ表示感受野的椭圆率和尺度,默认值分别取γ=0.5和σ=1.5;C(x,y)和S(x,y)表示单拮抗编码中对立的颜色响应,可能的选项为R(x,y)、G(x,y)、B(x,y)或Y(x,y);下标C+/S-表示对应的颜色拮抗通道,可能的选项为R+/G-、G+/R-、B+/Y-或Y+/B-;k(x,y)表示对立颜色响应权重,取决于局部区域内的颜色和亮度强度,具体表现为:在局部亮区域内锥细胞可感知颜色和亮度,对立颜色差异大则k(x,y)→0;而局部暗区域内锥细胞只对颜色敏感,对立颜色差异小则k(x,y)→1,k(x,y)的具体设置规则如下:
按式(1)同理计算,获得Lrod(x,y)的局部亮度均值并将/>经过非线性激活处理后,作为k(x,y)的动态调节因子,如式(4)所示。
利用k(x,y)对图像I(x,y)进行单拮抗动态编码,得到的颜色边界响应记为 及/>
步骤1.3由于视网膜中视杆细胞的总数是锥细胞的数十倍,为满足边界的完整性感知,按特定比例(默认取0.1:0.9)融合和Lrod(x,y),得到初级边界响应Iborder(x,y),如式(5)所示。
步骤(2)模拟V1区经典感受野的方向敏感特性,提出多方向微动方法,得到初级轮廓响应E(x,y)。
首先引入如式(3)所示的高斯导函数Gau(x,y)模拟多方向上的刺激响应,结果记为e(x,y;θ),θ∈[0,π)表示感受野的方向角;接着选取Q个方向响应强度最大值作为初始轮廓emax(x,y;θstd),如式(6)所示,其中θstd表示多方向响应最大值所对应的方向角,即最优方向。
然后以最优方向θstd为中心轴,按特定幅度进行方向微动,每次微动所生成的方向角记为θr,r=1,2,…,M,如式(7)所示,其中M决定了方向微动的幅度。根据式(7)可知即最佳方位区间,其中/>表示初始轮廓中相邻方向的角度差。最后,在最佳方位区间内采用winner-take-all策略,将微动响应e(x,y;θr)通过竞争机制得到初级轮廓响应E(x,y),如式(8)所示。
E(x,y)=max{e(x,y;θr)|r=1,2,…,M} (8)
步骤(3)模拟视觉信息分流传递和交互响应特性,构建双侧信息流交互模型,分别得到背侧空间显著轮廓和腹侧神经元稀疏响应/>
步骤3.1根据背侧注意通路的空间响应特性,强化空间显著轮廓。
由于图像I(x,y)在不同尺度下存在着不同分辨率的空间特征点,为覆盖多尺度的空间特征,首先采用高斯金字塔将I(x,y)分解出4个不同尺度的特征图,记为Iz(x,y),z=0,1,2,3,4,如(9)所示,其中I0(x,y)默认为I(x,y)。然后引入高斯差分函数DOG(x,y)计算出多层特征图Ip,q(x,y),如式(10)所示,其中q和p分别表示DOG(x,y)的中心和周边层所对应的第z个尺度特征图,且中心与周边层的层级差为1或2,可能的结果为I2,1(x,y)、I3,1(x,y)、I3,2(x,y)、I4,2(x,y)或I4,3(x,y)。
其中,W(m,n)表示高斯金字塔核,默认大小为5×5;Ip(x,y)和Iq(x,y)分别表示DOG(x,y)周边和中心层所对应的尺度特征图;Θ表示高斯差分计算,N(·)表示归一化算子;σoff和σon分别表示DOG(x,y)周边和中心层的尺度参数,默认取σoff=3.5,σon=2。
经过不同尺度层级差分和归一化处理,得到背侧注意通路的空间特征图D(x,y),如式(11)所示。最后计算D(x,y)中每个像素点的空间强度F(x,y),并将F(x,y)作为E(x,y)的空间调制系数,得到背侧空间显著轮廓如式(12)所示。
其中,Dmin(x,y)和Dmax(x,y)分别表示D(x,y)的最小值和最大值;weight∈(0,1]表示空间强化权重,默认取weight=0.6。
步骤3.2根据腹侧神经元的稀疏响应特性,抑制冗余纹理。
由于背侧注意通路的反馈信息会增强腹侧相应位置处神经元对视觉刺激的响应,且腹侧神经元集群自身具备的稀疏响应特性,能有效区分纹理和显著轮廓。因此本发明采用改进的LIF模型模拟腹侧神经元,将背侧空间显著轮廓作为神经元的输入激励,利用稀疏编码描述腹侧信息流的稀疏性,如式(13)~(14)所示。
其中,cm、gl表示腹侧神经元的膜电容和漏电导;表示以点(x,y)为中心的一个局部窗口(5×5)内像素的直方图,V为/>的空间维度;||·||L表示L范数,L=1,2。在的刺激下,当腹侧神经元的膜电压大于脉冲发放阈值(即v>vth)时,脉冲发放达到峰值vG,并瞬间被重置为相应的静态电势vreset;在进入绝对不应期ref后,不再发放脉冲,最后得到腹侧神经元稀疏响应/>
步骤(4)模拟多视通路信息融合机制,提出基于双侧信息流的加权融合策略,得到最终显著轮廓
由于双侧注意通路的视觉信息均从V1区分流而来,根据各侧响应与E(x,y)的比值来决定双侧信息的融合权重,记为βl,l=1,2,获得最终显著轮廓如式(15)~(16)所示。
本发明具有的有益效果为:
1.构建了一种利用单拮抗感受野特性实现亮度和颜色边界联合编码的动态调节模型。考虑到图像光强对单拮抗响应的干扰,本发明改进视皮层下单拮抗感受野模型,提出一种基于局部亮度特征的单拮抗动态调节模型。根据亮度分量的像素值与其局部均值间的线性关系调节亮度信息,并将亮度调节响应的局部均值作为颜色响应权重的动态调节因子,实现亮度和颜色边界的联合编码。
2.提出了一种基于经典感受野的最佳方位区间多方向微动方法。考虑到经典感受野的方向敏感特性,根据初始轮廓的最优方向,以其左右邻域区间为最佳方位区间,在区间内进行多方向微动偏移,实现方向选择的精细化。
3.构建了一种基于双侧注意通路的信息交互模型。考虑到V1区与高级视皮层的视觉信号传递特性,将单一视通路划分为背侧和腹侧注意通路加以探究。根据双侧各自功能以及两者间的信息交互特性,分别获取背侧空间显著轮廓和腹侧神经元稀疏响应。
4.提出了一种基于双侧信息流的加权融合策略,以双侧注意通路的视觉信息互补,实现轮廓信息的快速响应和完整性融合,得到最终显著轮廓。
附图说明
图1为本发明的图像轮廓检测流程图。
图2为本发明的单拮抗动态调节示意图。
图3为本发明的单拮抗动态调节补充示意图。
图4为本发明的最佳方位区间多方向微动示意图。
具体实施方式
下面通过具体实施例,并结合附图,对本发明的技术方案作进一步的具体说明。
实施例1
如图1所示的一种基于双侧注意通路的显著轮廓提取方法,包含如下步骤:
步骤(1)模拟视皮层下神经元的颜色拮抗特性,构建基于局部亮度特征的单拮抗动态调节模型,得到初级边界响应Iborder(x,y),(x,y)表示图像的横纵坐标。
步骤1.1针对输入图像I(x,y),分解出亮度分量L(x,y),以L(x,y)每个像素点为中心,计算出H×H区域内的亮度均值Lavg(x,y),如式(1)所示。
其中,(i,j)表示H×H区域内的坐标,step表示移动步长,默认取H=5,step=3;为解决边界溢出问题,以L(x,y)的边缘像素填充边界。
然后利用L(x,y)与Lavg(x,y)的大小关系,判断点(x,y)是否归属于局部暗区域,从而确定该点是否需要增强处理,得到亮度调节响应Lrod(x,y),如式(2)所示。
其中,a∈(0,1)表示亮度调节因子,默认取a=0.8。
步骤1.2如图2和图3所示,针对输入图像I(x,y),模拟锥细胞的颜色(红、绿、蓝、黄)分离作用,分解出R(x,y)、G(x,y)、B(x,y)及Y(x,y)等4种颜色响应,经过单拮抗编码后形成4种颜色拮抗通道,分别记为R+/G-、G+/R-、B+/Y-及Y+/B-。再对锥细胞对立响应之差与高斯导函数Gau(x,y)进行卷积运算,结果记为如式(3)所示。
其中,*表示卷积运算符;γ、σ表示感受野的椭圆率和尺度,默认值分别取γ=0.5和σ=1.5;C(x,y)和S(x,y)表示单拮抗编码中对立的颜色响应,可能的选项为R(x,y)、G(x,y)、B(x,y)或Y(x,y);下标C+/S-表示对应的颜色拮抗通道,可能的选项为R+/G-、G+/R-、B+/Y-或Y+/B-;k(x,y)表示对立颜色响应权重,取决于局部区域内的颜色和亮度强度,具体表现为:在局部亮区域内锥细胞可感知颜色和亮度,对立颜色差异大则k(x,y)→0;而局部暗区域内锥细胞只对颜色敏感,对立颜色差异小则k(x,y)→1,k(x,y)的具体设置规则如下:
按式(1)同理计算,获得Lrod(x,y)的局部亮度均值并将/>经过非线性激活处理后,作为k(x,y)的动态调节因子,如式(4)所示。
利用k(x,y)对图像I(x,y)进行单拮抗动态编码,得到的颜色边界响应记为 及/>
步骤1.3由于视网膜中视杆细胞的总数是锥细胞的数十倍,为满足边界的完整性感知,按特定比例(默认取0.1:0.9)融合和Lrod(x,y),得到初级边界响应Iborder(x,y),如式(5)所示。
步骤(2)如图4所示,模拟V1区经典感受野的方向敏感特性,提出多方向微动方法,得到初级轮廓响应E(x,y)。
首先引入如式(3)所示的高斯导函数Gau(x,y)模拟多方向上的刺激响应,结果记为e(x,y;θ),θ∈[0,π)表示感受野的方向角;接着选取Q个方向响应强度最大值作为初始轮廓emax(x,y;θstd),如式(6)所示,其中θstd表示多方向响应最大值所对应的方向角,即最优方向。
然后以最优方向θstd为中心轴,按特定幅度进行方向微动,每次微动所生成的方向角记为θr,r=1,2,…,M,如式(7)所示,其中M决定了方向微动的幅度。根据式(7)可知即最佳方位区间,其中/>表示初始轮廓中相邻方向的角度差。最后,在最佳方位区间内采用winner-take-all策略,将微动响应e(x,y;θr)通过竞争机制得到初级轮廓响应E(x,y),如式(8)所示。
E(x,y)=max{e(x,y;θr)|r=1,2,…,M} (8)
步骤(3)模拟视觉信息分流传递和交互响应特性,构建双侧信息流交互模型,分别得到背侧空间显著轮廓和腹侧神经元稀疏响应/>
步骤3.1根据背侧注意通路的空间响应特性,强化空间显著轮廓。
由于图像I(x,y)在不同尺度下存在着不同分辨率的空间特征点,为覆盖多尺度的空间特征,首先采用高斯金字塔将I(x,y)分解出4个不同尺度的特征图,记为Iz(x,y),z=0,1,2,3,4,如(9)所示,其中I0(x,y)默认为I(x,y)。然后引入高斯差分函数DOG(x,y)计算出多层特征图Ip,q(x,y),如式(10)所示,其中q和p分别表示DOG(x,y)的中心和周边层所对应的第z个尺度特征图,且中心与周边层的层级差为1或2,可能的结果为I2,1(x,y)、I3,1(x,y)、I3,2(x,y)、I4,2(x,y)或I4,3(x,y)。
其中,W(m,n)表示高斯金字塔核,默认大小为5×5;Ip(x,y)和Iq(x,y)分别表示DOG(x,y)周边和中心层所对应的尺度特征图;Θ表示高斯差分计算,N(·)表示归一化算子;σoff和σon分别表示DOG(x,y)周边和中心层的尺度参数,默认取σoff=3.5,σon=2。
经过不同尺度层级差分和归一化处理,得到背侧注意通路的空间特征图D(x,y),如式(11)所示。最后计算D(x,y)中每个像素点的空间强度F(x,y),并将F(x,y)作为E(x,y)的空间调制系数,得到背侧空间显著轮廓如式(12)所示。
其中,Dmin(x,y)和Dmax(x,y)分别表示D(x,y)的最小值和最大值;weight∈(0,1]表示空间强化权重,默认取weight=0.6。
步骤3.2根据腹侧神经元的稀疏响应特性,抑制冗余纹理。
由于背侧注意通路的反馈信息会增强腹侧相应位置处神经元对视觉刺激的响应,且腹侧神经元集群自身具备的稀疏响应特性,能有效区分纹理和显著轮廓。因此本发明采用改进的LIF模型模拟腹侧神经元,将背侧空间显著轮廓作为神经元的输入激励,利用稀疏编码描述腹侧信息流的稀疏性,如式(13)~(14)所示。
其中,cm、gl表示腹侧神经元的膜电容和漏电导;表示以点(x,y)为中心的一个局部窗口(5×5)内像素的直方图,V为/>的空间维度;||·||L表示L范数,L=1,2。在的刺激下,当腹侧神经元的膜电压大于脉冲发放阈值(即v>vth)时,脉冲发放达到峰值vG,并瞬间被重置为相应的静态电势vreset;在进入绝对不应期ref后,不再发放脉冲,最后得到腹侧神经元稀疏响应/>
步骤(4)模拟多视通路信息融合机制,提出基于双侧信息流的加权融合策略,得到最终显著轮廓
由于双侧注意通路的视觉信息均从V1区分流而来,根据各侧响应与E(x,y)的比值来决定双侧信息的融合权重,记为βl,l=1,2,获得最终显著轮廓如式(15)~(16)所示。
Claims (3)
1.一种基于双侧注意通路的显著轮廓提取方法,其特征在于,包括以下步骤:
步骤(1):模拟视皮层下神经元的颜色拮抗特性,构建基于局部亮度特征的单拮抗动态调节模型,得到初级边界响应Iborder(x,y),(x,y)表示图像的横纵坐标;
步骤(2)模拟V1区经典感受野的方向敏感特性,提出多方向微动方法,得到初级轮廓响应E(x,y);
首先引入高斯导函数Gau(x,y)模拟多方向上的刺激响应,结果记为e(x,y;θ),θ∈[0,π)表示感受野的方向角;接着选取Q个方向响应强度最大值作为初始轮廓emax(x,y;θstd),公式如下:
其中θstd表示多方向响应最大值所对应的方向角,即最优方向;
然后以最优方向θstd为中心轴,按设定幅度进行方向微动,每次微动所生成的方向角记为θr,r=1,2,…,M,公式如下:
其中M决定了方向微动的幅度;可知即最佳方位区间,其中表示初始轮廓中相邻方向的角度差;
最后,在最佳方位区间内采用winner-take-all策略,将微动响应e(x,y;θr)通过竞争机制得到初级轮廓响应E(x,y),公式如下:
E(x,y)=max{e(x,y;θr)|r=1,2,…,M}
步骤(3)模拟视觉信息分流传递和交互响应特性,构建双侧信息流交互模型,分别得到背侧空间显著轮廓和腹侧神经元稀疏响应/>
步骤(4)模拟多视通路信息融合机制,提出基于双侧信息流的加权融合策略,得到最终显著轮廓
由于双侧注意通路的视觉信息均从V1区分流而来,根据各侧响应与E(x,y)的比值来决定双侧信息的融合权重,记为βl,l=1,2,获得最终显著轮廓公式如下:
2.根据权利要求1所述的一种基于双侧注意通路的显著轮廓提取方法,其特征在于,所述的步骤(1)包括以下子步骤:
步骤1.1针对输入图像I(x,y),分解出亮度分量L(x,y),以L(x,y)每个像素点为中心,计算出H×H区域内的亮度均值Lavg(x,y),公式如下:
其中,(i,j)表示H×H区域内的坐标,step表示移动步长;为解决边界溢出问题,以L(x,y)的边缘像素填充边界;
然后利用L(x,y)与Lavg(x,y)的大小关系,判断点(x,y)是否归属于局部暗区域,从而确定该点是否需要增强处理,得到亮度调节响应Lrod(x,y),公式如下:
其中,a∈(0,1)表示亮度调节因子;
步骤1.2针对输入图像I(x,y),模拟锥细胞的颜色红、绿、蓝、黄的分离作用,分解出R(x,y)、G(x,y)、B(x,y)及Y(x,y)4种颜色响应,经过单拮抗编码后形成4种颜色拮抗通道,分别记为R+/G-、G+/R-、B+/Y-及Y+/B-;再对锥细胞对立响应之差与高斯导函数Gau(x,y)进行卷积运算,结果记为公式如下:
其中,*表示卷积运算符;
γ、σ表示感受野的椭圆率和尺度;C(x,y)和S(x,y)表示单拮抗编码中对立的颜色响应,取值范围为R(x,y)、G(x,y)、B(x,y)或Y(x,y);下标C+/S-表示对应的颜色拮抗通道,取值范围为R+/G-、G+/R-、B+/Y-或Y+/B-;k(x,y)表示对立颜色响应权重,取决于局部区域内的颜色和亮度强度,具体表现为:在局部亮区域内锥细胞可感知颜色和亮度,对立颜色差异大则k(x,y)→0;而局部暗区域内锥细胞只对颜色敏感,对立颜色差异小则k(x,y)→1,k(x,y)的具体设置规则如下:
按式步骤1.1同理计算,获得Lrod(x,y)的局部亮度均值并将/>经过非线性激活处理后,作为k(x,y)的动态调节因子,公式如下:
利用k(x,y)对图像I(x,y)进行单拮抗动态编码,得到的颜色边界响应记为及/>步骤1.3由于视网膜中视杆细胞的总数是锥细胞的数十倍,为满足边界的完整性感知,按比例融合/>和Lrod(x,y),得到初级边界响应Iborder(x,y),公式如下:
3.根据权利要求1所述的一种基于双侧注意通路的显著轮廓提取方法,其特征在于,所述的步骤(3)包括以下子步骤:
步骤3.1根据背侧注意通路的空间响应特性,强化空间显著轮廓;
由于图像I(x,y)在不同尺度下存在着不同分辨率的空间特征点,为覆盖多尺度的空间特征,首先采用高斯金字塔将I(x,y)分解出5个不同尺度的特征图,记为Iz(x,y),z=0,1,2,3,4,公式如下:
其中I0(x,y)默认为I(x,y);
然后引入高斯差分函数DOG(x,y)计算出多层特征图Ip,q(x,y),公式如下:
其中q和p分别表示DOG(x,y)的中心和周边层所对应的第z个尺度特征图,且中心与周边层的层级差为1或2,取值范围为I2,1(x,y)、I3,1(x,y)、I3,2(x,y)、I4,2(x,y)或I4,3(x,y);
其中,W(m,n)表示高斯金字塔核,默认大小为5×5;Ip(x,y)和Iq(x,y)分别表示DOG(x,y)周边和中心层所对应的尺度特征图;Θ表示高斯差分计算,N(·)表示归一化算子;σoff和σon分别表示DOG(x,y)周边和中心层的尺度参数,默认取σoff=3.5,σon=2;
经过不同尺度层级差分和归一化处理,得到背侧注意通路的空间特征图D(x,y),公式如下:
最后计算D(x,y)中每个像素点的空间强度F(x,y),并将F(x,y)作为E(x,y)的空间调制系数,得到背侧空间显著轮廓公式如下:
其中,Dmin(x,y)和Dmax(x,y)分别表示D(x,y)的最小值和最大值;
weight∈(0,1]表示空间强化权重,默认取weight=0.6;
步骤3.2根据腹侧神经元的稀疏响应特性,抑制冗余纹理;
由于背侧注意通路的反馈信息会增强腹侧相应位置处神经元对视觉刺激的响应,且腹侧神经元集群自身具备的稀疏响应特性,能有效区分纹理和显著轮廓;采用改进的LIF模型模拟腹侧神经元,将背侧空间显著轮廓作为神经元的输入激励,利用稀疏编码描述腹侧信息流的稀疏性,公式如下:
其中,cm、gl表示腹侧神经元的膜电容和漏电导;表示以点(x,y)为中心的一个局部窗口(5×5)内像素的直方图,V为/>的空间维度;||·||L表示L范数,L=1,2;在的刺激下,当腹侧神经元的膜电压大于脉冲发放阈值v>vth时,脉冲发放达到峰值vG,并瞬间被重置为相应的静态电势vreset;在进入绝对不应期ref后,不再发放脉冲,最后得到腹侧神经元稀疏响应/>
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110616753.5A CN113362356B (zh) | 2021-06-02 | 2021-06-02 | 一种基于双侧注意通路的显著轮廓提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110616753.5A CN113362356B (zh) | 2021-06-02 | 2021-06-02 | 一种基于双侧注意通路的显著轮廓提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113362356A CN113362356A (zh) | 2021-09-07 |
CN113362356B true CN113362356B (zh) | 2024-02-02 |
Family
ID=77531399
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110616753.5A Active CN113362356B (zh) | 2021-06-02 | 2021-06-02 | 一种基于双侧注意通路的显著轮廓提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113362356B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116342612A (zh) * | 2023-05-31 | 2023-06-27 | 深圳市微特智能***有限公司 | PCB板mark点提取的方法、装置及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111402285A (zh) * | 2020-01-16 | 2020-07-10 | 杭州电子科技大学 | 一种基于视觉机制暗边缘增强的轮廓检测方法 |
WO2020211522A1 (zh) * | 2019-04-15 | 2020-10-22 | 京东方科技集团股份有限公司 | 图像的显著性区域的检测方法和装置 |
CN112712526A (zh) * | 2020-12-31 | 2021-04-27 | 杭州电子科技大学 | 基于非对称卷积神经网络双通道的视网膜血管分割方法 |
-
2021
- 2021-06-02 CN CN202110616753.5A patent/CN113362356B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020211522A1 (zh) * | 2019-04-15 | 2020-10-22 | 京东方科技集团股份有限公司 | 图像的显著性区域的检测方法和装置 |
CN111402285A (zh) * | 2020-01-16 | 2020-07-10 | 杭州电子科技大学 | 一种基于视觉机制暗边缘增强的轮廓检测方法 |
CN112712526A (zh) * | 2020-12-31 | 2021-04-27 | 杭州电子科技大学 | 基于非对称卷积神经网络双通道的视网膜血管分割方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113362356A (zh) | 2021-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106228547B (zh) | 一种基于视觉颜色理论和同质抑制的轮廓与边界检测算法 | |
Grossberg et al. | Texture segregation, surface representation and figure–ground separation | |
CN104598908B (zh) | 一种农作物叶部病害识别方法 | |
Robinson et al. | Explaining brightness illusions using spatial filtering and local response normalization | |
Zhang et al. | A retina inspired model for enhancing visibility of hazy images | |
CN109489576B (zh) | 一种基于初级视觉通路计算模型的轮廓检测方法 | |
CN111402285B (zh) | 一种基于视觉机制暗边缘增强的轮廓检测方法 | |
CN104778696B (zh) | 一种基于视通路方位敏感的图像边缘分级检测方法 | |
CN104599271A (zh) | 基于CIE Lab彩色空间的灰度阈值分割方法 | |
CN111652817B (zh) | 一种基于人眼视觉感知机理的水下图像清晰化方法 | |
CN113362356B (zh) | 一种基于双侧注意通路的显著轮廓提取方法 | |
CN107909588A (zh) | 基于三维全卷积神经网络的mri皮质下分区*** | |
CN105913463A (zh) | 一种基于位置先验的纹理-颜色特征全局显著性检测方法 | |
Groen et al. | Low-level contrast statistics are diagnostic of invariance of natural textures | |
WO2015010164A1 (en) | Enhancing vision for a vision impaired user | |
CN108537852B (zh) | 一种基于图像局部对比度的自适应颜色恒常性方法 | |
CN111179294A (zh) | 一种基于x、y并行视觉通道响应的仿生型轮廓检测方法 | |
Zhang et al. | A fish retina-inspired single image dehazing method | |
CN112613427B (zh) | 基于视觉信息流分区投射编码模型的道路障碍物检测方法 | |
McArthur et al. | A two-dimensional model of brightness perception based on spatial filtering consistent with retinal processing | |
EP2487650B1 (en) | Bioinspired system for processing and characterising colour attributes of a digital image | |
CN113192092B (zh) | 一种模拟xyw细胞感受野特性融合的轮廓检测方法 | |
Mittal | Automatic Contrast Enhancement of Low Contrast Images using MATLAB. | |
Li et al. | Saliency consistency-based image re-colorization for color blindness | |
CN110717893B (zh) | 一种基于视觉神经通路的边缘检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |