CN107392929A - 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法 - Google Patents
一种基于人眼视觉模型的智能化目标检测及尺寸测量方法 Download PDFInfo
- Publication number
- CN107392929A CN107392929A CN201710580068.5A CN201710580068A CN107392929A CN 107392929 A CN107392929 A CN 107392929A CN 201710580068 A CN201710580068 A CN 201710580068A CN 107392929 A CN107392929 A CN 107392929A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- msup
- point
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于人眼视觉模型的智能化目标检测及尺寸测量方法。将人眼显著性检测与双目视觉成像模型相结合，检测出目标的显著性边缘和受空间信息约束的特征点作为种子点，再利用多特征融合生长机制完成目标检测，最后根据双目视觉模型完成尺寸测量。本发明提出的基于人眼视觉模型的智能化目标检测及尺寸测量***，能准确地从完成多类型目标的检测与尺寸测量，测量误差率低于2％，满足实际目标检测及测量需求。
Description
技术领域
本发明涉及一种基于人眼视觉模型的智能化目标检测及尺寸测量方法，属于数字图像处理、目标检测及尺寸测量领域。
背景技术
尺寸是物体的重要特征之一，所以尺寸测量成为了生产生活的一项重要技术，如工件尺寸测量、大型文物建筑尺寸测量、车辆尺寸测量等。现存的尺寸测量方法可分为以下几类：三坐标测量机、经纬仪测量***、全站仪测量***、关节式坐标测量机、室内全球定位***(GPS)、激光跟踪测量***、声学测距***、激光测距***、人工测量和机器视觉测量***。但传统的目标尺寸测量方法容易受到物体形状、背景等因素的制约。如三坐标机、全站仪、关节式坐标机、人工测量以及激光跟踪均属于接触性测量方法，不适用于非接触型的物体或材料，使用范围受限；声学测距和激光测距受测量范围的制约，难以进行远距离测。机器视觉具有非接触性、测量速度快、测量精度高、实时性强等显著优点，是尺寸测量领域的研究热点之一。
机器视觉测量方法根据视觉传感器的数目和类型可以分成单目视觉、双目视觉、多目视觉、红外视觉、紫外视觉和混合视觉等多个研究方向。其中，单目视觉常常作为最简便快捷的图像获取方法服务于各个领域，但其获得的视觉信息限制性较大。单目视觉包含的信息量少，未能体现三维信息，同时视野范围有限，容易受外界环境影响。与单目视觉相比，双目视觉技术是模拟人类双目视觉***，利用左右目图像中的视差信息获取环境与目标的三维信息，具体优势表现为两个方面：1)模拟人类双目视觉***，可以在目标二维信息的基础上，获取目标的深度信息，从而完成目标的空间定位与三维测量；2)人类双目视觉***经过“物竞天择、适者生存”的进化，适用于多源图像的获取与处理。
现存的利用双目视觉进行的尺寸测量方法精度高，但局限于测量精度的提高，忽略了目标检测步骤。而在实际测量环境下，目标处于不同背景下，准确检测目标是尺寸测量的重要前提。故在尺寸测量前完善目标检测，完成智能化目标检测及尺寸测量是现阶段亟需解决的问题之一。
发明内容
本发明所要解决的技术问题是：现存尺寸测量方法忽略目标检测步骤，应用范围窄的问题。
为解决上述技术特征，本发明提供一种基于人眼视觉模型的智能化目标检测及尺寸测量方法，包括以下步骤：
1)采集待测双目图像：以目标为距离相机最近完整个体的角度利用标定后的双目相机拍摄一组左目图像和右目图像作为待测量图像；
2)提取有效显著点：利用高斯差分算法提取左目图像的显著点图，计算所有显著值大于0的显著点的均值，并以该均值作为筛选阈值，提取显著值大于该阈值的像素点为图像显著点；
3)提取显著性边缘：利用Canny边缘检测算法获取图像的边缘图像，计算每条边缘上显著点的数目，将各边缘线按显著点数目降序排序，保留前a％的边缘作为显著性边缘；a取10；
4)左目图像和右目图像配准：利用SURF算法检测双目图像的匹配点对，再根据特征点之间的欧氏距离最小化选取匹配点对，最后利用匹配点对之间的斜率进行特征点筛选，去除异常点对，保留有效匹配点对；
5)提取受空间信息制约的特征点：计算所有有效匹配点的视差信息，按视差降序对匹配点进行排序，提取前c％作为受空间信息制约的特征点；c取10；
6)目标检测：利用显著信息、空间信息和颜色信息的多特征融合方法对目标区域快速生长完成目标检测；
7)利用双目视觉模型进行尺寸测量：获取检测目标二维图像中水平方向和垂直方向上的距离最大的两个点对，根据双目视觉模型的双目视差和相机内外参数计算两个点对的三维坐标，计算水平和垂直方向上两组点对的欧式距离作为目标的长度和高度，完成目标的尺寸测量。
与现有技术相比，本发明的有益效果是，本发明首先将人眼视觉显著性检测与双目视觉三维信息感知模型相结合，提取显著性边缘和受空间信息约束的特征点作为种子点，再利用显著性、空间信息和颜色信息的多特征融合生长机制完成目标检测，最后根据双目视觉模型计算目标尺寸。完成了多类型目标的自动检测与尺寸测量，应用范围大幅提升，且测量误差低于2％，满足实际测量需求。
附图说明
图1为智能化目标检测及尺寸测量方法流程图；
图2为显著性边缘提取示意图；
图3为受空间信息约束的特征点提取示意图；
图4为多特征融合生长机制示意图；
图5为生长策略示意图；
图6为物体尺寸测量方法示意图；
图7为目标尺寸测量结果示意图。
具体实施方式
图1为本发明的智能化目标检测及尺寸测量方法流程图，首先利用张氏标定法对双目相机进行标定，再以目标为距离相机最近的完整个体的角度，使用标定后的双目相机拍摄待测目标的左右目图像，利用高斯差分算法(DoG)和Canny算法结合计算显著性边缘，利用改进SURF算法对左右目图像进行匹配，根据视差获取受空间信息制约的特征点。以显著性边缘和受空间信息制约的特征点作为种子点，利用颜色相似性对目标进行快速检测，利用双目视觉模型计算目标尺寸。
本发明的具体步骤依次为：
(1)利用张氏标定法对双目相机进行标定。利用7×7的棋盘模型拍摄若干组双目图像，输入MATLAB标定工作箱，完成相机标定，获取双目相机的内外参数。
(2)按目标为距离相机最近的完整个体的角度，利用标定好的双目相机对目标进行拍摄，获取目标的左目图像和右目图像，通过USB接口传输到PC端电脑上显示并存储。
(3)如图2(b)所示，提取左目图像的高斯差分显著点图。DoG算法可以达到激励局部中央区域并抑制周围邻域的效果，符合人眼视觉特性，从而能够在一定程度上反映图像的显著度。按下式计算左目图像的初始高斯差分显著点图：
其中，σ1和σ2分别表示兴奋带宽和抑制带宽，本文中取值σ1＝0.6，σ2＝0.9，I为灰度图像，符号代表对图像进行滑频滤波，DoG(x,y)为得到的像素点(x,y)显著性度量值；
将显著性度量值DoG(x,y)产生的负值设置为0，并设置显著度均值为阈值T，用于显著点的提取，得到显著点图D(x,y)：
其中，count(DoG＞0)表示DoG中显著值大于0的显著点数，sum(DoG＞0)表示大于0的显著值总和。
(4)如图2(c)所示，Canny边缘检测算法可以检测出图像所有连续的边缘，却无法突出显著性目标，尤其是背景和阴影边缘对目标检测干扰极大。为保证目标检测的准确性，本发明利用DoG的显著度约束Canny边缘，提取目标的显著性边缘，如图2(d)。其中获取显著性边缘方法如下：
a.筛选有效边缘：Canny检测结果中有很多由阴影、反光等因素导致的短边缘，不利于目标边缘的提取，提取长边界作为有效边缘有利于去除误检测边界，提炼边缘信息，减少计算量，故本发明中对所有边缘长度进行排序，保留长度最长的50％条边界作为长边界；
b.计算边缘显著度：统计每个有效边界上显著点的个数作为衡量边缘显著度的标准，且显著点个数与边缘显著度成正比；
c.提取显著性边缘：各边缘按显著点数目降序排序，保留前a％的边缘线作为显著性边缘；
(5)本发明采用改进SURF算法对左目图像和右目图像进行配准，精准地完成左目随机特征点和右目随机特征点的匹配，使用SURF算法在尺度空间检测图像的特征点，对图片进行滤波处理时，SURF算法选择不同大小的窗口，通过Hessian矩阵提取特征点，Hessian矩阵定义为：
其中，σ为高斯核函数的尺度，Lxx(x,σ)为高斯二阶微分与图像I(x,y)在x方向的卷积，Lyy(x,σ)为高斯二阶微分与图像I(x,y)在y方向上的卷积，Lxy(x,σ)为在xy方向上与图像I(x,y)的卷积，其公式如下：
g(σ)为高斯核函数。
a.选取特征点主方向：为了保证算法的方向不变性，SURF算法根据周围像素点信息为特征点指定了一个唯一的主方向。首先，以检测特征点为中心，以σ为步长，小波的尺寸为4σ，计算Harr小波在半径为6σ的圆形邻域内的水平以及垂直方向上的响应，其中，σ表示所处的尺度空间。再以尺度为2σ的高斯函数对以当前特征点为中心的Harr小波响应进行高斯加权。规定与特征点距离越小，则该像素点的权重越小，得到了新Harr小波响应值。SURF算法构造了一个角度为60°的扇形窗口，并计算该窗口内Harr小波响应值，利用该窗口不断旋转遍历整个圆形区域，直到窗口内的Harr小波响应达到最强，则将扇形窗口此时指向的方向定义为该特征点的主方向；
b.以当前特征点为中心，沿当前特征点的主方向构造一个大小为20σ的块；然后将该区域分割为16个小区域，在每个5σ×5σ的区域计算哈尔小波响应；每个子区域v表示为：v＝(∑dx,∑|dx|,∑dy,∑|dy|),最终获得该点的64维描述符；左目图像和右目图像的特征点可定义为：
其中，Pos1代表左目图像的特征点参数，Pos2代表右目图像特征点参数，m、n分别为左目图像和右目图像中特征点的数目，i、j分别代表左目图像和右目图像特征点的下标，(xm'，ym')表示左目图像第m个特征点坐标；(xn，yn)表示右目图像第n个特征点坐标；
c.计算左目图像的特征点参数Pos1和右目图像特征点参数Pos2中所有点的欧式距离，选择欧氏距离最小的点作为粗略匹配点，按欧式距离升序对粗略匹配点进行排序，删除异常点，选择前K个匹配点，定义为：
Pos_K＝{{(x1',y1'),(x1,y1)},{(x'2,y'2),(x2,y2)},...,{(xi',yi'),(xi,yi)},...{(x'K,y'K),(xK,yK)}}，1≤i≤K；
d.根据K个匹配点Pos_K中相应点的斜率筛选匹配点，计算所有粗匹配点对的斜率，以10-2数量级保留所有斜率值，计算所有斜率的出现频率，选取出现频率最大的斜率作为主导斜率，删除其他异常斜率对应的匹配点，更新得到H组准确匹配点对Pos_Knew，公式如下：
(xz1,yz1),(xy1,yy1)分别代表一组匹配点对中左目图像和右目图像的特征点坐标。
(6)提取受空间信息制约的特征点，通过SURF算法匹配，直接计算得出所有匹配点视差并升序排序，保留视差最大的前c％匹配点作为受空间信息制约的特征点。如图3所示，白色汽车模型为该图像中的空间距离相机最近的完整目标，提取的受空间信息约束的特征点被标记于左右目图像之中。图中所有提取特征点都在目标上，降低了误分割的概率，一般c取10。
(7)如图4所示，仅根据显著性边缘无法获取完整的目标，但显著性边缘和受空间信息约束的特征点可以准确代表目标的特征，正满足生长种子点的选取要求。故本发明将显著边缘信息、空间信息和颜色信息相融合，进行快速生长完成目标检测。图5模拟了种子点生长的过程，生长过程中存在重复生长区域，即有两个种子点同时将该区域视为待生长区域进行判断，重复操作将降低生长效率，本发明增加“已处理像素点标签”，若上一种子点已经处理过该像素点，则标记该像素点，下一种子点将不再对该区域进行重复判断。
在种子集合的生长过程中，相似度判断是非常重要的生长或停止指标，为了定量的计算种子集合与待生长区域的相似度，选用相似度函数计算相似度，如果待生长区域与种子集合的相似度大于设定阈值，则进行生长。由于HSI颜色模型符合人眼视觉特性，为减少亮度对目标检测的影响，本发明采用HSI颜色空间进行相似度的计算。
以显著性边缘和受空间信息制约的特征点作为生长种子点，并将所有生长种子点作为初始种子区域，将图像左目图像转换为HSI颜色模型，分别计算HSI颜色信息中待生长区域与种子区域色调(H)、饱和度(S)、亮点(I)均值分量均方差，并对均方差进行加权求和，加权求和值作为待生长区域与种子区域的差异值，若差异值低于阈值时，则将生长该点，并将该点合并入对应的种子区域，更新得到新的种子区域，不断循环，直至所有种子区域没有符合条件的像素或者到达图像边缘，则停止生长。
将显著性边缘和受空间信息约束的特征点作为初始种子区域，统计初始种子点数目为N,Ri则为第i个种子区域，i∈[1,N]，为种子区域Ri对应的待生长区域，每个种子区域根据与待生长区域的相似度进行生长，并不断将新生长的像素点合并入对应的种子区域作为新的种子区域进行下一轮生长，直至所有种子区域都没有满足条件的待生长区域，则停止生长。
设待生长区域与种子区域Ri的相似度函数定义为：
其中，K为每个种子区域内的像素点的个数，随着种子区域的生长而不断增加，j表示生长区域内第j个像素点，Ht、St、It分别为待种子区域中色调、饱和度和亮度值，分别为生长区域内色调、饱和度和亮度均值；ε1，ε2和ε3用于调节色调分量、饱和度和亮度分量的权重。由于均方差能够反映出差异性，差异性越大，代表该分量对图像的影响度越大，故本发明采用图像H、S、I分量的均方差作为ε1，ε2和ε3的取值，可以提高目标区域检测的准确度。
(8)已知双目视觉摄像机间的基线距离选取为b，摄像机的焦距为f，视差用d来表示，假设左目图像和右目图像已经过配准，视差即可由同一点在图像对中的位置差表示为d＝(xl-xr)。
其中，xl、yl分别是匹配点对在左目图像中的横坐标与纵坐标，根据下式可计算出左摄像机坐标系中某点P的空间坐标(xc,yc,zc)，(xc,yc,zc)为匹配点的世界坐标系下的空间坐标，(xl,yl)为匹配点在左目图像中的二维图像坐标。
计算分割后的目标在二维平面图像上水平和垂直方向上距离最大的点对，如图6中水平方向上L1和L2，垂直方向上的H1和H2，根据双目视觉原理得到四点的空间坐标，利用三维坐标计算出水平方向和垂直方向上最大的欧式距离作为目标的水平宽度和垂直高度。
假设这四点三维坐标分别为L1(xL1,yL1,zL1)、L2(xL2,yL2,zL2)和H1(xH1,yH1,zH1)、H2(xH2,yH2,zH2)，即可按下式计算出物体的最大长度和高度：
如图7所示，本发明完成了目标的检测及尺寸测量，并以0.1mm的精度计算目标的长度和高度，显示在图像上。
以上已以较佳实施例公开了本发明，然其并非用以限制本发明，凡采用等同替换或者等效变换方式所获得的技术方案，均落在本发明的保护范围之内。
Claims (8)
1.一种基于人眼视觉模型的智能化目标检测及尺寸测量方法，其特征在于，包括以下步骤：
1)采集待测双目图像：以目标为距离相机最近完整个体的角度利用标定后的双目相机拍摄一组左目图像和右目图像作为待测量图像；
2)提取有效显著点：利用高斯差分算法提取左目图像的显著点图，计算所有显著值大于0的显著点的均值，并以该均值作为筛选阈值，提取显著值大于该阈值的像素点为图像显著点；
3)提取显著性边缘：利用Canny边缘检测算法获取图像的边缘图像，计算每条边缘上显著点的数目，将各边缘线按显著点数目降序排序，保留前a％的边缘作为显著性边缘；
4)左目图像和右目图像配准：利用SURF算法检测双目图像的匹配点对，再根据特征点之间的欧氏距离最小化选取匹配点对，最后利用匹配点对之间的斜率进行特征点筛选，去除异常点对，保留有效匹配点对；
5)提取受空间信息制约的特征点：计算所有有效匹配点的视差信息，按视差降序对匹配点进行排序，提取前c％作为受空间信息制约的特征点；
6)目标检测：利用显著信息、空间信息和颜色信息的多特征融合方法对目标区域快速生长完成目标检测；
7)利用双目视觉模型进行尺寸测量：获取检测目标二维图像中水平方向和垂直方向上的距离最大的两个点对，根据双目视觉模型的双目视差和相机内外参数计算两个点对的三维坐标，计算水平和垂直方向上两组点对的欧式距离作为目标的长度和高度，完成目标的尺寸测量。
2.根据权利要求1所述的基于人眼视觉模型的智能化目标检测及尺寸测量方法，其特征在于，在所述步骤2)中，按下式计算左目图像的初始高斯差分显著点图：
<mrow>
<mi>D</mi>
<mi>o</mi>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<mi>&pi;</mi>
</mrow>
</mfrac>
<mo>&lsqb;</mo>
<mfrac>
<mn>1</mn>
<msubsup>
<mi>&sigma;</mi>
<mn>1</mn>
<mn>2</mn>
</msubsup>
</mfrac>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mfrac>
<mrow>
<mo>(</mo>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mrow>
<mn>2</mn>
<msubsup>
<mi>&sigma;</mi>
<mn>1</mn>
<mn>2</mn>
</msubsup>
</mrow>
</mfrac>
</mrow>
</msup>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<msubsup>
<mi>&sigma;</mi>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mfrac>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mfrac>
<mrow>
<mo>(</mo>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mrow>
<mn>2</mn>
<msubsup>
<mi>&sigma;</mi>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
</mfrac>
</mrow>
</msup>
<mo>&rsqb;</mo>
<mo>&CircleTimes;</mo>
<mi>I</mi>
</mrow>
其中，σ1和σ2分别表示兴奋带宽和抑制带宽，I为灰度图像，符号代表对图像进行滑频滤波，DoG(x,y)为得到的像素点(x,y)显著性度量值；
将显著性度量值DoG(x,y)产生的负值设置为0，并设置显著度均值为阈值T，用于显著点的提取，得到显著点图D(x,y)：
<mrow>
<mi>D</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mrow>
<mi>D</mi>
<mi>o</mi>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>></mo>
<mi>T</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
<mi>w</mi>
<mi>i</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
<mrow>
<mi>T</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>s</mi>
<mi>u</mi>
<mi>m</mi>
<mrow>
<mo>(</mo>
<mi>D</mi>
<mi>o</mi>
<mi>G</mi>
<mo>></mo>
<mn>0</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>u</mi>
<mi>n</mi>
<mi>t</mi>
<mrow>
<mo>(</mo>
<mi>D</mi>
<mi>o</mi>
<mi>G</mi>
<mo>></mo>
<mn>0</mn>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
其中，count(DoG＞0)表示DoG中显著值大于0的显著点数，sum(DoG＞0)表示大于0的显著值总和。
3.根据权利要求1所述的基于人眼视觉模型的智能化目标检测及尺寸测量方法，其特征在于，在所述步骤3)中，a＝10。
4.根据权利要求1所述的基于人眼视觉模型的智能化目标检测及尺寸测量方法，其特征在于，在所述步骤4)中，包括以下步骤：
a.利用SURF算法获得左目图像和右目图像特征点坐标及所有特征点的64维描述符，左目图像和右目图像的特征点定义为：
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mi>P</mi>
<mi>o</mi>
<mi>s</mi>
<mn>1</mn>
<mo>=</mo>
<mo>{</mo>
<mo>(</mo>
<msup>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>&prime;</mo>
</msup>
<mo>,</mo>
<msup>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
<mo>,</mo>
<mo>(</mo>
<msup>
<msub>
<mi>x</mi>
<mn>2</mn>
</msub>
<mo>&prime;</mo>
</msup>
<mo>,</mo>
<msup>
<msub>
<mi>y</mi>
<mn>2</mn>
</msub>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<mo>(</mo>
<msup>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mo>,</mo>
<msup>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
<mo>,</mo>
<mo>...</mo>
<mo>(</mo>
<msup>
<msub>
<mi>x</mi>
<mi>m</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mo>,</mo>
<msup>
<msub>
<mi>y</mi>
<mi>m</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
<mo>}</mo>
<mo>,</mo>
<mn>1</mn>
<mo>&le;</mo>
<mi>i</mi>
<mo>&le;</mo>
<mi>m</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>P</mi>
<mi>o</mi>
<mi>s</mi>
<mn>2</mn>
<mo>=</mo>
<mo>{</mo>
<mo>(</mo>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
<mo>,</mo>
<mo>(</mo>
<msub>
<mi>x</mi>
<mn>2</mn>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mn>2</mn>
</msub>
<mo>)</mo>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<mo>(</mo>
<msup>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mo>,</mo>
<msup>
<msub>
<mi>y</mi>
<mi>j</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
<mo>,</mo>
<mo>...</mo>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>n</mi>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mi>n</mi>
</msub>
<mo>)</mo>
<mo>}</mo>
<mo>,</mo>
<mn>1</mn>
<mo>&le;</mo>
<mi>j</mi>
<mo>&le;</mo>
<mi>n</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
其中，Pos1代表左目图像的特征点参数，Pos2代表右目图像特征点参数，m、n分别为左目图像和右目图像中特征点的数目，i、j分别代表左目图像和右目图像特征点的下标，(xm'，ym')表示左目图像第m个特征点坐标；(xn，yn)表示右目图像第n个特征点坐标；
b.计算左目图像的特征点参数Pos1和右目图像特征点参数Pos2中所有点的欧式距离，选择欧氏距离最小的点作为粗略匹配点，按欧式距离升序对粗略匹配点进行排序，删除异常点，选择前K个匹配点，定义为：
Pos_K＝{{(x1',y1'),(x1,y1)},{(x'2,y'2),(x2,y2)},...,{(xi',yi'),(xi,yi)},...{(x'K,y'K),(xK,yK)}}，1≤i≤K；
c.根据K个匹配点Pos_K中相应点的斜率筛选匹配点，计算所有粗匹配点对的斜率，以10-2数量级保留所有斜率值，计算所有斜率的出现频率，选取出现频率最大的斜率作为主导斜率，删除其他异常斜率对应的匹配点，更新得到H组准确匹配点对Pos_Knew，公式如下：
Pos_Knew＝{{(xz1,yz1),(xy1,yy1)}，{(xz2,yz2),(xy2,yy2)},...,
{(xzi,yzi),(xyi,yyi)},...{(xzH,yzH),(xyH,yyH)}}，1≤i≤H
(xz1,yz1),(xy1,yy1)分别代表一组匹配点对中左目图像和右目图像的特征点坐标。
5.根据权利要求1所述的基于人眼视觉模型的智能化目标检测及尺寸测量方法，其特征在于，在所述步骤5)中，c＝10。
6.根据权利要求1所述的基于人眼视觉模型的智能化目标检测及尺寸测量方法，其特征在于，在所述步骤6)中，以显著性边缘和受空间信息制约的特征点作为生长种子点，并将所有生长种子点作为初始种子区域，将左目图像转换为HSI颜色模型，分别计算HSI颜色信息中待生长区域与种子区域色调、饱和度、亮点均值分量均方差，并对均方差进行加权求和，加权求和值作为待生长区域与种子区域的差异值，若差异值低于阈值时，则将生长该点，并将该点合并入对应的种子区域，更新得到新的种子区域，不断循环，直至所有种子区域没有符合条件的像素或者到达图像边缘，则停止生长。
7.根据权利要求6所述的基于人眼视觉模型的智能化目标检测及尺寸测量方法，其特征在于，生长过程中存在重复生长区域，即有两个种子点同时将某区域视为待生长区域进行判断，重复操作将降低生长效率，若上一种子点已经处理过某一像素点，则将此像素点标记上“已处理像素点标签”，下一种子点将不再对该区域进行重复判断。
8.根据权利要求1所述的基于人眼视觉模型的智能化目标检测及尺寸测量方法，其特征在于，在所述步骤7)中，双目视觉摄像机间的基线距离选取为b，摄像机的焦距为f，视差用d来表示，视差即可由同一点在图像点对中的位置差表示为d＝(xl-xr)，其中，xl、yl分别是匹配点对在左目图像中的横坐标与纵坐标，根据下式计算出左摄像机坐标系中某点P的空间坐标(xc,yc,zc)，(xc,yc,zc)为匹配点的世界坐标系下的空间坐标，(xl,yl)为匹配点在左目图像中的二维图像坐标；
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msup>
<mi>x</mi>
<mi>c</mi>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<mi>b</mi>
<mo>&CenterDot;</mo>
<msub>
<mi>x</mi>
<mi>l</mi>
</msub>
</mrow>
<mi>d</mi>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<mi>y</mi>
<mi>c</mi>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<mi>b</mi>
<mo>&CenterDot;</mo>
<msub>
<mi>y</mi>
<mi>l</mi>
</msub>
</mrow>
<mi>d</mi>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<mi>z</mi>
<mi>c</mi>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<mi>b</mi>
<mo>&CenterDot;</mo>
<mi>f</mi>
</mrow>
<mi>d</mi>
</mfrac>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
计算分割后的目标在二维平面图像上水平和垂直方向上距离最大的点对，根据双目视觉原理得到四点的空间坐标，利用三维坐标计算出水平方向和垂直方向上最大的欧式距离作为目标的水平宽度和垂直高度；
假设四点三维坐标分别为L1(xL1,yL1,zL1)、L2(xL2,yL2,zL2)和H1(xH1,yH1,zH1)、H2(xH2,yH2,zH2)，按下式计算出物体的最大长度和高度：
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>L</mi>
<mi>e</mi>
<mi>n</mi>
<mi>g</mi>
<mi>t</mi>
<mi>h</mi>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>L</mi>
<mn>1</mn>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>L</mi>
<mn>2</mn>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>y</mi>
<mrow>
<mi>L</mi>
<mn>1</mn>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mrow>
<mi>L</mi>
<mn>2</mn>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>z</mi>
<mrow>
<mi>L</mi>
<mn>1</mn>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>z</mi>
<mrow>
<mi>L</mi>
<mn>2</mn>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>H</mi>
<mi>e</mi>
<mi>i</mi>
<mi>g</mi>
<mi>h</mi>
<mi>t</mi>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>H</mi>
<mn>1</mn>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>H</mi>
<mn>2</mn>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>y</mi>
<mrow>
<mi>H</mi>
<mn>1</mn>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mrow>
<mi>H</mi>
<mn>2</mn>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>z</mi>
<mrow>
<mi>H</mi>
<mn>1</mn>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>z</mi>
<mrow>
<mi>H</mi>
<mn>2</mn>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>.</mo>
</mrow>
3
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710580068.5A CN107392929B (zh) | 2017-07-17 | 2017-07-17 | 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710580068.5A CN107392929B (zh) | 2017-07-17 | 2017-07-17 | 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107392929A true CN107392929A (zh) | 2017-11-24 |
| CN107392929B CN107392929B (zh) | 2020-07-10 |
Family
ID=60339282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710580068.5A Active CN107392929B (zh) | 2017-07-17 | 2017-07-17 | 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107392929B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107950402A (zh) * | 2017-11-29 | 2018-04-24 | 北京伟景智能科技有限公司 | 基于双目视觉的挤奶器自动控制方法 |
| CN108381549A (zh) * | 2018-01-26 | 2018-08-10 | 广东三三智能科技有限公司 | 一种双目视觉引导机器人快速抓取方法、装置及存储介质 |
| CN109166153A (zh) * | 2018-08-21 | 2019-01-08 | 江苏德丰建设集团有限公司 | 基于双目视觉的塔吊高空作业三维定位方法及定位*** |
| CN109191533A (zh) * | 2018-08-21 | 2019-01-11 | 江苏德丰建设集团有限公司 | 基于装配式建筑的塔吊高空施工方法 |
| CN109211198A (zh) * | 2018-08-15 | 2019-01-15 | 河海大学常州校区 | 一种基于三目视觉的智能目标检测和测量***及方法 |
| CN109242776A (zh) * | 2018-09-11 | 2019-01-18 | 江苏君英天达人工智能研究院有限公司 | 一种基于视觉***的双车道线检测方法 |
| CN111882621A (zh) * | 2020-07-22 | 2020-11-03 | 武汉大学 | 一种基于双目图像的大米厚度参数自动化测量方法 |
| CN113989489A (zh) * | 2021-10-22 | 2022-01-28 | 珠海格力电器股份有限公司 | 非平滑边缘的距离检测方法和*** |
| CN114549449A (zh) * | 2022-02-17 | 2022-05-27 | 中国空气动力研究与发展中心超高速空气动力研究所 | 小尺寸曲面构件全局缺陷精细定量识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003098922A1 (en) * | 2002-05-15 | 2003-11-27 | The Board Of Governors For Higher Education, State Of Rhode Island And Providence Plantations | An imaging system and method for tracking the motion of an object |
| CN104778721A (zh) * | 2015-05-08 | 2015-07-15 | 哈尔滨工业大学 | 一种双目图像中显著性目标的距离测量方法 |
| CN105894574A (zh) * | 2016-03-30 | 2016-08-24 | 清华大学深圳研究生院 | 一种双目三维重建方法 |
| CN106709499A (zh) * | 2017-03-02 | 2017-05-24 | 西北工业大学 | 基于Canny算子和Hillbert‑Huang变换的SIFT图像特征点提取方法 |
-
2017
- 2017-07-17 CN CN201710580068.5A patent/CN107392929B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003098922A1 (en) * | 2002-05-15 | 2003-11-27 | The Board Of Governors For Higher Education, State Of Rhode Island And Providence Plantations | An imaging system and method for tracking the motion of an object |
| CN104778721A (zh) * | 2015-05-08 | 2015-07-15 | 哈尔滨工业大学 | 一种双目图像中显著性目标的距离测量方法 |
| CN105894574A (zh) * | 2016-03-30 | 2016-08-24 | 清华大学深圳研究生院 | 一种双目三维重建方法 |
| CN106709499A (zh) * | 2017-03-02 | 2017-05-24 | 西北工业大学 | 基于Canny算子和Hillbert‑Huang变换的SIFT图像特征点提取方法 |
Non-Patent Citations (4)
| Title |
|---|
| BORJI A ET AL: "salient object detection:a benchmark", 《IEEE TRANSACTIONS ON IMAGE PRICESSING》 * |
| ZHONG LIU ET AL: "salient region detection based on binocular vision", 《2012 7TH IEEE CONFERENCE ON INDUSTRIAL ELECTRONICS AND APPLICATIONS》 * |
| 吉玲等: "一种改进的Canny边缘检测算法", 《微处理机》 * |
| 王代东: "基于双目视觉的测距方法研究与应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107950402A (zh) * | 2017-11-29 | 2018-04-24 | 北京伟景智能科技有限公司 | 基于双目视觉的挤奶器自动控制方法 |
| CN108381549A (zh) * | 2018-01-26 | 2018-08-10 | 广东三三智能科技有限公司 | 一种双目视觉引导机器人快速抓取方法、装置及存储介质 |
| CN109211198A (zh) * | 2018-08-15 | 2019-01-15 | 河海大学常州校区 | 一种基于三目视觉的智能目标检测和测量***及方法 |
| CN109211198B (zh) * | 2018-08-15 | 2021-01-01 | 河海大学常州校区 | 一种基于三目视觉的智能目标检测和测量***和方法 |
| CN109166153A (zh) * | 2018-08-21 | 2019-01-08 | 江苏德丰建设集团有限公司 | 基于双目视觉的塔吊高空作业三维定位方法及定位*** |
| CN109191533A (zh) * | 2018-08-21 | 2019-01-11 | 江苏德丰建设集团有限公司 | 基于装配式建筑的塔吊高空施工方法 |
| CN109191533B (zh) * | 2018-08-21 | 2021-06-25 | 江苏德丰建设集团有限公司 | 基于装配式建筑的塔吊高空施工方法 |
| CN109242776B (zh) * | 2018-09-11 | 2023-04-07 | 江苏君英天达人工智能研究院有限公司 | 一种基于视觉***的双车道线检测方法 |
| CN109242776A (zh) * | 2018-09-11 | 2019-01-18 | 江苏君英天达人工智能研究院有限公司 | 一种基于视觉***的双车道线检测方法 |
| CN111882621A (zh) * | 2020-07-22 | 2020-11-03 | 武汉大学 | 一种基于双目图像的大米厚度参数自动化测量方法 |
| CN113989489A (zh) * | 2021-10-22 | 2022-01-28 | 珠海格力电器股份有限公司 | 非平滑边缘的距离检测方法和*** |
| CN114549449A (zh) * | 2022-02-17 | 2022-05-27 | 中国空气动力研究与发展中心超高速空气动力研究所 | 小尺寸曲面构件全局缺陷精细定量识别方法 |
| CN114549449B (zh) * | 2022-02-17 | 2023-05-12 | 中国空气动力研究与发展中心超高速空气动力研究所 | 小尺寸曲面构件全局缺陷精细定量识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107392929B (zh) | 2020-07-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107392929A (zh) | 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法 | |
| CN107067415B (zh) | 一种基于图像匹配的目标定位方法 | |
| Huang et al. | A multidirectional and multiscale morphological index for automatic building extraction from multispectral GeoEye-1 imagery | |
| CN106446750B (zh) | 一种条形码读取方法及装置 | |
| CN107248159A (zh) | 一种基于双目视觉的金属工件缺陷检测方法 | |
| CN109635875A (zh) | 一种基于深度学习的端到端网口检测方法 | |
| CN108960198A (zh) | 一种基于残差ssd模型的交通标志检测与识别方法 | |
| CN109711288A (zh) | 基于特征金字塔和距离约束fcn的遥感船舶检测方法 | |
| CN108334847A (zh) | 一种真实场景下的基于深度学习的人脸识别方法 | |
| CN110148162A (zh) | 一种基于复合算子的异源图像匹配方法 | |
| CN110232389A (zh) | 一种基于绿色作物特征提取不变性的立体视觉导航方法 | |
| CN104835175B (zh) | 一种基于视觉注意机制的核环境中目标检测方法 | |
| CN104134200B (zh) | 一种基于改进加权融合的运动场景图像拼接方法 | |
| CN106650640A (zh) | 一种基于激光雷达点云局部结构特征的负障碍物检测方法 | |
| CN108121985A (zh) | 一种基于机器视觉的双指针仪表读数方法 | |
| CN108470338B (zh) | 一种水位监测方法 | |
| CN103971126A (zh) | 一种交通标志识别方法和装置 | |
| CN108564085A (zh) | 一种自动读取指针式仪表读数的方法 | |
| CN104102928B (zh) | 一种基于纹理基元的遥感图像分类方法 | |
| CN105574527A (zh) | 一种基于局部特征学习的快速物体检测方法 | |
| CN109035227A (zh) | 对ct图像进行肺部肿瘤检测与诊断的*** | |
| CN108846831A (zh) | 基于统计特征和图像特征相结合的带钢表面缺陷分类方法 | |
| CN104599288A (zh) | 一种基于肤色模板的特征跟踪方法及装置 | |
| CN113392856A (zh) | 图像伪造检测装置和方法 | |
| CN107103608A (zh) | 一种基于区域候选样本选择的显著性检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |