CN116665034A - 一种基于边缘特征的立体匹配及火焰空间定位方法 - Google Patents

一种基于边缘特征的立体匹配及火焰空间定位方法 Download PDF

Info

Publication number
CN116665034A
CN116665034A CN202211412606.7A CN202211412606A CN116665034A CN 116665034 A CN116665034 A CN 116665034A CN 202211412606 A CN202211412606 A CN 202211412606A CN 116665034 A CN116665034 A CN 116665034A
Authority
CN
China
Prior art keywords
matching
image
flame
points
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211412606.7A
Other languages
English (en)
Other versions
CN116665034B (zh
Inventor
郭赞权
王佩
王建飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Fire Rescue College
Original Assignee
China Fire Rescue College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Fire Rescue College filed Critical China Fire Rescue College
Priority to CN202211412606.7A priority Critical patent/CN116665034B/zh
Publication of CN116665034A publication Critical patent/CN116665034A/zh
Application granted granted Critical
Publication of CN116665034B publication Critical patent/CN116665034B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于边缘特征的立体匹配及火焰空间定位方法，其中立体匹配包括：S1，确定匹配基元、匹配约束准则、相似性测度、匹配策略；S2，以火焰边缘上的像素点为匹配基元，利用双阈值判别，筛选出最佳匹配点、候选匹配点、和不匹配点；最佳匹配认为是正确的匹配，候选匹配则再进行下一步筛选；S3，利用视差相容性原则，进一步搜索最佳匹配，消除误匹配；S4，输出唯一匹配后，再根据二分搜索法获取亚像素视差。火焰空间定位包括：S1’，确定火焰目标空间位置；S2’，基于摄像机参数获得火焰中心的坐标，实现火焰目标的定位。还公开了对应***、电子设备及计算机可读存储介质。

Description

一种基于边缘特征的立体匹配及火焰空间定位方法
技术领域
本发明属于安全科学与工程技术领域，尤其涉及一种基于边缘特征的立体匹配及火焰空间定位方法。
背景技术
及时并准确地探测火灾应该包含两方面的意义，一是从时间上及时探测到火灾并报警，二是从空间上准确探测到火灾并实施灭火。但是，仅仅做到及时探测并早期预警还远远不够，如果不能准确找到火点，这将给后续的扑救和调查带来很大的困难。及时探测火灾并早期预警一直都是火灾探测领域的研究热点。传统的感温、感烟、感光等探测技术应用都已经比较成熟；新型的图像型探测技术的研究也日渐深入，相应的产品也已经有工程实例。但是无论是传统的探测器还是图像型探测器都主要研究了及时探测火灾的问题，关于如何在空间上准确定位火焰位置的研究却并不多。
发明内容
本发明的目的是提供一种基于边缘特征的立体匹配及火焰空间定位方法，基于边缘特征的火焰图像匹配方法利用双阈值判别和相容性原理实现了对火焰边缘特征点的匹配，并利用二分搜索法获取了亚像素级的视差，为实现火焰定位奠定了基础。实现火焰定位的方法，并建立了定位的误差模型。模型表明：定位的误差随目标相对于摄像机的距离D的增大而增大；随***的基线距离b的增大而减小；随摄像机的焦距f的增大而减小。定位精度高。
参见图1，本发明一方面提供了一种基于边缘特征的立体匹配及火焰空间定位方法，包括基于边缘特征进行火焰的立体匹配以及基于所述火焰的立体匹配进行火焰空间定位；，所述火焰的立体匹配的内容包括：在两台甚至多台摄像机分别从不同角度获取场景中同一景物的图像的像素之间建立对应关系；
所述火焰的立体匹配的方法包括：
S1，选择匹配基元，基于匹配基元确定匹配约束准则，基于匹配约束准则建立相似性度量函数并基于相似性度量函数确定相似性测度，基于测度确定立体匹配的搜索策略；
S2，以火焰边缘上的像素点为匹配基元，利用双阈值判别，筛选出最佳匹配点、候选匹配点、和不匹配点；最佳匹配认为是正确的匹配，候选匹配则再进行下一步筛选；
S3，利用视差相容性原则，进一步搜索最佳匹配，消除误匹配；
S4，输出唯一匹配后，再根据二分搜索法获取亚像素视差；
所述火焰空间定位包括：
S1’，确定火焰目标空间位置；
通过立体匹配，初步获得了火焰边缘特征的最佳匹配点。假设点(xl,yl)和(xr,yr)是一对最佳匹配点，其视差为d，将图像坐标转换为摄像机坐标，则有：
经过***标定和校正后，***获取的双目图像对已是数学意义上前向对准平行，则有两台摄像机之间的旋转矩阵和平移向量T＝[b 0 0]，b为基线距离。如果以左摄像机坐标系为世界坐标系，则两摄像机坐标系之间的关系可以表示为：
根据式(16)、(17)和(18)，以左摄像机坐标系为世界坐标系，得到该点的空间三维坐标为：
取作为***焦距，则式(19)可以简化为：
用火焰区域的几何中心来描述火焰的具***置，则有火焰中心位置坐标为：
其中，n为匹配对应的边缘特征点数，(xi,yi,zi)为匹配对应的各边缘特征点的三维空间坐标，(x0,y0,z0)为火焰中心的三维空间坐标。
将三维直角坐标系下的坐标换算成以左摄像机成像中心为原点的球坐标系下的坐标，得到火源中心相对摄像机的距离D、水平偏角α和垂直偏角β分别为：
S2’，基于摄像机参数获得火焰中心的坐标，实现火焰目标的定位，包括：基于边缘特征的火焰图像立体匹配方法及火焰目标空间位置的确定，结合前面获取的摄像机参数，就可以求出火焰中心的坐标，实现火焰目标的定位。
优选的，所述匹配基元是用以进行立体匹配的图像特征，匹配基元的选择决定了图像中的哪些信息被用来进行匹配，包括：图像的原始灰度值、图像中的突出特征、图像中某个预定区域的测量和评估形成的统计特征和高层次的形状描述子中的一项或多项，所述突出特征包括角点、交点、边缘、轮廓、局部曲率最大点；所述统计特征包括几何不变矩、质心；其中所述图像的原始灰度值是最基本的图像信息，同时也是最直接也最简单的一种匹配基元，可以由成像***直接得到；所述突出特征代表了图像中绝大多数的内部结构信息，具有很好的图像畸变不变性和非常好的独特性；如果图像中找不到明显的突出特征时，所述高层次的形状描述子具有更好的独特性和唯一性被用作匹配基元，包括拓扑描述子，形态学描述子和傅立叶描述子；所述图像中某个区域的统计特征也经常被作为匹配基元，它描述了图像中该区域上的统计信息，所述质心和几何不变矩的值都不依赖于特定的坐标系。
优选的，所述匹配约束准则是在选择好合适的匹配基元之后，在待匹配图像中搜索与参考图所选取图像特征对应的图像特征，所述匹配约束准则包括：
(1)唯一性约束准则：参考图像中的每个匹配基元最多只能与待匹配图像中唯一的一个匹配基元相对应，但是在存在遮挡情况下，将不存在对应点；
(2)极线约束准则：由对极几何的原理可知，参考图像中的某一点，在待匹配图像中的匹配点必定被限制在它的共轭极线上，在匹配搜索时，只需要在另一幅图像的水平扫描线上进行搜索；
(3)相似性约束准则：互相匹配的点是由空间的同一个点投影所得，该点以及它们各自邻域内，或在外形轮廓上、区域灰度、灰度变化梯度具有相似性；
(4)连续性约束准则：除了遮挡区域和由边界引起的视差不连续区域外，匹配得到的视差应该是平滑的；
(5)顺序一致性约束准则：参考图像的外极线上的点列和在待匹配图像中与之相对应的点列具有相同的排列；
(6)互应性约束准则：匹配的相互性，假设首先以左图为参考图，在右图中搜索与左图中的匹配基元pl相对应的匹配基元pr，建立了pl→pr的对应关系；那么反过来再以右图为参考图，在左图中搜索与右图中的匹配基元pr相对应的匹配基元pl，能有pr→pl的对应关系，也就是对应关系是双向的、相互的；如果匹配的对应关系不是双向的，则认为该对应关系不可靠。
优选的，所述相似性测度是指描述图像对的匹配基元之间的相似性程度的度量，包括：首先构建一个描述匹配基元之间差异的函数，当差异函数取得最小值时，则认为两匹配基元之间的差异最小，也就是相似性最好；设Il(x,y)和Ir(x,y)分别为***获取的待匹配图像对，(xl,yl)为参考图像中的待匹配点，模板W为以该点为中心的一个邻域，大小为m×n，d为视差，相似性测度函数有：
像素灰度绝对差之和差异函数
像素灰度差的平方和差异函数
零均值像素灰度绝对差之和差异函数
归一化互相关函数
优选的，所述立体匹配的搜索策略包括：
(1)全局最优搜索策略：在多约束准则下，以差异函数最小为目标，对全局进行搜索，全局最优匹配策略包括：动态规划法和松弛法，所述动态规划法就是在参考图像与待匹配图像中沿着两条对应的极线，在其点集上实施全局最优匹配策略寻找最小匹配差异路径；所述松弛法就是在相似性约束准则的基础上，计算各点的匹配概率，然后在多约束条件下用非线性最优化算法调整上述概率以找到最佳的匹配对应关系；
(2)分层匹配搜索策略：对图像进行多层次的抽样，产生一系列不同分辨率的图像样本，以分辨率大小进行分层处理；首先，对低分辨率的图像层进行匹配搜索，由于分辨率的关系，此时将获得一个比较粗略的匹配位置；然后以该匹配位置为模板，在下一层的图像中找到对应的窗口，再在该窗口中继续进行匹配搜索，获得更细一步的匹配位置，如此，直到在原始图像对中找到相应的匹配位置为止。
优选的，所述S2，以火焰边缘上的像素点为匹配基元，利用双阈值判别，筛选出最佳匹配点、候选匹配点、和不匹配点；最佳匹配认为是正确的匹配，候选匹配则再进行下一步筛选包括：
设I1和I2分别为待匹配图像对中的两幅图像，图像中的火焰边缘特征点的集合分别记为和/>相应的灰度值记为gi 1和gj 2，图像对中的边缘特征上的各点坐标记为(x1,y1)和(x2,y2)，邻域W定义为以特征点为中心，大小为(2n+1)×(2n+1)的正方形窗口；在图像I2和图像I1中搜索最佳匹配对应关系/>的具体步骤如下：
(1)确定搜索范围，并计算每组可能的匹配的相似性程度；
(2)对每组可能的匹配进行双阈值判别，筛选最佳匹配点和候选匹配点；
(3)相互性检测：按照上述步骤，再对图像I2中的特征点Ij 2进行上述操作，并获得特征点Ij 2的最佳匹配点和候选匹配点集L2(Ij 2)，根据相互性约束准则，则有若Ii 1和Ij 2互为最佳匹配，则认为匹配关系(Ii 1,Ij 2)为最佳匹配，的输出结果将为一些最佳匹配点和候选匹配点集L1(Ii 1)和L2(Ij 2)。
优选的，所述S3，利用视差相容性原则，进一步搜索最佳匹配，消除误匹配包括：利用视差相容性原理，对候选匹配集合进行下一步搜索，对候选匹配集合中的匹配定义一个评价函数，评价函数的函数值的大小体现了邻域内各对匹配之间的相容程度，利用该函数能够获得视差相容的最佳匹配，所述评价函数形式如下：
其中，
dij和dmn分别为匹配(Ii 1,Ij 2)和(Im 1,In 2)对应的视差，a和b为正常数，且a+b＝1；
如果一对候选匹配点满足：
则认为该匹配为最佳匹配；
对两幅图像的所有候选匹配点进行上述两步处理，将含有唯一最佳匹配的点的所有可能候选匹配点去除，再进行上述过程，直到最佳匹配的数目不再变化或迭代次数达到某个预设的最大值为止；至此，将输出所有最佳匹配及其整数级视差。
优选的，所述S4，输出唯一匹配后，再根据二分搜索法获取亚像素视差包括：定义参考窗口W1(x)和匹配窗口W2(x+dij)之间的规范相关数：
当dij不为整数时，则利用线性插值公式计算匹配窗口的浮点灰度值W2(x+dij)：
其中[dij]表示对小于等于dij最大整数；
则二分法搜索的计算公式为：
其中，A为迭代次数。
优选的，还包括通过定位误差模型验证立体匹配的效果；空间任意一点的位置如果以相对左摄像机的距离D、水平偏角α和垂直偏角β的形式表示，如公式(22)所示，然而将公式(20)带入公式(22)则有：
对***获得的距离D建立误差模型；
首先，将D对视差d求导可得：
式中负号仅表示方向，根据式(24)可以建立定位的误差模型：
式中b为基线距离，xl、yl为目标点在左图像中的坐标值，f为摄像机焦距，ΔD＝|D-D0|为绝对误差，D为定位***所测的距离，D0为实际所测的距离，ΔD/D为相对误差，Δd＝|d-d0|为匹配的误差，d为立体匹配算法所求取的视差，d0为理论视差；由于目标点在左图像中的坐标值xl、yl远小于摄像机的焦距f，因此上述误差模型中的式(25)和式(26)可以简化为：
本发明的第二方面提供一种基于边缘特征的立体匹配及火焰空间定位***，包括：
立体匹配模块，用于基于边缘特征进行火焰的立体匹配；以及
空间定位模块，用于基于所述火焰的立体匹配进行火焰空间定位。
本发明的第三方面提供一种电子设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行如第一方面所述的方法。
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述多条指令可被处理器读取并执行如第一方面所述的方法。
本发明提供的方法、装置、电子设备以及计算机可读存储介质，具有如下有益的技术效果：
(1)在仿生学原理的基础上，结合数字图像处理和立体视觉等技术，以实现火焰空间定位的一种监测技术，利用两只摄像机同时对目标环境进行监控，如果发现火情，就及时获取火焰的双目图像，根据双目立体视觉原理，求出火焰目标的空间坐标，实现从空间上准确探测到火灾，从而指导消防设施和消防人员实施灭火工作，同时还可以为火调工作提供参考资料，具有突出的理论意义和应用价值。
(2)基于边缘特征的火焰图像匹配方法利用双阈值判别和相容性原理实现了对火焰边缘特征点的匹配，并利用二分搜索法获取了亚像素级的视差，为实现火焰定位奠定了基础。实现火焰定位的方法，并建立了定位的误差模型。模型表明：定位的误差随目标相对于摄像机的距离D的增大而增大；随***的基线距离b的增大而减小；随摄像机的焦距f的增大而减小，定位精度高。
附图说明
图1为根据本发明优选实施例示出的基于边缘特征的立体匹配及火焰空间定位方法流程图；
图2为根据本发明优选实施例示出的摄像机球坐标示意图；
图3为根据本发明优选实施例示出的焦距为8mm、基线距离为0.3m时实验误差和理论误差曲线；
图4为根据本发明优选实施例示出的焦距为6mm、实际距离为6m时实验误差和理论误差曲线；
图5为根据本发明优选实施例示出的实际距离为6m、基线距离为0.3m时实验误差和理论误差曲线；
图6为根据本发明优选实施例示出的焦距为6mm时实验误差图；
图7为根据本发明优选实施例示出的焦距为8mm时实验误差图；
图8为根据本发明优选实施例示出的焦距为10mm时实验误差图；
图9为本发明提供的电子设备一种实施例的结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例一
参见图1，提供了一种基于边缘特征的立体匹配及火焰空间定位方法，包括基于边缘特征进行火焰的立体匹配以及基于所述火焰的立体匹配进行火焰空间定位。
作为优选的实施方式，所述火焰的立体匹配的内容包括：
当两台甚至多台摄像机分别从不同角度获取场景中同一景物的图像时，由于视角不同、对象的几何和物理特性、环境噪声等的影响，该景物在不同摄像机的图像中会有很大不同，立体匹配就是要在这些图像的像素之间建立对应关系。现有技术立体匹配的研究有很多，但还并没有形成通用的算法，不论何种立体匹配的方法，都不可避免的要解决四个问题：即匹配基元的选择、匹配约束准则、相似性度量函数的建立、立体匹配的搜索策略。
所述火焰的立体匹配的方法包括：
S1，选择匹配基元，基于匹配基元确定匹配约束准则，基于匹配约束准则建立相似性度量函数并基于相似性度量函数确定相似性测度，基于测度确定立体匹配的搜索策略；
S2，以火焰边缘上的像素点为匹配基元，利用双阈值判别，筛选出最佳匹配点、候选匹配点、和不匹配点；最佳匹配认为是正确的匹配，候选匹配则再进行下一步筛选；
S3，利用视差相容性原则，进一步搜索最佳匹配，消除误匹配；
S4，输出唯一匹配后，再根据二分搜索法获取亚像素视差。
作为优选的实施方式，所述匹配基元是用以进行立体匹配的图像特征，匹配基元的选择决定了图像中的哪些信息被用来进行匹配，因此，合适的匹配基元是立体匹配得以顺利进行的基础。关于如何选取匹配基元，目前还没有通用的理论，因此也导致了匹配基元选择的多样性。实际应用中可用的特征很多，这些特征可以是图像的原始灰度值，也可以是图像中的一些突出特征，如：角点、边缘、轮廓、局部曲率最大点等等；还可以是统计特征(统计特征就是对图像中某个预定区域的测量和评估)，如：几何不变矩、质心等。
(1)图像灰度
图像原始灰度是最基本的图像信息，同时也是最直接也最简单的一种匹配基元，可以由成像***直接得到。
(2)突出特征
图像中的角点、交点、边缘、轮廓、局部曲率最大点等突出特征，它们往往代表了图像中绝大多数的内部结构信息，因为其具有很好的图像畸变不变性和非常好的独特性，在很大程度上减少了匹配算法的复杂度，因此频繁的被选作匹配基元，在立体匹配中得到了广泛的应用。除此之外，如果图像中找不到明显的突出特征时，一些高层次的形状描述子，由于具有更好的独特性和唯一性，例如拓扑描述子，形态学描述子和傅立叶描述子也经常被用作匹配基元。
(3)统计特征
图像中某个区域的统计特征也经常被作为匹配基元，它描述了图像中该区域上的统计信息。常用的统计信息有质心和几何不变矩，它们的值都不依赖于特定的坐标系。然而，它们也像标量一样没有特定的空间含义，因此整个匹配问题转化成了求两幅图像中各自特征值的相似性度量的最大值问题，失去了匹配问题本身直观的物理意义。因此有研究指出采用例如形心和半径加权平均值等特殊形状点来简化形状匹配，这些特征计算起来更容易，也同样对噪声具有一定的鲁棒性，更重要的是这些特征不再抽象，它们都具有直观的空间意义，因此实用性更强。
作为优选的实施方式，所述匹配约束准则是立体匹配问题中另一个关键内容，在选择好合适的匹配基元之后，紧接着就应该在待匹配图像中搜索与参考图所选取图像特征对应的图像特征。场景中某一景物当被投影为图像时，由于视角不同、对象的几何和物理特性、环境噪声等的影响，该景物在不同视角下的图像中可能会有很大的差异。因此参考图像中的一个匹配基元，在待匹配图像中可能会出现多个与之相似的候选基元，也就是出现了一对多的情况，但是实际上图像对中真正对应匹配的特征应该只有一个。这样就必须在立体匹配算法中引入一定的约束准则，以便减少匹配搜索的范围，确定图像对中的特征基元的正确对应关系。换言之，立体匹配本质上就是在多约束条件下的最佳搜索问题，下面是几个常用的匹配约束准则：
(1)唯一性约束准则
唯一性约束是立体匹配中最基本的约束。简单地说就是，参考图像中的每个匹配基元最多只能与待匹配图像中唯一的一个匹配基元相对应，但是在存在遮挡情况下，将不存在对应点。
(2)极线约束准则
由对极几何的原理可知，参考图像中的某一点，在待匹配图像中的匹配点必定被限制在它的共轭极线上。该约束极大地降低了匹配问题的复杂性，将匹配搜索的范围从二维的全局图像降到了一维的共轭极线。尤其是，当双目图像对处于前向平行对准的状态时，这样能有效地消除图像对应点间在Y轴方向上的视差，这样在匹配搜索时，只需要在另一幅图像的水平扫描线上进行搜索，大大的降低了匹配的难度。
(3)相似性约束准则
相似性约束准则是立体匹配算法的核心，互相匹配的点其实是由空间的同一个点投影所得，那么该点以及它们各自邻域内，或在外形轮廓上(如几何形状等)，或在某些物理量上(如区域灰度、灰度变化梯度等)具有相似性。这也是在匹配搜索时构造目标函数的基础。
(4)连续性约束准则
除了遮挡区域和由边界引起的视差不连续区域外，匹配得到的视差应该是平滑的。具体来说，就是如果同一表面上相距很近的两点P和Q，它们在图像对中的投影一般也比较近，因此，在建立了pl和pr的匹配后，与ql匹配的qr也就应该在pr附近。
(5)顺序一致性约束准则
顺序一致性约束准则描述的是参考图像的外极线上的点列和在待匹配图像中与之相对应的点列具有相同的排列。
(6)互应性约束准则
互应性约束准则描述的是匹配的相互性，具体来说就是：假设首先以左图为参考图，在右图中搜索与左图中的匹配基元pl相对应的匹配基元pr，建立了pl→pr的对应关系；那么反过来再以右图为参考图，在左图中搜索与右图中的匹配基元pr相对应的匹配基元pl，能有pr→pl的对应关系，也就是对应关系是双向的、相互的。如果匹配的对应关系不是双向的，则认为该对应关系不可靠。
作为优选的实施方式，所述相似性测度是指描述图像对的匹配基元之间的相似性程度的度量，简言之，就是如何判断匹配基元之间的对应关系。通常的思路是，首先构建一个描述匹配基元之间差异的函数，当差异函数取得最小值时，则认为两匹配基元之间的差异最小，也就是相似性最好。一般来说，不同的算法中相似性测度的形式也不同。
设Il(x,y)和Ir(x,y)分别为***获取的待匹配图像对。(xl,yl)为参考图像中的待匹配点，模板W为以该点为中心的一个邻域，大小为m×n，d为视差。常见的几个相似性测度函数有：
像素灰度绝对差之和差异函数
像素灰度差的平方和差异函数
零均值像素灰度绝对差之和差异函数
归一化互相关函数
作为优选的实施方式，所述立体匹配的搜索策略包括：由前面的分析可知，立体匹配实质上就是在多约束条件下的最佳搜索问题。进行立体匹配时，不管选择什么样的匹配基元，有哪些约束，如何评价匹配基元之间的差异，最后都要落到如何搜索的问题上。而一个合适的搜索策略无疑会大大的提高立体匹配的效果和效率。
(1)全局最优搜索策略
全局最优搜索策略，顾名思义，就是在多约束准则下，以差异函数最小为目标，对全局进行搜索，这样的匹配搜索能够有效地避免各种干扰源的影响以及陷入局部最优解的困扰；但是全局最优搜索计算量大，匹配速度慢，效率不高。最常用的全局最优匹配策略有：动态规划法、松弛法等。动态规划法就是在参考图像与待匹配图像中沿着两条对应的极线，在其点集上实施全局最优匹配策略寻找最小匹配差异路径；而松弛法就是在相似性约束准则的基础上，计算各点的匹配概率，然后在多约束条件下用非线性最优化算法调整上述概率以找到最佳的匹配对应关系。
(2)分层匹配搜索策略
分层搜索策略其实是一种由粗到细的分层搜索的过程，其基本思想就是：对图像进行多层次的抽样，产生一系列不同分辨率的图像样本，以分辨率大小进行分层处理。首先，对低分辨率的图像层进行匹配搜索，由于分辨率的关系，此时将获得一个比较粗略的匹配位置；然后以该匹配位置为模板，在下一层的图像中找到对应的窗口，再在该窗口中继续进行匹配搜索，获得更细一步的匹配位置，如此，直到在原始图像对中找到相应的匹配位置为止。
如前所述，立体匹配本质上就是一个多约束条件下的最佳搜索问题，其过程涉及到几个关键问题：即匹配基元的选择、匹配约束准则、相似性度量函数的建立、立体匹配的搜索策略。边缘轮廓，作为火焰图像常用的特征之一，它包含了火焰图像上的很多重要信息，同时处理起来也相对较简单，因此，选择火焰图像的边缘特征作为匹配基元具有很高的实用性。结合火焰图像的特点，本实施例提出一种基于边缘特征的火焰图像匹配方法。其基本思想就是：首先，以火焰边缘上的像素点为匹配基元，利用双阈值判别，筛选出最佳匹配点、候选匹配点、和不匹配点；最佳匹配认为是正确的匹配，候选匹配则再进行下一步筛选，下一步中利用视差相容性原则，进一步搜索最佳匹配，消除误匹配；最后输出唯一匹配，再根据二分搜索法获取亚像素视差。
作为优选的实施方式，所述S2，以火焰边缘上的像素点为匹配基元，利用双阈值判别，筛选出最佳匹配点、候选匹配点、和不匹配点；最佳匹配认为是正确的匹配，候选匹配则再进行下一步筛选包括：
设I1和I2分别为待匹配图像对中的两幅图像，图像中的火焰边缘特征点的集合分别记为{Ii 1}和{Ij 2}，相应的灰度值记为gi 1和gj 2，图像对中的边缘特征上的各点坐标记为(x1,y1)和(x2,y2)，邻域W定义为以特征点为中心，大小为(2n+1)×(2n+1)的正方形窗口。那么，在图像I2和图像I1中搜索最佳匹配对应关系(Ii 1,Ij 2)的具体步骤如下：
(1)确定搜索范围，并计算每组可能的匹配的相似性程度
搜索范围S为以待匹配点(x1,y1)为中心，大小为(2Hmax+1)×(2Vmax+1)的矩形窗口，其中Hmax和Vmax分别为水平最大视差和竖直最大视差，显然Ij 2的坐标(x2,y2)应该满足：
{(x2,y2)|x1-Hmax≤x2≤x1+Hmax,y1-Vmax≤y2≤y1+Vmax} (5)
由于***是前向平行对准的，根据对极几何，竖向的视差理论上应该为0，但是考虑到各种不确定因素，这里仍然取一个较小的Vmax为竖向最大视差，以扩大匹配搜素范围，提高立体匹配的准确度。
对于每组可能的匹配，计算其相似性程度，这里采用归一化互相关函数：
这里邻域W一般取9×9的正方形窗口。
(2)对每组可能的匹配进行双阈值判别，筛选最佳匹配点和候选匹配点
立体匹配中，一般取互相关函数最大的匹配为最佳匹配点，但是很多情况下，互相关函数的最大值与次大值相差并不大，此时容易出现误匹配，因此，本文采用双阈值判别，利用两级阈值，分别筛选出最佳匹配点和候选匹配点。设Cmax(Ii 1,Ip 2)和Csec(Ii 1,Iq 2)分别为互相关函数的最大值和次大值，最大值的阈值和次大值的阈值分别为T1和T2，如果满足：
则认为该匹配点为最佳匹配点。若满足
则认为该匹配点为候选匹配点，记作L1(Ii 1)，剩下的则为不匹配点。
(3)相互性检测
按照上述步骤，再对图像I2中的特征点Ij 2进行上述操作，并获得特征点Ij 2的最佳匹配点和候选匹配点集L2(Ij 2)，根据相互性约束准则，则有若Ii 1和Ij 2互为最佳匹配，则认为匹配关系(Ii 1,Ij 2)为最佳匹配。此时的输出结果将为一些最佳匹配点和候选匹配点集L1(Ii 1)和L2(Ij 2)。
作为优选的实施方式，所述S3，利用视差相容性原则，进一步搜索最佳匹配，消除误匹配包括：
(4)利用视差相容性原理，对候选匹配集合进行下一步搜索
这里，可以对候选匹配集合中的匹配定义一个评价函数，该函数值的大小体现了邻域内各对匹配之间的相容程度，利用该函数能够获得视差相容的最佳匹配。该评价函数形式如下：
其中，
dij和dmn分别为匹配(Ii 1,Ij 2)和(Im 1,In 2)对应的视差，a和b为正常数，且a+b＝1。
如果一对候选匹配点满足：
则认为该匹配为最佳匹配。
对两幅图像的所有候选匹配点进行上述两步处理，将含有唯一最佳匹配的点的所有可能候选匹配点去除，再进行上述过程，直到最佳匹配的数目不再变化或迭代次数达到某个预设的最大值为止。至此，将输出所有最佳匹配及其整数级视差。
作为优选的实施方式，所述S4，输出唯一匹配后，再根据二分搜索法获取亚像素视差包括：
(5)利用二分搜素法[48]获取亚像素视差
通过前面的搜索，已经建立了最佳匹配集合，并获得匹配的整数级视差，这里，定义参考窗口W1(x)和匹配窗口W2(x+dij)之间的规范相关数：
当dij不为整数时，则利用线性插值公式计算匹配窗口的浮点灰度值W2(x+dij)：
W2(x+dij)＝(dij-[dij])·W2(x+[dij])+[dij]·W2(x+[dij]+1) (14)
其中[dij]表示对小于等于dij最大整数。
则二分法搜索的计算公式为：
其中，A为迭代次数。
作为优选的实施方式，所述火焰空间定位包括：
S1’，确定火焰目标空间位置；
通过立体匹配，初步获得了火焰边缘特征的最佳匹配点。假设点(xl,yl)和(xr,yr)是一对最佳匹配点，其视差为d，将图像坐标转换为摄像机坐标，则有：
经过***标定和校正后，***获取的双目图像对已是数学意义上前向对准平行，则有两台摄像机之间的旋转矩阵和平移向量T＝[b 0 0]，b为基线距离。如果以左摄像机坐标系为世界坐标系，则两摄像机坐标系之间的关系可以表示为：/>
根据式(16)、(17)和(18)，以左摄像机坐标系为世界坐标系，很容易得到该点的空间三维坐标为：
尽管***尽可能使用相同焦距的摄像机，但是通过标定获得的摄像机焦距往往不会完全一样。而事实上此时有fr≈fl，这里为计算方便，取作为***焦距，则式(19)可以简化为：
至此，已经获得了一系列边缘特征点的三维坐标，而这样一些坐标不能简洁明了的描述火焰的具***置，因此，通常用火焰区域的几何中心来描述火焰的具***置，则有火焰中心位置坐标为：
其中，n为匹配对应的边缘特征点数，(xi,yi,zi)为匹配对应的各边缘特征点的三维空间坐标，(x0,y0,z0)为火焰中心的三维空间坐标。
考虑到三维直角坐标系下的坐标不能很直观的表示火焰相对摄像机的具***置，因此，这里将三维直角坐标系下的坐标换算成以左摄像机成像中心为原点的球坐标系下的坐标。根据几何关系，如图2摄像机球坐标容易得到火源中心相对摄像机的距离D、水平偏角α和垂直偏角β分别为：
S2’，基于摄像机参数获得火焰中心的坐标，实现火焰目标的定位，包括：基于边缘特征的火焰图像立体匹配方法及火焰目标空间位置的确定，结合前面获取的摄像机参数，就可以求出火焰中心的坐标，实现火焰目标的定位。
作为优选的实施方式，定位误差模型
在火焰目标定位的过程中，通过摄像机标定，已经将摄像机本身性质以及成像变换关系确定，因此，立体匹配也就成了影响定位效果的关键。立体匹配的结果最终表现为匹配目标的视差。这里假设立体匹配获得的视差的误差为Δd，则通过简单地推导可以建立目标物定位的误差模型。
空间任意一点的位置如果以相对左摄像机的距离D、水平偏角α和垂直偏角β的形式表示，如公式(22)所示，然而将公式(20)带入公式(22)则有：
由式(23)可以看出，水平偏角α、垂直偏角β均可以直接由图像的像素坐标求得，与双目***无关，双目***匹配的误差最终只影响目标相对摄像机的距离D，这是因为像点、物点、成像中心本身处于同一条射线上，因此在摄像机球坐标系下有相同水平偏角α、垂直偏角β：通过一副二维图像，就可以唯一确定目标的方位，但是无法获取目标的深度。正是由于双目视差的存在，才使双目***能准确地获取目标的深度信息，双目定位的本质也就是获取目标的深度信息，即距离D的测定。因此，本实施例对***获得的距离D建立误差模型。
首先，将D对视差d求导可得：
式中负号仅表示方向，根据式(24)可以建立定位的误差模型：
/>
式中b为基线距离，xl、yl为目标点在左图像中的坐标值，f为摄像机焦距，ΔD＝|D-D0|为绝对误差，D为定位***所测的距离，D0为实际所测的距离，ΔD/D为相对误差，Δd＝|d-d0|为匹配的误差，d为本实施例的立体匹配算法所求取的视差，d0为理论视差。由于目标点在左图像中的坐标值xl、yl远小于摄像机的焦距f，因此上述误差模型中的式(25)和式(26)可以简化为：
从式(27)和式(28)可以得出：
(1)在一定焦距f和基线距离b下，定位的误差与目标相对于摄像机的距离D的平方成正比关系，目标相对于摄像机的距离D越大，定位误差越大；
(2)在一定焦距f和目标相对于摄像机的距离D下，定位的误差与两摄像机之间的基线距离b成反比关系，基线距离b越小，定位误差越大；
(3)在一定基线距离b和目标相对于摄像机的距离D下，摄像机的焦距f越大，***定位精度越高，定位误差越小。
实验及结果分析
为验证***的有效性以及定位的准确性，本实施例开展了基于双目视觉的火焰定位实验，利用不同焦距的摄像机，分别在不同基线距离b和不同距离D的条件下，对***进行了测试。
1、实验设备
(a)不同焦距的LHY数字式红外摄像机各两台
摄像机主要参数见表1：
表1摄像机主要参数
(b)天敏图像采集卡两个
(c)沃仕达7904D高清硬盘录像机一台
(d)6×9的黑白方格标定参照物。
(e)高性能计算机一台
计算机主要参数见表2：
表2计算机主要参数
2、实验步骤
(1)搭建平行对准的双目视觉***
实验中采用两个LHY数字式红外摄像机，型号和各参数均一致，将这样两台同焦距的摄像机尽可能在同一高度平行对齐地放置，调整两摄像机之间的距离，使基线距离依次等于0.1m、0.2m、0.3m、0.4m、0.5m、0.6m。
(2)进行摄像机标定
利用搭建好双目视觉***，利用双目图像采集方法，获取标定参照物分别12个在不同方位的图像对，并根据第三章的方法对***进行标定，求解两摄像机的参数，以及右摄像机相对左摄像机的旋转矩阵R和平移向量T，利用以上参数对标定参照物进行立体校正，对校正后的标定参照物图像再进行一次立体标定，获取校正后的旋转矩阵R*和平移向量T*，对比分析校正前后的旋转矩阵R、R*和平移向量T、T*，获得良好的校正效果。
(3)拍摄火焰图像
利用双目图像采集方法，分别在距离摄像机2m、4m、6m、8m、10m、12m处对火焰图像进行同步录像，获取同步的火焰图像。
(4)对双目图像对进行立体校正
利用第二步获得的摄像机参数以及两摄像机之间的旋转矩阵R和平移向量T对第三步获取的火焰图像进行立体校正，使左右图像在数学意义上严格平行对准。
(5)分割火焰区域提取火焰边界
利用第四章介绍的图像处理方法对双目图像对进行分割，获取火焰目标区域及其边缘轮廓。
(6)对火焰边界特征进行立体匹配并计算火焰中心位置坐标
利用基于边缘特征的火焰图像匹配方法进行立体匹配，求取视差，继而计算火焰中心的三维空间坐标以及以左摄像机为基准的距离D、水平偏角α和垂直偏角β。
(7)结果对比分析
将第六步***求取的火焰目标相对左摄像机的距离D与实际所测的距离进行对比分析。
3、实验结果及分析
经过多次实验，分别获得在不同条件下的摄像机的焦距、立体校正前后的右摄像机相对左摄像机的旋转矩阵R、R*和平移向量T、T*、以及对不同距离定位的火焰中心坐标。
考虑到***的复杂性，实验过程中产生大量的中间数据，因此，本文从两个角度对实验结果进行分析：即算法本身的有效性分析和***的定位效果分析。
(a)算法本身的有效性分析
由于***比较复杂，实验过程比较繁琐，产生大量的中间数据，如摄像机的标定结果、立体校正的结果、最终的定位结果等，因此有必要检验算法本身的中间过程是否合理有效性。
以***在焦距为6mm、基线距离为0.1m的条件下的摄像机单目标定结果为例，如表3所示。结果表明：标定效果良好，获得的摄像机的焦距与实际焦距6mm相差不大，误差均1％以内。
表3焦距为6mm时摄像机焦距标定数据表
以***在焦距为6mm、基线距离为0.1m的条件下的双目立体标定与立体校正的结果为例，如表4所示。结果显示：双目图像对经过立体标定与校正之后，旋转矩阵与理想的单位矩阵比较接近，平移向量也与理想的平移向量比较接近，获得的基线距离与实际基线距离0.1m相差不大，误差在1％以内。
表4焦距为6mm时立体标定和校正数据表
对立体匹配算法建立了误差模型，这里将实际误差分别与Δd＝0.5像素、Δd＝1像素的误差模型进行对比分析。令匹配误差Δd＝0.5像素、Δd＝1像素，将其分别带入式(27)，便可获得理论误差曲线，将其分别与实际误差对比。以下图3～图5分别了三种不同情况下理论误差曲线与实际误差对比结果(限于篇幅，这里就不一一列举，只以图3～图5所示为例)。容易看出实验中的实际误差基本落在Δd＝1像素理论误差曲线以内，并且落在Δd＝0.5像素理论误差曲线附近；在一定条件下，***定位的误差随距离的增大而增大，随基线距离的增大而减小，随摄像机焦距的增大而减小。由此可看出***立体匹配的效果较好，匹配误差的基本在0.5个像素左右，达到亚像素级匹配的要求。
(b)***定位效果分析
***对火焰空间的定位最终表现在对火焰目标相对摄像机的距离D的测定。当基线、焦距都不太小时，***定位的误差基本在0.2m以内，效果很好；而当基线和焦距都较小时，对较近距离的定位效果较好，而对远距离的定位的误差相对较高，而这是由***本身性质所决定，正如式(5.27)，如果焦距和基线距离同时较小，而目标距离又比较远的话，细小的匹配误差也将导致较大定位误差。但是从整体来看，本***的定位误差均在1％以内，效果较好。
综上分析，本***算法合理有效，最终的定位效果也较好，具有较高准确性和可靠性。
实施例二
一种基于边缘特征的立体匹配及火焰空间定位***，包括：
立体匹配模块，用于基于边缘特征进行火焰的立体匹配；以及
空间定位模块，用于基于所述火焰的立体匹配进行火焰空间定位。
本发明还提供了一种存储器，存储有多条指令，所述指令用于实现如实施例一所述的方法。
如图9所示，本发明还提供了一种电子设备，包括处理器301和与所述处理器301连接的存储器302，所述存储器302存储有多条指令，所述指令可被所述处理器加载并执行，以使所述处理器能够执行如实施例一所述的方法。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于边缘特征的立体匹配及火焰空间定位方法，其特征在于，包括基于边缘特征进行火焰的立体匹配以及基于所述火焰的立体匹配进行火焰空间定位；所述火焰的立体匹配的内容包括：在两台甚至多台摄像机分别从不同角度获取场景中同一景物的图像的像素之间建立对应关系；
所述火焰的立体匹配的方法包括：
S1，选择匹配基元，基于匹配基元确定匹配约束准则，基于匹配约束准则建立相似性度量函数并基于相似性度量函数确定相似性测度，基于测度确定立体匹配的搜索策略；
S2，以火焰边缘上的像素点为匹配基元，利用双阈值判别，筛选出最佳匹配点、候选匹配点、和不匹配点；最佳匹配认为是正确的匹配，候选匹配则再进行下一步筛选；
S3，利用视差相容性原则，进一步搜索最佳匹配，消除误匹配；
S4，输出唯一匹配后，再根据二分搜索法获取亚像素视差；
所述火焰空间定位包括：
S1’，确定火焰目标空间位置；
通过立体匹配，初步获得了火焰边缘特征的最佳匹配点；假设点(xl,yl)和(xr,yr)是一对最佳匹配点，其视差为d，将图像坐标转换为摄像机坐标，则有：
经过***标定和校正后，***获取的双目图像对已是数学意义上前向对准平行，则有两台摄像机之间的旋转矩阵和平移向量T＝[b 0 0]，b为基线距离；如果以左摄像机坐标系为世界坐标系，则两摄像机坐标系之间的关系可以表示为：
根据式(16)、(17)和(18)，以左摄像机坐标系为世界坐标系，得到该点的空间三维坐标为：
取作为***焦距，则式(19)可以简化为：
用火焰区域的几何中心来描述火焰的具***置，则有火焰中心位置坐标为：
其中，n为匹配对应的边缘特征点数，(xi,yi,zi)为匹配对应的各边缘特征点的三维空间坐标，(x0,y0,z0)为火焰中心的三维空间坐标；
将三维直角坐标系下的坐标换算成以左摄像机成像中心为原点的球坐标系下的坐标，得到火源中心相对摄像机的距离D、水平偏角α和垂直偏角β分别为：
S2’，基于摄像机参数获得火焰中心的坐标，实现火焰目标的定位，包括：基于边缘特征的火焰图像立体匹配方法及火焰目标空间位置的确定，结合前面获取的摄像机参数，就可以求出火焰中心的坐标，实现火焰目标的定位。
2.根据权利要求1所述的一种基于边缘特征的立体匹配及火焰空间定位方法，其特征在于，所述匹配基元是用以进行立体匹配的图像特征，匹配基元的选择决定了图像中的哪些信息被用来进行匹配，包括：图像的原始灰度值、图像中的突出特征、图像中某个预定区域的测量和评估形成的统计特征和高层次的形状描述子中的一项或多项，所述突出特征包括角点、交点、边缘、轮廓、局部曲率最大点；所述统计特征包括几何不变矩、质心；其中所述图像的原始灰度值是最基本的图像信息，同时也是最直接也最简单的一种匹配基元，可以由成像***直接得到；所述突出特征代表了图像中绝大多数的内部结构信息，具有很好的图像畸变不变性和非常好的独特性；如果图像中找不到明显的突出特征时，所述高层次的形状描述子具有更好的独特性和唯一性被用作匹配基元，包括拓扑描述子，形态学描述子和傅立叶描述子；所述图像中某个区域的统计特征也经常被作为匹配基元，它描述了图像中该区域上的统计信息，所述质心和几何不变矩的值都不依赖于特定的坐标系。
3.根据权利要求2所述的一种基于边缘特征的立体匹配及火焰空间定位方法，其特征在于，所述匹配约束准则是在选择好合适的匹配基元之后，在待匹配图像中搜索与参考图所选取图像特征对应的图像特征，所述匹配约束准则包括：
(1)唯一性约束准则：参考图像中的每个匹配基元最多只能与待匹配图像中唯一的一个匹配基元相对应，但是在存在遮挡情况下，将不存在对应点；
(2)极线约束准则：由对极几何的原理可知，参考图像中的某一点，在待匹配图像中的匹配点必定被限制在它的共轭极线上，在匹配搜索时，只需要在另一幅图像的水平扫描线上进行搜索；
(3)相似性约束准则：互相匹配的点是由空间的同一个点投影所得，该点以及它们各自邻域内，或在外形轮廓上、区域灰度、灰度变化梯度具有相似性；
(4)连续性约束准则：除了遮挡区域和由边界引起的视差不连续区域外，匹配得到的视差应该是平滑的；
(5)顺序一致性约束准则：参考图像的外极线上的点列和在待匹配图像中与之相对应的点列具有相同的排列；
(6)互应性约束准则：匹配的相互性，假设首先以左图为参考图，在右图中搜索与左图中的匹配基元pl相对应的匹配基元pr，建立了pl→pr的对应关系；那么反过来再以右图为参考图，在左图中搜索与右图中的匹配基元pr相对应的匹配基元pl，能有pr→pl的对应关系，也就是对应关系是双向的、相互的；如果匹配的对应关系不是双向的，则认为该对应关系不可靠。
4.根据权利要求3所述的一种基于边缘特征的立体匹配及火焰空间定位方法，其特征在于，所述相似性测度是指描述图像对的匹配基元之间的相似性程度的度量，包括：首先构建一个描述匹配基元之间差异的函数，当差异函数取得最小值时，则认为两匹配基元之间的差异最小，也就是相似性最好；设Il(x,y)和Ir(x,y)分别为***获取的待匹配图像对，(xl,yl)为参考图像中的待匹配点，模板W为以该点为中心的一个邻域，大小为m×n，d为视差，相似性测度函数有：
(1)像素灰度绝对差之和差异函数
(2)像素灰度差的平方和差异函数
(3)零均值像素灰度绝对差之和差异函数
(4)归一化互相关函数
5.根据权利要求4所述的一种基于边缘特征的立体匹配及火焰空间定位方法，其特征在于，所述立体匹配的搜索策略包括：
(1)全局最优搜索策略：在多约束准则下，以差异函数最小为目标，对全局进行搜索，全局最优匹配策略包括：动态规划法和松弛法，所述动态规划法就是在参考图像与待匹配图像中沿着两条对应的极线，在其点集上实施全局最优匹配策略寻找最小匹配差异路径；所述松弛法就是在相似性约束准则的基础上，计算各点的匹配概率，然后在多约束条件下用非线性最优化算法调整上述概率以找到最佳的匹配对应关系；
(2)分层匹配搜索策略：对图像进行多层次的抽样，产生一系列不同分辨率的图像样本，以分辨率大小进行分层处理；首先，对低分辨率的图像层进行匹配搜索，由于分辨率的关系，此时将获得一个比较粗略的匹配位置；然后以该匹配位置为模板，在下一层的图像中找到对应的窗口，再在该窗口中继续进行匹配搜索，获得更细一步的匹配位置，如此，直到在原始图像对中找到相应的匹配位置为止。
6.根据权利要求1所述的一种基于边缘特征的立体匹配及火焰空间定位方法，其特征在于，所述S2，以火焰边缘上的像素点为匹配基元，利用双阈值判别，筛选出最佳匹配点、候选匹配点、和不匹配点；最佳匹配认为是正确的匹配，候选匹配则再进行下一步筛选包括：
设I1和I2分别为待匹配图像对中的两幅图像，图像中的火焰边缘特征点的集合分别记为{Ii 1}和{Ij 2}，相应的灰度值记为gi 1和gj 2，图像对中的边缘特征上的各点坐标记为(x1,y1)和(x2,y2)，邻域W定义为以特征点为中心，大小为(2n+1)×(2n+1)的正方形窗口；在图像I2和图像I1中搜索最佳匹配对应关系(Ii 1,Ij 2)的具体步骤如下：
(1)确定搜索范围，并计算每组可能的匹配的相似性程度；
(2)对每组可能的匹配进行双阈值判别，筛选最佳匹配点和候选匹配点；
(3)相互性检测：按照上述步骤，再对图像I2中的特征点Ij 2进行上述操作，并获得特征点Ij 2的最佳匹配点和候选匹配点集L2(Ij 2)，根据相互性约束准则，则有若Ii 1和Ij 2互为最佳匹配，则认为匹配关系(Ii 1,Ij 2)为最佳匹配，的输出结果将为一些最佳匹配点和候选匹配点集L1(Ii 1)和L2(Ij 2)。
7.根据权利要求1所述的一种基于边缘特征的立体匹配及火焰空间定位方法，其特征在于，所述S3，利用视差相容性原则，进一步搜索最佳匹配，消除误匹配包括：利用视差相容性原理，对候选匹配集合进行下一步搜索，对候选匹配集合中的匹配定义一个评价函数，评价函数的函数值的大小体现了邻域内各对匹配之间的相容程度，利用该函数能够获得视差相容的最佳匹配，所述评价函数形式如下：
其中，
dij和dmn分别为匹配(Ii 1,Ij 2)和(Im 1,In 2)对应的视差，a和b为正常数，且a+b＝1；
如果一对候选匹配点满足：
则认为该匹配为最佳匹配；
对两幅图像的所有候选匹配点进行上述两步处理，将含有唯一最佳匹配的点的所有可能候选匹配点去除，再进行上述过程，直到最佳匹配的数目不再变化或迭代次数达到某个预设的最大值为止；至此，将输出所有最佳匹配及其整数级视差。
8.根据权利要求1所述的一种基于边缘特征的立体匹配及火焰空间定位方法，其特征在于，所述S4，输出唯一匹配后，再根据二分搜索法获取亚像素视差包括：定义参考窗口W1(x)和匹配窗口W2(x+dij)之间的规范相关数：
当dij不为整数时，则利用线性插值公式计算匹配窗口的浮点灰度值W2(x+dij)：
W2(x+dij)＝(dij-[dij])·W2(x+[dij])+[dij]·W2(x+[dij]+1) (14)
其中[dij]表示对小于等于dij最大整数；
则二分法搜索的计算公式为：
其中，A为迭代次数。
9.根据权利要求1所述的一种基于边缘特征的立体匹配及火焰空间定位方法，其特征在于，还包括通过定位误差模型验证立体匹配的效果；空间任意一点的位置如果以相对左摄像机的距离D、水平偏角α和垂直偏角β的形式表示，如公式(22)所示，然而将公式(20)带入公式(22)则有：
对***获得的距离D建立误差模型；
首先，将D对视差d求导可得：
式中负号仅表示方向，根据式(24)可以建立定位的误差模型：
式中b为基线距离，xl、yl为目标点在左图像中的坐标值，f为摄像机焦距，ΔD＝|D-D0|为绝对误差，D为定位***所测的距离，D0为实际所测的距离，ΔD/D为相对误差，Δd＝|d-d0|为匹配的误差，d为立体匹配算法所求取的视差，d0为理论视差；由于目标点在左图像中的坐标值xl、yl远小于摄像机的焦距f，因此上述误差模型中的式(25)和式(26)可以简化为：
10.一种基于边缘特征的立体匹配及火焰空间定位***，其特征在于，实施如权利要求1-9任一所述的方法，包括：
立体匹配模块，用于基于边缘特征进行火焰的立体匹配；以及
空间定位模块，用于基于所述火焰的立体匹配进行火焰空间定位。
CN202211412606.7A 2022-11-11 2022-11-11 一种基于边缘特征的立体匹配及火焰空间定位方法 Active CN116665034B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211412606.7A CN116665034B (zh) 2022-11-11 2022-11-11 一种基于边缘特征的立体匹配及火焰空间定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211412606.7A CN116665034B (zh) 2022-11-11 2022-11-11 一种基于边缘特征的立体匹配及火焰空间定位方法

Publications (2)

Publication Number Publication Date
CN116665034A true CN116665034A (zh) 2023-08-29
CN116665034B CN116665034B (zh) 2023-10-31

Family

ID=87721196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211412606.7A Active CN116665034B (zh) 2022-11-11 2022-11-11 一种基于边缘特征的立体匹配及火焰空间定位方法

Country Status (1)

Country Link
CN (1) CN116665034B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020095752A (ko) * 2001-06-15 2002-12-28 한국전자통신연구원 스테레오 영상 시차 지도 융합 방법 및 그를 이용한 3차원영상 표시 방법
US20100048242A1 (en) * 2008-08-19 2010-02-25 Rhoads Geoffrey B Methods and systems for content processing
CN102999939A (zh) * 2012-09-21 2013-03-27 魏益群 坐标获取装置、实时三维重建***和方法、立体交互设备
CN104573719A (zh) * 2014-12-31 2015-04-29 国家电网公司 基于图像智能分析的山火检测方法
CN109903507A (zh) * 2019-03-04 2019-06-18 上海海事大学 一种基于深度学习的火灾智能监控***及其方法
CN113887624A (zh) * 2021-09-30 2022-01-04 西安理工大学 一种基于双目视觉的改进特征立体匹配方法
CN114155289A (zh) * 2021-12-08 2022-03-08 电子科技大学 基于双目视觉的电点火***电火花轮廓尺寸测量方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020095752A (ko) * 2001-06-15 2002-12-28 한국전자통신연구원 스테레오 영상 시차 지도 융합 방법 및 그를 이용한 3차원영상 표시 방법
US20100048242A1 (en) * 2008-08-19 2010-02-25 Rhoads Geoffrey B Methods and systems for content processing
CN102999939A (zh) * 2012-09-21 2013-03-27 魏益群 坐标获取装置、实时三维重建***和方法、立体交互设备
CN104573719A (zh) * 2014-12-31 2015-04-29 国家电网公司 基于图像智能分析的山火检测方法
CN109903507A (zh) * 2019-03-04 2019-06-18 上海海事大学 一种基于深度学习的火灾智能监控***及其方法
CN113887624A (zh) * 2021-09-30 2022-01-04 西安理工大学 一种基于双目视觉的改进特征立体匹配方法
CN114155289A (zh) * 2021-12-08 2022-03-08 电子科技大学 基于双目视觉的电点火***电火花轮廓尺寸测量方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
卢阿丽;唐振民;杨静宇;: "基于信任度传播的体视算法", 模式识别与人工智能, no. 01, pages 84 - 90 *
郭赞权等, 《消防科学与技术》, vol. 39, no. 12, pages 1622 - 1625 *

Also Published As

Publication number Publication date
CN116665034B (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
US9959455B2 (en) System and method for face recognition using three dimensions
CN107240124B (zh) 基于时空约束的跨镜头多目标跟踪方法及装置
US7822267B2 (en) Enhanced object reconstruction
KR100513055B1 (ko) 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법
US8326025B2 (en) Method for determining a depth map from images, device for determining a depth map
US10846844B1 (en) Collaborative disparity decomposition
Krotosky et al. Mutual information based registration of multimodal stereo videos for person tracking
Forkuo Automatic fusion of photogrammetric imagery and laser scanner point clouds
CN110307790A (zh) 应用于边坡安全监测的摄像机检测装置及方法
JP2004340840A (ja) 距離測定装置、距離測定方法、及び距離測定プログラム
JP5951043B2 (ja) 画像計測装置
CN112184811A (zh) 单目空间结构光***结构校准方法及装置
CN107679542B (zh) 一种双摄像头立体视觉识别方法及***
CN116665034B (zh) 一种基于边缘特征的立体匹配及火焰空间定位方法
KR101154436B1 (ko) 콘텍스트 교차에 근거한 라인 매칭 방법
Sato et al. Efficient hundreds-baseline stereo by counting interest points for moving omni-directional multi-camera system
Partovi et al. Automatic integration of laser scanning and photogrammetric point clouds: From acquisition to co-registration
Zhang Binocular Stereo Vision
Petitpas et al. Roughness measurement from multi-stereo reconstruction
Reji et al. Comparative analysis in satellite image registration
Zhang et al. Passive 3D reconstruction based on binocular vision
Barazzetti et al. Automatic image-based 3D modeling for medical applications
Chen et al. Stereo with zooming
Li Feature Based Calibration of a Network of Kinect Sensors
Rahmat et al. Stereo Camera Calibration For Autonomous Car Applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant