CN115690469A - 一种双目图像匹配方法、装置、设备和存储介质 - Google Patents

一种双目图像匹配方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN115690469A
CN115690469A CN202110873191.2A CN202110873191A CN115690469A CN 115690469 A CN115690469 A CN 115690469A CN 202110873191 A CN202110873191 A CN 202110873191A CN 115690469 A CN115690469 A CN 115690469A
Authority
CN
China
Prior art keywords
image
target
binocular
bounding box
boundary frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110873191.2A
Other languages
English (en)
Inventor
李宏扬
黄泽昊
王乃岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusimple Technology Co Ltd
Original Assignee
Beijing Tusimple Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Technology Co Ltd filed Critical Beijing Tusimple Technology Co Ltd
Priority to CN202110873191.2A priority Critical patent/CN115690469A/zh
Priority to EP22186649.4A priority patent/EP4131167A1/en
Priority to AU2022209290A priority patent/AU2022209290A1/en
Priority to US17/816,394 priority patent/US20230035648A1/en
Priority to JP2022121527A priority patent/JP2023021087A/ja
Publication of CN115690469A publication Critical patent/CN115690469A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明实施例公开了一种双目图像匹配方法、装置、设备和存储介质。其中，该方法包括：对双目图像的第一图像进行目标检测，得到所述第一图像内目标的第一边界框；在所述双目图像的第二图像中确定所述第一边界框所对应的第二边界框；利用所述第二边界框回归出所述目标在所述第二图像内的第三边界框。本发明实施例提供的技术方案，实现双目图像内目标的准确匹配，无需对双目图像中的两个图像均进行目标检测，然后采用匹配算法两个图像内检测出的目标进行匹配，极大减少了双目图像内目标匹配的计算开销，避免双目图像内目标匹配的局限性，提高双目图像内目标匹配的高效性、准确性和鲁棒性。

Description

一种双目图像匹配方法、装置、设备和存储介质
技术领域
本发明实施例涉及图像数据处理技术领域，尤其涉及一种双目图像匹配方法、装置、设备和存储介质。
背景技术
目标测距是无人驾驶***中极为重要的一部分，为了确保目标测距的准确性，通常会采用双目测距的方式，从双目图像中分别检测出相应目标，然后对双目图像中的各个目标进行匹配，以确定同一目标在双目图像中的位置，从而结合双目相机的内参、外参等，基于视差或三角测距计算出该目标的距离。
目前，在对双目图像进行目标匹配时，通常会预先设计对应的匹配算法来建立同一目标在双目图像中的对应关系，此时该匹配算法会涉及多种额外的特征、多种阈值以及精细的参数调整等，使得匹配算法较为复杂，存在一定的匹配失误率，极大影响了双目图像中目标匹配的鲁棒性和准确性。
发明内容
有鉴于此，本发明实施例提供一种双目图像匹配方法、装置、设备和存储介质，以实现双目图像内目标的准确匹配，提高双目图像内目标匹配的准确性和鲁棒性。
第一方面，本发明实施例提供了一种双目图像匹配方法，该方法包括：
对双目图像的第一图像进行目标检测，得到所述第一图像内目标的第一边界框；
在所述双目图像的第二图像中确定所述第一边界框所对应的第二边界框；
利用所述第二边界框回归出所述目标在所述第二图像内的第三边界框。
第二方面，本发明实施例提供了一种双目图像匹配装置，该装置包括：
目标检测模块，用于对第一图像进行目标检测，得到所述第一图像内目标的第一边界框；
区域确定模块，用于在所述双目图像的第二图像中确定所述第一边界框所对应的第二边界框；
回归模块，用于利用所述第二边界框回归出所述目标在所述第二图像内的第三边界框。
第三方面，本发明实施例提供了一种电子设备，该电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的双目图像匹配方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的双目图像匹配方法
本发明实施例提供的一种双目图像匹配方法、装置、设备和存储介质，通过对双目图像的第一图像进行目标检测，可以得到第一图像内目标的第一边界框，此时可以在双目图像的第二图像中直接确定出第一边界框所对应的第二边界框，然后利用第二边界框回归出目标在第二图像内的第三边界框，从而实现双目图像内目标的准确匹配，无需对双目图像中的两个图像均进行目标检测，然后采用匹配算法两个图像内检测出的目标进行匹配，极大减少了双目图像内目标匹配的计算开销，解决了现有技术中采用多种特征和阈值所设定的匹配算法较为复杂的问题，避免双目图像内目标匹配的局限性，提高双目图像内目标匹配的高效性、准确性和鲁棒性。
附图说明
图1A为本发明实施例一提供的一种双目图像匹配方法的流程图；
图1B为本发明实施例一提供的方法中确定第二边界框的示意图；
图1C为本发明实施例一提供的方法中目标在双目相机中成像的原理示意图；
图2A为本发明实施例二提供的一种双目图像匹配方法的流程图；
图2B为本发明实施例二提供的双目图像匹配过程的原理示意图；
图3为本发明实施例三提供的一种双目图像匹配方法的流程图；
图4为本发明实施例四提供的一种双目图像匹配装置的结构示意图；
图5为本发明实施例五提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
图1A为本发明实施例一提供的一种双目图像匹配方法的流程图，本实施例可适用于对双目图像的两个图像中存在的相同目标进行匹配的情况中。本实施例提供的一种双目图像匹配方法可以由本发明实施例提供的双目图像匹配装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的电子设备中。
具体的，参考图1A，该方法可以包括如下步骤：
S110，对双目图像的第一图像进行目标检测，得到第一图像内目标的第一边界框。
可选的，考虑到双目测距时，需要对双目图像中的相同目标进行匹配，然而对双目图像的两个图像分别进行目标检测，以采用设定的匹配算法对两个图像内的各个目标进行匹配时，会存在较大的匹配计算开销，导致匹配不高效的问题。
因此，为了解决上述问题，本实施例可以对双目图像中的第一图像进行目标检测，以得到第一图像内各个目标的位置信息。而且，为了在第一图像内准确标记出各个目标，本实施例可以采用边界框(bounding box，Bbox)的方式来表示第一图像内各个目标的位置检测结果，即可得到第一图像内各个目标的第一边界框。进而，后续能够以第一图像内各目标的第一边界框为参考，通过分析用于采集该双目图像的双目相机的特性，来判断双目图像内的同一目标在第二图像内的位置信息，从而实现双目图像内的目标匹配。
当然，本公开还可应用于三目、四目等其他多目图像中，此时任意两目之间组成一个双目图像，即可根据其他任一图像的边界框，确定该边界框在其他图像内的位置。
其中，本实施例中的第一图像可以为双目图像内左图和右图中的任意一个图像，且另一图像为双目图像的第二图像，本实施例对于双目图像的第一图像和第二图像为左图还是右图不作限定。而且，边界框是一个矩形框，用于在第一图像内框出各个目标，本实施例中的第一边界框可以表示为
Figure BDA0003189858190000051
其中N为第一图像内检测出的目标数量，
Figure BDA0003189858190000052
表示第一图像内的第i个目标的第一边界框。
S120，在双目图像的第二图像中确定第一边界框所对应的第二边界框。
具体的，在检测出双目图像的第一图像内各个目标的第一边界框后，为了减少双目图像内目标匹配时的计算开销，不会对双目图像的第二图像进行目标检测。而是，通过双目相机的内外参数，以第一图像内各个目标的第一边界框为参考，直接在第二图像中确定出与各个目标的第一边界框所对应的第二边界框，该第二边界框可以表示为
Figure BDA0003189858190000053
用于标记出各个目标在第二图像内初步匹配后的所处位置。
示例性的，如图1B所示，本实施例中的第二边界框可以为以下候选框中的任意一种：
1)与第一边界框同等图像位置的框，记为第一候选框。
第一种情况中，在第一图像和第二图像之间的成像差异较小时，说明第一图像和第二图像内同一目标的位置差距不大。因此，本实施例可以按照第一图像内各个目标的第一边界框的坐标位置，直接在第二图像内确定出与第一边界框同等位置的框，记为第一候选框。然后，考虑到第一图像和第二图像之间的成像差异较小，可以将该第一候选框作为第二图像内各个目标的第二边界框。
需要说明的是，本实施例可以采用双目图像中的视差来判断第一图像和第二图像之间的成像差异，该视差为双目相机拍摄同一目标时，该目标在第一图像和第二图像上的成像位置差异。如图1C所示，如果P点为拍摄的目标，O1、O2为双目相机的两个光心，两条线段表示双目相机中两个光心对应的虚拟成像平面，f表示双目相机的焦距，双目相机两个光心的基线长度为baseline，目标点P的深度为depth。据此，P、O1、O2可以构成一个三角形，那么点P在两个光心对应的虚拟成像平面上的视差(disparity)可以为disparity＝xl-xr，其中xl为点P在第一虚拟成像平面的位置，xr为点P在第二虚拟成像平面的位置。因此，利用相似三角形原理可以得到：
Figure BDA0003189858190000061
考虑到对于第一图像和第二图像内的同一目标而言，该目标的深度是相同的。因此，由上述公式可以确定，双目图像中的视差会受到用于采集该双目图像的双目相机的基线和焦距影响。
因此，本实施例可以通过预先设定相应的低视差条件，来表示第一图像和第二图像之间的成像差异较小的情况。而且，本实施例可以获取当前待匹配的双目图像对应的双目相机基线和焦距的信息，然后判断该双目相机基线和焦距是否符合预设的低视差条件，以此确定第一图像和第二图像之间的成像差异是否较小。在该双目相机基线和焦距符合预设的低视差条件时，本实施例中的第二边界框即为第二图像内与第一边界框同等图像位置的第一候选框，无需对第一边界框进行任何调整，保证双目图像内目标匹配的高效性。其中，低视差条件例如双目相机基线小于第一阈值和/或焦距小于第二阈值，当然不限于此，本领域技术人员可以根据需要设定低视差条件，本公开对此不作限制。
2)将第一边界框平移预估视差后所得到的框，记为第二候选框。
第二种情况中，由于第一图像和第二图像之间不可避免会存在一定的成像差异，导致同一目标的位置也会存在一定差异。并且，从图1C中可以得到，双目图像内同一目标的位置差异可以通过视差表示。因此，本实施例可以预估双目图像的视差，然后在第二图像内按照该预估视差来平移第一边界框，即可得到同一目标在第二图像内的第二边界框。也就是说，本实施例中的第二边界框可以为第二图像内将第一边界框平移预估视差后所得到的第二候选框，以确保双目图像内目标匹配的准确性。
3)将第一边界框进行双目矫正并投影回未矫正的第二图像坐标系后所得到的框，记为第三候选框。该第二图像坐标系可以为第二图像的图像坐标系，优选为第二图像的像素坐标系，当然不限于此。其中，图像坐标系以图像中心点为原点，像素坐标系以图像左上角顶点为原点。
第三种情况中，上述对于双目图像内同一目标的第一边界框和第二边界框的匹配，均是参照理想的双目***得到的。然而，由于双目相机中两个光心的位置不可避免会出现一些误差，使得理想的双目***很难得到，因此需要进行双目矫正来达到近似理想的双目***。在本实施例中，考虑到双目图像内目标的匹配均是对目标边界框的变换得到，不涉及双目图像内其他像素点的变换。因此，在第二图像内确定目标的第二边界框时，可以对该目标的第一边界框进行双目矫正，然后投影回未矫正的第二图像坐标系中，即可实现双目图像内目标匹配的矫正，而无需对双目图像内每一像素点进行双目矫正，极大减少了双目图像的矫正开销。进而，本实施例中的第二边界框可以为将第一边界框进行双目矫正并投影回未矫正的第二图像坐标系后所得到的第三候选框，保证双目图像内目标匹配的准确性和高效性。
4)将第一边界框进行双目矫正和平移预估视差，并投影回未矫正的第二图像坐标系后所得到的框，记为第四候选框。
第四种情况中，考虑到第一图像和第二图像之间不可避免会存在一定的成像差异，以及理想的双目***的问题，可以将第二种情况和第三种情况结合分析。也就是说，将第一边界框进行双目矫正和平移预估视差，并投影回未矫正的第二图像坐标系后所得到的框，记为第四候选框，使得本实施例中的第二边界框可以为该第四候选框，进一步提高双目图像内目标匹配的准确性。本领域技术人员应当理解，平移预估视差可以在双目矫正操作前，也可以在双目矫正操作后，可以在投影操作前，也可以在投影操作后，本公开对平移操作所处的位置顺序不作限定。另外，本公开所提到的未矫正的第二图像坐标系，均可以为第二图像的图像坐标系，也可以为第二图像的像素坐标系，本公开对此不作限制。
基于此，步骤S120可以包括：将第一边界框平移预估视差，得到第二图像中对应位置的第二边界框。进一步地，将第一边界框平移预估视差，得到第二图像中对应位置的第二边界框包括：对第一边界框经过双目矫正、平移预估视差、投影回未矫正的第二图像坐标系，得到第二图像中对应位置的第二边界框。
需要说明的是，本实施例中所执行的双目矫正和投影操作，均是针对边界框所执行的操作，而未对双目图像执行任何矫正操作，极大省去了双目图像矫正时需要对双目图像内各个像素点进行调整的过程，从而提高了双目图像的目标匹配效率。
S130，利用第二边界框回归出目标在第二图像内的第三边界框。
本实施例中，由于第一图像和第二图像内同一目标在成像后会存在一定的尺寸差异，而第二边界框和第一边界框的尺寸几乎相同或相差不大的，说明在第二图像内，第二边界框可能无法全面框出相应目标。因此，为了保证第二图像内目标的准确性，在确定出目标在第二图像内的第二边界框后，会基于第二图像内的目标特征，对第二边界框进行回归处理，得到目标在第二图像内的第三边界框。本实施例中的边界框回归主要是分析第二边界框与第二图像内目标的实际特征之间存在的某种映射关系，并利用该映射关系对第二边界框进行映射，使得得到的第三边界框无限接近于目标的真实边界框，从而实现双目图像内目标的准确匹配。
本实施例中的双目图像内目标匹配方式无需限定双目图像的应用场景和采集方式，避免双目图像内目标匹配的局限性，提高双目图像内目标匹配的高效性和鲁棒性。另外，本公开的双目测距是物体级别的，而不是像素级别的，可直接给出物体的深度信息。
此外，本实施例在利用第二边界框回归出目标在第二图像内的第三边界框，以此实现双目图像内目标的准确匹配之后，还可以包括：根据第一边界框和第三边界框，计算目标在双目图像中的实际视差；根据实际视差、双目图像对应的双目相机基线和焦距，计算目标的深度信息。
也就是说，在得到双目图像内同一目标在第一图像内的第一边界框和在第二图像内的第三边界框之后，可以计算出第一边界框和第二边界框之间的坐标差异，作为目标在双目图像中的实际视差。然后，可以将目标在双目图像中的实际视差、双目图像对应的双目相机基线和焦距代入到公式
Figure BDA0003189858190000091
中，即可计算出该目标的深度信息，从而实现双目图像内的目标测距。
本实施例提供的技术方案，通过对双目图像的第一图像进行目标检测，可以得到第一图像内目标的第一边界框，此时可以在双目图像的第二图像中直接确定出第一边界框所对应的第二边界框，然后利用第二边界框回归出目标在第二图像内的第三边界框，从而实现双目图像内目标的准确匹配，无需对双目图像中的两个图像均进行目标检测，然后采用匹配算法两个图像内检测出的目标进行匹配，极大减少了双目图像内目标匹配的计算开销，解决了现有技术中采用多种特征和阈值所设定的匹配算法较为复杂的问题，避免双目图像内目标匹配的局限性，提高双目图像内目标匹配的高效性、准确性和鲁棒性。
实施例二
图2A为本发明实施例二提供的一种双目图像匹配方法的流程图，图2B为本发明实施例二提供的双目图像匹配过程的原理示意图。本实施例是在上述实施例的基础上进行优化。具体的，本实施例主要对于目标在第二图像内的第二边界框到第三边界框的具体回归过程进行详细的解释说明。
具体的，如图2A所示，本实施例中可以包括如下步骤：
S210，对双目图像的第一图像进行目标检测，得到第一图像内目标的第一边界框。
S220，在双目图像的第二图像中确定第一边界框所对应的第二边界框。
S230，采用预构建的特征提取网络生成第二图像的特征图。
可选的，在第二图像内对目标的第二边界框进行回归时，需要分析第二边界框与第二图像内目标的实际特征之间存在的某种映射关系，因此需要提取第二图像内的目标特征。
在本实施例中，如图2B所示，会预先构建出对应的特征提取网络，以将第二图像输入到该特征提取网络中。然后，该特征提取网络会利用自身已训练好的各个网络参数，对输入的第二图像进行特征分析，从而生成第二图像的特征图，以便后续准确分析第二图像内各个目标的特征。
S240，提取第二边界框所对应的候选特征。
在得到第二图像的特征图后，会按照目标在第二图像内的第二边界框，分析目标与该特征图之间的关系。然后，按照该关系即可从该特征图中准确提取出第二边界框所对应的候选特征，作为第二图像内的目标特征。
S250，采用预构建的回归网络对候选特征进行处理，得到第三边界框。
可选的，为了对第二边界框进行准确回归，如图2B所示，本实施例会预先构建一个回归网络。其中，该回归网络的输入为第二边界框的候选特征，输出为第二边界框与第三边界框的偏差量；该偏差量可以包括边界框的尺寸偏差量和边界框内同一关键点的坐标偏差量，且该关键点可以包括第二边界框和第三边界框的中心点和/或对角线顶点。
示例性的，本实施例中的第二边界框与第三边界框的偏差量具体可以包括以下至少一种：两种边界框的宽度比值(如w3/w2)、高度比值(如h3/h2)、关键点的横坐标差值与第二边界框宽度的比值(如(x3-x2)/w2)、关键点的纵坐标差值与第二边界框高度的比值(如(y3-y2)/h2)。其中，(x2，y2)为第二边界框中某一关键点的坐标，(x3，y3)为第三边界框中对应关键点的坐标，w2和h2为第二边界框的宽度和高度，w3和h3为第三边界框的宽度和高度。
当然，该边界框还可以为三维框，此时偏差量可以两种边界框的长度比值、宽度比值、高度比值、关键点的横坐标差值与第二边界框长度的比值、关键点的纵坐标差值与第二边界框宽度的比值、关键点的竖坐标差值与第二边界框高度的比值。此外，本公开还可以对尺寸相关的比值量(即长度比值、宽度比值、高度比值)取对数log，以便降低物体尺度变化对回归的影响。
因此，在提取出第二边界框所对应的候选特征后，可以将该候选特征输入到该回归网络中，通过该回归网络内已训练好的各个网络参数对该候选特征进行回归处理，从而输出第二边界框与第三边界框的偏差量。然后，利用该偏差量对第二边界框进行相应偏差调整，即可得到目标在第二图像内的第三边界框。
本实施例提供的技术方案，通过预构建的回归网络对第二边界框的候选特征进行回归处理时，能够直接输出第二边界框与第三边界框的偏差量，便于利用该偏差量快速确定第二边界框与第三边界框之间的各项差异，在需要利用第二边界框与第三边界框之间的差异参数来计算其他参数时，能够直接从偏差量中获取，从而提高双目图像内目标匹配时的差异参数确定效率。
实施例三
图3为本发明实施例三提供的一种双目图像匹配方法的流程图。本实施例是在上述实施例的基础上进行优化。具体的，考虑到第二边界框可以为以下任意一种候选框：1)与第一边界框同等图像位置的框，记为第一候选框；2)将第一边界框平移预估视差后所得到的框，记为第二候选框；3)将第一边界框进行双目矫正并投影回未矫正的第二图像坐标系后所得到的框，记为第三候选框；4)将第一边界框进行双目矫正和平移预估视差，并投影回未矫正的第二图像坐标系后所得到的框，记为第四候选框。而在得到第二候选框和第四候选框时，均需要按照预估视差对第一边界框进行平移，因此在双目图像的第二图像中确定第一边界框所对应的第二边界框之前，首先需要确定双目图像内目标的预估视差。据此，本实施例主要对于双目图像内目标的预估视差的具体计算过程进行详细的解释说明。
具体的，参考图3，该方法可以包括如下步骤：
S310，对双目图像的第一图像进行目标检测，得到第一图像内目标的第一边界框和目标的类别。
可选的，本实施例可以在双目测距中引入单目测距的原理，来估算双目图像的视差，该单目测距公式可以为：
Figure BDA0003189858190000131
其中，w为目标的像素宽度，f为焦距，W为目标的实际宽度，depth为目标深度。双目测距的公式为上述实施例二中提及的：
Figure BDA0003189858190000132
然后，上述两个公式结合可以得到：
Figure BDA0003189858190000133
其中
Figure BDA0003189858190000134
表示第一边界框的平移系数。由此可知，本实施例中的预估视差与平移系数和目标的像素宽度相关。其中，目标的像素宽度可以取检测框宽度。进一步地，目标为车体时，像素宽度可以取车体宽度，如车尾宽度或者车体横截面宽度，此时可以根据特定的算法来准确提取出目标在双目图像中的对应宽度。
而且，平移系数与双目相机基线和目标的实际宽度相关，而双目相机基线可以预先确定，并且考虑到同一类别下的各个目标的实际宽度大致相同，因此平移系数可以是一个未知但与目标类别相关的量，不同的目标类别会设定对应的平移系数。
因此，为了确定对应的平移系数，本实施例在对第一图像进行目标检测时，还会检测出第一图像内各个目标的类别，以获取与该目标的类别所对应的平移系数。
S320，获取与目标的类别所对应的平移系数。
按照预先设定的目标类别与平移系数之间的对应关系，在检测出第一图像内目标的类别后，本实施例可以获取到与目标的类别所对应的平移系数，以便后续根据该平移系数和目标的像素宽度来计算目标在第二图像内的预估视差。
需要说明的是，对于目标类别与平移系数之间的对应关系，本实施例可以采用大量历史双目图像中在每一类别下的各个目标的像素宽度和实际视差，来分析目标类别与平移系数之间的关系。也就是说，确定在历史双目图像中已标记匹配的同一目标的实际视差和像素宽度；根据已标记的同一类别下各目标的像素宽度和实际视差，计算该类别对应的平移系数。
具体的，在历史双目图像中会准确标记出每一目标在第一图像内的第一边界框和在第二图像内的第三边界框，以此对双目图像内的同一目标进行准确匹配。进一步的，历史双目图像中标记的第一边界框和第三边界框是图像校正之后的边界框。因此，根据历史双目图像中已标记匹配的同一目标的第一边界框和第三边界框，可以得到已标记匹配的各个目标的实际视差和像素宽度。然后，对历史双目图像中的各个目标进行类别区分，得到每一类别下的各个目标。本领域技术人员可以根据需要设定目标大类或小类的分类精细度，本公开对此不作限制。并且，由于每一类别下均会存在多个目标的实际视差和像素宽度，以此得到每一类别下每个目标的历史平移系数。进而，对每一类别下各个目标的历史平移系数进行均值处理，即可得到该类别下对应的平移系数。
示例性的，本实施例可以采用公式：
Figure BDA0003189858190000141
来计算每一类别对应的平移系数。其中，ki为第i个类别下对应的平移系数，
Figure BDA0003189858190000142
为第i个类别下的目标数量，
Figure BDA0003189858190000151
为第i个类别下第j个目标的实际视差，
Figure BDA0003189858190000152
为第i个类别下第j个目标的像素宽度。
此外，考虑到历史双目图像中还可以标记有对应的双目相机基线，而当前待匹配的双目图像也存在相应的双目相机基线，如果两者采用不同的双目相机，那么会造成平移系数中的双目相机基线也不同。因此，为了保证平移系数的准确性，本实施例在根据已标记的同一类别下各目标的像素宽度和实际视差，计算该类别对应的平移系数时，还会参考历史双目图像中标记的双目相机基线，将本实施例中的平移系数分为双目相机基线和子平移系数两部分。按照公式
Figure BDA0003189858190000153
可以确定本实施例中的子平移系数为每一类别下目标的实际宽度。那么，根据已标记的同一类别下各目标的像素宽度和实际视差、以及对应的双目相机基线，计算该类别对应的子平移系数t时，所参考的计算公式为：
Figure BDA0003189858190000154
其中，ti为第i个类别对应的子平移系数；
Figure BDA0003189858190000155
为第i个类别下第j个目标对应的双目相机基线；Wi为第i个类别的实际宽度，该参量不进行实际统计。本公开通过均值统计的方法得到每个类别下不同目标类别的t值(即1/W值)，以及实际应用时的双目相机基线，即可通过线性关系得到待匹配双目图像的平移系数k。
相应的，在计算出每一目标类别对应的子平移系数后，可以基于该子平移系数和当前待匹配的双目图像对应的双目相机基线，确定目标的类别所对应的平移系数。也就是说，采用公式
Figure BDA0003189858190000156
来计算第二图像内各目标的类别所对应的平移系数。
S330，基于平移系数和目标的像素宽度，确定目标在双目图像中的预估视差。
其中，目标的像素宽度根据目标的第一边界框宽度确定。然后，将目标在第二图像内的平移系数和目标的像素宽度代入到公式
Figure BDA0003189858190000161
Figure BDA0003189858190000162
中，计算出目标在双目图像中的预估视差，以在第二图像内对第一边界框进行准确平移，保证第二边界框的准确性。
S340，在双目图像的第二图像中确定第一边界框所对应的第二边界框。
S350，利用第二边界框回归出目标在第二图像内的第三边界框。
本实施例提供的技术方案，通过对双目图像的第一图像进行目标检测，可以得到第一图像内目标的第一边界框，此时可以在双目图像的第二图像中直接确定出第一边界框所对应的第二边界框，然后利用第二边界框回归出目标在第二图像内的第三边界框，从而实现双目图像内目标的准确匹配，无需对双目图像中的两个图像均进行目标检测，然后采用匹配算法两个图像内检测出的目标进行匹配，极大减少了双目图像内目标匹配的计算开销，解决了现有技术中采用多种特征和阈值所设定的匹配算法较为复杂的问题，避免双目图像内目标匹配的局限性，提高双目图像内目标匹配的高效性、准确性和鲁棒性。
实施例四
图4为本发明实施例四提供的一种双目图像匹配装置的结构示意图，如图4所示，该装置可以包括：
目标检测模块410，用于对第一图像进行目标检测，得到所述第一图像内目标的第一边界框；
区域确定模块420，用于在所述双目图像的第二图像中确定所述第一边界框所对应的第二边界框；
回归模块430，用于利用所述第二边界框回归出所述目标在所述第二图像内的第三边界框。
本实施例提供的技术方案，通过对双目图像的第一图像进行目标检测，可以得到第一图像内目标的第一边界框，此时可以在双目图像的第二图像中直接确定出第一边界框所对应的第二边界框，然后利用第二边界框回归出目标在第二图像内的第三边界框，从而实现双目图像内目标的准确匹配，无需对双目图像中的两个图像均进行目标检测，然后采用匹配算法两个图像内检测出的目标进行匹配，极大减少了双目图像内目标匹配的计算开销，解决了现有技术中采用多种特征和阈值所设定的匹配算法较为复杂的问题，避免双目图像内目标匹配的局限性，提高双目图像内目标匹配的高效性、准确性和鲁棒性。
进一步的，上述第二边界框可以为以下任意一种候选框：
与第一边界框同等图像位置的框，记为第一候选框；
将第一边界框平移预估视差后所得到的框，记为第二候选框；
将第一边界框进行双目矫正并投影回未矫正的第二图像坐标系后所得到的框，记为第三候选框；
将第一边界框进行双目矫正和平移预估视差，并投影回未矫正的第二图像坐标系后所得到的框，记为第四候选框。
进一步的，当待匹配的双目图像对应的双目相机基线和焦距符合预设的低视差条件时，所述第二边界框为所述第一候选框。
进一步的，上述回归模块430，可以具体用于：
采用预构建的特征提取网络生成所述第二图像的特征图；
提取所述第二边界框所对应的候选特征；
采用预构建的回归网络对所述候选特征进行处理，得到所述第三边界框。
进一步的，上述回归网络的输入为所述第二边界框的候选特征，输出为所述第二边界框与第三边界框的偏差量；所述偏差量包括尺寸偏差量和关键点的坐标偏差量，所述关键点包括中心点和/或对角线顶点。
进一步的，上述偏差量可以包括以下至少一种：
两种边界框的宽度比值、高度比值、关键点的横坐标差值与第二边界框宽度的比值、关键点的纵坐标差值与第二边界框高度的比值。
进一步的，上述目标检测的结果还可以包括所述目标的类别，上述双目图像匹配装置，还可以包括：预估视差计算模块；
所述预估视差计算模块，用于获取与所述目标的类别所对应的平移系数；基于所述平移系数和所述目标的像素宽度，确定所述目标在所述双目图像中的预估视差；
其中，所述目标的像素宽度根据所述目标的第一边界框宽度确定。
进一步的，上述双目图像匹配装置，还可以包括：
历史参数确定模块，用于确定在历史双目图像中已标记匹配的同一目标的实际视差和像素宽度；
平移系数计算模块，用于根据已标记的同一类别下各目标的像素宽度和实际视差，计算该类别对应的平移系数。
进一步的，上述历史双目图像中还可以标记有对应的双目相机基线，上述平移系数计算模块，可以具体用于：
根据已标记的同一类别下各目标的像素宽度和实际视差、以及对应的双目相机基线，计算该类别对应的子平移系数；
相应的，上述预估视差计算模块，可以具体用于：
基于所述子平移系数和当前待匹配的双目图像对应的双目相机基线，确定所述目标的类别所对应的平移系数。
进一步的，上述双目图像匹配装置，还可以包括：
实际视差计算模块，用于根据所述第一边界框和所述第三边界框，计算所述目标在所述双目图像中的实际视差；
目标深度计算模块，用于根据所述实际视差、所述双目图像对应的双目相机基线和焦距，计算所述目标的深度信息。
本实施例提供的双目图像匹配装置可适用于上述任意实施例提供的双目图像匹配方法，具备相应的功能和有益效果。
实施例五
图5为本发明实施例五提供的一种电子设备的结构示意图。如图5所示，该电子设备包括处理器50、存储装置51和通信装置52；电子设备中处理器50的数量可以是一个或多个，图5中以一个处理器50为例；电子设备的处理器50、存储装置51和通信装置52可以通过总线或其他方式连接，图5中以通过总线连接为例。
存储装置51作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块。处理器50通过运行存储在存储装置51中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的双目图像匹配方法。
存储装置51可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置51可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置51可进一步包括相对于多功能控制器50远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信装置52可用于实现设备间的网络连接或者移动数据连接。
本实施例提供的一种电子设备可用于执行上述任意实施例提供的双目图像匹配方法，具备相应的功能和有益效果。
实施例六
本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现上述任意实施例中的双目图像匹配方法。该方法可以包括：
对双目图像的第一图像进行目标检测，得到所述第一图像内目标的第一边界框；
在所述双目图像的第二图像中确定所述第一边界框所对应的第二边界框；
利用所述第二边界框回归出所述目标在所述第二图像内的第三边界框。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的双目图像匹配方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述双目图像匹配装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (13)

1.一种双目图像匹配方法，其特征在于，所述方法包括：
对双目图像的第一图像进行目标检测，得到所述第一图像内目标的第一边界框；
在所述双目图像的第二图像中确定所述第一边界框所对应的第二边界框；
利用所述第二边界框回归出所述目标在所述第二图像内的第三边界框。
2.根据权利要求1所述的方法，其特征在于，所述第二边界框为以下任意一种候选框：
与第一边界框同等图像位置的框，记为第一候选框；
将第一边界框平移预估视差后所得到的框，记为第二候选框；
将第一边界框进行双目矫正并投影回未矫正的第二图像坐标系后所得到的框，记为第三候选框；
将第一边界框进行双目矫正和平移预估视差，并投影回未矫正的第二图像坐标系后所得到的框，记为第四候选框。
3.根据权利要求2所述的方法，其特征在于，当待匹配的双目图像对应的双目相机基线和焦距符合预设的低视差条件时，所述第二边界框为所述第一候选框。
4.根据权利要求1所述的方法，其特征在于，利用所述第二边界框回归出所述目标在所述第二图像内的第三边界框，包括：
采用预构建的特征提取网络生成所述第二图像的特征图；
提取所述第二边界框所对应的候选特征；
采用预构建的回归网络对所述候选特征进行处理，得到所述第三边界框。
5.根据权利要求4所述的方法，其特征在于，所述回归网络的输入为所述第二边界框的候选特征，输出为所述第二边界框与第三边界框的偏差量；所述偏差量包括尺寸偏差量和关键点的坐标偏差量，所述关键点包括中心点和/或对角线顶点。
6.根据权利要求5所述的方法，其特征在于，所述偏差量包括以下至少一种：
两种边界框的宽度比值、高度比值、关键点的横坐标差值与第二边界框宽度的比值、关键点的纵坐标差值与第二边界框高度的比值。
7.根据权利要求2所述的方法，其特征在于，所述目标检测的结果还包括所述目标的类别，在所述双目图像的第二图像中确定所述第一边界框所对应的第二边界框之前，还包括：
获取与所述目标的类别所对应的平移系数；
基于所述平移系数和所述目标的像素宽度，确定所述目标在所述双目图像中的预估视差；
其中，所述目标的像素宽度根据所述目标的第一边界框宽度确定。
8.根据权利要求7所述的方法，其特征在于，在获取与所述目标的类别所对应的平移系数之前，还包括：
确定在历史双目图像中已标记匹配的同一目标的实际视差和像素宽度；
根据已标记的同一类别下各目标的像素宽度和实际视差，计算该类别对应的平移系数。
9.根据权利要求8所述的方法，其特征在于，所述历史双目图像中还标记有对应的双目相机基线，根据已标记的同一类别下各目标的像素宽度和实际视差，计算该类别对应的平移系数，包括：
根据已标记的同一类别下各目标的像素宽度和实际视差、以及对应的双目相机基线，计算该类别对应的子平移系数；
相应的，所述获取与所述目标的类别所对应的平移系数，包括：
基于所述子平移系数和当前待匹配的双目图像对应的双目相机基线，确定所述目标的类别所对应的平移系数。
10.根据权利要求1所述的方法，其特征在于，在利用所述第二边界框回归出所述目标在所述第二图像内的第三边界框之后，还包括：
根据所述第一边界框和所述第三边界框，计算所述目标在所述双目图像中的实际视差；
根据所述实际视差、所述双目图像对应的双目相机基线和焦距，计算所述目标的深度信息。
11.一种双目图像匹配装置，其特征在于，包括：
目标检测模块，用于对第一图像进行目标检测，得到所述第一图像内目标的第一边界框；
区域确定模块，用于在所述双目图像的第二图像中确定所述第一边界框所对应的第二边界框；
回归模块，用于利用所述第二边界框回归出所述目标在所述第二图像内的第三边界框。
12.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的双目图像匹配方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一所述的双目图像匹配方法。
CN202110873191.2A 2021-07-30 2021-07-30 一种双目图像匹配方法、装置、设备和存储介质 Pending CN115690469A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202110873191.2A CN115690469A (zh) 2021-07-30 2021-07-30 一种双目图像匹配方法、装置、设备和存储介质
EP22186649.4A EP4131167A1 (en) 2021-07-30 2022-07-25 Binocular image matching method, device, and storage medium
AU2022209290A AU2022209290A1 (en) 2021-07-30 2022-07-27 Binocular image matching method, device and storage medium
US17/816,394 US20230035648A1 (en) 2021-07-30 2022-07-29 Binocular image matching method, device, and storage medium
JP2022121527A JP2023021087A (ja) 2021-07-30 2022-07-29 両眼画像マッチング方法、装置、デバイス、及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110873191.2A CN115690469A (zh) 2021-07-30 2021-07-30 一种双目图像匹配方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN115690469A true CN115690469A (zh) 2023-02-03

Family

ID=82702954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110873191.2A Pending CN115690469A (zh) 2021-07-30 2021-07-30 一种双目图像匹配方法、装置、设备和存储介质

Country Status (5)

Country Link
US (1) US20230035648A1 (zh)
EP (1) EP4131167A1 (zh)
JP (1) JP2023021087A (zh)
CN (1) CN115690469A (zh)
AU (1) AU2022209290A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111383256B (zh) * 2018-12-29 2024-05-17 北京市商汤科技开发有限公司 图像处理方法、电子设备及计算机可读存储介质
CN117994865B (zh) * 2024-04-01 2024-07-02 杭州海康威视数字技术股份有限公司 一种双目面部匹配方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180041747A1 (en) * 2016-08-03 2018-02-08 Samsung Electronics Co., Ltd. Apparatus and method for processing image pair obtained from stereo camera
CN110956616B (zh) * 2019-11-18 2023-09-26 南京和光智能制造研究院有限公司 一种基于立体视觉的目标检测方法及***

Also Published As

Publication number Publication date
AU2022209290A1 (en) 2023-02-16
US20230035648A1 (en) 2023-02-02
EP4131167A1 (en) 2023-02-08
JP2023021087A (ja) 2023-02-09

Similar Documents

Publication Publication Date Title
WO2019200837A1 (zh) 一种包裹体积的测量方法、***、储存介质及移动终端
CN107392958B (zh) 一种基于双目立体摄像机确定物体体积的方法及装置
CN111179329B (zh) 三维目标检测方法、装置及电子设备
US20230252664A1 (en) Image Registration Method and Apparatus, Electronic Apparatus, and Storage Medium
CN111582054B (zh) 点云数据处理方法及装置、障碍物检测方法及装置
CN108513121B (zh) 用于场景的景深图评估的方法和设备
EP4131167A1 (en) Binocular image matching method, device, and storage medium
CN111160232B (zh) 正面人脸重建方法、装置及***
JP2007333679A (ja) ３次元位置補正装置
EP3905195A1 (en) Image depth determining method and living body identification method, circuit, device, and medium
CN113240734B (zh) 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质
WO2022183685A1 (zh) 目标检测方法、电子介质和计算机存储介质
US11030478B1 (en) System and method for correspondence map determination
US20210334569A1 (en) Image depth determining method and living body identification method, circuit, device, and medium
WO2022133770A1 (zh) 点云法向量的生成方法、装置、计算机设备和存储介质
CN111382591B (zh) 一种双目相机测距校正方法及车载设备
CN116433737A (zh) 一种激光雷达点云与图像配准的方法、装置及智能终端
CN114608521B (zh) 单目测距方法及装置、电子设备和存储介质
CN113140002A (zh) 基于双目立体相机的道路状况检测方法、***和智能终端
CN116542979A (zh) 一种基于图像测量的预测的校正方法及终端
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
KR20200057929A (ko) 캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들의 렉티피케이션 방법과 컴퓨터 프로그램
CN112598736A (zh) 一种基于地图构建的视觉定位方法及装置
KR20220085693A (ko) 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법
KR101220003B1 (ko) 시차 맵 생성 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination