CN110660105A - 一种全景环视***的标定参数优化方法及装置 - Google Patents

一种全景环视***的标定参数优化方法及装置 Download PDF

Info

Publication number
CN110660105A
CN110660105A CN201810712870.XA CN201810712870A CN110660105A CN 110660105 A CN110660105 A CN 110660105A CN 201810712870 A CN201810712870 A CN 201810712870A CN 110660105 A CN110660105 A CN 110660105A
Authority
CN
China
Prior art keywords
image
calibration parameters
matching
panoramic
residual error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810712870.XA
Other languages
English (en)
Other versions
CN110660105B (zh
Inventor
谢小燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810712870.XA priority Critical patent/CN110660105B/zh
Publication of CN110660105A publication Critical patent/CN110660105A/zh
Application granted granted Critical
Publication of CN110660105B publication Critical patent/CN110660105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种全景环视***的标定参数优化方法和装置，该方法为：获取全景环视***在同一时刻采集的一组区域图像；针对所述一组区域图像中每对相邻区域图像，在该相邻区域图像的重合区内提取特征点，并对提取到的相邻区域图像的特征点进行过匹配，得到匹配特征点对；得到每对相邻区域图像对应的匹配特征点对后，根据得到的匹配特征点对优化全景环视***的标定参数。该方法利用通过在区域图像的重合区中选取特征点以标定参数进行优化，将全景环视***中所有相机的外参关联到一起进行优化，从而改善全景图像的拼接效果，解决闭环处的闭合问题。

Description

一种全景环视***的标定参数优化方法及装置
技术领域
本申请涉及计算机视觉领域，尤其涉及一种全景环视***的标定参数优化方法及装置。
背景技术
全景环视***通过在车辆四周安装四个或者更多的鱼眼相机，将这些鱼眼相机拍摄到的画面进行实时拼接并在一个画面同时显示，最终可以得到一个以空中俯视角度的全景影像。如图1所示，即为一车辆全景图像。
由于鱼眼相机提供的图像存在着畸变，即除了画面中心的景物保持不变之外，其他本应水平或垂直的景物都发生了相应的变化，所以需要对鱼眼相机进行标定，之后利用标定参数将畸变图像校正为无畸变图像，再将多张无畸变图像拼接为车辆周边的全景图像。
标定的实质是建立图像像素位置与真实场景位置的关系。从真实场景坐标到图像坐标，需要进行多次坐标系投影变换。为此，建立4个坐标系：世界坐标系、相机坐标系、成像面坐标系和图像坐标系。标定参数包括相机外参和相机内参；从世界坐标系到相机坐标系的投影变换关系仅与相机的安装位置和安装方式相关，称为相机外参。从相机坐标至图像坐标的变换则与相机自身的芯片和工艺相关，一旦相机组装完成便不受相机安装位置、使用环境等因素影响，称之为相机内参。相机内参与使用环境和安装方式无关，一旦设计完成可视为恒定参数，而外参因为受安装、参考物和使用环境影响，可能有较大变化，需要根据实际情况进行标定。
发明内容
本申请提供一种全景环视***的标定参数优化方法及装置，用以提高标定参数的精度，改善车辆全景图像的拼接效果。
具体地，本申请是通过如下技术方案实现的：
本申请第一方面，提供了一种全景环视***的标定参数优化方法，包括：
获取全景环视***在同一时刻采集的一组区域图像；
针对所述一组区域图像中每对相邻区域图像，在该相邻区域图像的重合区内提取特征点，并对提取到的相邻区域图像的特征点进行过匹配，得到匹配特征点对；
得到每对相邻区域图像的匹配特征点对后，根据得到的匹配特征点对优化全景环视***的标定参数。
本申请第二方面，提供了一种全景环视***的标定参数优化装置，具有实现上述第一方面提供的方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块或单元。
一种实现方式中，所述装置可以包括：
获取模块，用于获取全景环视***在同一时刻采集的一组区域图像；
匹配模块，用于针对所述一组区域图像中每对相邻区域图像，在该相邻区域图像的重合区内提取特征点，并对提取到的相邻区域图像的特征点进行过匹配，得到匹配特征点对；
优化模块，用于得到每对相邻区域图像的匹配特征点对后，根据得到的匹配特征点对优化全景环视***的标定参数。
另一种实现方式中，所述装置可以包括处理器、存储器和总线，所述处理器和所述存储器之间通过总线相互连接；所述存储器中存储机器可读指令，所述处理器通过调用所述机器可读指令，执行本申请第一方面提供的方法。
本申请针对车辆上的鱼眼相机在同一时刻拍摄到的区域图像，在这些区域图像的重合区中选取特征点对标定参数进行优化，以相机之间两两关联的形式，将全景环视***中所有相机的外参关联到一起进行优化，从而改善全景图像的拼接效果，解决闭环处的闭合问题。
附图说明
图1是车辆全景图像的示意图；
图2是未闭合的车辆全景图像的示意图；
图3是本申请实施例提供的方法流程图；
图4是本申请实施例提供的由四幅区域图像拼成的全景图像的示意图；
图5是本申请实施例提供的标定参数优化的详细流程图；
图6是本申请实施例提供的装置模块框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
针对现有的全景环视***的标定方案存在的标定精度、效率和适用性低的问题，公开号为CN105608693A、发明名称为《车载全景环视的标定***及方法》的专利方案提出了一种标定参数的优化方法，该方法为：定义一个优化目标，即误差函数，当误差函数达到最小时，即表明当前的标定参数就是当前信息下的最优解；该误差函数为：
Figure BDA0001716923420000041
其中，m表示全景环视***中相机的总数，n表示特征物的特征点的总数，Pki表示第i个图像特征点在第k个相机中的投影位置，Kk表示第K个相机投影矩阵，Pi表示第i个实际特征点在全局坐标系中的三维坐标，函数D(*，*)表示图像空间中的欧氏距离。
从上述公式可见，该专利方案将一幅图像中的所有特征点都参与计算，以特征点的重投影误差作为约束函数，经过迭代优化后得到相机的内外参；此方法本质上并未建立相机之间的联系，即各个相机之间的内外参优化是相互独立的，从而很可能造成全景图像首尾衔接的地方不闭合的问题，这一点从该专利方案在得到优化后的标定参数后还要检验标定参数的准确性可以得到佐证。
如图2所示，即为一未闭合的车辆全景图像，该未闭合表现为图像中车辆左侧的一条直线发生了错位。未闭合的全景图像在车辆运行过程中将给驾驶员带来不便甚至危险。
为解决拼接成的全景图像有可能存在图像不闭合的问题，本申请提出了一种应用于全景环视***的标定参数优化方案，本方案针对车辆上的鱼眼相机在同一时刻拍摄到的区域图像，在这些区域图像的重合区中选取特征点对标定参数进行优化，如此相当于将全景环视***中所有相机的外参关联到一起进行优化，从而可以改善全景图像的拼接效果。
本申请提供的技术方案可以应用于车辆出厂时的标定过程，也可以应用于车辆维修保养时的重标定过程。本申请提供的技术方案的执行主体可以是车载控制器，也可以是通过有线或无线方式外接到车辆的控制器。
参见图3，在一个实施方案中，本申请提供的全景环视***的标定参数优化方法可以包括以下步骤：
步骤301：获取全景环视***在同一时刻采集的一组区域图像。
这里全景环视***在同一时刻采集的区域图像数量等同于车辆四周安装的鱼眼相机数量，目前全景环视***一般会在车辆四周安装四个或者更多的鱼眼相机，因此这里获取到的一组区域图像通常至少包括四幅区域图像。
步骤302：针对上述一组区域图像中每对相邻区域图像，在该相邻区域图像的重合区内提取特征点，并对提取到的相邻区域图像的特征点进行过匹配，得到匹配特征点对。
匹配特征点对表征了空间同一点在相邻两区域图像上的位置。
这里以图4所示的全景图像对步骤302的实现过程进行示例性说明。该全景图像由四幅区域图像拼接而成，最中心的矩形区域表示车辆，车辆***的矩形区域表示鱼眼相机拍摄到的区域图像，图4中用较深的颜色示出了区域图像之间的重合区。针对每对相邻区域图像，比如区域图像1和区域图像2，可以执行以下步骤：
第一步，确认区域图像1与区域图像2的重合区；
第二步，在区域图像1和区域图像2上的该重合区内分别提取特征点；
第三步，对提取的特征点进行匹配，得到匹配特征点对。图像特征点的提取和匹配是计算机视觉中的基本问题，常用的特征点算法有SIFT、SURF、FAST等，这里对特征点的提取和匹配过程不作详述。
经过以上步骤，即可得到区域图像1与区域图像2在其重合区内的匹配特征点对。例如，图4中，A点和B点便是区域图像1与区域图像2的重合区中的一对匹配特征点对；理想情况下，A点和B点在拼接的全景图像上应该重合为一点，但实际中由于外参标定不够精确等原因，会导致A点和B点存在错位。
通过类似处理，可以得到区域图像1与区域图像4、区域图像2与区域图像3、区域图像3与区域图像4的匹配特征点对，组成匹配特征点对的特征点均位于图4中的重合区。
步骤303：得到每对相邻区域图像的匹配特征点对后，根据得到的匹配特征点对优化全景环视***的标定参数。
在一个可选的实施例中，步骤303所描述的标定参数优化过程可通过图5所示的方法实现：
步骤501：基于初始标定参数计算每个匹配特征点对的残差，残差为组成匹配特征点对的两个特征点投影到同一图像中时该两个特征点的投影坐标之间的误差。
组成匹配特征点对的两个特征点的重合性越好，计算得到的残差的绝对值越小。当两个特征点完全重合时，对应的残差值为零。
作为一种实现方式，假设组成匹配特征点对的两个特征点A点和B点分别位于图像i和图像j上，如果将B点投影到图像i中，那么该匹配特征点对的残差可以通过以下公式计算得到：
Figure BDA0001716923420000061
其中，
Figure BDA0001716923420000062
为A点在图像i中的坐标，
Figure BDA0001716923420000063
表示B点投影到图像i中的投影坐标，
Figure BDA0001716923420000064
计算公式如下：
Figure BDA0001716923420000065
其中，
Figure BDA0001716923420000066
为B点在图像j中的坐标，Ki和[RiTi]分别为负责拍摄图像i的相机相对于世界坐标系的内参和外参，Kj和[RjTj]分别为负责拍摄图像j的相机相对于世界坐标系的内参和外参，和[RjTj]-1为Kj和[RjTj]的逆矩阵。
对于相机内参矩阵(比如上述Ki和Kj)，其形式可以表示如下：
Figure BDA0001716923420000067
其中，fu和fv为焦距，u0和v0为主点坐标，γ(＝0)为偏度系数。这些都是相机固有属性，每个相机对应一个相机内参矩阵。
对于相机外参中的旋转矩阵R(比如上述Ri和Rj)，其形式可以表示如下：
Figure BDA0001716923420000071
对于相机外参中的平移向量T(比如上述Ti和Tj)，其形式可以表示如下：
需要说明的是，上述公式(1)和公式(2)主要基于将B点投影到A点所在的图像i这一前提推导得到；此外，若要将B点和A点投影到除图像i和图像j以外的另一图像上计算A点和B点的投影坐标之间的误差，则需要对上述公式进行相关变型。并且，本申请技术方案提及的所有公式可以有更多符合逻辑的变型。
步骤502：根据基于初始标定参数计算得到的每个匹配特征点对的残差，对初始标定参数进行优化，得到新的标定参数。
作为一种实现方式，可以通过以下步骤得到新的标定参数：
S5021：对基于初始标定参数计算得到的每个匹配特征点对的残差进行累加，得到残差总和。
例如，可以将基于初始标定参数计算得到的每个匹配特征点对的残差，代入以下公式得到残差总和：
Figure BDA0001716923420000073
其中Pt代表全景环视***的标定参数，即***中所有相机的标定参数，每个相机的标定参数可以表示为一个1*10维的矩阵，将每个相机的内参K和外参[R T]进行组合变型后，可以得到该相机1*10维的标定参数矩阵。
e(Pt)表示对基于Pt计算得到的每个匹配特征点的残差进行累加得到的残差总和；n为全景环视***在同一时刻拍摄到的区域图像数量，
Figure BDA0001716923420000074
表示图像i的匹配图像，
Figure BDA0001716923420000075
表示图像i与图像j的匹配特征点对，
Figure BDA0001716923420000076
为残差
Figure BDA0001716923420000077
的误差迭代函数。
这里
Figure BDA0001716923420000081
可以有多种形式，这里简单列举两种。
第一种，
Figure BDA0001716923420000082
可以等于基于此上述公式(6)相当于直接对每个匹配特征点对的残差求和，得到的和值即为残差总和。
第二种，
Figure BDA0001716923420000084
可以满足以下公式要求：
Figure BDA0001716923420000085
其中，σ为已知常数。
S5022：根据得到的残差总和，计算迭代增量矩阵ΔPt。
其中，迭代增量矩阵ΔPt可以满足以下公式要求：
ΔPt＝[JT(Pt)J(Pt)+μC]-1JT(Pt)e(Pt) 公式(8)
其中，J(Pt)为Pt的雅克比矩阵，JT(Pt)为J(Pt)的转置，μC为用于控制迭代速度的置信矩阵。
置信矩阵C的形式为：
Figure BDA0001716923420000086
σθ为
Figure BDA0001716923420000087
σf为
Figure BDA0001716923420000088
二者均为常数；在迭代过程中若后一次计算得到的残差总和比前一次计算得到的残差总和小，即e(Pt)<e(Pt+1)，则使μ降低，反之则增大(μ为系数)。
S5023：根据迭代增量矩阵ΔPt和初始标定参数Pt，可以得到新的标定参数Pt+1＝Pt+ΔPt。
步骤503：进行迭代终止条件判断。
这里的迭代终止条件可以是迭代次数达到设定上限值，或者相邻两次迭代所得的标定参数Pt+1和Pt之间的差值小于设定阈值。只要满足以上任一个条件，就认为满足迭代终止条件。
若满足迭代终止条件，则可以将该新的标定参数作为全景环视***的最终标定参数。若不满足迭代终止条件，则需继续对该新的标定参数进行优化，即返回步骤501，将该新的标定参数作为初始标定参数，重新执行步骤501-步骤503。
得到全景环视***的最终标定参数后，即可以利用该最终标定参数中的外参，对全景环视***进行设置。
综上所述，本申请的技术方案针对车辆上的鱼眼相机在同一时刻拍摄到的区域图像，在这些区域图像的重合区中选取特征点对标定参数进行优化，以相机之间两两关联的形式，将全景环视***中所有相机的外参关联到一起进行优化，从而改善全景图像的拼接效果，解决闭环处的闭合问题。
以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述。
参见图6，图6为本申请提供的全景环视***的标定参数优化装置的功能模块图。如图6所示，该装置包括：
获取模块601，用于获取全景环视***在同一时刻采集的一组区域图像。
匹配模块602，用于针对所述一组区域图像中每对相邻区域图像，在该相邻区域图像的重合区内提取特征点，并对提取到的相邻区域图像的特征点进行过匹配，得到匹配特征点对。
优化模块603，用于得到每对相邻区域图像的匹配特征点对后，根据得到的匹配特征点对优化全景环视***的标定参数。
在其中一种实施方式中，所述优化模块603，用于基于初始标定参数计算每个匹配特征点对的残差，所述残差为组成匹配特征点对的两个特征点投影到同一图像中时该两个特征点的投影坐标之间的误差；根据基于初始标定参数计算得到的每个匹配特征点对的残差，对初始标定参数进行优化，得到新的标定参数；进行迭代终止条件判断，若满足迭代终止条件，则将该新的标定参数作为全景环视***的最终标定参数；若不满足迭代终止条件，则继续对该新的标定参数进行优化直至满足迭代终止条件。
在其中一种实施方式中，所述优化模块603，用于对基于初始标定参数计算得到的每个匹配特征点的残差进行累加，得到残差总和；根据得到的残差总和，计算迭代增量矩阵ΔPt；根据迭代增量矩阵ΔPt和初始标定参数Pt，得到新的标定参数Pt+1＝Pt+ΔPt。
在其中一种实施方式中，每个匹配特征点对的残差满足以下公式要求：
假设组成匹配特征点对的两个特征点A点和B点分别位于图像i和图像j上，则该匹配特征点对的残差为：
Figure BDA0001716923420000101
其中，
Figure BDA0001716923420000102
为A点在图像i中的坐标，
Figure BDA0001716923420000103
表示B点投影到图像i中的投影坐标，
Figure BDA0001716923420000104
计算公式如下：
其中，
Figure BDA0001716923420000106
为B点在图像j中的坐标，Ki和[RiTi]分别为负责拍摄图像i的相机相对于世界坐标系的内参和外参，Kj和[RjTj]分别为负责拍摄图像j的相机相对于世界坐标系的内参和外参，
Figure BDA0001716923420000107
和[RjTj]-1为Kj和[RjTj]的逆矩阵。
在其中一种实施方式中，所述残差总和满足以下公式要求：
Figure BDA0001716923420000108
其中Pt为全景环视***的标定参数，e(Pt)为对基于Pt计算得到的每个匹配特征点对的残差进行累加得到的残差总和；n为所述一组区域图像包括的区域图像数量，表示图像i的匹配图像，表示图像i与图像j的匹配特征点对，
Figure BDA00017169234200001011
为残差
Figure BDA00017169234200001012
的误差迭代函数。
在其中一种实施方式中，所述迭代增量矩阵ΔPt满足以下公式要求：
ΔPt＝[JT(Pt)J(Pt)+μC]-1JT(Pt)e(Pt)
其中，J(Pt)为Pt的雅克比矩阵，JT(Pt)为J(Pt)的转置，μC为用于控制迭代速度的置信矩阵。
在其中一种实施方式中，所述
Figure BDA0001716923420000111
满足以下公式要求：
Figure BDA0001716923420000112
其中，σ为已知常数。
在其中一种实施方式中，所述迭代终止条件为：迭代次数达到设定上限值；或，相邻两次迭代所得的标定参数之间的差值小于设定阈值。
需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。在本申请的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
至此，完成图5所示装置的描述。
本申请还提供一种全景环视***的标定参数优化装置，包括处理器、存储器和总线，所述处理器和所述存储器之间通过总线相互连接；所述存储器中存储机器可读指令，所述处理器通过调用所述机器可读指令，以实现如图3所示的方法。
此外，本申请还提供了一种机器可读存储介质，所述机器可读存储介质存储有机器可读指令，所述机器可读指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现图3所示的方法。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (18)

1.一种全景环视***的标定参数优化方法，其特征在于，包括：
获取全景环视***在同一时刻采集的一组区域图像；
针对所述一组区域图像中每对相邻区域图像，在该相邻区域图像的重合区内提取特征点，并对提取到的相邻区域图像的特征点进行过匹配，得到匹配特征点对；
得到每对相邻区域图像的匹配特征点对后，根据得到的匹配特征点对优化全景环视***的标定参数。
2.如权利要求1所述的方法，其特征在于，所述根据得到的匹配特征点对优化全景环视***的标定参数，包括：
基于初始标定参数计算每个匹配特征点对的残差，所述残差为组成匹配特征点对的两个特征点投影到同一图像中时该两个特征点的投影坐标之间的误差；
根据基于初始标定参数计算得到的每个匹配特征点对的残差，对初始标定参数进行优化，得到新的标定参数；
进行迭代终止条件判断，若满足迭代终止条件，则将该新的标定参数作为全景环视***的最终标定参数；若不满足迭代终止条件，则继续对该新的标定参数进行优化直至满足迭代终止条件。
3.如权利要求2所述的方法，其特征在于，所述根据基于初始标定参数计算得到的每个匹配特征点对的残差，对初始标定参数进行优化，得到新的标定参数，包括：
对基于初始标定参数计算得到的每个匹配特征点的残差进行累加，得到残差总和；
根据得到的残差总和，计算迭代增量矩阵ΔPt；
根据迭代增量矩阵ΔPt和初始标定参数Pt，得到新的标定参数Pt+1＝Pt+ΔPt。
4.如权利要求3所述的方法，其特征在于，每个匹配特征点对的残差满足以下公式要求：
假设组成匹配特征点对的两个特征点A点和B点分别位于图像i和图像j上，则该匹配特征点对的残差为：
其中，
Figure FDA0001716923410000022
为A点在图像i中的坐标，
Figure FDA0001716923410000023
表示B点投影到图像i中的投影坐标，
Figure FDA0001716923410000024
计算公式如下：
Figure FDA0001716923410000025
其中，
Figure FDA0001716923410000026
为B点在图像j中的坐标，Ki和[Ri Ti]分别为负责拍摄图像i的相机相对于世界坐标系的内参和外参，Kj和[Rj Tj]分别为负责拍摄图像j的相机相对于世界坐标系的内参和外参，
Figure FDA0001716923410000027
和[Rj Tj]-1为Kj和[Rj Tj]的逆矩阵。
5.如权利要求4所述的方法，其特征在于，所述残差总和满足以下公式要求：
其中Pt为全景环视***的标定参数，e(Pt)为对基于Pt计算得到的每个匹配特征点对的残差进行累加得到的残差总和；n为所述一组区域图像包括的区域图像数量，
Figure FDA0001716923410000029
表示图像i的匹配图像，
Figure FDA00017169234100000210
表示图像i与图像j的匹配特征点对，
Figure FDA00017169234100000211
为残差的误差迭代函数。
6.如权利要求4所述的方法，其特征在于，所述迭代增量矩阵ΔPt满足以下公式要求：
Figure FDA00017169234100000213
其中，J(Pt)为Pt的雅克比矩阵，JT(Pt)为J(Pt)的转置，μC为用于控制迭代速度的置信矩阵。
7.如权利要求5所述的方法，其特征在于，所述
Figure FDA00017169234100000214
满足以下公式要求：
Figure FDA00017169234100000215
其中，σ为已知常数。
8.如权利要求2所述的方法，其特征在于，所述迭代终止条件为：
迭代次数达到设定上限值；或
相邻两次迭代所得的标定参数之间的差值小于设定阈值。
9.一种全景环视***的标定参数优化装置，其特征在于，包括：
获取模块，用于获取全景环视***在同一时刻采集的一组区域图像；
匹配模块，用于针对所述一组区域图像中每对相邻区域图像，在该相邻区域图像的重合区内提取特征点，并对提取到的相邻区域图像的特征点进行过匹配，得到匹配特征点对；
优化模块，用于得到每对相邻区域图像的匹配特征点对后，根据得到的匹配特征点对优化全景环视***的标定参数。
10.如权利要求9所述的装置，其特征在于，
所述优化模块，用于基于初始标定参数计算每个匹配特征点对的残差，所述残差为组成匹配特征点对的两个特征点投影到同一图像中时该两个特征点的投影坐标之间的误差；根据基于初始标定参数计算得到的每个匹配特征点对的残差，对初始标定参数进行优化，得到新的标定参数；进行迭代终止条件判断，若满足迭代终止条件，则将该新的标定参数作为全景环视***的最终标定参数；若不满足迭代终止条件，则继续对该新的标定参数进行优化直至满足迭代终止条件。
11.如权利要求10所述的装置，其特征在于，
所述优化模块，用于对基于初始标定参数计算得到的每个匹配特征点的残差进行累加，得到残差总和；根据得到的残差总和，计算迭代增量矩阵ΔPt；根据迭代增量矩阵ΔPt和初始标定参数Pt，得到新的标定参数Pt+1＝Pt+ΔPt。
12.如权利要求11所述的装置，其特征在于，每个匹配特征点对的残差满足以下公式要求：
假设组成匹配特征点对的两个特征点A点和B点分别位于图像i和图像j上，则该匹配特征点对的残差为：
Figure FDA0001716923410000041
其中，
Figure FDA0001716923410000042
为A点在图像i中的坐标，
Figure FDA0001716923410000043
表示B点投影到图像i中的投影坐标，
Figure FDA0001716923410000044
计算公式如下：
Figure FDA0001716923410000045
其中，
Figure FDA0001716923410000046
为B点在图像j中的坐标，Ki和[Ri Ti]分别为负责拍摄图像i的相机相对于世界坐标系的内参和外参，Kj和[Rj Tj]分别为负责拍摄图像j的相机相对于世界坐标系的内参和外参，
Figure FDA0001716923410000047
和[Rj Tj]-1为Kj和[Rj Tj]的逆矩阵。
13.如权利要求12所述的装置，其特征在于，所述残差总和满足以下公式要求：
Figure FDA0001716923410000048
其中Pt为全景环视***的标定参数，e(Pt)为对基于Pt计算得到的每个匹配特征点对的残差进行累加得到的残差总和；n为所述一组区域图像包括的区域图像数量，
Figure FDA0001716923410000049
表示图像i的匹配图像，
Figure FDA00017169234100000410
表示图像i与图像j的匹配特征点对，
Figure FDA00017169234100000411
为残差
Figure FDA00017169234100000412
的误差迭代函数。
14.如权利要求12所述的装置，其特征在于，所述迭代增量矩阵ΔPt满足以下公式要求：
其中，J(Pt)为Pt的雅克比矩阵，JT(Pt)为J(Pt)的转置，μC为用于控制迭代速度的置信矩阵。
15.如权利要求13所述的装置，其特征在于，所述
Figure FDA00017169234100000414
满足以下公式要求：
Figure FDA00017169234100000415
其中，σ为已知常数。
16.如权利要求10所述的装置，其特征在于，所述迭代终止条件为：
迭代次数达到设定上限值；或
相邻两次迭代所得的标定参数之间的差值小于设定阈值。
17.一种全景环视***的标定参数优化装置，其特征在于，包括处理器、存储器和总线，所述处理器和所述存储器之间通过总线相互连接；
所述存储器中存储机器可读指令，所述处理器通过调用所述机器可读指令，执行如权利要求1至8任一项所述的方法。
18.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可读指令，所述机器可读指令在被处理器调用和执行时，所述机器可读指令促使所述处理器实现权利要求1至8任一项所述的方法。
CN201810712870.XA 2018-06-29 2018-06-29 一种全景环视***的标定参数优化方法及装置 Active CN110660105B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810712870.XA CN110660105B (zh) 2018-06-29 2018-06-29 一种全景环视***的标定参数优化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810712870.XA CN110660105B (zh) 2018-06-29 2018-06-29 一种全景环视***的标定参数优化方法及装置

Publications (2)

Publication Number Publication Date
CN110660105A true CN110660105A (zh) 2020-01-07
CN110660105B CN110660105B (zh) 2022-05-31

Family

ID=69027788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810712870.XA Active CN110660105B (zh) 2018-06-29 2018-06-29 一种全景环视***的标定参数优化方法及装置

Country Status (1)

Country Link
CN (1) CN110660105B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445537A (zh) * 2020-06-18 2020-07-24 浙江中控技术股份有限公司 一种摄像机的标定方法及***
CN111652802A (zh) * 2020-05-19 2020-09-11 杭州海康威视数字技术股份有限公司 全景图制作方法、基于全景图的交互方法及装置
CN112767496A (zh) * 2021-01-22 2021-05-07 阿里巴巴集团控股有限公司 标定方法、设备及***
CN112785652A (zh) * 2020-12-24 2021-05-11 广州小鹏自动驾驶科技有限公司 一种全景标定方法和装置
CN113139490A (zh) * 2021-04-30 2021-07-20 中德（珠海）人工智能研究院有限公司 一种图像特征匹配方法、装置、计算机设备及存储介质
CN113393529A (zh) * 2020-03-12 2021-09-14 浙江宇视科技有限公司 摄像机的标定方法、装置、设备和介质
CN113706624A (zh) * 2020-05-20 2021-11-26 杭州海康威视数字技术股份有限公司 相机外参修正方法、装置及车载环视***
CN115082573A (zh) * 2022-08-19 2022-09-20 小米汽车科技有限公司 参数标定方法、装置、车辆及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877140A (zh) * 2009-12-18 2010-11-03 北京邮电大学 一种基于全景图的全景虚拟游方法
CN103985118A (zh) * 2014-04-28 2014-08-13 无锡观智视觉科技有限公司 一种车载环视***摄像头参数标定方法
WO2016005433A1 (en) * 2014-07-11 2016-01-14 Agt International Gmbh Automatic spatial calibration of camera network
CN105608693A (zh) * 2015-12-18 2016-05-25 上海欧菲智能车联科技有限公司 车载全景环视的标定***及方法
CN205563716U (zh) * 2016-03-30 2016-09-07 广州市盛光微电子有限公司 一种基于多镜头多传感器的全景相机标定装置
CN106097300A (zh) * 2016-05-27 2016-11-09 西安交通大学 一种基于高精度运动平台的多相机标定方法
US20160350904A1 (en) * 2014-03-18 2016-12-01 Huawei Technologies Co., Ltd. Static Object Reconstruction Method and System
CN106651767A (zh) * 2016-12-30 2017-05-10 北京星辰美豆文化传播有限公司 一种获取全景图像的方法及装置
CN106846415A (zh) * 2017-01-24 2017-06-13 长沙全度影像科技有限公司 一种多路鱼眼相机双目标定装置及方法
CN108171759A (zh) * 2018-01-26 2018-06-15 上海小蚁科技有限公司 双鱼眼镜头全景相机的标定方法及装置、存储介质、终端

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877140A (zh) * 2009-12-18 2010-11-03 北京邮电大学 一种基于全景图的全景虚拟游方法
US20160350904A1 (en) * 2014-03-18 2016-12-01 Huawei Technologies Co., Ltd. Static Object Reconstruction Method and System
CN103985118A (zh) * 2014-04-28 2014-08-13 无锡观智视觉科技有限公司 一种车载环视***摄像头参数标定方法
WO2016005433A1 (en) * 2014-07-11 2016-01-14 Agt International Gmbh Automatic spatial calibration of camera network
CN105608693A (zh) * 2015-12-18 2016-05-25 上海欧菲智能车联科技有限公司 车载全景环视的标定***及方法
CN205563716U (zh) * 2016-03-30 2016-09-07 广州市盛光微电子有限公司 一种基于多镜头多传感器的全景相机标定装置
CN106097300A (zh) * 2016-05-27 2016-11-09 西安交通大学 一种基于高精度运动平台的多相机标定方法
CN106651767A (zh) * 2016-12-30 2017-05-10 北京星辰美豆文化传播有限公司 一种获取全景图像的方法及装置
CN106846415A (zh) * 2017-01-24 2017-06-13 长沙全度影像科技有限公司 一种多路鱼眼相机双目标定装置及方法
CN108171759A (zh) * 2018-01-26 2018-06-15 上海小蚁科技有限公司 双鱼眼镜头全景相机的标定方法及装置、存储介质、终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHONG QU ET AL.: "The Improved Algorithm of Fast Panorama Stitching for Image Sequence and Reducing the Distortion Errors", 《MATHEMATICAL PROBLEMS IN ENGINEERING》 *
张静 等: "一种适用于广角、鱼眼及折反射***的标定方法", 《科学技术与工程》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113393529B (zh) * 2020-03-12 2024-05-10 浙江宇视科技有限公司 摄像机的标定方法、装置、设备和介质
CN113393529A (zh) * 2020-03-12 2021-09-14 浙江宇视科技有限公司 摄像机的标定方法、装置、设备和介质
CN111652802B (zh) * 2020-05-19 2024-03-05 杭州海康威视数字技术股份有限公司 全景图制作方法、基于全景图的交互方法及装置
CN111652802A (zh) * 2020-05-19 2020-09-11 杭州海康威视数字技术股份有限公司 全景图制作方法、基于全景图的交互方法及装置
CN113706624A (zh) * 2020-05-20 2021-11-26 杭州海康威视数字技术股份有限公司 相机外参修正方法、装置及车载环视***
CN111445537B (zh) * 2020-06-18 2020-09-29 浙江中控技术股份有限公司 一种摄像机的标定方法及***
CN111445537A (zh) * 2020-06-18 2020-07-24 浙江中控技术股份有限公司 一种摄像机的标定方法及***
CN112785652A (zh) * 2020-12-24 2021-05-11 广州小鹏自动驾驶科技有限公司 一种全景标定方法和装置
CN112767496A (zh) * 2021-01-22 2021-05-07 阿里巴巴集团控股有限公司 标定方法、设备及***
CN112767496B (zh) * 2021-01-22 2023-04-07 阿里巴巴集团控股有限公司 标定方法、设备及***
CN113139490B (zh) * 2021-04-30 2024-02-23 中德（珠海）人工智能研究院有限公司 一种图像特征匹配方法、装置、计算机设备及存储介质
CN113139490A (zh) * 2021-04-30 2021-07-20 中德（珠海）人工智能研究院有限公司 一种图像特征匹配方法、装置、计算机设备及存储介质
CN115082573A (zh) * 2022-08-19 2022-09-20 小米汽车科技有限公司 参数标定方法、装置、车辆及存储介质

Also Published As

Publication number Publication date
CN110660105B (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
CN110660105B (zh) 一种全景环视***的标定参数优化方法及装置
CN108805934B (zh) 一种车载摄像机的外部参数标定方法及装置
US9729858B2 (en) Stereo auto-calibration from structure-from-motion
WO2021139176A1 (zh) 基于双目摄像机标定的行人轨迹跟踪方法、装置、计算机设备及存储介质
US11233983B2 (en) Camera-parameter-set calculation apparatus, camera-parameter-set calculation method, and recording medium
CN111950426A (zh) 目标检测方法、装置及运载工具
CN112257698B (zh) 环视图车位检测结果的处理方法、装置、设备和存储介质
CN112184827B (zh) 校准多个摄像机的方法及装置
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
CN114494462A (zh) 一种基于Yolov5和改进跟踪算法的双目相机测距方法
CN111652937B (zh) 车载相机标定方法和装置
CN105488766A (zh) 鱼眼镜头图像校正方法及装置
JP5228614B2 (ja) パラメータ計算装置、パラメータ計算システムおよびプログラム
CN111243034A (zh) 一种全景辅助泊车标定方法、装置、设备及存储介质
CN112465915A (zh) 一种车载环视***标定方法
CN113793266A (zh) 一种多目机器视觉图像拼接方法、***及存储介质
CN109658451B (zh) 一种深度感知方法，装置和深度感知设备
CN110097064B (zh) 一种建图方法及装置
KR101697229B1 (ko) 차량용 영상 정합을 위한 차선 정보 기반의 자동보정장치 및 그 방법
CN108520541B (zh) 一种广角摄像机的标定方法
JP7311407B2 (ja) 姿勢推定装置、および、姿勢推定方法
CN111260538B (zh) 基于长基线双目鱼眼相机的定位及车载终端
TWI424259B (zh) 相機擺置角度校正法
Geiger Monocular road mosaicing for urban environments
CN112399172B (zh) 校准多个摄像机的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant