CN107808398B - 摄像头参数算出装置以及算出方法、程序、记录介质 - Google Patents

摄像头参数算出装置以及算出方法、程序、记录介质 Download PDF

Info

Publication number
CN107808398B
CN107808398B CN201710573597.2A CN201710573597A CN107808398B CN 107808398 B CN107808398 B CN 107808398B CN 201710573597 A CN201710573597 A CN 201710573597A CN 107808398 B CN107808398 B CN 107808398B
Authority
CN
China
Prior art keywords
camera
dimensional
camera parameter
cameras
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710573597.2A
Other languages
English (en)
Other versions
CN107808398A (zh
Inventor
若井信彦
登一生
吾妻健夫
佐藤智
丸山亚矢子
中田干也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017057505A external-priority patent/JP7038315B2/ja
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN107808398A publication Critical patent/CN107808398A/zh
Application granted granted Critical
Publication of CN107808398B publication Critical patent/CN107808398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/042—Calibration or calibration artifacts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开涉及摄像头参数算出装置以及算出方法、程序、记录介质。摄像头参数算出装置具备：点群取得器(107)，其取得表示一个或多个摄像头的拍摄空间所包含的多个三维点各自的三维位置的三维点群数据；摄像头参数算出器(108)，其基于所述三维点群数据和所述各摄像头的初始摄像头参数，针对所述多个三维点的各三维点求出由所述一个或多个摄像头拍摄到的各个图像中的对应点，基于所述各摄像头的初始摄像头参数和所述各个图像中的所述对应点的像素值，算出所述各摄像头的摄像头参数；以及摄像头参数输出器(109)，其输出所述算出的所述各摄像头的所述摄像头参数。

Description

摄像头参数算出装置以及算出方法、程序、记录介质
技术领域
本公开涉及算出摄像头参数的技术。
背景技术
为了进行摄像头参数的算出即摄像头的校正，需要使三维空间中的三维坐标与二维图像中的像素位置相对应。为了该目的，以往通过对形状已知的格子图案(checkpattern)等校正指标进行拍摄、并检测格子图案的交点，由此进行使三维坐标与二维图像中的像素位置相对应(例如，参照专利文献1、2以及非专利文献1、2)。
现有技术文献
专利文献1：日本专利4681856号公报
专利文献2：日本专利5580164号公报
非专利文献1：Roger Y.Tsai.A versatile camera calibration technique forhigh-accuracy 3D machine vision metrology using off-the-shelf TV cameras andlenses.IEEE Journal of Robotics and Automation.Vol.3，pp.323-344，1987
非专利文献2：Zhengyou Zhang.A flexible new technique for cameracalibration.IEEE Transactions on Pattern Analysis and MachineIntelligence.Vol.22，pp.1330-1334，2000
发明内容
在现有的摄像头校正中，使用三维构造已知的校正指标。因此，需要加工精度高的校正指标和大的拍摄空间。另外，在这样的广角摄像头的校正中，为了将校正指标配置在整个视野，需要规模大的校正设备。
本公开是鉴于上述课题而完成的，目的在于不使用三维构造已知的校正指标而校正单眼摄像头以及立体摄像头、多眼摄像头。
为了达成上述目的，所公开的一个技术方案涉及的摄像头参数算出装置，包括：点群取得器，其取得三维点群数据，所述三维点群数据表示一个或多个摄像头所共同的拍摄空间所包含的多个三维点的三维坐标；摄像头参数算出器，其基于所述三维点群数据和所述一个或多个摄像头的初始的一个或多个摄像头参数，针对所述多个三维点的各三维点算出由所述一个或多个摄像头拍摄到的一个或多个图像中的对应点的图像坐标，基于所述一个或多个图像中的所述图像坐标处的像素值，算出所述一个或多个摄像头的所述一个或多个摄像头参数；以及摄像头参数输出器，其输出所述一个或多个摄像头参数，所述一个或多个摄像头、所述初始的一个或多个摄像头参数、所述一个或多个图像、所述一个或多个摄像头参数一一对应。
此外，这些总括性或具体的技术方案既可以通过***、方法、集成电路、计算机程序或计算机可读取的记录介质来实现，也可以通过装置、***、方法、集成电路、计算机程序和计算机可读取的记录介质的任意组合来实现。计算机可读取的记录介质例如包括CD-ROM(Compact Disc-Read Only Memory)等非易失性记录介质。
根据本公开涉及的摄像头校正技术，通过基于利用摄像头参数将三维坐标投影到图像上的像素坐标处的像素值来评价摄像头参数，能够不使用三维构造已知的校正指标而算出摄像头参数、即校正摄像头。因此，能够不进行三维空间中的三维坐标与二维图像中的像素位置的关联地校正摄像头。从本说明书及附图中可知晓本公开的一个技术方案的附加的益处及优点。该益处和/或优点可以单独地由本说明书及附图所公开的各种实施方式及特征而得到，无需为了获得一个以上益处和/或优点而实施所有的实施方式及特征。
附图说明
图1是表示实施方式1涉及的摄像头参数算出装置的结构的一例的框图。
图2是表示实施方式1涉及的摄像头参数算出装置的工作的一例的流程图。
图3是表示实施方式1涉及的CG(计算机图形)图像的一例的图。
图4是表示Cx正确的摄像头参数附近的评价值的图。
图5是表示Cy正确的摄像头参数附近的评价值的图。
图6是表示f正确的摄像头参数附近的评价值的图。
图7是表示d’x正确的摄像头参数附近的评价值的图。
图8是表示Rx正确的摄像头参数附近的评价值的图。
图9是表示Ry正确的摄像头参数附近的评价值的图。
图10是表示Rz正确的摄像头参数附近的评价值的图。
图11是表示Tx正确的摄像头参数附近的评价值的图。
图12是表示Ty正确的摄像头参数附近的评价值的图。
图13是表示Tz正确的摄像头参数附近的评价值的图。
图14是表示实施方式2涉及的摄像头参数算出装置的工作的一例的流程图。
图15是表示实施方式3涉及的摄像头参数算出处理的一例的流程图。
图16是表示实施方式4涉及的摄像头参数算出处理的一例的流程图。
图17是表示实施方式5涉及的摄像头参数算出处理的一例的流程图。
图18是表示实施方式6涉及的摄像头参数算出处理的一例的流程图。
图19是表示实施方式7涉及的摄像头参数算出处理的一例的流程图。
图20是表示实施方式8涉及的摄像头参数算出处理的一例的流程图。
图21是表示实施方式9涉及的摄像头参数算出处理的一例的流程图。
图22是实施方式10涉及的摄像头参数算出装置的框图。
图23是表示实施方式10涉及的摄像头参数算出处理的一例的流程图。
图24是表示实施方式11涉及的摄像头参数算出处理的一例的流程图。
图25是表示实施方式11涉及的点群选择屏蔽制作处理的一例的流程图。
图26是由鱼眼摄像头拍摄格子图案的拍摄图像。
标号的说明
101、201 摄像头参数算出装置
102 左摄像头
103 右摄像头
104 帧存储器
105 初始摄像头参数保存器
106 三维激光扫描器
107 点群输入器
108 摄像头参数算出器
109 摄像头参数输出器
202 摄像头
具体实施方式
(成为本公开的基础的见解)
本发明人对于在背景技术一栏中记载的摄像头校正，发现会产生以下的问题。
为了进行摄像头校正，需要使摄像头所在的三维空间中的关注点的三维坐标与由所述摄像头拍摄所述三维空间而得到的二维图像中的投影所述关注点的像素位置(以下，称为对应点)相对应。为了该目的，以往通过对形状已知的格子图案等校正指标进行拍摄、并检测格子图案的交点，由此进行使三维坐标与二维图像中的像素位置相对应。在此，将所述三维空间中的三维坐标称为世界坐标，将所述二维图像中的二维坐标称为图像坐标。
例如，图26是在箱状的被拍摄对象的内侧以一定间隔描画了格子图案而得到的校正指标。关于二维图像中的像素位置，如图26所示，例如操作人员读取以图像的左上为原点的图像坐标系的交点位置。关于对应的三维坐标，从在拍摄中使用的格子图案来获得。具体而言，在特定的位置确定世界坐标的原点和X、Y、Z的三轴，能够通过关注交点成为从原点起第几个格子图案交点来辨认三维坐标。
通过基于摄像头参数的坐标变换，能够将世界坐标上的点投影到图像坐标上。换言之，能够使用摄像头参数求出摄像头图像上的与世界坐标上的点对应的计算上的对应点。反过来，根据实际对应着的世界坐标(X，Y，Z)与图像坐标(x，y)的组，能够算出摄像头参数。以针孔摄像头为例，式1示出基于摄像头参数从世界坐标向图像坐标的投影。
Figure BDA0001350323710000051
关于该针孔摄像头模型的摄像头参数，将图像中心的x分量和y分量设为Cx和Cy，将焦距设为f，将拍摄元件的一个像素的x和y方向的长度分别设为d’x、d’y，将摄像头相对于世界坐标的基准的3行3列的旋转矩阵设为R(右下标数字的十位表示行，个位表示列)，将摄像头相对于世界坐标的基准平移的x、y、z分量分别设为Tx、Ty、Tz，将没有自由度的媒介变量设为h。另外，变形象差等变形能够通过使用Φ(xd，yd)来表现(式2)，所示Φ(xd，yd)表示从没有变形的图像坐标(xu，yu)向有变形的图像坐标(x，y)的变换。
Figure BDA0001350323710000052
对以往的多个摄像头校正技术及其问题，依次进行说明。
在非专利文献1中，针对世界坐标与图像坐标的组，通过使利用摄像头参数将世界坐标投影到图像上的点与所对应的图像上的点之间的距离(再投影误差)的总和最小化，由此校正摄像头。因此，需要使三维空间中的三维坐标与二维图像中的像素位置相对应。
在非专利文献2中，在多个不同的进深上设置校正指标，由一个摄像头分别进行拍摄。针对由此取得的平面上的世界坐标与图像坐标的组，使利用摄像头参数将世界坐标投影到图像上的点与所对应的图像上的点之间的距离的平方的总和最小化，由此校正摄像头。因此，需要使三维空间中的三维坐标与二维图像中的像素位置相对应。
在专利文献1中，输入三维坐标与二维图像中的像素值在多个帧间相对应而得到的平面上的校正点的信息。决定摄像头参数，以使得位于世界坐标上的平面的校正点和图像坐标上的校正点成为平面射影变换。因此，需要使三维空间中的三维坐标与二维图像中的像素位置相对应。
在专利文献2中，通过三维激光扫描器和立体摄像头，取得两组三维位置。使该两组三维位置相对应，基于测距精度比立体摄像头的测距精度高的三维激光扫描器的三维位置来校正立体摄像头。以手动的方式进行三维点彼此的对应很麻烦，在自动化的情况下需要专用的校正指标。另外，在基线长度短的小型的立体摄像头中，在摄像头参数含有误差的情况下，与基线长度长的立体摄像头相比，测距精度的降低较大。因此，在基线长度比被拍摄对象距离短的情况下，有可能会与三维激光扫描器的三维位置发生误对应。
为了进行车辆或无人机等移动体的周边监视和/或驾驶辅助等，可利用立体摄像头。在这样的目的的情况下，优选广角摄像头。以这些测距为目的的通常的立体摄像头需要在制造时进行校正。另外，针对因经年变化和/或碰撞导致的变形，需要摄像头的再校正。
通常，制造时的校正以及再校正通过专用的校正设备来实施。在这些校正中，使用三维构造已知的校正指标。因此，需要加工精度高的校正指标和大的拍摄空间。另外，在这样的广角摄像头的校正中，为了将校正指标配置在整个视野，需要规模大的校正设备。
本公开是鉴于上述问题而完成的，目的在于不使用三维构造已知的校正指标而校正各种摄像头。
本公开的一个技术方案涉及的摄像头参数算出装置，包括：点群取得器，其取得三维点群数据，所述三维点群数据表示一个或多个摄像头所共同的拍摄空间所包含的多个三维点的三维坐标；摄像头参数算出器，其基于所述三维点群数据和所述一个或多个摄像头的初始的一个或多个摄像头参数，针对所述多个三维点的各三维点算出由所述一个或多个摄像头拍摄到的一个或多个图像中的对应点的图像坐标，基于所述一个或多个图像中的所述图像坐标处的像素值，算出所述一个或多个摄像头的所述一个或多个摄像头参数；以及摄像头参数输出器，其输出所述一个或多个摄像头参数，所述一个或多个摄像头、所述初始的一个或多个摄像头参数、所述一个或多个图像、所述一个或多个摄像头参数一一对应。
根据该构成，因为基于利用摄像头参数将三维坐标投影到图像上的像素坐标的像素值来评价摄像头参数，所以能够不使用三维构造已知的校正指标而算出摄像头参数、即校正摄像头。因此，能够不进行三维空间中的三维坐标与二维图像中的像素位置的对应地校正摄像头。
另外，也可以为，所述图像坐标的算出包括：所述摄像头参数算出器基于与所述一个或多个摄像头对应的所述初始的一个或多个摄像头参数将所述多个三维坐标向与所述一个或多个摄像头对应的图像中的图像坐标的变换。
根据该构成，例如通过以与针孔摄像头模型等摄像头模型相应的摄像头参数为媒介的坐标变换的一定形式的步骤，能够根据所述三维坐标算出所述图像坐标。
另外，也可以为，所述一个或多个摄像头包括两个摄像头，所述摄像头参数算出器基于多个差来算出所述摄像头参数，所述多个差的各个差是针对所述多个三维点中的一个三维点由所述两个摄像头所包含的第1摄像头拍摄到的第1图像中的对应点的像素值与针对所述一个三维点由所述两个摄像头所包含的第2摄像头拍摄到的第2图像中的对应点的像素值之差。所述差既可以是所述像素值之差的绝对值，也可以是所述像素值之差的平方值。
根据该构成，如果所述摄像头参数正确，则一个三维点会被正确地投影到所述各个图像中的对应点，因此所述多个差都接近0。也就是说，所述多个差的累计大，意味着所述各个图像中的对应点的误差大、即所述摄像头参数的误差大。因此，例如导入由所述差的累计定义的评价函数，通过梯度下降法等周知的步骤，在使该评价函数减小的方向上更新所述摄像头参数。由此，能够缩小所述摄像头参数的误差来实施摄像头校正。
另外，也可以为，所述一个或多个摄像头是两个以上的摄像头，所述摄像头参数算出器基于多个差来算出所述摄像头参数，所述多个差的各个差是针对所述多个三维点中的一个三维点由所述两个以上的摄像头拍摄到的各个图像中的对应点处的像素值中的一个像素值与所述各个图像中的对应点处的像素值的平均值之差。所述差既可以是所述像素值之差的绝对值，也可以是所述像素值之差的平方值。
根据该构成，如果所述摄像头参数正确，则一个三维点会被正确地投影到所述各个图像中的对应点，因此所述多个差都接近0。也就是说，所述多个差的累计大，意味着所述各个图像中的对应点的误差大、即所述摄像头参数的误差大。因此，例如，导入由所述差的累计定义的评价函数，通过梯度下降法等周知的步骤，在使该评价函数减小的方向上更新所述摄像头参数。由此，能够缩小所述摄像头参数的误差来实施摄像头校正。
另外，也可以为，所述一个或多个摄像头是两个以上的摄像头，所述摄像头参数算出器基于与相同三维点对应的由所述两个以上的摄像头拍摄到的各个图像中的对应点的附近像素的像素值图案(pattern)的类似度来算出所述摄像头参数。更具体而言，所述摄像头参数算出器也可以基于多个归一化交叉相关来算出摄像头参数，所述多个归一化交叉相关的各归一化交叉相关是针对所述多个三维点中的一个三维点由所述两个以上的摄像头拍摄到的各个图像中的对应点的附近所包含的像素值的相关。
根据该构成，即使所述各个图像存在增益差(例如，因曝光的不一致而导致的整体的辉度差)的情况下，也能够基于像素值图案的类似来排除该增益差，从而获知对应点的误差的大小。
另外，所述摄像头参数算出器也可以将所述多个三维点中的、至少在某一个图像中求出了疏离距离为阈值以下的多个对应点的三维点从所述摄像头参数的算出中排除。
在该构成中，疏离距离为阈值以下的多个对应点是在从摄像头向大致一个方向延伸的区域内存在的多个三维点的对应点。因此，后方的三维物体有可能会被前方的三维物体遮挡。因此，在所述摄像头参数的算出时，将求出了疏离距离为阈值以下的多个对应点的三维点从所述摄像头参数的算出中排除。由此，能够将有可能呈现与原本不同的像素值的对应点的像素值从评价值的算出中排除，能够排除因遮挡导致的影响来算出评价值。
另外，所述摄像头参数算出器也可以根据所述多个三维点中的除去所述一个或多个图像中的至少一个图像的对应点处的辉度梯度比阈值小的一个或多个三维点之后的三维点，算出所述摄像头参数。
根据该构成，通过将摄像头图像中的位于辉度梯度小的区域的对应点所对应的三维点除去来算出摄像头参数，能够省去因对评价值的贡献小的三维点而产生的计算，减少计算量。
也可以为，所述三维点群数据基于从预定的测距视点出射的测定光的反射，表示所述多个三维点的三维位置，所述摄像头参数算出器将所述多个三维点所包含的、两个三维点之间的距离比阈值大且所述测定光朝向该两个三维点的方向矢量所成的角比阈值小的该两个三维点从所述摄像头参数的算出中排除。
在该构成中，所述两个三维点是位于所述三维点群数据的物体的边界和/或表面凹凸大的区域的差异间隙(gap)区域，图像的对应点处的像素值也容易产生差异间隙。若将这样的对应点的像素值用于评价值的算出，则评价值会对对应点的误差敏感而过分变化，由此可能会使摄像头参数的收敛性恶化。针对这样的问题，在上述的构成中，能够避开物体的边界和/或表面凹凸大的区域，使用合适区域的像素值来算出评价值。
另外，也可以为，所述三维点群数据基于从预定的测距视点出射的测定光的反射，表示所述多个三维点的三维位置和该测定光从各三维点返回的光的强度值，所述摄像头参数算出器仅使用所述多个三维点中的、从所述测距视点在预定附近范围内可见且所述强度之差处于由第1阈值和第2阈值决定的范围内的多个三维点，算出所述摄像头参数。
根据该构成，能够仅使用位于所述测定光的强度即物体的反射率平滑地变化的范围内的多个三维点来算出所述摄像头参数。例如，在物体的边界等物体的反射率存在差异间隙的区域中，图像的对应点的像素值也容易产生差异间隙。若将这样的对应点的像素值用于评价值的算出，则评价值会对对应点的误差敏感而过分变化，由此可能会使摄像头参数的收敛性恶化。针对这样的问题，在上述的构成中，能够避开物体的反射率存在过度差异的区域，使用合适区域的像素值来算出评价值。另外，例如单调的连续面等反射率会过分变化的区域也由于会使摄像头参数的收敛变得困难而被从评价值的算出中排除。
另外，所述三维点群数据也可以是通过三维激光扫描器对所述多个三维点进行测距而得到的数据。
根据该构成，能够从通常容易利用的三维激光扫描器取得所述三维点群数据。
另外，也可以为，所述三维点群数据基于从预定的测距视点出射的测定光的反射和从该测距视点的彩色拍摄，表示所述多个三维点的三维位置和位于各三维点的物体的颜色，所述摄像头参数算出器仅使用所述多个三维点中的、从所述测距视点在预定附近范围内可见且所述物体的颜色之差处于由第1阈值和第2阈值决定的范围内的多个三维点，算出所述摄像头参数。
根据该构成，能够仅使用位于物体的颜色平滑变化的范围内的多个三维点来算出所述摄像头参数。例如，在物体的边界等物体的颜色存在差异间隙的区域，图像的对应点的颜色也会产生差异间隙。若将这样的对应点的像素值用于评价值的算出，则评价值会对对应点的误差敏感而过分变化，由此可能会使摄像头参数的收敛性恶化。针对这样的问题，在上述的构成中，能够避开物体的颜色存在过度差异的区域，使用合适区域的像素值来算出评价值。另外，例如，单调的连续面等颜色会过分变化的区域也由于会使摄像头参数的收敛变得困难而被从评价值的算出中排除。
另外，也可以为，所述三维点群数据基于从预定的测距视点出射的测定光的反射和从该测距视点的彩色拍摄，表示所述多个三维点的三维位置和位于各三维点的物体的颜色，所述一个或多个摄像头的各摄像头是彩色摄像头，所述摄像头参数算出器基于多个差来算出所述一个或多个摄像头中的一个摄像头的摄像头参数，所述多个差的各个差是通过针对所述多个三维点中的一个三维点由所述一个摄像头拍摄到的图像中的对应点处的像素值表示的颜色与通过所述三维点群数据表示的位于所述一个三维点的物体的颜色之差。
根据该构成，通过使用由所述三维点群数据表示的物体的颜色的信息，能够校正单个摄像头，另外，能够逐个地校正多个摄像头。
另外，所述点群取得器也可以从对测距空间进行彩色拍摄的带彩色摄像头的三维激光扫描器，取得所述三维点群数据。
根据该构成，能够从三维激光扫描器以带颜色信息的方式取得所述三维点群数据。
此外，这些总括性或具体的技术方案既可以通过***、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过***、方法、集成电路、计算机程序和记录介质的任意组合来实现。
(实施方式1)
以下，参照附图对本公开的实施方式进行说明。本公开能够在一个以上的摄像头中实施，但为了简化说明，在此使用包括左摄像头和右摄像头的立体摄像头的例子来进行说明。
图1是表示实施方式1的摄像头参数算出装置的功能性结构的一例的框图。在图1中，摄像头参数算出装置101包括帧存储器104、初始摄像头参数保存器105、点群取得器107、摄像头参数算出器108以及摄像头参数输出器109。摄像头参数算出装置101使用三维激光扫描器106进行左摄像头102以及右摄像头103的校正。此外，本说明书中的校正摄像头意味着求出实机摄像头的摄像头参数。因此，本说明书的摄像头参数算出装置与摄像头校正装置同义。
以下对图1所示的各构成要素的工作进行说明。
左摄像头102拍摄作为拍摄空间的第1空间，将拍摄到的第1图像发送到帧存储器104。
右摄像头103拍摄作为拍摄空间的第2空间，将拍摄到的第2图像发送到帧存储器104。第1空间和第2空间包含作为共同空间的第3空间。第3空间也可以包含一个以上的物体和/或一个以上的生物。在不会因摄像头位置导致被拍摄对象表面的外观(某点处的颜色)发生变化的观点出发，优选能够通过兰伯特(Lambert)反射进行近似的被拍摄对象。
帧存储器104接收并保存第1图像以及第2图像。
初始摄像头参数保存器105预先保持有初始摄像头参数。初始摄像头参数例如是(式1)所包含的摄像头参数，也可以是在设计立体摄像头时设定和/或使用的设计值。或者，也可以按照前述的Tsai(非专利文献1)或Zhang(非专利文献2)的方式等，使用校正指标，以手动操作的方式取得需要数量的具有对应关系的世界坐标与图像坐标的组，由此粗精度地推定摄像头参数。在此，在Tsai的方式中，最少需要13组世界坐标与图像坐标的组。另外，在Zhang的方式中，需要最少3次拍摄和最少13组世界坐标与图像坐标的组。
三维激光扫描器106使激光对包含上述第3空间的空间进行扫描，测定包含第3空间的空间所包含的多个点、即多个三维点各自的三维位置。将由世界坐标(X，Y，Z)表示该进行了测定的N点的三维位置的数据称为三维点群数据。三维激光扫描器106将该三维点群数据发送到点群取得器107。
点群取得器107从三维激光扫描器106接收三维点群数据。
摄像头参数算出器108从所述帧存储器104接收第1图像以及第2图像，从初始摄像头参数保存器105接收初始摄像头参数，从点群取得器107接收三维点群，按照图2所示的步骤来求出摄像头参数。
摄像头参数输出器109输出由摄像头参数算出器108算出的摄像头参数。
摄像头参数算出装置101例如通过包括处理器、存储器、接口电路等的计算机装置(未图示)来实现，摄像头参数算出装置101的构成要素也可以是通过处理器执行预先记录在存储器中的程序而实现的软件功能。另外，摄像头参数算出装置101也可以通过进行上述工作的专用硬件电路(未图示)来实现。
另外，摄像头参数算出装置101不一定需要由单个计算机装置来实现，也可以通过包括终端装置和服务器的分散处理***(未图示)来实现。作为一例，也可以将帧存储器104、初始摄像头参数保存器105、点群取得器107、摄像头参数输出器109设置于终端装置，并将摄像头参数算出器108的一部分或者全部的功能由服务器来执行。该情况下，构成要素间的数据的收发经由与终端装置和服务器连接的通信线路来进行。
图2是表示摄像头参数算出处理S300的一例的流程图。
摄像头参数算出器108接收帧存储器104所保存的由左摄像头102拍摄到的第1图像以及帧存储器104所保存的由右摄像头103拍摄到的第2图像(S301)。以下，将由摄像头拍摄并从该摄像头接收到的图像也称为拍摄图像或摄像头图像。
摄像头参数算出器108从初始摄像头参数保存器105取得左摄像头102和右摄像头103各自的初始摄像头参数(S302)。
点群输入器107接收三维激光扫描器106测定出的三维点群数据，点群输入器107将三维点群数据发送到摄像头参数算出器108，摄像头参数算出器108接收三维点群数据(S303)。
摄像头参数算出器108按照式1和式2从世界坐标(X，Y，Z)算出图像坐标(xLk，yLk)和(xRk，yRk)。所述(xLk，yLk)是与第k个三维点对应的包含在第1图像中的第k个对应点的图像坐标，所述(xRk，yRk)是与第k个三维点对应的包含在第2图像中的第k个对应点的图像坐标。
算出评价函数J(式3)，该评价函数J由绝对值和来定义，该绝对值和是与由三维激光扫描器106得到的多个三维点所包含的第k个三维点对应的包含在第1图像中的点、即与第k个三维点对应的包含在第1图像中的第k个对应点的像素值和与第k个三维点的对应的包含在第2图像中的点、即与第k个三维点对应的包含在第2图像中的第k个对应点的像素值之差的绝对值和(S304)。
Figure BDA0001350323710000141
在此，N是比较像素值的三维点的个数，选择由三维激光扫描器取得的点的全部或者一部分。“选择一部分”例如意味着将对评价值J的计算不产生影响的、图像上的像素值连续且具有相同值的区域排除。
IL(x，y)是所述第1图像的图像坐标(x，y)的像素值，IR(x，y)是所述第2图像的图像坐标(x，y)的像素值。在所述第1图像以及所述第2图像是单颜色图像的情况下，像素值是辉度值，在所述第1图像以及所述第2图像是彩色图像的情况下，像素值是颜色矢量。此外，颜色矢量之差的绝对值意味着颜色矢量的距离。为了排除颜色象差的影响，也可以仅使用构成颜色矢量的颜色分量中的特定的一个颜色的分量。
使用左摄像头102的摄像头参数将三维点群数据所包含的多个三维点的各三维点投影到所述第1图像，使用右摄像头103的摄像头参数将三维点群数据所包含的多个三维点的各三维点投影到所述第2图像。
在此，进行投影是指：求出摄像头图像上的与三维点对应的计算上的对应点，具体而言，针对三维点群数据所包含的多个三维点的各三维点的世界坐标，进行基于左摄像头102的摄像头参数的坐标变换来算出所述第1图像上的图像坐标，进行基于右摄像头103的摄像头参数的坐标变换来算出所述第2图像上的图像坐标。在坐标变换中，例如也可以利用基于式1中说明过的矩阵计算的投影。图像坐标可以以子像素精度来算出，针对该子像素精度的图像坐标，可以根据双线性(Bilinear)、双三次(Bicubic)等插值计算，以小数精度来算出像素值。
另外，也可以针对评价值J的计算中的N点的加法运算，对像素值之差的绝对值进行加权。例如，使被拍摄对象的颜色连续变化的点群的权重增大，或者，使物体表面的凹凸大的点群的权重减小。相对于摄像头参数的连续的变化，这些加权易于使评价值J的变化变得平滑，并易于使评价值J最小化。
在完成摄像头参数的搜索范围内的评价值J的算出、或者评价值J小于阈值的情况下结束反复计算(S305：结束)。另一方面，在继续反复计算的情况下(S305：继续)，在搜索范围内变更摄像头参数(S306)。作为所述摄像头参数的搜索范围，预先设定各摄像头参数可取的范围。例如，对于图像中心位置Cx、Cy、焦距f、拍摄元件长度d’x、d’y，分别设为设计值的±5％即可。另外，对于摄像头位置的旋转分量Rx、Ry、Rz以及平移移动分量Tx、Ty、Tz，通过比例尺等计测三维激光扫描器106与摄像头102、103的位置关系，关于角度设为计测值的±10度，关于平移移动设为±0.2m即可。
此外，为了削减步骤S304～步骤S306的反复处理的计算时间，所述范围也可以限定在初始摄像头参数附近，也可以使用评价函数的梯度来应用最速下降法等。
最后，从通过上述的步骤S304～步骤306的反复计算而算出的摄像头参数与评价值的组中，选择评价值最小的摄像头参数，输出所选择出的摄像头参数(S307)。
按照这样的步骤依次说明能够进行摄像头的校正这一情况。用于校正摄像头的评价函数，需要在正确的摄像头参数下其评价值最小。通过评价函数的该性质，使评价值最小化，由此能够搜索正解的摄像头参数。
从全部正确的摄像头参数，仅改变一个摄像头参数的值。此时，如果评价值J在全部的摄像头参数下都是使正确的摄像头参数为极小的向下凸出的函数形状，则评价函数J相对于全部摄像头参数而言都为向下凸出。这就是说，仅改变一个摄像头参数λ的值并算出极值相当于偏微分
Figure BDA0001350323710000152
在某点上所有的偏微分成为0相当于函数整体的全微分dJ/dΩ为0(式4)。
Figure BDA0001350323710000151
在此，m表示摄像头参数的个数，λ1～λm表示焦距等各个摄像头参数，Ω表示汇集了各个摄像头参数的摄像头参数整体。
由于摄像头参数根据摄像头模型而不同，因此以非专利文献1所示的Tsai的方式中使用的10个摄像头参数为例来说明。对于该针孔摄像头模型的摄像头参数，将图像中心的x分量和y分量设为Cx和Cy，将焦距设为f，将一个拍摄元件的x方向的长度设为d’x，将摄像头相对于世界坐标的基准旋转的x、y、z分量分别设为Rx、Ry、Rz，将摄像头相对于世界坐标的基准平移的x、y、z分量分别设为Tx、Ty、Tz。此时，评价值J成为以这些10个摄像头参数为变量的函数。
本方式既可以拍摄实际空间来实施，也可以使用CG数据来实施。以下，作为一例，说明使用CG数据进行的摄像头校正。
制作图3所示的模拟了停车场的CG。右摄像头设为相对于左摄像头在水平方向上偏离15mm，并且光轴与左摄像头的光轴平行。另外，摄像头设为鱼眼摄像头。
针对所述的CG模型，算出从所有的摄像头参数的值都正确的状态仅使右摄像头的一个摄像头参数发生了变化时的评价值J。设横轴为摄像头参数值，设纵轴为评价值J，针对10个摄像头参数，将这些评价值J示出在图4～图13中。关于使得变化的摄像头参数，图4中为Cx，图5中为Cy，图6中为f，图7中为d’x，图8中为Rx，图9中为Ry，图10中为Rz，图11中为Tx，图12中为Ty，图13中为Tz。另外，各摄像头参数的正确的值如下。即，Cx为640pixel(像素)，Cy为480pixel，f为1.12mm，d’x为2.75μm，Rx为90°，Ry为0°，Rz为0°，Tx为0mm，Ty为0mm，Tz为0mm。
在图4～图13的任一图中，在正确的摄像头参数的附近评价值J都向下凸，评价值J成为极小的摄像头参数与正确的摄像头参数一致。根据以上可知，通过本方式，能够进行摄像头校正。
此外，在摄像头为3台以上的情况下，设摄像头台数为n并将式3的评价函数J扩展为式5即可。
Figure BDA0001350323710000171
在此，将第i个摄像头图像和第j个摄像头图像所包含的第k个对应点的图像坐标分别设为(xik，yik)和(xjk，yjk)。Ii(x，y)表示第i个摄像头图像的图像坐标(x，y)处的RGB值或辉度的像素值，Ij(x，y)表示第j个摄像头图像的图像坐标(x，y)处的RGB值或辉度的像素值。其他的变量与式3所包含的变量相同，因此省略其说明。
如上所述，因为基于利用摄像头参数将三维坐标投影到图像上的像素坐标的像素值来评价摄像头参数，所以能够不使用三维构造已知的校正指标而算出摄像头参数、即校正摄像头。因此，能够不进行三维空间中的三维坐标与二维图像中的像素位置的对应而校正摄像头。
(实施方式2)
实施方式1中的评价函数不需要限定于式3所示的像素值之差的绝对值和。在实施方式2中，对将评价函数设为像素值之差的平方和的情况进行说明。
在实施方式2中，与实施方式1相比，仅是用于算出评价值的评价函数不同。实施方式2涉及的摄像头参数算出装置的功能性结构与实施方式1中说明的摄像头参数算出装置101实质上相同，因此省略其说明。
图14是表示实施方式2涉及的摄像头参数算出处理S310的一例的流程图。在图14中，对与实施方式1相同的步骤标注与图2相同的步骤名，省略其说明。步骤S314算出由立体摄像头的对应的像素值之差的平方和定义的评价函数J(式6)。
Figure BDA0001350323710000172
在此，式6的变量与式3所包含的变量相同，因此省略其说明。
此外，在摄像头为3台以上的情况下，将式6的评价函数J扩展为式7即可。
Figure BDA0001350323710000181
在此，式7的变量与式5所包含的变量相同，因此省略其说明。
如上所述，与实施方式1同样，能够不进行三维空间中的三维坐标与二维图像中的像素位置的对应而校正摄像头。
(实施方式3)
实施方式1、2中的评价函数不需要限定于式3以及式6所示的像素值之差的绝对值和或者平方和。在实施方式3中，对将评价函数设为与平均像素值之差的绝对值和的情况进行说明。
在实施方式3中，与实施方式1相比，仅是用于算出评价值的评价函数不同。实施方式3涉及的摄像头参数算出装置的功能性结构，与实施方式1中说明的摄像头参数算出装置101实质上相同，因此省略其说明。
图15是表示实施方式3涉及的摄像头参数算出处理S320的一例的流程图。在图15中，对与实施方式1相同的步骤标注与图2相同的步骤名，省略其说明。步骤S324算出由立体摄像头的对应的像素值与平均像素值之差的绝对值和定义的评价函数J(式8)。
Figure BDA0001350323710000182
在此，I’k表示第k个对应点的像素值在所有摄像头图像中的平均。其他变量与式3所包含的变量相同，因此省略其说明。
此外，在摄像头为3台以上的情况下，将式8的评价函数J扩展为式9即可。
Figure BDA0001350323710000183
在此，式9的变量与式3以及式5所包含的变量相同，因此省略其说明。
如上所述，与实施方式1同样，能够不进行三维空间中的三维坐标与二维图像中的像素位置的对应而校正摄像头。
(实施方式4)
实施方式1～3中的评价函数不需要限定于式3、式6、式8所示的像素值之差的绝对值和、平方和或者与平均像素值之差的绝对值和。在实施方式4中，对将评价函数设为与平均像素值之差的平方和的情况进行说明。
实施方式4与实施方式1相比，仅是用于算出评价值的评价函数不同。实施方式4涉及的摄像头参数算出装置的功能性结构，与实施方式1中说明的摄像头参数算出装置101实质上相同，因此省略其说明。
图16是表示实施方式4涉及的摄像头参数算出处理330的一例的流程图。在图16中，对与实施方式1相同的步骤标注与图2相同的步骤名，省略其说明。步骤S334算出由立体摄像头的对应的像素值与平均像素值之差的平方和定义的评价函数J(式10)。
Figure BDA0001350323710000191
在此，式10的变量与式8所包含的变量相同，因此省略其说明。
此外，在摄像头为3台以上的情况下，将式10的评价函数J扩展为式11即可。
Figure BDA0001350323710000192
在此，式11的变量与式3以及式8所包含的变量相同，因此省略其说明。
如上所述，与实施方式1同样，能够不进行三维空间中的三维坐标与二维图像中的像素位置的对应而校正摄像头。
(实施方式5)
在实施方式5中，通过基于与三维点群数据对应的各个摄像头的图像坐标的附近像素的图案的类似度来算出摄像头参数，由此降低因摄像头间的增益差造成的对像素值IL(x，y)与IR(x，y)之差的影响。
以下，作为具体例，对设评价函数为归一化交叉相关的情况进行说明。
在实施方式5中，与实施方式1相比，仅是用于算出评价值的评价函数不同。实施方式5涉及的摄像头参数算出装置的功能性结构，与实施方式1中说明的摄像头参数算出装置101实质上相同，因此省略其说明。
图17是表示实施方式5涉及的摄像头参数算出处理S340的一例的流程图。在图17中，对与实施方式1相同的步骤标注与图2相同的步骤名，省略其说明。步骤S344算出由立体摄像头的对应的像素值的归一化交叉相关来定义的评价函数J(式12)。
Figure BDA0001350323710000201
在此，通过各个摄像头参数将进行比较的三维点群投影到由左摄像头和右摄像头的各摄像头拍摄到的摄像头图像，得到图像坐标。从这些图像坐标的附近选择m个像素。例如，选择以进行了投影的像素为中心的圆的内部的像素。将左摄像头和右摄像头的所述选择出的m个像素的第i个像素值分别设为MLki、MRki。其他变量与式3所包含的变量相同，因此省略其说明。
如上所述，通过使用像素值的归一化交叉相关，能够不受左摄像头和右摄像头的增益差影响地进行摄像头校正。
此外，在摄像头为3台以上的情况下，将式12的评价函数J扩展为式13即可。
Figure BDA0001350323710000202
在此，N表示比较像素值的三维点的个数，n表示摄像头台数，Mjki表示对与第k个三维点对应的第j个摄像头的摄像头图像中的像素位置计算归一化交叉相关的附近像素中的第i个像素值。
此外，也可以不使用归一化交叉相关而使用三值表现和/或相邻像素间的像素值之差。
(实施方式6)
在实施方式1中，示出了基于像素值选择用于评价的三维点群数据的例子，但选择的基准不需要限定于像素值。在实施方式6中，对基于遮挡区域来选择三维点群数据的情况进行说明。
实施方式6涉及的摄像头参数算出装置的功能性结构，与实施方式1中说明的摄像头参数算出装置101实质上相同，因此省略其说明。
图18是表示实施方式6涉及的摄像头参数算出处理350的一例的流程图。在图18中，对与实施方式1相同的步骤标注与图2相同的步骤名，省略其说明。步骤S354中，从通过步骤S303取得的三维点群数据中，除去位于左摄像头102和右摄像头103的至少一方的遮挡区域的三维点的数据。遮挡区域是位于该遮挡区域内的前方的三维物体会遮挡后方的三维物体的区域，是从摄像头向一个方向延伸的区域。对该遮挡区域的判定进行说明。
三维空间中的一点对应于向摄像头入射的入射光的一条光路。即使在多个三维物体并排位于遮挡区域的情况下，三维激光扫描器106也会从与所述摄像头不同的视点取得所述多个三维物体的世界坐标。当基于摄像头参数将该世界坐标投影到图像时，可算出相同或者几乎没有差别的多个图像坐标。也就是说，通过在一个图像中求出疏离距离为阈值以下的多个对应点，可知多个三维点位于拍摄到该图像的摄像头的遮挡区域。这样的三维点的对应点有可能表呈现本来的三维点并不对应的像素值，因此不适于评价值J的算出。
因此，将投影到所述图像上的图像坐标间的距离小于阈值的三维点的组判定为位于遮挡区域的三维点，通过所述判定将位于遮挡区域的三维点排除，算出评价值J。
如上所述，通过将位于遮挡区域的三维点从评价值的算出中排除，能够不被遮挡区域影响地进行摄像头校正。
(实施方式7)
在实施方式1、6中，示出了基于像素值或遮挡区域选择用于评价的三维点群数据的例子，但选择的基准不限于像素值或遮挡区域。在实施方式7中，对基于三维激光扫描器的测定光所成的角度小于阈值的两个三维点间的距离来选择三维点群数据的情况进行说明。三维激光扫描器的测定光所成的角度小于阈值这一情况，与从测距视点在预定附近范围内可见这一情况同义，例如，在以水平旋转(pan)角以及俯仰(tilt)角进行两轴旋转的三维激光扫描器中，通过该水平旋转角和俯仰角来定义近这一情况(即，该水平旋转角以及俯仰角都小于阈值)。
实施方式7涉及的摄像头参数算出装置的功能性结构，与实施方式1中说明的摄像头参数算出装置101实质上相同，因此省略其说明。
图19是表示摄像头参数算出处理S360的一例的流程图。在图19中，对与实施方式1相同的步骤标注与图2相同的步骤名，省略其说明。步骤S364中，从通过步骤S303取得的三维点群数据中排除在空间上距离变化大的区域。对该空间上的距离变化大的区域的判定进行说明。
三维激光扫描器以多个旋转轴使激光照射口旋转，以某角度间隔取得三维点群数据。为了简化说明，以三维激光扫描器的旋转中心为原点，激光照射口设为以所述原点为中心的水平旋转角和俯仰角的两轴旋转。水平旋转角和俯仰角接近的两个三维点间的距离，例如可通过由三维激光扫描器测定到的进深值之差来近似。将包含水平旋转角和俯仰角接近的两个三维点间的距离的最大值比阈值大的点的组的区域定义为所述空间上的距离变化大的区域。并且，通过所述判定来排除位于空间上的距离变化大的区域的三维点群，算出评价值J。通过所述排除，评价值J的函数的大致形状变得平滑，易于使评价值J最小化。
如上所述，通过将空间上的变化大的区域的三维点群数据排除，能够不被位于物体间的边界和/或凹凸大的表面的三维点群数据影响地进行摄像头校正。
(实施方式8)
在实施方式1、6、7中，示出了基于像素值、遮挡区域或者三维激光扫描器的水平旋转角和俯仰角接近的三维点群的两点间距离的空间上的变化来选择用于评价三维点群数据的例子，但不需要限定于此。在实施方式8中，对基于强度值来选择三维点群数据的情况进行说明。实施方式8涉及的摄像头参数算出装置的功能性结构，与实施方式1中说明的摄像头参数算出装置101实质上相同，因此省略其说明。
图20是表示摄像头参数算出处理S370的一例的流程图。在图20中，对与实施方式1相同的步骤标注与图2相同的步骤名，省略其说明。步骤S374中，从通过步骤S373取得的包含强度值的三维点群数据中，基于强度值进行三维点群数据的选择。对所述选择的方法进行说明。
三维激光扫描器对物体照射激光，基于其接受的反射光来算出物体的进深。因此，能够取得与三维点群数据对应的强度值(受光强度或者物体反射率)。所述强度值根据物体表面的形状和/或材质而发生变化，与物体表面的颜色存在相关。以下对所述相关进行说明。在可见光区域不进行自发光的白和黑的物体分别对应于光的反射率高的情况和光的反射率低的情况。因此，物体相对于可见光或近红外的激光的反射特性与可见光的反射特性接近。因此，物体表面的颜色和强度值存在相关。
在与实施方式7的说明同样的进行水平旋转角和俯仰角的两轴旋转的三维激光扫描器中，将水平旋转角和俯仰角接近的(即，从测距视点在预定附近范围内可见的)三维点群的任意两点间的强度值之差小于第1阈值或者大于第2阈值的三维点的组从通过S303取得的三维点群数据中排除。通过所述排除，将强度值之差小且评价值J不变化的三维点群和强度值之差大且评价值J的变化大的三维点群从评价值的算出中排除，由此评价值J的函数的大致形状变得平滑，易于使评价值J最小化。
如上所述，通过排除强度值之差大的三维点群数据，能够不被位于颜色变化大的物体表面的三维点群数据影响地进行摄像头校正。
(实施方式9)
在实施方式1、6～8中，示出了基于像素值、遮挡区域、三维激光扫描器的水平旋转角和俯仰角接近的三维点群的两点间距离的空间上的变化、或者强度值来选择用于评价的三维点群数据的例子，但不需要限定于此。在实施方式9中，对基于三维点群的颜色信息来选择三维点群数据的情况进行说明。
实施方式9涉及的摄像头参数算出装置的功能性结构，与实施方式1中说明的摄像头参数算出装置101实质上相同，因此省略其说明。
图21是表示摄像头参数算出处理S380的一例的流程图。在图21中，对与实施方式1相同的步骤标注与图2相同的步骤名，省略其说明。在步骤S384中，从通过步骤S383取得的包含颜色信息的三维点群数据中，基于三维点群的颜色信息进行三维点群数据的选择。对所述选择的方法进行说明。
在能够与三维激光扫描器的激光照射轴同轴地进行可见光拍摄的情况下，能够取得与三维点群数据对应的颜色信息(例如，RGB值或者辉度值)。在与实施方式7的说明同样的进行水平旋转角和俯仰角的两轴旋转的三维激光扫描器中，将水平旋转角和俯仰角接近的(即，从测距视点在预定附近范围内可见的)三维点群的任意两点间的颜色信息(例如，RGB值或者辉度值)之差小于第1阈值或者大于第2阈值的三维点的组从通过步骤S383取得的三维点群数据中排除。通过所述排除，将颜色信息值之差小且评价值J不变化的三维点群和颜色信息之差大且评价值J的变化大的三维点群从评价值的算出中排除，由此评价值J的函数的大致形状变得平滑，易于使评价值J最小化。
如上所述，通过排除颜色信息之差大的三维点群数据，能够不被位于颜色变化大的物体表面的三维点群数据影响地进行摄像头校正。
(实施方式10)
在实施方式1、6～9中，对使用复眼摄像头和三维激光扫描器的摄像头校正进行了说明，但在如实施方式9中说明的那样三维激光扫描器能够取得颜色信息的情况下，能够通过一个摄像头和三维激光扫描器来校正摄像头。在实施方式10中，对由一个摄像头和三维激光扫描器进行的摄像头校正进行说明。
图22是摄像头参数算出装置201的框图。在图22中，对与实施方式1相同的构成要素，标注与图1相同的标号，省略其说明。摄像头参数算出装置201与实施方式1的摄像头参数算出装置101相比，不同点在于成为修正对象的摄像头202仅为1台，并且在摄像头参数算出器108中用于摄像头参数算出处理的评价函数不同。
图23是表示实施方式10涉及的摄像头参数算出处理S400的参数算出工作的流程图。在图23中，对与实施方式1、9相同的步骤标注与图3、21相同的步骤名，省略其说明。在通过步骤S383取得的三维点群数据中，附加有通过与三维激光扫描器的同轴拍摄而获得的颜色信息。式14中示出在步骤S404的评价值算出中使用的评价函数J。
Figure BDA0001350323710000251
在此，Ak表示在摄像头的第k个图像坐标的算出中使用的三维点的颜色信息。所述颜色信设为与摄像头的像素值相同的颜色信息。例如，在摄像头的像素值为RGB值的情况下，Ak的颜色信息使用RGB值。其他变量与式3所包含的变量相同，因此省略其说明。
如上所述，在实施方式10的摄像头参数算出处理400中，通过使用三维点的颜色信息，能够通过一个摄像头和三维激光扫描器进行摄像头校正。
此外，式14的像素值与颜色信息之差的绝对值和也可以是所述差的平方和。另外，也可以使用两个以上的摄像头。
(实施方式11)
在实施方式11中，通过排除没有图像辉度梯度或图像辉度梯度十分小的区域来算出摄像头参数，能够省去对评价值贡献小的区域的计算，减少计算量。
这是基于如下思路的。即，在与某三维点对应的两个摄像头图像上的像素的周围辉度梯度为0的情况下，即使摄像头参数发生微小变化，与该三维点对应的两个像素的辉度差也几乎恒定。换言之，对使评价值J最小化的摄像头参数算出没有影响。因此，通过将这样的三维点从评价值J的算出中排除，能够减少计算量。
在实施方式11中，与实施方式1相比，仅是用于算出摄像头参数的摄像头参数算出器108的工作不同。实施方式11涉及的摄像头参数算出装置101的功能性结构，与实施方式1中说明的摄像头参数算出装置101实质上相同，因此省略其说明。
图24是表示实施方式11涉及的摄像头参数算出处理S500的一例的流程图。在图24中，对与实施方式1相同的步骤标注与图2相同的步骤名，省略其说明。
在图24的步骤S501中，摄像头参数算出器108制作点群选择屏蔽(mask，掩模)，该点群选择屏蔽用于基于通过步骤S301取得的摄像头图像的辉度梯度来判断是否将通过步骤S303取得的N个三维点的各三维点用于评价值的算出。点群选择屏蔽针对摄像头图像中的各像素，取二值，该二值表示该像素是用于算出评价值的有效像素和不将该像素的辉度值用于评价值算出的无效像素中的哪一个。针对由一个或多个摄像头拍摄到的各个摄像头图像，制作点群选择屏蔽。
图25是表示点群选择屏蔽制作处理S501的详细情况的一例的流程图。
在点群选择屏蔽制作处理S501中，进行一边设像素索引为i并依次选择摄像头图像中的像素i、一边确定所选择出的像素i是有效像素还是无效像素的循环处理(S5011～S5016)。
根据以像素i为中心的附近像素来算出像素i处的辉度梯度Gi(S5012)。作为辉度梯度的一例，式15中示出由以像素i为中心的相邻像素得到的辉度梯度Gi。
Figure BDA0001350323710000261
fx(xi，yi)＝I(xi+1，yi)-I(xi-1，yi)
fy(xi，yi)＝I(xi，yi+1)-I(xi，yi-])…(式15)
在此，I(x，y)是图像坐标(x，y)处的辉度值。
对辉度梯度Gi与阈值进行比较(S5013)，在辉度梯度Gi大于阈值的情况下，在点群选择屏蔽中将像素i设定为有效像素(S5014)。另外，在辉度梯度Gi为阈值以下的情况下，在点群选择屏蔽中将像素i设定为无效像素(S5015)。作为一例，所述阈值也可以是图像整体的平均辉度梯度的常数倍。
再次参照图24，在步骤S502中，摄像头参数算出器108仅使用基于通过步骤S501制作的点群选择屏蔽从通过步骤S303取得的三维点群数据中选择的三维坐标，算出评价函数J(例如，式3)。
在立体摄像头的例子中，可以为：在左右的摄像头图像的至少一方中，位于某三维点的对应点的像素通过点群选择屏蔽表示为无效像素的情况下，将与该三维点对应的摄像头图像上的像素值从评价函数的算出中排除。
另外，也可以为：在左右的摄像头图像的两方中，位于某三维点的对应点的像素通过点群选择屏蔽表示为无效像素的情况下，将与该三维点对应的摄像头图像上的像素值从评价函数的算出中排除。如上所述，通过将三维点群数据中的、仅摄像头图像的对应点处的辉度梯度小的三维点从评价函数J的算出中排除，能够削减计算量并进行摄像头校正。
此外，评价函数J不需要限定于式3，也可以使用式4～14。另外，点群选择屏蔽不需要针对各摄像头图像的所有像素来表示是有效像素还是无效像素，也可以仅对各三维点的对应点的附近像素来表示是有效像素还是无效像素。
(变形例)
以上，基于实施方式对本公开的一个或多个技术方案涉及的摄像头参数算出装置进行了说明，但本公开并不限定于该实施方式。在不脱离本公开的主旨的范围内，在本实施方式中实施本领域技术人员能想到的各种变形而得到的方式、组合不同实施方式中的构成要素而构成的方式，也包含在本公开的一个或多个技术方案的范围内。
产业上的可利用性
本公开的摄像头参数算出装置作为不使用三维构造已知的校正指标地校正各种摄像头的摄像头参数算出装置是有用的。

Claims (19)

1.一种摄像头参数算出装置，包括：
点群取得器，其取得三维点群数据，所述三维点群数据表示一个或多个摄像头所共同的拍摄空间所包含的多个三维点的三维坐标；
摄像头参数算出器，其基于所述三维点群数据和所述一个或多个摄像头的初始的一个或多个摄像头参数，针对所述多个三维点的各三维点算出由所述一个或多个摄像头拍摄到的一个或多个图像中的对应点的图像坐标，基于所述一个或多个图像中的所述图像坐标处的像素值，算出所述一个或多个摄像头的所述一个或多个摄像头参数；以及
摄像头参数输出器，其输出所述一个或多个摄像头参数，
所述一个或多个摄像头、所述初始的一个或多个摄像头参数、所述一个或多个图像、所述一个或多个摄像头参数一一对应，
所述三维点群数据是通过三维激光扫描器对所述多个三维点进行测距而得到的数据。
2.根据权利要求1所述的摄像头参数算出装置，
所述图像坐标的算出包括：所述摄像头参数算出器基于与所述一个或多个摄像头对应的所述初始的一个或多个摄像头参数将所述多个三维点的三维坐标向与所述一个或多个摄像头对应的图像中的图像坐标的变换。
3.根据权利要求1或2所述的摄像头参数算出装置，
所述一个或多个摄像头包括两个摄像头，
所述摄像头参数算出器基于多个差来算出所述摄像头参数，
所述多个差的各个差是针对所述多个三维点中的一个三维点由所述两个摄像头所包含的第1摄像头拍摄到的第1图像中的对应点的像素值与针对所述一个三维点由所述两个摄像头所包含的第2摄像头拍摄到的第2图像中的对应点的像素值之差。
4.根据权利要求3所述的摄像头参数算出装置，
所述差是所述像素值之差的绝对值。
5.根据权利要求3所述的摄像头参数算出装置，
所述差是所述像素值之差的平方值。
6.根据权利要求1或2所述的摄像头参数算出装置，
所述一个或多个摄像头是两个以上的摄像头，
所述摄像头参数算出器基于多个差来算出所述摄像头参数，
所述多个差的各个差是针对所述多个三维点中的一个三维点由所述两个以上的摄像头拍摄到的各个图像中的对应点处的像素值中的一个像素值与所述各个图像中的对应点处的像素值的平均值之差。
7.根据权利要求6所述的摄像头参数算出装置，
所述差是所述像素值与所述平均值之差的绝对值。
8.根据权利要求6所述的摄像头参数算出装置，
所述差是所述像素值与所述平均值之差的平方值。
9.根据权利要求1或2所述的摄像头参数算出装置，
所述一个或多个摄像头是两个以上的摄像头，
所述摄像头参数算出器基于与相同三维点对应的由所述两个以上的摄像头拍摄到的各个图像中的对应点的附近像素的像素值图案的类似度来算出所述摄像头参数。
10.根据权利要求9所述的摄像头参数算出装置，
所述摄像头参数算出器基于多个归一化交叉相关来算出摄像头参数，所述多个归一化交叉相关的各归一化交叉相关是针对所述多个三维点中的一个三维点由所述两个以上的摄像头拍摄到的各个图像中的对应点的附近所包含的像素值的相关。
11.根据权利要求1或2所述的摄像头参数算出装置，
所述摄像头参数算出器将所述多个三维点中的、至少在某一个图像中求出了疏离距离为阈值以下的多个对应点的三维点从所述摄像头参数的算出中排除。
12.根据权利要求1或2所述的摄像头参数算出装置，
所述摄像头参数算出器根据所述多个三维点中的除去所述一个或多个图像中的至少一个图像的对应点处的辉度梯度比阈值小的一个或多个三维点之后的三维点，算出所述摄像头参数。
13.根据权利要求1或2所述的摄像头参数算出装置，
所述三维点群数据基于从预定的测距视点出射的测定光的反射，表示所述多个三维点的三维位置，
所述摄像头参数算出器将所述多个三维点所包含的、两个三维点之间的距离比阈值大且所述测定光朝向该两个三维点的方向矢量所成的角比阈值小的该两个三维点从所述摄像头参数的算出中排除。
14.根据权利要求1或2所述的摄像头参数算出装置，
所述三维点群数据基于从预定的测距视点出射的测定光的反射，表示所述多个三维点的三维位置和该测定光从各三维点返回的光的强度值，
所述摄像头参数算出器仅使用所述多个三维点中的、从所述测距视点在预定附近范围内可见且所述强度之差处于由第1阈值和第2阈值决定的范围内的多个三维点，算出所述摄像头参数。
15.根据权利要求2所述的摄像头参数算出装置，
所述三维点群数据基于从预定的测距视点出射的测定光的反射和从该测距视点的彩色拍摄，表示所述多个三维点的三维位置和位于各三维点的物体的颜色，
所述摄像头参数算出器仅使用所述多个三维点中的、从所述测距视点在预定附近范围内可见且所述物体的颜色之差处于由第1阈值和第2阈值决定的范围内的多个三维点，算出所述摄像头参数。
16.根据权利要求1所述的摄像头参数算出装置，
所述三维点群数据基于从预定的测距视点出射的测定光的反射和从该测距视点的彩色拍摄，表示所述多个三维点的三维位置和位于各三维点的物体的颜色，
所述一个或多个摄像头的各摄像头是彩色摄像头，
所述摄像头参数算出器基于多个差来算出所述一个或多个摄像头中的一个摄像头的摄像头参数，所述多个差的各个差是通过针对所述多个三维点中的一个三维点由所述一个摄像头拍摄到的图像中的对应点处的像素值表示的颜色与通过所述三维点群数据表示的位于所述一个三维点的物体的颜色之差。
17.根据权利要求15所述的摄像头参数算出装置，
所述点群取得器从对测距空间进行彩色拍摄的带彩色摄像头的三维激光扫描器，取得所述三维点群数据。
18.一种摄像头参数算出方法，包括：
点群取得步骤，取得表示一个或多个摄像头的拍摄空间所包含的多个三维点各自的三维位置的三维点群数据；
摄像头参数算出步骤，基于所述三维点群数据和各所述摄像头的初始摄像头参数，针对所述多个三维点的各三维点求出由所述一个或多个摄像头拍摄到的各个图像中的对应点，基于各所述摄像头的初始摄像头参数和所述各个图像中的所述对应点处的像素值，算出各所述摄像头的摄像头参数；以及
摄像头参数输出步骤，输出所述算出的各所述摄像头的所述摄像头参数，
所述三维点群数据是通过三维激光扫描器对所述多个三维点进行测距而得到的数据。
19.一种记录介质，是记录有使计算机执行如下步骤的程序的计算机可读取的记录介质，
点群取得步骤，取得表示一个或多个摄像头的拍摄空间所包含的多个三维点各自的三维位置的三维点群数据；
摄像头参数算出步骤，基于所述三维点群数据和各所述摄像头的初始摄像头参数，针对所述多个三维点的各三维点求出由所述一个或多个摄像头拍摄到的各个图像中的对应点，基于各所述摄像头的初始摄像头参数和所述各个图像中的所述对应点处的像素值，算出各所述摄像头的摄像头参数；以及
摄像头参数输出步骤，输出所述算出的各所述摄像头的所述摄像头参数，
所述三维点群数据是通过三维激光扫描器对所述多个三维点进行测距而得到的数据。
CN201710573597.2A 2016-09-08 2017-07-14 摄像头参数算出装置以及算出方法、程序、记录介质 Active CN107808398B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016175919 2016-09-08
JP2016-175919 2016-09-08
JP2017057505A JP7038315B2 (ja) 2016-09-08 2017-03-23 カメラパラメータ算出装置、カメラパラメータ算出方法、プログラム、及び記録媒体
JP2017-057505 2017-03-23

Publications (2)

Publication Number Publication Date
CN107808398A CN107808398A (zh) 2018-03-16
CN107808398B true CN107808398B (zh) 2023-04-07

Family

ID=61280822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710573597.2A Active CN107808398B (zh) 2016-09-08 2017-07-14 摄像头参数算出装置以及算出方法、程序、记录介质

Country Status (2)

Country Link
US (2) US10664995B2 (zh)
CN (1) CN107808398B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013173728A1 (en) 2012-05-17 2013-11-21 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for unified scene acquisition and pose tracking in a wearable display
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2016073557A1 (en) 2014-11-04 2016-05-12 The University Of North Carolina At Chapel Hill Minimal-latency tracking and display for matching real and virtual worlds
US10410372B1 (en) * 2018-06-14 2019-09-10 The University Of North Carolina At Chapel Hill Methods, systems, and computer-readable media for utilizing radial distortion to estimate a pose configuration
US11361511B2 (en) * 2019-01-24 2022-06-14 Htc Corporation Method, mixed reality system and recording medium for detecting real-world light source in mixed reality
JP2024514432A (ja) * 2021-03-29 2024-04-02 アルコン インコーポレイティド 連続自動焦点合わせモードを有する立体視撮像プラットフォーム
CN114283201A (zh) * 2021-04-26 2022-04-05 阿波罗智联(北京)科技有限公司 相机标定方法、装置和路侧设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103547939A (zh) * 2011-05-13 2014-01-29 赫克斯冈技术中心 用于具有扫描功能的装置的校准方法
CN104717481A (zh) * 2013-12-13 2015-06-17 松下知识产权经营株式会社 摄像装置、图像处理装置、摄像方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06323821A (ja) 1993-05-13 1994-11-25 Matsushita Electric Ind Co Ltd 骨格形状データ作成装置
JP2006090756A (ja) 2004-09-21 2006-04-06 Victor Co Of Japan Ltd カメラキャリブレーション装置
JP4681856B2 (ja) 2004-11-24 2011-05-11 アイシン精機株式会社 カメラの校正方法及びカメラの校正装置
JP2006250722A (ja) * 2005-03-10 2006-09-21 Toshiba Corp キャリブレーション装置及びその方法、キャリブレーション用プログラム
JP4906683B2 (ja) 2007-11-12 2012-03-28 日本放送協会 カメラパラメータ推定装置およびカメラパラメータ推定プログラム
EP2154650A1 (en) * 2008-08-12 2010-02-17 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. 3D time-of-flight camera system and position/orientation calibration method therefor
JP5588812B2 (ja) 2010-09-30 2014-09-10 日立オートモティブシステムズ株式会社 画像処理装置及びそれを用いた撮像装置
JP5580164B2 (ja) 2010-10-18 2014-08-27 株式会社トプコン 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
US8872897B2 (en) * 2011-05-11 2014-10-28 Intel Corporation Camera calibration using an easily produced 3D calibration pattern
CN103150724B (zh) * 2013-02-06 2015-06-03 长春师范大学 一种基于分段模型的摄像机标定方法
CN103279949B (zh) * 2013-05-09 2015-10-07 浙江大学 基于自定位机器人的多相机参数自动标定***运行方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103547939A (zh) * 2011-05-13 2014-01-29 赫克斯冈技术中心 用于具有扫描功能的装置的校准方法
CN104717481A (zh) * 2013-12-13 2015-06-17 松下知识产权经营株式会社 摄像装置、图像处理装置、摄像方法

Also Published As

Publication number Publication date
US10769814B2 (en) 2020-09-08
US20180068462A1 (en) 2018-03-08
CN107808398A (zh) 2018-03-16
US20190139261A1 (en) 2019-05-09
US10664995B2 (en) 2020-05-26

Similar Documents

Publication Publication Date Title
CN107808398B (zh) 摄像头参数算出装置以及算出方法、程序、记录介质
CN110689581B (zh) 结构光模组标定方法、电子设备、计算机可读存储介质
TWI555379B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
US9759548B2 (en) Image processing apparatus, projector and projector system including image processing apparatus, image processing method
JP7038346B2 (ja) カメラパラメータ算出方法、カメラパラメータ算出プログラム、及びカメラパラメータ算出装置
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
KR102170182B1 (ko) 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법
US20200177866A1 (en) Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method
US9886759B2 (en) Method and system for three-dimensional data acquisition
JP6079333B2 (ja) 校正装置、方法及びプログラム
TWI624170B (zh) 影像掃描系統及其方法
US20210358157A1 (en) Three-dimensional measurement system and three-dimensional measurement method
US8441518B2 (en) Imaging apparatus, imaging control method, and recording medium
JP5070435B1 (ja) ３次元相対座標計測装置およびその方法
JP2016100698A (ja) 校正装置、校正方法、プログラム
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
JP6282377B2 (ja) ３次元形状計測システムおよびその計測方法
JP2016024052A (ja) ３次元計測システム、３次元計測方法及びプログラム
JP2013041167A (ja) 画像処理装置、プロジェクタ、プロジェクタシステム、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
Wilm et al. Accurate and simple calibration of DLP projector systems
KR20220122645A (ko) 3차원 좌표를 2차원 피처 포인트와 연관
JP7038315B2 (ja) カメラパラメータ算出装置、カメラパラメータ算出方法、プログラム、及び記録媒体
Furferi et al. A RGB-D based instant body-scanning solution for compact box installation
JP2018009927A (ja) 画像処理装置、画像処理方法及びプログラム
JP2022024688A (ja) デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant