CN103797779A - 摄像机校正设备、摄像机和摄像机校正方法 - Google Patents

摄像机校正设备、摄像机和摄像机校正方法 Download PDF

Info

Publication number
CN103797779A
CN103797779A CN201280044643.5A CN201280044643A CN103797779A CN 103797779 A CN103797779 A CN 103797779A CN 201280044643 A CN201280044643 A CN 201280044643A CN 103797779 A CN103797779 A CN 103797779A
Authority
CN
China
Prior art keywords
image
calibration
calibration marker
camera
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280044643.5A
Other languages
English (en)
Inventor
前川贵志
柳泽治生
泽田隆一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2011200005A external-priority patent/JP2013062692A/ja
Priority claimed from JP2012039417A external-priority patent/JP2013173453A/ja
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of CN103797779A publication Critical patent/CN103797779A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明的目的是提供通过使用校正索引进行摄像机校正的单次操作的摄像机校正设备、摄像机和摄像机校正方法。摄像机校正设备(100)包括:成像单元(1),被配置为拍摄包括所述校正索引(8)的图像;指令单元(5),被配置为指示叠加在所述图像中的所述校正标记(14)的显示位置;图像信号处理单元(3),被配置为处理所述图像使得所述校正标记被叠加在根据所述指示的显示位置;以及计算单元(4),被配置为基于被显示为与所述校正索引(8)的两个点相重叠的所述校正标记(14)的显示位置计算用于校正所述摄像机安装角的偏差的参数。

Description

摄像机校正设备、摄像机和摄像机校正方法
相关申请的交叉引用
本申请要求于2011年9月13日提交的第2011-200005号日本专利申请和于2012年2月24日提交的第2012-039417号日本专利申请的优先权和权益,它们的全部内容通过引用并入本文。
技术领域
本发明涉及通过拍摄校正索引的图像计算可移动物体(车辆)上的摄像机安装角来校正所述摄像机安装角的摄像机校正设备、摄像机和摄像机校正方法。
背景技术
近些年,包括汽车的各种车辆常常具有用于通过补充驾驶员的视野而辅助驾驶的车载摄像机。车载摄像机拍摄的图像被显示在例如显示器(例如,导航设备)上以允许驾驶员观看。必要时,指示预测轨道的图形数据可被叠加到所显示的图像上。当后视摄像机被安装用于补充车辆的后视野时,例如指示基于当车辆向后移动时的转向角的预测轨道的图形数据可被实时地叠加到图像上。
这种车载摄像机由工作人员安装在车辆上,一般地,安装精确度基本较低。叠加在由车载摄像机拍摄的图像上的图形数据的显示位置易受车载摄像机的安装精确度的影响。因此,当安装精确度非常低时,图形数据的显示位置距离原始位置有极大位移,向驾驶员提供错误信息。由此,在使用这种车载摄像机时,车载摄像机的安装角通过拍摄在车辆外面提供的校正索引的图像和估计图像中校正索引的显示位置以便计算安装角来进行校正。
一般地,三维物体被用作用于校正车载摄像机的校正索引。然而,考虑到用于执行校正的工作人员和工作站的简单性和生产率,专利文献1公开了使用置于平面上的二维索引替代三维物体作为校正索引的校正方法的实施例。根据专利文献1,当二维索引的图像由车载摄像机拍摄时,操作员将显示位置可移动的一个窗口叠加到图像上并且调整窗口的显示位置以将校正物体容纳在其中。由此,计算校正所必需的参数(车载摄像机的滚动角、平转角和俯仰角)。根据专利文献1,通过用户接口控制窗口的显示位置。
相关的技术文献
专利文献
专利文献1:公开号为2001-245326的日本专利
发明内容
根据上述专利文献1,由于窗口23的显示位置通过使该窗口23顺时针地和逆时针地旋转而被调整,以及通过沿水平方向和垂直方向移动该窗口23而被调整,用于指示窗口23的显示位置的用户接口被杂乱地配置并且将工作负荷强加于操作员。而且,操作员难以在一个调整操作中精确地将校正索引22置于窗口23内,并且操作员需要重复调整若干次。因此,存在操作员需要擅长调整而且能够承受繁重的工作负荷的问题。
因此,考虑到这个问题,本发明的目的是提供通过使用校正索引允许摄像机校正的简单操作的摄像机校正设备、摄像机和摄像机校正方法。
为了解决上面的问题,根据一个实施方式的用于通过拍摄校正索引的图像计算可移动物体上的摄像机安装角来校正所述摄像机安装角的摄像机校正设备包括:成像单元,被配置为拍摄包括所述校正索引的图像,所述校正索引具有位于平面上的两个分离点;图像叠加单元,被配置为处理图像信号使得校正标记被叠加到所述图像上;指令单元,被配置为指示将所述校正标记叠加到所述图像中的位置;以及计算单元,被配置为当所述校正标记与所述校正索引的两个点被重叠叠加时,基于所述校正标记的显示位置计算用于校正所述摄像机安装角的偏差的参数。
根据该实施方式的摄像机校正设备在不需要例如重复精细调整的复杂操作的情况下能够容易地调整所述校正标记的显示位置,使其与所述校正索引的两个点相重叠,并且计算针对摄像机校正的所述摄像机安装角。
后置摄像机采用广角镜头以获得图像拍摄区域的广视角。这种广角镜头具有显著的失真并且可导致物体图像的变形(尤其物体图像靠近广角镜头周边)。在这种情况下,通过上述专利文献1的技术,由摄像机拍摄的图像中的校正物体22的图像会显著地变形,并且可能从窗口23中凸出。
而且,根据该实施方式,可减少校正期间实时在显示面板中显示校正标记的计算量。也就是说,根据该实施方式,校正标记在校正中的图像上沿垂直和水平方向线性地移位并且校正数据在这种位置调整之后被共同计算。
优选地,所述校正标记沿垂直方向和水平方向移位。
优选地,两个校正标记被显示在所述图像上以与所述校正索引的两个分离点相对应,并且所述校正标记的显示位置能够由指令单元分别控制。
优选地,所述校正标记由互相垂直的两条线形成,并且所述两条线的交叉点指示着所述校正标记的显示位置。由此,校正标记的尺寸增加,允许操作员容易识别显示面板(例如,显示器)中的校正标记并且改善操作性。
所述校正标记可为围绕着预定区域的形状,并且当所述校正标记被显示为与所述校正索引的两个点相重叠时,所述计算单元可基于所述校正标记的显示位置计算所述摄像机安装角。
优选地,所述校正索引由连接所述两个分离点的线形成。
所述图像叠加单元可使被移位的所述校正标记高亮。
在所述计算单元计算所述参数之后,由所述摄像机拍摄的所述图像被偏移一个与所述参数对应的量之后被输出。
作为替换,在所述计算单元计算所述参数之后,由所述摄像机拍摄的所述图像被偏移一个与所述参数对应的量之后被输出,或者所述图像叠加单元在将预定的图像叠加到由所述摄像机拍摄的图像上时为叠加位置设置一个与所述参数对应的量的偏移。
所述摄像机校正设备还可包括用于显示图像的显示器,其中所述校正标记被叠加到包括了所述校正索引的图像上。而且,所述摄像机校正设备可在不需要成像单元的情况下通过下面的项构成:图像叠加单元,被配置为处理图像信号使得校正标记被叠加在包括校正索引的所述图像上,所述校正索引具有平面上的两个分离点;指令单元,被配置为指示叠加在所述图像上的所述校正标记的显示位置;以及计算单元,被配置为当所述校正标记与所述校正索引的两个点被重叠叠加时基于所述校正标记的显示位置计算所述摄像机安装角。
为了解决上面的问题,根据一个实施方式,用于通过拍摄所述校正索引的图像计算可移动物体上的摄像机安装角来校正所述安装角的摄像机校正方法包括:拍摄包括所述校正索引的图像,所述校正索引具有在一个平面上的两个分离点;将校正标记叠加在所述图像上;指示叠加在所述图像上的所述校正标记的显示位置;以及基于与所述校正索引的两个点被重叠叠加的所述校正标记的显示位置计算所述摄像机安装角。
根据该实施方式的摄像机校正方法可适当地由上述的校正设备(每个实施方式中包括的校正设备)实现。
而且,根据一个实施方式,一种能够通过拍摄校正索引的图像计算可移动物体上的摄像机安装角来校正所述摄像机安装角的摄像机,包括:图像单元,被配置为拍摄包括所述校正索引的图像,所述校正索引具有在一个平面上的两个分离点;图像叠加单元,被配置为处理图像信号使得校正标记被叠加在所述图像上;指令接收单元,被配置为接收关于被叠加在所述图像上的所述校正标记的显示位置的指令;以及计算单元,被配置为基于与所述校正索引的两个点被重叠叠加的所述校正标记的显示位置计算所述摄像机安装角。
根据该实施方式的摄像机可适当地由上述的校正设备(每个实施方式中包括的校正设备)实现。
附图说明
图1是示出了根据本发明的一个实施方式的摄像机校正设备的整体配置的框图;
图2是示出了用作用户接口的指令单元的操作单元的实施例的图示;
图3是示出了校正中由成像单元成像的校正索引的形式的变型的图示;
图4是以步骤示出了CPU的控制流程图;
图5是示出了根据本发明的校正标记的移位操作的流程图;
图6是示出了根据本发明的一个实施方式的摄像机校正设备的校正标记的移位的实施例的图示;
图7是示出了为车辆设置的成像单元与校正索引之间的位置关系的图示;
图8是示出了世界坐标系的旋转的实施例的图示;
图9是示出了校正标记的实施例的图示;以及
图10是示出了其上安装有摄像机的可移动物体的图示。
具体实施方式
图1是示出了根据一个实施方式的摄像机校正设备100的整体配置的框图。用作安装在可移动物体(车辆)上的摄像机(车载摄像机)的成像单元1具有用于将进入镜头(未示出)的物体的光转换成电信号的图像传感器(例如,CMOS或CCD)。图10是示出了其上安装有成像单元1的可移动物体的图示。根据本实施方式,如图10所示,成像单元1被安装在可移动物体200的后保险杠21附近以拍摄可移动物体200后面的图像。该图中的区域A表示由成像单元1捕获的区域。
当用户选择停车模式时,显示器7显示由摄像机校正设备100生成的图像。停车模式通过在显示器7上显示驾驶可移动物体200的用户难以看到的该可移动物体200后面的区域A中的图像来辅助平滑停车。可移动物体200的预测轨道可被叠加到可移动物体200后面的区域A中的图像,用于辅助更平滑的停车。
而且,当用户选择摄像机校正模式时,由摄像机校正设备100生成的图像被显示。通过将用作索引的物体或图形设置在可移动物体200后面的区域A中,摄像机校正模式允许用户通过使用由成像单元1拍摄的索引的图像来校正成像单元1的安装位置。当成像单元1在可移动物体200的生产线中被安装在可移动物体200上时或当成像单元1因可移动物体200的振动等而位移时,使用摄像机校正模式。将在下面详细描述校正方法。
当用户选择导航模式时,显示器7可显示由导航***获得的至目的地的线路图。当TV模式被选择时,显示器7可显示由TV接收器获得的电视信号。
图像处理单元2通过处理从成像单元1输出的电信号,生成用于以例如逐行形式或隔行形式显示数字图像的图像信号。
图像叠加单元3处理从图像处理单元2输入的图像信号,使得在下面描述的校正中使用的校正标记或向后移动的可移动物体后面的预测轨道作为图形数据被叠加到由成像单元1拍摄的图像在的预定位置。
根据CPU(计算单元)4的指令控制叠加在该图像上的校正标记的显示。特别地,校正标记的显示位置经由用作用户接口的指令单元5被CPU控制,指令单元5可由操作员操作。指令单元5具有操作单元5a,操作单元5a允许指令的输入以使图像上校正标记的显示位置进行移位。
注意,摄像机校正设备中摄像机的配置未被具体限制并且可包括例如成像单元1、图像处理单元2、图像叠加单元3、CPU4和图像输出单元6。
图2示出了用作用户接口的指令单元5的操作单元5a的实施例。操作单元5a包括在校正开始时操作的开始按钮9、用于沿垂直和水平方向移动校正标记的移位按钮10、在校正标记位移结束时操作的位置确定按钮11和为执行校正操作的执行按钮12。然而,操作单元5a不限于图2所示的实施例,而是可包括例如鼠标、键盘、操纵杆或触摸面板。而且,上面提到的按钮设置可以是机械开关或显示于层叠在显示器7上的触摸面板上的对象。
回去参考图1,其上通过图像叠加单元3叠加有校正标记的图像被图像输出单元6转换成适于显示的格式(例如,NTSC等)的图像信号。然后,当转换后的图像信号被输入用作显示装置的显示器7时,图像被显示在屏幕上。
校正索引8是当可移动物体100被精确地停在预定的停车位置时被设置为与可移动物体200的后边缘相距预定距离(例如,1m)的物体或图形,并且呈例如矩形板或划在路上的白线的形状。也就是说,当摄像机以正确的角度被安装时,可移动物体200与校正索引8之间的位置关系被指定,因此由成像单元1拍摄的校正索引8总是被显示在显示器7上显示的图像中的特定位置处。当校正索引8被显示为偏离特定位置时,可通过使用指令单元5将校正标记移位至校正索引8获得用于指明成像单元1的安装角偏差的校正参数。
图3是示出了在校正中由成像单元1成像的校正索引8的变型形式的图示。根据本实施方式的校正索引8具有在平面上相距预定距离的两个点A和B。
在图3(a)的实施例中,校正索引8由平面上连接两个点A和B的线形成。由于校正索引8具有位于线两端的点A和B,操作员可容易地识别显示在显示器7中的校正索引8。尽管索引8的两端具有表示图3(a)中点A或B的黑点,但是这些点不是必要的并且线可以更粗以使操作员容易识别。而且,如图3(b)所示,校正索引8可为包括位于边缘处的点A和B的框架形式。
尽管根据本实施方式的校正索引8可呈现各种形式,但是在下面的描述中以具有图3(a)中所示的形式(两端处没有点的线)的校正索引8为例。
现在参考图4详细描述CPU4的控制。图4是以步骤示出了CPU4的控制的流程图。
首先,CPU4通过检测操作员对指令单元5的操作单元5a的开始按钮9的操作,确定指令单元5是否被请求来改变用于校正的校正标记的显示位置(步骤S101)。
然后当开始按钮9的操作被检测到时,CPU4检测与沿垂直方向或沿水平方向移位对应的移位按钮10中的哪个按钮***作员操作(步骤S101),并且基于***作的移位按钮的方向使校正标记的显示位置进行移位(步骤S102)。这种使校正标记移位的操作由观看显示器7面板中校正标记的显示位置的操作员实时执行。当步骤S101无请求(步骤S101为否)时,CPU4跳过步骤S102的处理进入下面描述的步骤S103。
图5是示出了在步骤S102移位校正标记的操作的流程图。图6是示出了根据本实施方式的由摄像机校正设备100移位校正标记的实施例的图示。参考图5和图6描述使用校正标记的校正过程。优选地,为了通过清楚指示所移位的校正标记14a和14b改善用户的操作性,图像叠加单元3使被移位的(被选择的)校正标记之一高亮。该校正标记通过例如闪光或者其颜色或厚度改变而被允许区别于未被移位的(未被选择的)其它校正标记。在图5和图6中所示的实施例中使该校正标记高亮。
图6(a)示出了由成像单元1拍摄的图像(包括其上安装有摄像机校正设备100的可移动物体的后保险杠21和设置在该可移动物体后面的路上的校正索引8)和校正标记14a、14b被显示在显示面板20中的初始状态。
校正标记14a和14b对应于显示在显示器7中的校正索引8,并且校正标记14a和14b的显示位置可分别由指令单元5的移位按钮10的操作所控制。由于图像上校正标记14a和14b的显示位置被分别控制,因此操作员可容易地操作以将校正标记14a和14b放置为与校正索引8的两个点A和B相重叠。
当移位按钮10的单次按下对应于偏移0.5度时,基于用于使校正标记沿水平方向移位的移位按钮10的单次按下,当摄像机的图像拍摄方向沿平转(水平)方向被引导0.5度时,校正标记14a和14b被移位与图形移位量相等的像素数。这同样适用于俯仰(垂直)方向。
首先,操作员在校正标记14a和14b之间选择显示在显示面板左侧的校正标记14a(步骤S201)。当校正标记14a在步骤S201被选择时,图像叠加单元3使被移位的校正标记14a高亮以容易地区别于未被移位的校正标记14b(步骤S202)。图6(b)和(c)示出了校正标记14a闪光(高亮)。
操作员通过操作与左方向对应的移位按钮10,如图6(b)所示沿向左方向移位校正标记14a,使得校正标记14a沿水平方向满足校正索引8的左端A的坐标(步骤S203)。然后,操作员通过操作与向上方向对应的移位按钮10,如图6(c)所示移位校正标记14a,使得校正标记14a沿垂直方向满足左端A的坐标(步骤S204)。当校正索引8的左端A的坐标满足校正标记14a的坐标时,操作员指示结束校正标记14a的定位(步骤S205)。操作员可通过例如保持移位按钮10向下或两次按下(双击)移位按钮10,指示结束定位。可选地,为操作单元5a设置指令结束按钮用于允许操作员操作用以结束定位。在从指令单元5接收到指令以结束定位之后,CPU4控制图像叠加单元3结束高亮(步骤S206)。
接下来,操作员在两个校正标记之间选择显示在显示面板右侧的校正标记14b(步骤S207)。可选地,CPU4可在从指令单元5接收到指令以结束校正标记14a的定位之后自动地选择校正标记14b。当校正标记14b在步骤S207被选择时,图像叠加单元3使被移位的校正标记14b高亮以区别于未被移位的校正标记14a(步骤S208)。图6(d)和6(e)示出了校正标记14b闪光(高亮)的状态。
以类似于上述移位校正标记14a的方式,操作员如图6(d)所示操作与左方向对应的移位按钮10,使得校正标记14b沿水平方向满足校正索引的右端B的坐标(步骤S209)。然后,操作员通过操作与向上方向对应的移位标记10,如图6(e)所示向上移位校正标记14b,使得校正标记14b沿垂直方向满足校正索引的右端B的坐标(步骤S210)。当校正索引8的右端的坐标满足校正索引14b的坐标时,操作员指示结束校正标记14b的定位(步骤S211)。操作员可通过保持移位按钮10向下或两次按下(双击)移位按钮10,指示结束定位。可选地,为操作单元5a设置指令结束按钮用于允许操作员操作用以结束定位。在从指令单元5接收到指令结束定位之后,CPU4控制图像叠加单元3结束高亮(步骤S212)。
如上所述,根据本实施方式的摄像机校正设备100可通过在图像上沿垂直和水平方向移位校正标记14a和14b来调整校正标记14a和14b使其简单地与校正索引8的两个点A和B重叠。也就是说,由于复杂的调整(例如根据背景技术的校正标记的旋转)是不必要的,消除了校正标记的位置的重复调整,由此有效地减少了操作中强加于操作员的工作负荷。而且,由于旋转操作是不必要的,因此指令单元5的操作单元5a的移位按钮10可被简化,这有利于降低成本。
回去参考图4,CPU4基于操作员是否操作操作单元5a的位置确定按钮11,确定校正标记14a和14b的显示位置的移位是否完成(步骤S103)。当操作员操作执行按钮12时,基于确定的校正标记14a和14b的显示位置计算校正参数(摄像机的滚动角、平转角和俯仰角),并且执行所述校正(步骤S104)。当校正标记14a和14b的位置在步骤S103未被确定时,CPU回到步骤S101以重复上述的过程。
接下来将描述步骤S104计算校正参数的方法。图7是示出了为车辆设置的成像单元1(摄像机)与校正索引8之间的位置关系的图示。成像单元1被设置在车辆的后部,并且成像单元1的安装位置由作为绝对坐标的世界坐标系(Xw、Yw、Zw)中的点(tx、ty、tz)表示。假设整个***中的位置可被明确地定义,尽管在图7的实施例中车辆的后保险杠的边缘中心0被设成世界坐标系(Xw、Yw、Zw)的原点,但是毋庸置疑,空间中的任意点可被设成原点。
在以成像单元1作为原点的***中,相对位置关系可由摄影机坐标系(Xc、Yc、Zc)表示。摄影机坐标系(Xc、Yc、Zc)被表示成以成像单元1的世界坐标(tx、ty、tz)作为原点的相对坐标系(世界坐标系的平移移位和旋转移位)。图8是示出了世界坐标系(Xw、Yw、Zw)中的旋转的实施例,以及图8(a)、8(b)和8(c)分别示出了绕轴Zw的旋转(平转)、绕轴Yw的旋转(滚动)和绕轴Xw的旋转(俯仰)。当α、β和γ分别表示平转旋转角、滚动旋转角和俯仰旋转角时,摄像机坐标系(Xc、Yc、Zc)与世界坐标系(Xw、Yw、Zw)之间的关系可由下面的公式(1)表示。
[公式1]
Xc 1 Yc 1 Zc 1 1 = cos α - sin α 0 0 sin α cos α 0 0 0 0 1 0 0 0 0 1 cos β 0 sin β 0 0 1 0 0 - sin β 0 cos β 0 0 0 0 1 1 0 0 0 0 cos γ - sin γ 0 0 sin γ cos γ 0 0 0 0 1 1 0 0 - tx 0 1 0 - ty 0 0 1 - tz 0 0 0 1 Xw 1 Yw 1 Zw 1 1 - - - ( 1 )
这里,当例如采用针孔镜头时,物体的光在成像单元1的镜头上的入射角θi与成像单元1的图像传感器上的图像高度y之间的关系由下面的公式(2)定义。在公式(2)中,f表示镜头的焦距。
[公式2]
y=ftanθi   (2)
镜头上的入射角可由下面的公式(3)计算。
[公式3]
θ i = tan - 1 xc 2 + zc 2 yc - - - ( 3 )
另一方面,基于图像高度y,图像坐标系(xi、yi)由下面的公式(4)、(5)和(6)定义。这里Xmax和Ymax分别表示垂直方向和水平方向的图像尺寸,pix_x和pix_y分别表示垂直方向和水平方向的传感器的像素尺寸。由于世界坐标系中的校正点的坐标是已知的,因此当图像上两个校正点A和B的坐标由图6所示的指令单元5的顺序操作确定时,平转角、滚动角和俯仰角中的每个可从公式(1)-(6)计算。
[公式4]
xi=Xmax/2+ycosφi/pix_x   (4)
yi=Ymax/2+ysinφi/pix_y   (5)
φ i = tan - 1 zc xc - - - ( 6 )
在CPU4计算校正参数之后,成像单元1输出与校正参数对应量的图像偏移,或者图像叠加单元3为来自成像单元1的已叠加图像设置与校正参数对应量的偏移。结果,图像叠加单元3在通过例如预测轨道等的图像叠加到由图像处理单元2生成的数字图像上来生成已叠加图像时,在校正参数的计算之前对预测轨道等从其叠加位置的偏移进行叠加。因此,高精确度的预测车辆轨道可在例如停车时被显示。
如上所述,根据本实施方式的摄像机校正设备在不需要例如重复精细调整的复杂操作的情况下,能够容易地调整校正标记14a和14b的显示位置以与校正索引8的两个点A、B重叠和计算针对校正的成像单元1(摄像机)的安装角(平转角、滚动角和俯仰角)。特别地,由于校正标记14a和14b的显示位置可在不需要旋转的情况下通过简单地沿垂直和水平方向移位校正标记被调整,在操作中减少强加于操作员的工作负荷,并且能够进行容易的校正。
注意,需要花费一些时间来精细调整校正标记14a和14b的位置以满足校正索引8的两端A和B,而且当校正标记14a和14b未完全满足校正索引8的两端A和B时,不能获得校正参数。因此,校正标记14a和14b为围绕着预定区域的框架形式是优选的,并且当由校正标记14a和14b围绕着的预定区域容纳了校正索引8的两端A和B时,CPU4获得校正标记14a和14b的位置坐标。图9是示出了校正标记的实施例的图示。图9(a)-(d)中所示的校正标记中的每个标记被形成为围绕着预定区域。
本发明适用于通过拍摄校正索引的图像,计算可移动物体上的摄像机安装角,来校正摄像机安装角的摄像机校正设备、摄像机和摄像机校正方法。
参考标号的说明
1    成像单元
2    图像处理单元
3    图像叠加单元
4    CPU(计算单元)
5    指令单元
5a   操作单元
6    图像输出单元
7    显示器
8    校正索引
9    开始按钮
10   移位按钮
11   位置确定按钮
12   执行按钮
14   校正标记
20   显示面板
21   后保险杠
100  摄像机校正设备
200  可移动物体

Claims (13)

1.一种用于通过拍摄校正索引的图像计算可移动物体上的摄像机安装角来校正所述摄像机安装角的摄像机校正设备,包括:
成像单元,被配置为拍摄包括所述校正索引的图像,所述校正索引具有位于平面上的两个分离点;
图像叠加单元,被配置为处理图像信号使得校正标记被叠加到所述图像上;
指令单元,被配置为指示将所述校正标记叠加到所述图像中的位置;以及
计算单元,被配置为当所述校正标记与所述校正索引的两个点被重叠叠加时,基于所述校正标记的显示位置计算用于校正所述摄像机安装角的偏差的参数。
2.根据权利要求1所述的摄像机校正设备,其中所述校正标记沿垂直方向和水平方向被移位。
3.根据权利要求1所述的摄像机校正设备,其中两个校正标记被显示在所述图像上以与所述校正索引的两个分离点相对应,并且所述校正标记的显示位置能够由指令单元分别控制。
4.根据权利要求1所述的摄像机校正设备,其中所述校正标记由互相垂直的两条线形成,并且所述两条线的交叉点指示着所述校正标记的显示位置。
5.根据权利要求1所述的摄像机校正设备,其中所述校正标记为围绕着预定区域的形状,以及
当所述校正标记被显示为与所述校正索引的两个点相重叠时,所述计算单元基于所述校正标记的显示位置计算所述摄像机安装角。
6.根据权利要求1所述的摄像机校正设备,其中所述校正索引由连接所述两个分离点的线形成。
7.根据权利要求1所述的摄像机校正设备,其中所述图像叠加单元使被移位的所述校正标记高亮。
8.根据权利要求1所述的摄像机校正设备,其中在所述计算单元计算所述参数之后,由所述摄像机拍摄的所述图像被偏移一个与所述参数对应的量之后被输出。
9.根据权利要求1所述的摄像机校正设备,其中所述图像叠加单元在将预定的图像叠加到由所述摄像机拍摄的图像上时,为叠加位置设置一个与所述参数对应的量的偏移。
10.根据权利要求1所述的摄像机校正设备,还包括用于显示图像的显示器,其中所述校正标记被叠加到包括了所述校正索引的图像上。
11.一种用于通过拍摄校正索引的图像计算可移动物体上的摄像机安装角来校正所述摄像机安装角的摄像机校正设备,包括:
图像叠加单元,被配置为处理图像信号使得校正标记被叠加在包括了所述校正索引的图像上,所述校正索引具有位于一个平面上的两个分离点;
指令单元,被配置为指示叠加在所述图像上的所述校正标记的显示位置;以及
计算单元,被配置为当所述校正标记与所述校正索引的两个点被重叠叠加时基于所述校正标记的显示位置计算所述摄像机安装角。
12.一种用于通过拍摄所述校正索引的图像计算可移动物体上的摄像机安装角来校正所述安装角的摄像机校正方法,包括:
拍摄包括所述校正索引的图像,所述校正索引具有位于一个平面上的两个分离点;
将校正标记叠加在所述图像上;
指示叠加在所述图像上的所述校正标记的显示位置;以及
基于与所述校正索引的两个点被重叠叠加的所述校正标记的显示位置计算所述摄像机安装角。
13.一种能够通过拍摄校正索引的图像计算可移动物体上的摄像机安装角来校正所述摄像机安装角的摄像机,包括:
图像单元,被配置为拍摄包括所述校正索引的图像,所述校正索引具有位于一个平面上的两个分离点;
图像叠加单元,被配置为处理图像信号使得校正标记被叠加在所述图像上;
指令接收单元,被配置为接收关于被叠加在所述图像上的所述校正标记的显示位置的指令;以及
计算单元,被配置为基于与所述校正索引的两个点被重叠叠加的所述校正标记的显示位置计算所述摄像机安装角。
CN201280044643.5A 2011-09-13 2012-09-13 摄像机校正设备、摄像机和摄像机校正方法 Pending CN103797779A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011200005A JP2013062692A (ja) 2011-09-13 2011-09-13 車載カメラの較正装置及び方法
JP2011-200005 2011-09-13
JP2012-039417 2012-02-24
JP2012039417A JP2013173453A (ja) 2012-02-24 2012-02-24 較正処理装置、カメラ較正装置、カメラシステム、およびカメラ較正方法
PCT/JP2012/005853 WO2013038681A1 (ja) 2011-09-13 2012-09-13 カメラ較正装置、カメラ、及びカメラ較正方法

Publications (1)

Publication Number Publication Date
CN103797779A true CN103797779A (zh) 2014-05-14

Family

ID=47882930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280044643.5A Pending CN103797779A (zh) 2011-09-13 2012-09-13 摄像机校正设备、摄像机和摄像机校正方法

Country Status (4)

Country Link
US (1) US20130215280A1 (zh)
EP (1) EP2757768A4 (zh)
CN (1) CN103797779A (zh)
WO (1) WO2013038681A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105744254A (zh) * 2014-12-30 2016-07-06 钰立微电子股份有限公司 校正导引***和校正导引***的操作方法
CN107833252A (zh) * 2016-09-09 2018-03-23 现代摩比斯株式会社 用于校正摄像机的误差的***和方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6012982B2 (ja) * 2012-02-24 2016-10-25 京セラ株式会社 較正処理装置、カメラ較正装置、カメラシステム、およびカメラ較正方法
JP6260424B2 (ja) * 2014-04-16 2018-01-17 株式会社デンソー 車載カメラの取り付け誤差検出装置
US11385105B2 (en) 2016-04-04 2022-07-12 Teledyne Flir, Llc Techniques for determining emitted radiation intensity
JP7037413B2 (ja) * 2018-03-28 2022-03-16 京セラ株式会社 撮像装置、移動体、および撮像方法
US10769813B2 (en) 2018-08-28 2020-09-08 Bendix Commercial Vehicle Systems, Llc Apparatus and method for calibrating surround-view camera systems
CN112637585A (zh) * 2020-12-15 2021-04-09 上海交通建设总承包有限公司 一种单反相机全景拍摄过程中透视错位现象的矫正方法
JP2023106132A (ja) * 2022-01-20 2023-08-01 キヤノン株式会社 情報処理装置及び情報処理方法、撮像装置、プログラム、記憶媒体
CN118101905A (zh) * 2024-04-29 2024-05-28 浙江中煤液压机械有限公司 基于图像识别的自动跟机方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010006554A1 (en) * 1999-12-24 2001-07-05 Toshiaki Kakinami On-vehicle camera calibration device
JP2004200819A (ja) * 2002-12-17 2004-07-15 Clarion Co Ltd 車載カメラのキャリブレーション方法及びキャリブレーション装置
CN101065969A (zh) * 2004-11-24 2007-10-31 爱信精机株式会社 摄像机的校正方法及摄像机的校正装置
EP2237223A1 (en) * 2009-03-31 2010-10-06 Aisin Seiki Kabushiki Kaisha Calibrating apparatus for on-board camera of vehicle
WO2010113672A1 (ja) * 2009-03-31 2010-10-07 アイシン精機株式会社 車載カメラの校正に用いられる校正指標と、当該校正指標を用いた車載カメラの校正方法と、当該校正指標を用いた車載カメラの校正装置のためのプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3551920B2 (ja) 1999-12-24 2004-08-11 アイシン精機株式会社 車載カメラの校正装置および校正方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010006554A1 (en) * 1999-12-24 2001-07-05 Toshiaki Kakinami On-vehicle camera calibration device
JP2004200819A (ja) * 2002-12-17 2004-07-15 Clarion Co Ltd 車載カメラのキャリブレーション方法及びキャリブレーション装置
CN101065969A (zh) * 2004-11-24 2007-10-31 爱信精机株式会社 摄像机的校正方法及摄像机的校正装置
EP2237223A1 (en) * 2009-03-31 2010-10-06 Aisin Seiki Kabushiki Kaisha Calibrating apparatus for on-board camera of vehicle
WO2010113672A1 (ja) * 2009-03-31 2010-10-07 アイシン精機株式会社 車載カメラの校正に用いられる校正指標と、当該校正指標を用いた車載カメラの校正方法と、当該校正指標を用いた車載カメラの校正装置のためのプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105744254A (zh) * 2014-12-30 2016-07-06 钰立微电子股份有限公司 校正导引***和校正导引***的操作方法
CN105744254B (zh) * 2014-12-30 2017-12-29 钰立微电子股份有限公司 校正导引***和校正导引***的操作方法
CN107833252A (zh) * 2016-09-09 2018-03-23 现代摩比斯株式会社 用于校正摄像机的误差的***和方法
CN107833252B (zh) * 2016-09-09 2022-04-12 现代摩比斯株式会社 用于校正摄像机的误差的***和方法

Also Published As

Publication number Publication date
EP2757768A1 (en) 2014-07-23
US20130215280A1 (en) 2013-08-22
EP2757768A4 (en) 2016-07-13
WO2013038681A1 (ja) 2013-03-21

Similar Documents

Publication Publication Date Title
CN103797779A (zh) 摄像机校正设备、摄像机和摄像机校正方法
CN104247394B (zh) 校正操作装置、摄像机装置、摄像机***和摄像机校正方法
CN107856667B (zh) 辅助泊车***和方法
US9967526B2 (en) Image processing device and storage medium
EP2818363B1 (en) Camera device, camera system, and camera calibration method
JP5003946B2 (ja) 駐車支援装置
EP3650285B1 (en) Parking assistance method and parking assistance device
US20150191118A1 (en) Vehicular visibility support apparatus
US10328866B2 (en) Image processing apparatus and image processing method for generating synthetic image and changing synthetic image
WO2013002037A1 (ja) 駐車支援装置
JP5724446B2 (ja) 車両の運転支援装置
JP3916240B2 (ja) 運転支援装置及び運転支援方法
US20100201810A1 (en) Image display apparatus and image display method
EP1803602A1 (en) Driving assist method and driving assist apparatus
US20100007734A1 (en) Vehicular image processing device, and vehicular image processing program
CN101909972A (zh) 车辆用停车辅助***和方法
JP6642906B2 (ja) 駐車位置検出システム及びそれを用いた自動駐車システム
JPWO2011010346A1 (ja) 運転支援装置
CN102740056A (zh) 图像显示***
JP5654284B2 (ja) 車両用ディスプレイ装置
JP2013154730A (ja) 画像処理装置、画像処理方法、及び、駐車支援システム
KR101510655B1 (ko) 주변 영상 생성 방법 및 장치
US20170028917A1 (en) Driving assistance device and driving assistance method
JP2010089716A (ja) 駐車支援装置及び駐車支援方法
JP2013062692A (ja) 車載カメラの較正装置及び方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140514

WD01 Invention patent application deemed withdrawn after publication