CN111869198B - 合成影像制作装置、合成影像制作方法以及记录介质 - Google Patents

Abstract

在将相邻的影像相连来制作合成影像的情况下，抑制由于频繁地更新图像变换矩阵引起的合成影像的闪烁。关于从具有相互重叠的区域的两个影像获取的两个图像，依次生成将坐标系进行对应的图像变换矩阵。使用生成的图像变换矩阵对至少一个图像进行坐标转换。将至少一个图像进行了坐标转换的两个图像叠加来制作合成图像。将当前使用的图像变换矩阵和新生成的图像变换矩阵进行对比。在这两个图像变换矩阵相似时，继续使用当前使用的图像变换矩阵来进行所述坐标转换。在两个图像变换矩阵不相似时，通过新生成的图像变换矩阵来校正在坐标转换中使用的图像变换矩阵来进行坐标转换。

Description

合成影像制作装置、合成影像制作方法以及记录介质

技术领域

本发明涉及一种将相邻的两个影像分别具有相互重叠的区域的两个以上的影像相连来制作合成影像的合成影像制作装置、合成影像制作方法以及合成影像制作程序。

背景技术

将相邻的两个图像分别具有相互重叠的区域的两个以上的图像相连来制作合成图像(全景图像等)的合成图像制作技术已被实用化。当前实用化的有些合成图像制作技术例如进行以下那样的一系列处理。关于具有相互重叠的区域的两个图像分别检测特征点。提取该特征点的特征量。基于该特征量来检测这两个图像的对应点。基于该对应点的坐标来计算用于使这两个图像的位置对准的图像变换矩阵。使用该图像变换矩阵对一个图像进行坐标转换，以使两个图像的坐标系一致。将这两图像彼此叠加来制作合成图像。通过针对相邻的两个图像的每个组合进行以上的一系列处理，能够将两个以上的图像相连。例如在非专利文献1中记载了该合成图像制作技术。

现有技术文献

非专利文献

非专利文献1：「特徴に基づくパノラマイメージの繋ぎ合わせ」、[平成30年3月6日検索]、インターネット〈URL：https://jp.mathworks.com/help/vision/examples/feature-based-panoramic-image-stitching.html〉(“基于特征进行的全景影像的连接，”“平成30年3月6日检索，”因特网〈URL：https://jp.mathworks.com/help/vision/examples/feature-based-panoramic-image-stitching.html〉)

发明内容

发明要解决的问题

通过将所述合成图像制作技术应用于影像(运动图像)，能够将具有相互重叠的区域的两个影像通过该区域相连来制作合成影像。该合成影像制作技术例如能够利用于车辆用的所谓电子镜的用途。该电子镜例如以下那样构成。朝向车辆后方的左、中央、右的各方向配置照相机。关于各照相机的影像，将相邻的两个影像彼此(即，左和中央的影像彼此以及中央和右的影像彼此)相连来制作一系列的全景影像。在配置于驾驶位的前方的液晶显示器等图像显示装置中显示制作出的全景影像以使驾驶者进行视觉识别。

在将合成图像制作技术应用于电子镜的情况下，由于由车辆的振动等引起的照相机之间的相对移动，可能会在各照相机的图像之间频繁地产生位置偏离。而且，若每当在各照相机的图像之间产生位置偏离时更新(校正)图像变换矩阵，则在显示的全景影像中产生闪烁(波动)使得驾驶者感到烦躁感，其结果，恐怕会妨碍车辆的驾驶。

为了解决上述的问题，本发明提供一种抑制了合成影像的闪烁的合成影像制作装置、合成影像制作方法以及合成影像制作程序。

用于解决问题的方案

本发明的合成影像制作装置将具有相互重叠的区域的两个影像通过该相互重叠的区域相连来制作合成影像，所述合成影像制作装置具有图像获取部、特征量提取部、图像变换矩阵生成部、图像转换部、图像输出部以及校正判定部，所述图像获取部以从所述两个影像各获取一个图像的方式依次获取两个图像，所述特征量提取部关于进行所述获取所得到的两个图像分别检测特征点，并且分别提取进行该检测所的到的特征点的特征量，所述图像变换矩阵生成部基于进行所述提取所得到的特征点的特征量来检测所述两个图像的对应点，基于进行该检测所得到的对应点的坐标来依次生成使所述两个图像的坐标系进行对应(例如，使坐标系一致或者进行坐标对准或者将所述相互重叠的区域的位置对准等)的图像变换矩阵，所述图像转换部使用进行所述生成所得到的图像变换矩阵对所述两个图像中的至少一个图像进行坐标转换，来将所述两个图像的坐标系进行对应，所述图像输出部将所述坐标系相对应的两个图像彼此叠加来制作合成图像，并且输出该合成图像，所述校正判定部将当前使用的图像变换矩阵和新生成的图像变换矩阵进行对比，根据用于判定这两个图像变换矩阵的差异度或相似度的规定的判定基准来判定所述两个图像变换矩阵是否相似，在判定为相似时，使所述图像转换部继续使用所述当前使用的图像变换矩阵进行所述坐标转换，在判定为所述两个图像变换矩阵不相似时，通过所述新生成的图像变换矩阵对使用于所述坐标转换的图像变换矩阵进行校正(例如切换为该新生成的图像变化矩阵)来使所述图像转换部进行所述坐标转换，所述合成影像制作装置根据时间的进展依次进行所述合成图像的制作来制作所述合成影像。据此，能够抑制图像变换矩阵的频繁更新，因此能够抑制合成影像的闪烁，其结果，能够减轻给合成影像的视觉识别者带来的烦躁感。

所述图像变换矩阵例如能够设为将所述两个图像中的一个图像的坐标系与另一个图像的坐标系进行对应的图像变换矩阵。据此，通过关于两个图像中的一个图像进行坐标转换，能够进行两个图像的坐标系的对应。

所述校正判定部能够使用判定基准来判定所述两个图像变换矩阵的差异度或相似度，作为所述判定基准，例如使用将基于所述当前使用的图像变换矩阵和所述新生成的图像变换矩阵的对应的要素彼此的要素值(是指要素的值)之差的值设为指标值的判定基准。据此，能够将基于这两个图像变换矩阵的对应的要素彼此的要素值之差的值设为指标值来判定这两个图像变换矩阵的差异度或相似度，来进行图像变换矩阵的校正。例如，在该指标值不超过规定的阈值(判定基准值)时(即两个图像变换矩阵的差异度低时或相似度高时)，判定为两个图像变换矩阵相似，能够继续使用当前使用的图像变换矩阵。另外，在该指标值超过规定的阈值时(即两个图像变换矩阵的差异度高时或相似度低时)，判定为两个图像变换矩阵不同，能够通过新生成的图像变换矩阵来校正使用于坐标转换的图像变换矩阵。作为基于这两个图像变换矩阵的对应的要素彼此的要素值之差的指标值，例如能够使用以下的值。

·全部的对应的要素彼此的要素值之差的各绝对值的总和值

·某个特定的对应的要素彼此的要素值之差的各绝对值的总和值

·将全部的对应的要素彼此的要素值之差分别进行平方所得到的值的总和值

·将某个特定的要素彼此的要素值之差分别进行平方所得到的值的总和值

所述特征量提取部例如能够设为关于隔开适当的时间间隔的图像提取所述特征量。据此，相比于关于全部时间点(也就是全部帧的)的图像进行特征量的提取的情况，能够削减运算量。

所述校正判定部例如在判定为所述图像变换矩阵不相似时，能够以该被判定为不相似的状态持续了规定时间为条件，通过所述新生成的图像变换矩阵对使用于所述坐标转换的图像变换矩阵进行校正。据此，能够抑制由于影像的暂时性的振动等而校正图像变换矩阵从而使得影像产生闪烁。

本发明的合成影像制作装置能够设为关于相邻的两个影像分别具有相互重叠的区域的三个以上的影像，针对该相邻的每两个影像进行所述图像获取部、所述特征量提取部、所述图像变换矩阵生成部、所述图像转换部、所述图像输出部、所述校正判定部中的处理，将所述三个以上的影像通过所述相互重叠的区域分别相连来制作合成影像。据此，在将三个以上的影像相连的情况下，也能够抑制合成影像的闪烁，由此能够减轻给视觉识别者带来的烦躁感。将所述三个以上的影像的各图像相连的方向例如能够如以下的那样进行设定为各种方向。

·以一端的图像的坐标系为基准(也就是将该坐标系固定)，沿一个方向依次进行连接直至另一端的图像为止。

·以中央的图像的坐标系为基准，沿两个方向依次进行连接直至两端的图像为止。

本发明例如能够应用于车辆用视觉识别装置。在该情况下，例如能够关于相邻的两个影像分别具有相互重叠的区域的车辆后方的左方向、车辆后方的中央方向、车辆后方的右方向的三个影像，针对所述相邻的每两个影像进行所述图像获取部、所述特征量提取部、所述图像变换矩阵生成部、所述图像转换部、所述图像输出部、所述校正判定部中的处理，将所述三个影像通过所述相互重叠的区域分别相连来制作合成影像。据此，能够得到将车辆后方的左方向、中央方向、右方向的三个影像连接而成的全景影像。

在将本发明应用于上述车辆用视觉识别装置的情况下，所述图像变换矩阵生成部例如能够关于从所述三个影像获取的三个图像，分别生成将所述左方向和所述右方向的两个图像的坐标系与所述中央方向的图像的坐标系进行对应的图像变换矩阵，所述图像转换部能够分别使用进行所述生成所得到的的图像变换矩阵对所述左方向和右方向的图像进行坐标转换，来将该左方向和右方向的图像的坐标系与所述中央方向的图像的坐标系进行对应，所述图像输出部能够将所述坐标系相对应的三个图像彼此叠加来制作所述合成图像，并且输出所述合成图像。据此，在进行车辆的驾驶时，重要的车辆后方中央方向的影像的坐标系不发生变化，因此该中央方向的影像不闪烁，能够得到适于驾驶的全景影像。

在将本发明应用于上述车辆用视觉识别装置的情况下，所述校正判定部例如能够使用所述判定基准来判定所述两个图像变换矩阵的差异度或相似度，所述判定基准例如能够将基于所述两个图像变换矩阵中的反映出平移量的要素彼此的要素值之差和反映出旋转角度的要素彼此的要素值之差的值设为指标值。能够认为，车辆后方的左方向、中央方向、右方向的影像之间的坐标系的偏离的变动大致是在平移方向和旋转方向上产生的。因此，通过将基于图像变换矩阵的要素中的、反映出平移量的要素彼此的要素值之差和反映出旋转角度的要素彼此的要素值之差的值设为指标值，相比于将基于图像变换矩阵的全部的对应的要素彼此的要素值之差的值设为指标值的情况，能够削减运算量。

本发明的合成影像制作程序为用于使信息处理装置作为本发明的合成影像制作装置发挥功能的程序。据此，能够使信息处理装置作为本发明的合成影像制作装置发挥功能。

本发明的合成影像制作方法将具有相互重叠的区域的两个影像通过该相互重叠的区域相连来制作合成影像，在该方法中，以从所述两个影像中各获取一个图像的方式依次获取两个图像，依次生成将所述两个图像的坐标系进行对应的图像变换矩阵，使用进行所述生成所得到的图像变换矩阵对所述两个图像中的至少一个图像进行坐标转换，来将所述两个图像的坐标系进行对应，将所述坐标系相对应的两个图像彼此叠加来制作合成图像，将当前使用的图像变换矩阵和新生成的图像变换矩阵进行对比，根据用于判定这两个图像变换矩阵的差异度或相似度的规定的判定基准，在判定为所述两个图像变换矩阵相似时，继续使用所述当前使用的图像变换矩阵来进行所述坐标转换，在判定为所述两个图像变换矩阵不相似时，通过所述新生成的图像变换矩阵对使用于所述坐标转换的图像变换矩阵进行校正来进行所述坐标转换，根据时间的进展依次进行所述合成图像制作，以制作所述合成影像。据此，能够抑制图像变换矩阵的频繁更新，因此能够抑制合成影像的闪烁，其结果，能够减轻给合成影像的视觉识别者带来的烦躁感。

本发明的合成影像制作程序为用于使信息处理装置执行本发明的合成影像制作方法的程序。

附图说明

图1是示出将本发明应用于将图2的三台照相机的影像进行合成的合成影像制作装置的情况下的、本发明的实施方式的功能框图。

图2是将本发明应用于分别朝向车辆后方的左方向、车辆后方的中央方向、车辆后方的右方向配置的三台照相机的影像进行合成并显示的车辆用视觉识别装置的情况下的、各照相机的配置和视野的一例的示意俯视图。

图3是示出显示通过图1的合成影像制作装置合成的某个时间点的三个图像和通过该合成得到的合成图像的图像显示装置中的、该合成图像的显示区域的一例的示意图。

图4是示出对通过图1的合成影像制作装置进行的合成影像制作动作的控制内容的一例的流程图。

具体实施方式

对将本发明应用于车辆用视觉识别装置的情况下的实施方式进行说明。该车辆用视觉识别装置将朝向车辆后方的左、中央、右的各方向配置的三台照相机的影像进行合成，并且在配置于驾驶位的前方的液晶显示器等图像显示装置中显示该合成影像(全景影像)。图2示出车辆中的照相机的配置。在车辆10的车外的左侧部(例如左后视镜)、后部(例如车辆后部的宽度方向中央的号码牌附近)、右侧部(例如右后视镜)分别配置有左照相机12L、中央照相机12C、右照相机12R。这些照相机12L、12C、12R分别通过CCD照相机、CMOS照相机等电子照相机构成。照相机12L、12C、12R的摄影倍率固定并且相等。照相机12L、12C、12R以每秒规定帧的帧频拍摄各个视野的影像(即连续图像)，依次输出拍摄到的该影像的影像信号。在图2中用灰色分别示出照相机12L、12C、12R的水平方向上的视野的一例。在该例中，如以下那样分别设定左照相机12L、中央照相机12C、右照相机12R的水平方向上的视野。

·左照相机12L的视野：车辆10的后方的左方向的区域ZL

·中央照相机12C的视野：车辆10的后方的中央方向的区域ZC

·右照相机12R的视野：车辆10的后方的右方向的区域ZR

如图2所示，区域ZL和区域ZC具有相互重叠的区域ZLC，区域ZC和区域ZR具有相互重叠的区域ZCR。照相机12L、12C、12R的上下方向上的视野分别设定为从以水平方向为中心向下的适当角度起至向上的适当角度为止的适当的角度范围。

图1示出将通过图2的三台照相机12L、12C、12R拍摄到的影像进行合成的本发明的合成影像制作装置14的功能框图。合成影像制作装置14构成为：对左照相机12L和右照相机12R的各影像的坐标系进行坐标转换使之与中央照相机12C的影像的坐标系一致，并将这三个影像叠加来制作全景影像。在图1中，左图像获取部16L、中央图像获取部16C、右图像获取部16R相互同步或非同步地针对每个帧依次获取通过左照相机12L、中央照相机12C、右照相机12R分别拍摄到的影像的图像(左图像、中央图像、右图像)。

特征量提取部18L、18C、18R关于获取到的同一时间点(同一时刻或大致同一时刻)的左图像、中央图像、右图像，相互同步地进行特征点的检测和该检测出的特征点的特征量的提取。特征点的检测和特征量的提取例如能够使用SIFT(Scale-invariant featuretransform：尺度不变特征变换)、SURF(Speed-Upped Robust Feature：加速鲁棒特征)等特征量提取算法来进行。此外，由特征量提取部18L、18C、18R进行的特征点的检测和特征量的提取除了按帧进行以外，还能够每隔适当的帧进行。如果每隔适当的帧进行特征点的检测和特征量的提取，相比于按帧进行特征点的检测和特征量的提取的情况，能够削减运算量。

图像变换矩阵生成部20基于关于左图像和中央图像分别提取出的特征量，来检测左图像和中央图像的多个对应点。这些对应点为左图像和中央图像相互重叠的区域ZLC(图2)中的对应点。另外，图像变换矩阵生成部20基于关于中央图像和右图像分别提取出的特征量，来检测中央图像和右图像的多个对应点。这些对应点为中央图像和右图像相互重叠的区域ZCR(图2)中的对应点。对应点的检测例如能够通过以下的算法来进行。关于两个图像的多个特征点的之间，通过最小二乘法等来求出关于各特征点检测出的特征量的相似度。判定彼此的相似度高的特征点(如果为最小二乘法，则为差的平方和接近0的规定的阈值以下的特征点)。将判定出的特征点彼此检测为对应点。

图像变换矩阵生成部20还基于检测出的对应点的坐标来生成将两个图像的坐标系进行对应的图像变换矩阵。即，关于左图像和中央图像的组，生成以中央图像的坐标系为基准使左图像的坐标系与中央图像的坐标系一致的图像变换矩阵TL。另外，关于中央图像和右图像的组，生成以中央图像的坐标系为基准使右图像的坐标系与中央图像的坐标系一致的图像变换矩阵TR。图像变换矩阵TL、TR例如能够生成为仿射变换矩阵。

图像转换部22分别使用生成的图像变换矩阵TL、TR来进行左图像、右图像的坐标转换。即，图像转换部22使用图像变换矩阵TL对左图像进行坐标转换，来使左图像的坐标系与中央图像的坐标系一致。另外，图像转换部22使用图像变换矩阵TR对右图像进行坐标转换，来使右图像的坐标系与中央图像的坐标系一致。作为这些坐标转换的结果，左图像、右图像的坐标系与中央图像的坐标系对准。此外，能够不等到图像变换矩阵生成部20基于该图像进行的图像变换矩阵的生成处理结束就进行图像转换部22针对某个时间点的图像的坐标转换处理。即，若等到图像变换矩阵生成部20基于某个时间点的图像进行的图像变换矩阵的生成处理结束后进行图像转换部22针对该图像的坐标转换处理时，则图像变换矩阵生成部20进行的图像变换矩阵的生成处理需要时间，在该情况下，针对该图像的坐标转换处理延迟，该图像被相应地延迟显示。在车辆用电子镜的用途中不期望该显示的延迟。因此，不等到图像变换矩阵生成部20基于该图像进行的图像变换矩阵的生成处理结束就进行图像转换部22针对某个时间点的图像的坐标转换处理。由此，能够消除伴随图像变换矩阵的生成处理产生的显示延迟。在该情况下，通过基于在该图像之前获取到的图像生成的图像变换矩阵对图像进行坐标转换。但是，如果两个图像(用于生成图像变换矩阵的图像、通过该生成的图像变换矩阵进行坐标转换的图像)间的时间差不那么大，则认为在显示的全景图像上的图像的连接处不易产生大的偏离(或者即使产生了偏离也能够在短时间内消除大的偏离)。

图像输出部24将坐标系对准后的左图像、中央图像、右图像叠加来制作合成图像，并且输出该合成图像。在该情况下，关于相互重叠的区域ZLC、ZCR，例如遮盖左图像、右图像的相应区域，输出中央图像的相应区域。其结果，从图像输出部24输出左图像、中央图像、右图像连接而成的全景图像。

合成影像制作装置14按帧依次进行图像转换部22中的坐标转换处理和图像输出部24中的图像的叠加处理，由此制作全景影像。通过合成影像制作装置14制作出的全景影像被适当裁切后显示于配置于驾驶位的前方的液晶显示器等图像显示装置。驾驶者能够一边观看该影像来确认车辆后方的周围(即，车辆后方的从左方向经过中央方向到达右方向的水平方向上的大角度的区域)的状况，一边进行该车辆的驾驶。

图3示意性地示出通过合成影像制作装置14合成的某个时间点的三个图像(左图像IL、中央图像IC、右图像IR)和图像显示装置中的显示区域D的一例。将左图像IL、中央图像IC、右图像IR中的相互相邻的图像彼此连接来构成全景图像。该全景影像被适当裁切后显示于图像显示装置的显示区域D。以中央图像IC的坐标系为基准进行坐标转换(即，中央图像IC的坐标系不动)，并且使裁切位置相对于中央图像IC固定，由此能够使中央图像IC的位置相对于显示区域D固定。其结果，能够防止对于车辆的驾驶来说重要的车辆后方中央方向的影像由于图像处理(坐标转换和裁切)而闪烁(波动)，能够得到适于驾驶的全景影像。

在图1中，校正判定部26将当前使用的图像变换矩阵和新生成的图像变换矩阵进行对比，来判定是否需要校正图像变换矩阵。在此，当前使用的图像变换矩阵是基于在过去获取到的图像生成的，并且是在当前坐标转换处理中使用的图像变换矩阵。另外，新生成的图像变换矩阵是基于新获取到的图像生成的，并且是在坐标转换处理中未使用的图像变换矩阵。校正判定部26根据用于判定这两个图像变换矩阵的差异度或相似度的规定的判定基准，来判定这两个图像变换矩阵是否相似。而且，在判定为这两个图像变换矩阵“相似”时，继续使用当前使用的图像变换矩阵使图像转换部22进行坐标转换。与此相对地，在判定为这两个图像变换矩阵“不相似”时，将在坐标转换中使用的图像变换矩阵切换为新生成的图像变换矩阵来使图像转换部22进行坐标转换。

校正判定部26例如设定将基于当前使用的图像变换矩阵和新生成的图像变换矩阵的对应的要素彼此的要素值之差的值设为指标值的判定基准。而且，校正判定部26使用该判定基准来判定这两个图像变换矩阵的差异度或相似度，来进行图像变换矩阵的切换。在该情况下，校正判定部26在该指标值不超过规定的阈值时(两个图像变换矩阵的差异度低时或相似度高时)，判定为两个图像变换矩阵相似，使图像转换部22继续使用当前使用的图像变换矩阵来进行获取图像的坐标转换。另外，校正判定部26在该指标值超过规定的阈值时(两个图像变换矩阵的差异度高时或相似度低时)，判定为两个图像变换矩阵不同。而且，校正判定部26使图像转换部22切换为新生成的图像变换矩阵来进行获取图像的坐标转换。通过这样校正图像变换矩阵，能够校正左图像、中央图像、右图像之间的坐标系的偏离。其结果是，能够抑制全景图像的偏离。另外，由于设定阈值来判定是否需要校正，因此在图像之间的坐标系的偏离小并且全景图像中的偏离在视觉上不明显时，不对该坐标系的偏离进行校正。由此，能够抑制图像变换矩阵的频繁更新，由此抑制合成影像的闪烁，因此能够减轻给视觉识别者带来的烦躁感。此外，在指标值超过阈值时，校正判定部26不限于立即进行图像变换矩阵的校正，还能够以超过该阈值的状态持续了规定时间为条件进行图像变换矩阵的校正。如果这样，则能够抑制由于三个影像中的一部分影像的瞬间振动等而切换图像变换矩阵从而使得其它影像受到该影响而产生闪烁。

具体地说，在校正判定部26中作为判定基准使用的“基于当前使用的图像变换矩阵和新生成的图像变换矩阵的对应的要素彼此的要素值之差的指标值”例如能够使用以下的指标值(a)～(d)。但是，该指标值并不限于这些。

·指标值(a)：关于两个图像变换矩阵的全部要素，针对每个要素取得要素值之差的绝对值，作为该各绝对值的总和值得到的值

·指标值(b)：关于两个图像变换矩阵的全部要素，针对每个要素取得要素值之差的平方值，作为该各平方值的总和值得到的值

·指标值(c)：不是关于两个图像变换矩阵的全部要素而是关于特定的要素，针对每个要素取得要素值之差的绝对值，作为该各绝对值的总和值得到的值

·指标值(d)：不是关于两个图像变换矩阵的全部要素而是关于特定的要素，针对每个要素取得要素值之差的平方值，作为该各平方值的总和值得到的值

在使用基于图像变换矩阵的特定的要素的指标值(c)或(d)的情况下，相比于使用基于图像变换矩阵的全部要素的指标值(a)或指标值(b)的情况，能够削减运算量，快速判定是否需要校正。

关于指标值(a)～(d)，均为当前使用的图像变换矩阵和新生成的图像变换矩阵越近似(即，差异度越低或者相似度越高)则为越小的值。因而，在使用指标值(a)～(d)的情况下，校正判定部26在指标值(a)～(d)的计算值与被设定为判定基准的规定的阈值相同或比该规定的阈值小的情况下，判定为两个图像变换矩阵“相似”。此时，校正判定部26使图像转换部22继续使用当前使用的图像变换矩阵来进行获取图像的坐标转换。另外，校正判定部26在指标值(a)～(d)的计算值比被设定为判定基准的规定的阈值大的情况下，判定为两个图像变换矩阵“不相似”。此时，校正判定部26使图像转换部22切换为新生成的图像变换矩阵来进行获取图像的坐标转换。

在此，以下设为在本实施方式中使用仿射转换进行坐标转换来进行说明。如公知的那样，仿射转换为将平移、缩放(放大、缩小)、偏斜(剪切)、旋转组合而成的转换。其中，在作为本实施方式的车辆用视觉识别装置的用途中，照相机12L、12C、12R的摄影倍率固定并且相互相等，因此不产生图像的倍率变化。另外，也不产生图像的剪切。因而，如果设为在照相机12L、12C、12R的图像之间产生坐标系的变化，则认为是由于平移或旋转引起的。因此，认为在校正判定部26中用于判定是否需要校正图像变换矩阵的仿射变换矩阵的要素能够限定为与平移量有关的要素以及与旋转角度有关的要素。用式1a或式1b表示将平移和旋转组合而成的仿射转换式。

[数1a]

[数1b]

其中，在式1a或式1b中，x、y为坐标转换前的坐标，X、Y为坐标转换后的坐标，tx为x轴方向上的平移量，ty为y轴方向上的平移量，q为旋转角度。

校正判定部26在使用前述的指标值(c)或(d)的情况下，能够使用式1a或式1b的仿射变换矩阵的例如要素tx、-sin(q)这两个要素来作为“特定的要素”。在该情况下，分别用式2、式3表示指标值(c)(d)。

[数2]

[数3]

此外，校正判定部26在使用指标值(c)或(d)的情况下，不限于两个要素，例如还能够使用要素tx、ty、-sin(q)这三个要素。另外，还能够使用要素cos(q)来代替要素-sin(q)。

参照图4来说明对通过图1的合成影像制作装置14进行的合成影像制作的一系列控制内容。左图像获取部16L、中央图像获取部16C、右图像获取部16R按帧依次获取通过左照相机12L、中央照相机12C、右照相机12R拍摄到的影像的左图像、中央图像、右图像(S1)。特征量提取部18L、18C、18R关于获取到的同一时间点的左图像、中央图像、右图像进行用于提取特征量的图像转换(例如灰度化)。接着，特征量提取部18L、18C、18R从该图像转换后的各图像中进行特征量的提取(特征点的检测和检测出的特征点的特征量的计算)(S2)。此外，如前述那样，特征量的提取除了按帧进行以外，还能够每隔适当的帧进行。

图像变换矩阵生成部20基于关于左图像、中央图像、右图像分别提取出的特征量，分别检测左图像和中央图像的多个对应点、中央图像和右图像的多个对应点。图像变换矩阵生成部20还基于检测出的对应点的坐标来生成用于使对应点彼此的位置一致的图像变换矩阵TL、TR(S3)。即，图像变换矩阵生成部20关于左图像和中央图像，以使左图像的对应点与中央图像的对应点一致的方式生成对左图像进行坐标转换的图像变换矩阵TL。另外，图像变换矩阵生成部20关于中央图像和右图像，以使右图像的对应点与中央图像的对应点一致的方式生成对右图像进行坐标转换的图像变换矩阵TR。

校正判定部26针对每个图像变换矩阵TL、TR，将当前使用的图像变换矩阵和新生成的图像变换矩阵进行对比，来判定是否需要校正图像变换矩阵。即，校正判定部26根据基于当前使用的图像变换矩阵和新生成的图像变换矩阵的对应的要素彼此的要素值之差的指标值是否超过规定的阈值，来判定是否需要校正图像变换矩阵(S4)。然后，校正判定部26在指标值没有超过该阈值的情况下，判定为不需要校正(在S4中为“否”)，使图像转换部22继续使用当前使用的图像变换矩阵TL、TR来进行获取图像的坐标转换(S5)。另外，校正判定部26在指标值超过该阈值(在S4中为“是”)并且超过该阈值的状态持续了规定时间的情况下(在S6中为“是”)，判定为需要校正，使图像转换部22切换为新生成的图像变换矩阵来进行获取图像的坐标转换(S7)。另外，校正判定部26在虽然指标值超过了该阈值(在S4中为“是”)但超过该阈值的状态没有持续规定时间的情况下(在S6中为“否”)，判定为不需要校正，使图像转换部22继续使用当前使用的图像变换矩阵TL、TR来进行获取图像的坐标转换(S5)。图像变换矩阵的校正处理(S4～S7)针对每个图像变换矩阵TL、TR独立地进行。

图像转换部22从通过左照相机12L、中央照相机12C、右照相机12R拍摄到的各影像中按帧依次分别获取左图像、中央图像、右图像(S8)。然后，图像转换部22使用通过校正判定部26指定出的图像变换矩阵TL对左图像进行坐标转换，由此使左图像的坐标系与中央图像的坐标系对准。另外，图像转换部22使用通过校正判定部26指定出的图像变换矩阵TR对右图像进行坐标转换，由此使右图像的坐标系与中央图像的坐标系对准(S9)。图像输出部24将坐标系对准后的左图像、中央图像、右图像叠加来制作全景合成图像，并且输出该全景合成图像(S9、S10)。

根据所述实施方式的合成影像制作装置14，例如在如以下那样的场景下发挥其用处。

(a)即使由于车辆大幅度振动或照相机碰撞到障碍物等使照相机彼此的相对位置产生偏离，也能够校正图像变换矩阵，自动修正图像的连接处的偏离。

(b)在照相机为电动折叠式的情况下，在展开位置处任一照相机的停止位置相对于正规的位置稍微偏离地停止的情况下，校正图像变换矩阵来使图像的连接处自动地对准。

(c)在通过后安装的方式将多台照相机搭载于车辆并合成全景影像的情况下，如果粗略地设定各照相机的方向，则之后自动地校正图像变换矩阵来使图像的连接处对准。

(d)在搭载有驾驶者能够通过远程操作来电动调整各照相机的朝向的情况下，在调整了照相机的朝向时，自动地校正图像变换矩阵来使图像的连接处对准。

本发明也能够设为如下的实施方式。

(a)在所述实施方式中，在判定为当前使用的图像变换矩阵和新生成的图像变换矩阵不相似时，将使用于坐标转换的图像变换矩阵一次性(即通过一帧)切换为新生成的图像变换矩阵，但不限于此。即，还能够逐步(即，通过多帧分阶段地)进行切换，以取代一次性进行切换。据此，能够使合成影像的闪烁(波动)不明显。

(b)在所述实施方式中，设为不等到图像变换矩阵生成部基于该图像进行的图像变换矩阵的生成处理结束就进行图像转换部针对某个时间点的图像的坐标转换处理，但并不限于此。即，还能够等到图像变换矩阵生成部基于该图像进行的图像变换矩阵的生成处理结束后进行图像转换部针对某个时间点的图像的坐标转换处理(即，使用基于某个时间点的图像生成的图像变换矩阵来进行该图像的坐标转换)。

(c)在所述实施方式中，以与中央图像的坐标系对准的方式分别对左图像和右图像的各坐标系进行坐标转换，但并不限于此。即，还能够以与左图像的坐标系对准的方式对中央图像的坐标系进行坐标转换，以与该坐标转换后的中央图像的坐标系对准的方式对右图像的坐标系进行坐标转换(或者，以与其相反的方向依次进行坐标转换)。

(d)在所述实施方式中，以使相邻的两个图像中的一个图像的坐标系与另一个图像的坐标系对准的方式仅对一个图像进行坐标转换来进行图像的位置对准，但并不限于此。即，还能够以对两个图像的坐标系均进行坐标转换的方式进行位置对准。

(e)在所述实施方式中，直接对通过照相机拍摄到的图像进行坐标转换后进行合成，但不限于此。即，还能够关于对由照相机拍摄到的图像实施了适当的图像处理(例如视点转换处理、失真校正处理等)后的图像进行坐标转换后进行合成。

(f)在所述实施方式中，示出了将本发明应用于具有三台照相机的***的情况，但不限于此。即，本发明也能够应用于具有两台照相机的***或具有四台以上的照相机的***。

(g)在所述实施方式中使用仿射变换矩阵作为图像变换矩阵，但还能够使用此外的图像变换矩阵。例如，在仅考虑旋转和平移即可的情况下，还能够使用刚性变换矩阵。

(h)在所述实施方式中，示出了将本发明应用于拍摄车辆后方的影像并显示的电子镜的情况，但不限于此。即，例如还能够应用于对搭载于车辆的多台照相机的影像进行视点转换并连接来制作车辆周围的俯视影像并显示的***。

附图标记说明

10：车辆；12L：左照相机；12C：中央照相机；12R：右照相机；14：合成影像制作装置；16L：左图像获取部；16C：中央图像获取部；16R：右图像获取部；18L：特征量提取部；18C：特征量提取部；18R：特征量提取部；20：图像变换矩阵生成部；22：图像转换部；24：图像输出部；26：校正判定部；ZL：左照相机的视野的水平方向上的区域；ZC：中央照相机的视野的水平方向上的区域；ZR：右照相机的视野的水平方向上的区域；ZLC：区域ZL与区域ZC相互重叠的区域；ZCR：区域ZC与区域ZR相互重叠的区域；TL：图像变换矩阵；TR：图像变换矩阵；IL：左图像；IC：中央图像；IR：右图像；D：图像显示装置的显示区域。

Claims (17)

1.一种合成影像制作装置，将具有相互重叠的区域的两个影像通过该相互重叠的区域相连来制作合成影像，

所述合成影像制作装置构成为具有图像获取部、特征量提取部、图像变换矩阵生成部、图像转换部、图像输出部以及校正判定部，

其中，所述图像获取部以从所述两个影像各获取一个图像的方式依次获取两个图像，

所述特征量提取部关于进行所述获取所得到的两个图像分别检测特征点，并且分别提取进行该检测所得到的特征点的特征量，

所述图像变换矩阵生成部基于进行所述提取所得到的特征点的特征量来检测所述两个图像的对应点，基于进行该检测所得到的对应点的坐标来依次生成将所述两个图像的坐标系进行对应的图像变换矩阵，

所述图像转换部使用进行所述生成所得到的图像变换矩阵对所述两个图像中的至少一个图像进行坐标转换，来将所述两个图像的坐标系进行对应，

所述图像输出部将所述坐标系相对应的两个图像彼此叠加来制作合成图像，并且输出该合成图像，

所述校正判定部将当前使用的图像变换矩阵和新生成的图像变换矩阵进行对比，根据用于判定这两个图像变换矩阵的差异度或相似度的规定的判定基准来判定所述两个图像变换矩阵是否相似，在判定为相似时，使所述图像转换部继续使用所述当前使用的图像变换矩阵进行所述坐标转换，在判定为所述两个图像变换矩阵不相似时，通过所述新生成的图像变换矩阵对使用于所述坐标转换的图像变换矩阵进行校正来使所述图像转换部进行所述坐标转换，

所述合成影像制作装置根据时间的进展依次进行所述合成图像的制作来制作所述合成影像。

2.根据权利要求1所述的合成影像制作装置，其中，

所述校正判定部使用判定基准来判定所述两个图像变换矩阵的差异度或相似度，作为所述判定基准，使用将基于所述当前使用的图像变换矩阵和所述新生成的图像变换矩阵的对应的要素彼此的要素值之差的值设为指标值的判定基准。

3.根据权利要求1所述的合成影像制作装置，其中，

所述特征量提取部针对隔开适当的时间间隔的图像提取所述特征量。

4.根据权利要求2所述的合成影像制作装置，其中，

所述特征量提取部针对隔开适当的时间间隔的图像提取所述特征量。

5.根据权利要求1至4中的任一项所述的合成影像制作装置，其中，

所述校正判定部在判定为所述图像变换矩阵不相似时，以被判定为该不相似的状态持续规定时间为条件，通过所述新生成的图像变换矩阵对使用于所述坐标转换的图像变换矩阵进行校正。

6.根据权利要求1至4中的任一项所述的合成影像制作装置，其中，

关于相邻的两个影像分别具有相互重叠的区域的三个以上的影像，针对该相邻的每两个影像进行所述图像获取部、所述特征量提取部、所述图像变换矩阵生成部、所述图像转换部、所述图像输出部、所述校正判定部中的处理，将所述三个以上的影像通过所述相互重叠的区域分别相连来制作合成影像。

7.根据权利要求5所述的合成影像制作装置，其中，

关于相邻的两个影像分别具有相互重叠的区域的三个以上的影像，针对该相邻的每两个影像进行所述图像获取部、所述特征量提取部、所述图像变换矩阵生成部、所述图像转换部、所述图像输出部、所述校正判定部中的处理，将所述三个以上的影像通过所述相互重叠的区域分别相连来制作合成影像。

8.根据权利要求1至4中的任一项所述的合成影像制作装置，其中，

关于相邻的两个影像分别具有相互重叠的区域的车辆后方的左方向、车辆后方的中央方向、车辆后方的右方向的三个影像，针对所述相邻的每两个影像进行所述图像获取部、所述特征量提取部、所述图像变换矩阵生成部、所述图像转换部、所述图像输出部、所述校正判定部中的处理，将所述三个影像通过所述相互重叠的区域分别相连来制作合成影像。

9.根据权利要求5所述的合成影像制作装置，其中，

关于相邻的两个影像分别具有相互重叠的区域的车辆后方的左方向、车辆后方的中央方向、车辆后方的右方向的三个影像，针对所述相邻的每两个影像进行所述图像获取部、所述特征量提取部、所述图像变换矩阵生成部、所述图像转换部、所述图像输出部、所述校正判定部中的处理，将所述三个影像通过所述相互重叠的区域分别相连来制作合成影像。

10.根据权利要求8所述的合成影像制作装置，其中，

所述图像变换矩阵生成部关于从所述三个影像中获取的三个图像，分别生成将所述左方向和所述右方向的两个图像的坐标系与所述中央方向的图像的坐标系进行对应的图像变换矩阵，

所述图像转换部分别使用进行所述生成所得到的图像变换矩阵对所述左方向和右方向的图像进行坐标转换，来将该左方向和右方向的图像的坐标系与所述中央方向的图像的坐标系进行对应，

所述图像输出部将所述坐标系进行对应的三个图像彼此叠加来制作所述合成图像，并且输出所述合成图像。

11.根据权利要求9所述的合成影像制作装置，其中，

所述图像变换矩阵生成部关于从所述三个影像中获取的三个图像，分别生成将所述左方向和所述右方向的两个图像的坐标系与所述中央方向的图像的坐标系进行对应的图像变换矩阵，

所述图像转换部分别使用进行所述生成所得到的图像变换矩阵对所述左方向和右方向的图像进行坐标转换，来将该左方向和右方向的图像的坐标系与所述中央方向的图像的坐标系进行对应，

所述图像输出部将所述坐标系进行对应的三个图像彼此叠加来制作所述合成图像，并且输出所述合成图像。

12.根据权利要求8所述的合成影像制作装置，其中，

所述校正判定部使用所述判定基准来判定所述两个图像变换矩阵的差异度或相似度，所述判定基准将基于所述两个图像变换矩阵中的反映出平移量的要素彼此的要素值之差和反映出旋转角度的要素彼此的要素值之差的值设为指标值。

13.根据权利要求9所述的合成影像制作装置，其中，

所述校正判定部使用所述判定基准来判定所述两个图像变换矩阵的差异度或相似度，所述判定基准将基于所述两个图像变换矩阵中的反映出平移量的要素彼此的要素值之差和反映出旋转角度的要素彼此的要素值之差的值设为指标值。

14.根据权利要求10所述的合成影像制作装置，其中，

所述校正判定部使用所述判定基准来判定所述两个图像变换矩阵的差异度或相似度，所述判定基准将基于所述两个图像变换矩阵中的反映出平移量的要素彼此的要素值之差和反映出旋转角度的要素彼此的要素值之差的值设为指标值。

15.根据权利要求11所述的合成影像制作装置，其中，

所述校正判定部使用所述判定基准来判定所述两个图像变换矩阵的差异度或相似度，所述判定基准将基于所述两个图像变换矩阵中的反映出平移量的要素彼此的要素值之差和反映出旋转角度的要素彼此的要素值之差的值设为指标值。

16.一种合成影像制作方法，将具有相互重叠的区域的两个影像通过该相互重叠的区域相连来制作合成影像，

在所述合成影像制作方法中，

以从所述两个影像各获取一个图像的方式依次获取两个图像，

依次生成将所述两个图像的坐标系进行对应的图像变换矩阵，

使用进行所述生成所得到的图像变换矩阵对所述两个图像中的至少一个图像进行坐标转换，来将所述两个图像的坐标系进行对应，

将所述坐标系相对应的两个图像彼此叠加来制作合成图像，

将当前使用的图像变换矩阵和新生成的图像变换矩阵进行对比，根据用于判定这两个图像变换矩阵的差异度或相似度的规定的判定基准，在判定为所述两个图像变换矩阵相似时，继续使用所述当前使用的图像变换矩阵来进行所述坐标转换，在判定为所述两个图像变换矩阵不相似时，通过所述新生成的图像变换矩阵对使用于所述坐标转换的图像变换矩阵进行校正来进行所述坐标转换，

根据时间的进展来依次进行所述合成图像的制作，以制作所述合成影像。

17.一种计算机可读的记录介质，存储有合成影像制作程序，

所述合成影像制作程序用于使信息处理装置执行权利要求16所记载的合成影像制作方法。

Images