CN102986210B - 图像合成装置 - Google Patents

Abstract

设置：区域确定部(3)，从安装位置不同的车载摄像机(1a～1d)中，选择从任意的视点观察了时的俯瞰图像的生成中使用的车载摄像机(1)，在通过该车载摄像机(1)拍摄的图像中，确定与该俯瞰图像对应的区域；以及输入影像信号控制部(4)，输入表示通过该车载摄像机(1)拍摄的图像的图像数据中的、由区域确定部(3)确定的区域内的图像数据，并将该图像数据保存到输入用帧缓冲器(5)，图像处理装置(6)根据输入用帧缓冲器(5)中保存的图像数据生成俯瞰图像。

Description

图像合成装置

技术领域

本发明涉及根据通过安装于车辆的周围的摄像机拍摄的图像，生成车辆的周围中的任意的视点的俯瞰图像并显示该俯瞰图像的图像合成装置。

背景技术

例如，在以下的专利文献1公开的图像合成装置中，输入表示通过安装于车辆的周围的多个摄像机拍摄的图像的图像数据，并将该图像数据保存到输入用帧缓冲器。

然后，在该图像合成装置中，参照表示从任意的视点观察了时的俯瞰图像中的像素、与通过摄像机拍摄的图像中的像素的对应关系的映射数据，根据输入用帧缓冲器中保存的多个图像数据生成俯瞰图像。

但是，虽然在该图像合成装置根据输入用帧缓冲器中保存的多个图像数据生成俯瞰图像时，仅使用通过摄像机拍摄的图像内的一部分的区域的图像数据，而不使用该区域以外的图像数据，但将表示通过摄像机拍摄的图像的所有图像数据保存到输入用帧缓冲器。

因此，在该图像合成装置中，需要安装存储器容量大的输入用帧缓冲器。

在以下的专利文献2公开的图像合成装置中，为了仅将俯瞰图像的生成中使用的图像数据保存到输入用帧缓冲器来使得能够削减该输入用帧缓冲器的存储器容量，安装能够变更输出区域的特殊的摄像机，并根据俯瞰图像的视点，控制摄像机的输出区域(控制通过摄像机拍摄的图像的范围)。

专利文献1：WO00/064175(第5页)

专利文献2：日本特开2006-287826号公报(段落编号[0020])

发明内容

以往的图像合成装置如以上那样构成，所以如果安装能够变更输出区域的特殊的摄像机，并根据俯瞰图像的视点控制摄像机的输出区域，则仅将俯瞰图像的生成中使用的图像数据保存到输入用帧缓冲器，而能够削减该输入用帧缓冲器的存储器容量。但是，在由于设备费用、摄像机规格等的关系而无法安装能够变更输出区域的特殊的摄像机的情况下，存在如果不安装存储器容量大的输入用帧缓冲器，则无法生成从任意的视点观察了时的俯瞰图像(如果容许俯瞰图像的画质降低、帧频降低，则即使是存储器容量小的输入用帧缓冲器也能够生成俯瞰图像)的课题。

本发明是为了解决上述那样的课题而完成的，其目的在于得到一种无需安装存储器容量大的输入用帧缓冲器，而能够生成高画质/高帧频的俯瞰图像的图像合成装置。

本发明提供一种图像合成装置，设置有：区域确定单元，从安装位置不同的多个摄像机中，选择从任意的视点观察了时的俯瞰图像的生成中使用的摄像机，在通过该摄像机拍摄的图像中，确定与该俯瞰图像对应的区域；以及图像数据输入单元，输入表示通过该摄像机拍摄的图像的图像数据中的、由区域确定单元确定的区域内的图像数据，将该图像数据保存到帧缓冲器，俯瞰图像生成单元根据帧缓冲器中保存的图像数据生成俯瞰图像。

根据本发明，设置有：区域确定单元，从安装位置不同的多个摄像机中，选择从任意的视点观察了时的俯瞰图像的生成中使用的摄像机，在通过该摄像机拍摄的图像中，确定与该俯瞰图像对应的区域；以及图像数据输入单元，输入表示通过该摄像机拍摄的图像的图像数据中的、由区域确定单元确定的区域内的图像数据，将该图像数据保存到帧缓冲器，俯瞰图像生成单元根据帧缓冲器中保存的图像数据生成俯瞰图像，所以具有无需安装存储器容量大的帧缓冲器，而能够生成高画质/高帧频的俯瞰图像的效果。

附图说明

图1是示出本发明的实施方式1的图像合成装置的结构图。

图2是示出本发明的实施方式1的图像合成装置的处理内容的流程图。

图3是示出视点以及再配置表的一个例子的说明图。

图4是示出区域确定部3中的与俯瞰图像对应的摄影图像内的区域的确定处理的流程图。

图5是示出与当前设定的俯瞰图像对应的区域的更新处理的流程图。

图6是示出通过车载摄像机1a～1d拍摄的图像的区域的说明图。

图7是示出本发明的实施方式2的图像合成装置的结构图。

具体实施方式

以下，为了更详细地说明本发明，根据附图，说明具体实施方式。

实施方式1.

图1是示出本发明的实施方式1的图像合成装置的结构图。

在图1中，车载摄像机1a安装于车辆(车辆除了汽车以外，还包括电车、船舶、飞机、汽车等)的前侧，对车辆前方进行摄影，而将表示车辆前方的图像的图像数据输出到输入影像信号控制部4。

车载摄像机1b安装于车辆的后侧，对车辆后方进行摄影，而将表示车辆后方的图像的图像数据输出到输入影像信号控制部4。

车载摄像机1c安装于车辆的右侧，对车辆右侧方进行摄影，而将表示车辆右侧方的图像的图像数据输出到输入影像信号控制部4。

车载摄像机1d安装于车辆的左侧，对车辆左侧方进行摄影，而将表示车辆左侧方的图像的图像数据输出到输入影像信号控制部4。

图6是示出通过车载摄像机1a～1d拍摄的图像的区域的说明图。

再配置表保存用缓冲器2例如是RAM、硬盘等记录介质，针对可指定的每个视点，存储了记录有表示与构成该视点的俯瞰图像的各微小区域对应的车载摄像机1的摄像机信息、表示与俯瞰图像对应的车载摄像机1的摄影图像内的区域的区域信息、以及在将通过车载摄像机1拍摄的图像变换为俯瞰图像时使用的坐标变换矩阵的再配置表。

例如，在图像合成装置中，如果可指定的视点的个数是100个，构成该视点的俯瞰图像的微小区域的个数是200个，则作为与各微小区域对应的再配置表，将20000个(＝100×200个)再配置表存储到再配置表保存用缓冲器2。

另外，再配置表保存用缓冲器2构成了表存储单元。

区域确定部3例如由安装了CPU的半导体集成电路、单片微型机、或者个人计算机等构成，实施如下处理：如果输入了表示俯瞰图像的视点的视点位置信息，则参照由再配置表保存用缓冲器2存储的再配置表，从车载摄像机1a～1d中，选择从该视点位置信息表示的视点观察了时的俯瞰图像的生成中使用的车载摄像机1，并且在通过该车载摄像机1拍摄的图像中，确定与该俯瞰图像对应的区域，将表示该区域的必要区域信息输出到输入影像信号控制部4。另外，区域确定部3构成了区域确定单元。

输入影像信号控制部4例如由安装了CPU的半导体集成电路、单片微型机、或者个人计算机等构成，实施如下处理：输入表示通过车载摄像机1a～1d拍摄的图像的图像数据中的、从区域确定部3输出的必要区域信息表示的区域内的图像数据(前摄像机数据、右摄像机数据、左摄像机数据、或者后摄像机数据)，并将该图像数据保存到输入用帧缓冲器5。另外，输入影像信号控制部4构成了图像数据输入单元。

输入用帧缓冲器5例如是帧存储器等记录介质，保存从输入影像信号控制部4输出的区域内的图像数据(前摄像机数据、右摄像机数据、左摄像机数据、或者后摄像机数据)。

图像处理装置6例如由GPU(Graphics Processing Unit，图形处理单元)等构成，实施如下处理：通过使用由再配置表保存用缓冲器2存储的再配置表内的坐标变换矩阵，实施输入用帧缓冲器5中保存的图像数据表示的图像的坐标变换来生成俯瞰图像。另外，图像处理装置6构成了俯瞰图像生成单元。

输出用帧缓冲器7例如是帧存储器等记录介质，保存由图像处理装置6生成的俯瞰图像。

图像显示装置8例如是安装了液晶显示器等的显示器，实施显示由输出用帧缓冲器7保存的俯瞰图像的处理。另外，图像显示装置8构成了图像显示单元。

在图1的例子中，图像显示装置8设置于图像合成装置的外部，但也可以在图像合成装置中安装图像显示装置8。

在图1的例子中，设想了作为图像合成装置的构成要素的再配置表保存用缓冲器2、区域确定部3、输入影像信号控制部4、输入用帧缓冲器5、图像处理装置6以及输出用帧缓冲器7的各个由专用的硬件构成的例子，但在图像合成装置由计算机构成的情况下，也可以将记述了再配置表保存用缓冲器2、区域确定部3、输入影像信号控制部4、输入用帧缓冲器5、图像处理装置6以及输出用帧缓冲器7的处理内容的程序保存到该计算机的存储器，该计算机的CPU执行该存储器中保存的程序。

图2是示出本发明的实施方式1的图像合成装置的处理内容的流程图。

图3是示出视点以及再配置表的一个例子的说明图。

在图像合成装置中，准备了构成可指定的视点的俯瞰图像的微小区域的个数量的再配置表。例如，如果可指定的视点的个数是100个，构成该视点的俯瞰图像的微小区域的个数是200个，则准备20000个(＝100×200个)再配置表。

图3(a)示出某视点的俯瞰图像，该俯瞰图像内的三角形表示构成该俯瞰图像的微小区域(在图3(a)的例子中，微小区域的形状是三角形，但微小区域的形状没有限定，例如，也可以是四边形)。

在再配置表中，针对构成视点的俯瞰图像的每个微小区域，记录了表示与该视点对应的车载摄像机1的摄像机信息，在图3(b)的例子中，示出与第0个微小区域对应的车载摄像机1是“车载摄像机1a”、与第n个微小区域对应的车载摄像机1是“车载摄像机1c”的意思。

另外，在再配置表中，记录了表示与该视点的俯瞰图像对应的车载摄像机1的摄影图像内的区域的区域信息、即表示构成该视点的俯瞰图像的微小区域的区域信息(例如，在第n个微小区域的情况下，顶点坐标(u₀(n)，v₀(n))、(u₁(n)，v₁(n))、(u₂(n)，v₂(n)))，在图3(b)的例子中，示出了(u₀(n)，v₀(n))是(200，100)、(u₁(n)，v₁(n))是(200，105)、(u₂(n)，v₂(n))是(205，105)的意思。

另外，在再配置表中，记录了在将通过车载摄像机1拍摄的图像变换为俯瞰图像时使用的坐标变换矩阵M(n)(用于在摄影图像的坐标系u-v与俯瞰图像的坐标系x-y之间进行坐标变换的矩阵)。

$M\left(n\right)=\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)---\left(1\right)$

其中，坐标变换矩阵M(n)的要素a、b、c、d是由车载摄像机1a～1d的安装位置以及摄影方向、俯瞰图像的视点、图像的放大/缩小等决定的常数。

例如，在通过以X轴为中心使通过车载摄像机1拍摄的图像旋转θ而变换为俯瞰图像的情况下，坐标变换矩阵M(n)能够如下述式(2)那样表示。

$M\left(n\right)=\left(\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)---\left(2\right)$

另外，在通过以Y轴为中心使通过车载摄像机1拍摄的图像旋转θ而变换为俯瞰图像的情况下，坐标变换矩阵M(n)能够下述式(3)那样表示。

$M\left(n\right)=\left(\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)---\left(3\right)$

另外，式(2)以及式(3)所示的坐标变换矩阵M(n)仅为一个例子，也可以使用其他坐标变换矩阵。

此处，示出了通过使通过车载摄像机1拍摄的图像旋转θ而变换为俯瞰图像的例子，但不限于此，例如，考虑通过使通过车载摄像机1拍摄的图像平行移动而变换为俯瞰图像的情况、通过放大缩小而变换为俯瞰图像的情况等，使用与这些变换对应的坐标变换矩阵M(n)即可。

接下来，说明动作。

如果输入了表示生成对象的俯瞰图像的视点的视点位置信息(例如，通过用户操作未图示的人机界面(例如，鼠标、键盘、触摸面板等)指定期望的俯瞰图像的视点，能够输入视点位置信息)(图2的步骤ST1)，则区域确定部3判定俯瞰图像的视点是否被变更(步骤ST2)。

如果俯瞰图像的视点被变更(包括最初指定了俯瞰图像的视点的情况)，则区域确定部3从由再配置表保存用缓冲器2存储的多个再配置表中，检索与构成该视点的俯瞰图像的各微小区域对应的再配置表。

如果检索出与各微小区域对应的再配置表，则区域确定部3参照该再配置表中记录的摄像机信息，从车载摄像机1a～1d中，选择从该视点位置信息表示的视点观察了时的俯瞰图像的生成中使用的车载摄像机1(步骤ST3)。

例如，如果再配置表中记录的摄像机信息是“车载摄像机1a”，则作为俯瞰图像的生成中使用的车载摄像机1，选择车载摄像机1a，如果该摄像机信息是“车载摄像机1b”，则作为俯瞰图像的生成中使用的车载摄像机1，选择车载摄像机1b。

在图3(a)的情况下，例如，在车辆的右侧的微小区域中，摄像机信息是“车载摄像机1c”，所以作为俯瞰图像的生成中使用的车载摄像机1，选择车载摄像机1c，在车辆的左侧的微小区域中，摄像机信息是“车载摄像机1d”，所以作为俯瞰图像的生成中使用的车载摄像机1，选择车载摄像机1d。

如果选择了俯瞰图像的生成中使用的车载摄像机1，则区域确定部3参照再配置表中记录的区域信息，在通过该车载摄像机1拍摄的图像中，确定与该俯瞰图像对应的区域，将表示该区域的必要区域信息输出到输入影像信号控制部4(步骤ST4)。

以下，具体说明区域确定部3中的与俯瞰图像对应的摄影图像内的区域的确定处理。

但是，以下所示的区域的确定处理仅为一个例子，也可以通过实施其他确定处理，来确定与俯瞰图像对应的摄影图像内的区域。

图4是示出区域确定部3中的与俯瞰图像对应的摄影图像内的区域的确定处理的流程图。

另外，图5是示出与当前设定的俯瞰图像对应的区域的更新处理的流程图。

区域确定部3输入表示生成对象的俯瞰图像的视点的视点位置信息，在该视点位置信息表示的视点被变更的情况、或者最初指定了俯瞰图像的视点的情况下，如上所述，在由再配置表保存用缓冲器2存储的多个再配置表中，检索与构成该视点位置信息表示的视点的俯瞰图像的各微小区域对应的再配置表(图4的步骤ST21)。

如果检索出与构成视点的俯瞰图像的各微小区域对应的再配置表，则区域确定部3参照与各微小区域对应的再配置表中记录的摄像机信息，从车载摄像机1a～1d中，选择从该视点位置信息表示的视点观察了时的俯瞰图像的生成中使用的车载摄像机1(步骤ST22)。

在图3的例子中，作为俯瞰图像的生成中使用的车载摄像机1，选择车载摄像机1a、1b、1c、1d。

如果选择了俯瞰图像的生成中使用的车载摄像机1，则区域确定部3参照与各微小区域对应的再配置表中记录的区域信息，在通过该选择出的车载摄像机1拍摄的图像中，确定与该俯瞰图像对应的区域的顶点坐标(步骤ST23)。

例如，在微小区域是第n个区域的情况下，作为俯瞰图像的生成中使用的车载摄像机1，选择车载摄像机1c，在通过车载摄像机1c拍摄的图像中，作为与该俯瞰图像对应的区域的顶点坐标，确定(u₀(n)，v₀(n))、(u₁(n)，v₁(n))、(u₂(n)，v₂(n))。

在图3(b)的例子中，(u₀(n)，v₀(n))成为(200，100)、(u₁(n)，v₁(n))成为(200，105)、(u₂(n)，v₂(n))成为(205，105)。

区域确定部3如果确定了与俯瞰图像对应的区域的顶点坐标，则作为表示与俯瞰图像对应的区域的必要区域信息，将该区域的顶点坐标输出到输入影像信号控制部4(步骤ST24)。

另外，区域确定部3在将必要区域信息输出到输入影像信号控制部4时，将表示俯瞰图像的生成中使用的车载摄像机1的摄像机信息(与构成视点的俯瞰图像的各微小区域对应的再配置表中记录的摄像机信息)包含于必要区域信息而输出到输入影像信号控制部4。或者，与必要区域信息独立地将摄像机信息输出到输入影像信号控制部4。

此处，示出了在区域确定部3中，作为表示与俯瞰图像对应的区域的必要区域信息，将该区域的顶点坐标输出到输入影像信号控制部4的例子，但也可以如以下那样。

即，区域确定部3比较与本次确定的俯瞰图像对应的区域、和与上次确定的俯瞰图像对应的区域(与当前设定的俯瞰图像对应的区域(以下，称为“当前时刻的设定区域”))，判定与本次确定的俯瞰图像对应的区域是否包含于当前时刻的设定区域的范围。

然后，在区域确定部3中，如果与本次确定的俯瞰图像对应的区域未包含于当前时刻的设定区域的范围，则如以下那样，更新当前时刻的设定区域，作为表示与俯瞰图像对应的区域的必要区域信息，将表示更新后的设定区域的坐标值(设定区域中的X坐标最小值、X坐标最大值、Y坐标最小值、Y坐标最大值)输出到输入影像信号控制部4。

·由区域确定部3进行的设定区域的更新处理

区域确定部3在与本次确定的俯瞰图像对应的区域中的X坐标最小值SX_min小于当前时刻的设定区域中的X坐标最小值EX_min的情况下(图5的步骤ST31)，将设定区域中的X坐标最小值EX_min更新为X坐标最小值SX_min(步骤ST32)。

区域确定部3在与本次确定的俯瞰图像对应的区域中的Y坐标最小值SY_min小于当前时刻的设定区域中的Y坐标最小值EY_min的情况下(步骤ST33)，将设定区域中的Y坐标最小值EY_min更新为Y坐标最小值SY_min(步骤ST34)。

区域确定部3在与本次确定的俯瞰图像对应的区域中的X坐标最大值SX_max大于当前时刻的设定区域中的X坐标最大值EX_max的情况下(步骤ST35)，将设定区域中的X坐标最大值EX_max更新为X坐标最大值SX_max(步骤ST36)。

区域确定部3在与本次确定的俯瞰图像对应的区域中的Y坐标最大值SY_max大于当前时刻的设定区域中的Y坐标最大值EY_max的情况下(步骤ST37)，将设定区域中的Y坐标最大值EY_max设定为Y坐标最大值SY_max(步骤ST38)。

输入影像信号控制部4如果从区域确定部3接收到表示与俯瞰图像对应的区域的必要区域信息，则输入表示通过该必要区域信息中包含的摄像机信息表示的车载摄像机1拍摄的图像的图像数据(例如在作为俯瞰图像的生成中使用的车载摄像机1选择了车载摄像机1c的情况下表示通过车载摄像机1c拍摄的图像的图像数据)中的、该必要区域信息表示的区域内的图像数据(设定区域内的图像数据)，并将该图像数据保存到输入用帧缓冲器5(图2的步骤ST5)。

如果输入影像信号控制部4将图像数据保存到输入用帧缓冲器5，则图像处理装置6通过使用由再配置表保存用缓冲器2存储的再配置表(与构成视点位置信息表示的视点的俯瞰图像的各微小区域对应的再配置表)内的坐标变换矩阵M(n)来实施输入用帧缓冲器5中保存的图像数据表示的图像的坐标变换，生成俯瞰图像(步骤ST6)。

即，图像处理装置6通过使用上述式(1)所示的坐标变换矩阵M(n)，将输入用帧缓冲器5中保存的图像数据表示的图像内的各像素的坐标(u(n)，v(n))变换为俯瞰图像上的像素的坐标(x(n)，y(n))，生成俯瞰图像。

$\left(\begin{array}{c}x\left(n\right)\\ y\left(n\right)\end{array}\right)=M\left(n\right)\·\left(\begin{array}{c}u\left(n\right)\\ v\left(n\right)\end{array}\right)$

$=\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)\left(\begin{array}{c}u\left(n\right)\\ v\left(n\right)\end{array}\right)---\left(4\right)$

如果生成了从视点位置信息表示的视点观察了时的俯瞰图像，则图像处理装置6将该俯瞰图像保存到输出用帧缓冲器7(步骤ST7)。

如果图像处理装置6将俯瞰图像保存到输出用帧缓冲器7，则图像显示装置8将该俯瞰图像显示于显示器等(步骤ST8)。

图像合成装置在继续俯瞰图像的显示的情况下，转移到步骤ST10的处理，但如果输入了要求俯瞰图像的显示结束的信号等，则结束一连串的处理(步骤ST9)。

在继续俯瞰图像的显示的情况下，如果在从图像显示装置8显示俯瞰图像起经过规定时间之前，新输入了视点位置信息(步骤ST10)，则区域确定部3判定俯瞰图像的视点是否被变更(步骤ST2)。

即，区域确定部3通过比较上次输入的视点位置信息表示的视点、和本次输入的视点位置信息表示的视点，来判定俯瞰图像的视点是否被变更。

在俯瞰图像的视点被变更的情况下，为了生成并显示从变更后的视点观察了时的俯瞰图像，实施上述步骤ST3～ST8的处理。

另一方面，在俯瞰图像的视点未被变更的情况、或者在经过规定时间之前未输入新的视点位置信息的情况下，该俯瞰图像的生成所需的区域不变化，所以跳过步骤ST3、ST4的处理，转移到步骤ST5的处理，而实施上述步骤ST5～ST8的处理。

在该情况下，输入影像信号控制部4新输入从区域确定部3上次输出的必要区域信息表示的区域内的图像数据(设定区域内的图像数据)，并将该图像数据保存到输入用帧缓冲器5。

根据以上可知，根据该实施方式1，设置：区域确定部3，从安装位置不同的车载摄像机1a～1d中，选择从任意的视点观察了时的俯瞰图像的生成中使用的车载摄像机1，在通过该车载摄像机1拍摄的图像中，确定与该俯瞰图像对应的区域；以及输入影像信号控制部4，输入表示通过该车载摄像机1拍摄的图像的图像数据中的、由区域确定部3确定的区域内的图像数据，并将该图像数据保存到输入用帧缓冲器5，图像处理装置6根据输入用帧缓冲器5中保存的图像数据生成俯瞰图像，所以起到无需安装存储器容量大的输入用帧缓冲器5，而能够生成高画质/高帧频的俯瞰图像的效果。

另外，根据该实施方式1，每当俯瞰图像的视点变化时，区域确定部3实施与从新的视点观察了时的俯瞰图像对应的区域的确定处理，将表示该区域的必要区域信息提供给输入影像信号控制部4，所以起到不会导致输入用帧缓冲器5的存储器容量增加，而能够接受俯瞰图像的视点变更的效果。

另外，在该实施方式1中，从多个车载摄像机1a～1d中，选择俯瞰图像的生成中使用的多个车载摄像机1，但在通过图像处理装置6实施输入用帧缓冲器5中保存的多个图像数据表示的图像的坐标变换来生成俯瞰图像时，通过合成坐标变换后的多个图像(俯瞰图像)，生成最终的俯瞰图像。

多个图像的合成方法没有特别限定，而使用公知的方法即可，所以此处省略详细的说明。

另外，在该实施方式1中，示出了多个车载摄像机1a～1d安装于车辆的周围，图像处理装置6根据输入用帧缓冲器5中保存的图像数据，生成从车辆的周围中的任意的视点观察了时的俯瞰图像的例子，但多个摄像机未必限于安装于车辆的周围，例如，也可以安装于建筑物的周围等。

另外，在该实施方式1中，示出了4台车载摄像机1a～1d安装于车辆的周围的例子，但车载摄像机1的台数没有限制，可以是任意台。

实施方式2.

在上述实施方式1中，示出了图像合成装置安装有再配置表保存用缓冲器2、输入用帧缓冲器5以及输出用帧缓冲器7的例子，但也可以为了削减成本，作为再配置表保存用缓冲器2、输入用帧缓冲器5以及输出用帧缓冲器7的代用，而将共用的存储器安装到图像合成装置。

图7是示出本发明的实施方式2的图像合成装置的结构图，在图中，与图1相同的符号表示同一或者相当部分，所以省略说明。

存储器存取控制部9例如由安装了CPU的半导体集成电路、单片微型机、或者个人计算机等构成，除了实施将从输入影像信号控制部4输出的图像数据(必要区域信息表示的区域内的图像数据)写入到存储器10，并且将从图像处理装置6输出的俯瞰图像写入到存储器10的处理以外，还实施读入存储器10中保存的再配置表，并将该再配置表输出到区域确定部3以及图像处理装置6，并且读入存储器10中保存的俯瞰图像，并将该俯瞰图像输出到图像显示装置8的处理。

存储器10例如是RAM、硬盘等记录介质，保存再配置表、图像数据以及俯瞰图像。

在图7的例子中，设想了作为图像合成装置的构成要素的区域确定部3、输入影像信号控制部4、图像处理装置6、存储器存取控制部9以及存储器10的各个由专用的硬件构成的例子，但在图像合成装置由计算机构成的情况下，也可以将记述了区域确定部3、输入影像信号控制部4、图像处理装置6、存储器存取控制部9以及存储器10的处理内容的程序保存到该计算机的存储器，该计算机的CPU执行该存储器中保存的程序。

接下来，说明动作。

区域确定部3与上述实施方式1同样地，如果输入了表示生成对象的俯瞰图像的视点的视点位置信息(图2的步骤ST1)，则判定俯瞰图像的视点是否被变更(步骤ST2)。

如果俯瞰图像的视点被变更(包括最初指定了俯瞰图像的视点的情况)，则区域确定部3经由存储器存取控制部9，从由存储器10存储的多个再配置表中，检索与构成该视点的俯瞰图像的各微小区域对应的再配置表。

如果检索出与各微小区域对应的再配置表，则区域确定部3参照该再配置表中记录的摄像机信息，从车载摄像机1a～1d中，选择从该视点位置信息表示的视点观察了时的俯瞰图像的生成中使用的车载摄像机1(步骤ST3)。

如果选择了俯瞰图像的生成中使用的车载摄像机1，则区域确定部3与上述实施方式1同样地，参照该再配置表中记录的区域信息，在通过该车载摄像机1拍摄的图像中，确定与该俯瞰图像对应的区域，将表示该区域的必要区域信息输出到输入影像信号控制部4(步骤ST4)。

另外，区域确定部3在将必要区域信息输出到输入影像信号控制部4时，将表示俯瞰图像的生成中使用的车载摄像机1的摄像机信息(与构成视点的俯瞰图像的各微小区域对应的再配置表中记录的摄像机信息)包含于必要区域信息而输出到输入影像信号控制部4。或者，与必要区域信息独立地将摄像机信息输出到输入影像信号控制部4。

如果从区域确定部3接收到表示与俯瞰图像对应的区域的必要区域信息，则输入影像信号控制部4与上述实施方式1同样地，输入表示通过该必要区域信息中包含的摄像机信息表示的车载摄像机1拍摄的图像的图像数据中的、该必要区域信息表示的区域内的图像数据(设定区域内的图像数据)。

然后，输入影像信号控制部4经由存储器存取控制部9，将设定区域内的图像数据保存到存储器10(步骤ST5)。

如果输入影像信号控制部4经由存储器存取控制部9将设定区域内的图像数据保存到存储器10，则图像处理装置6经由存储器存取控制部9，读入存储器10中保存的再配置表(与构成视点位置信息表示的视点的俯瞰图像的各微小区域对应的再配置表)，并且读入存储器10中保存的设定区域内的图像数据。

然后，图像处理装置6通过使用该再配置表中记录的坐标变换矩阵M(n)来实施该图像数据表示的图像的坐标变换，生成俯瞰图像(步骤ST6)。

即，图像处理装置6通过使用上述式(1)所示的坐标变换矩阵M(n)，将存储器10中保存的图像数据表示的图像内的各像素的坐标(u(n)，v(n))变换为俯瞰图像上的像素的坐标(x(n)，y(n))，生成俯瞰图像。

如果生成了从视点位置信息表示的视点观察了时的俯瞰图像，则图像处理装置6经由存储器存取控制部9，将该俯瞰图像保存到存储器10(步骤ST7)。

如果图像处理装置6经由存储器存取控制部9将俯瞰图像保存到存储器10，则图像显示装置8经由存储器存取控制部9，读入存储器10中保存的俯瞰图像，将该俯瞰图像显示于显示器等(步骤ST8)。

图像合成装置在继续俯瞰图像的显示的情况下，转移到步骤ST10的处理，但如果输入了要求俯瞰图像的显示结束的信号等，则结束一连串的处理(步骤ST9)。

在继续俯瞰图像的显示的情况下，如果在从图像显示装置8显示俯瞰图像起经过规定时间之前新输入了视点位置信息(步骤ST10)，则区域确定部3判定俯瞰图像的视点是否被变更(步骤ST2)。

即，区域确定部3通过比较上次输入的视点位置信息表示的视点、和本次输入的视点位置信息表示的视点，判定俯瞰图像的视点是否被变更。

在俯瞰图像的视点被变更了的情况下，为了生成并显示从变更后的视点观察了时的俯瞰图像，实施上述步骤ST3～ST8的处理。

另一方面，在俯瞰图像的视点未被变更的情况、或者在经过规定时间之前未输入新的视点位置信息的情况下，该俯瞰图像的生成所需的区域不变化，所以跳过步骤ST3、ST4的处理，而转移到步骤ST5的处理，实施上述步骤ST5～ST8的处理。

在该情况下，输入影像信号控制部4新输入从区域确定部3上次输出的必要区域信息表示的区域内的图像数据(设定区域内的图像数据)，经由存储器存取控制部9，将该图像数据保存到存储器10。

根据以上可知，即使为了削减成本，作为再配置表保存用缓冲器2、输入用帧缓冲器5以及输出用帧缓冲器7的代用，将共用的存储器10安装于图像合成装置，也与上述实施方式1同样地，起到不会导致存储器容量增加，而能够生成高画质/高帧频的俯瞰图像的效果。

产业上的可利用性

本发明的图像合成装置适用于根据通过多个摄像机拍摄的图像，生成任意的视点的俯瞰图像。

Claims (6)

1.一种图像合成装置，其特征在于，具备：

区域确定单元，从安装位置不同的多个摄像机中，选择从自外部提供的视点位置信息所表示的视点观察了时的俯瞰图像的生成中使用的摄像机，在通过选择的所述摄像机拍摄的图像中，确定与所述俯瞰图像对应的区域，所述视点位置信息是表示关于俯瞰图像由用户指定的视点的信息；

图像数据输入单元，输入表示通过由所述区域确定单元选择的所述摄像机拍摄的图像的图像数据中的、由所述区域确定单元确定的区域内的图像数据，将所述图像数据保存到帧缓冲器；以及

俯瞰图像生成单元，根据所述帧缓冲器中保存的图像数据生成俯瞰图像。

2.根据权利要求1所述的图像合成装置，其特征在于，

具备显示由俯瞰图像生成单元生成的俯瞰图像的图像显示单元。

3.根据权利要求1所述的图像合成装置，其特征在于，

多个摄像机安装于车辆的周围。

4.根据权利要求1所述的图像合成装置，其特征在于，

具备表存储单元，该表存储单元存储有记录了表示与俯瞰图像的视点对应的摄像机的摄像机信息、表示与所述俯瞰图像对应的所述摄像机的摄影图像内的区域的区域信息、以及在将通过所述摄像机拍摄的图像变换为俯瞰图像时使用的坐标变换矩阵的再配置表，

区域确定单元参照由所述表存储单元存储的再配置表，选择与所述视点位置信息表示的视点对应的摄像机，并且在通过选择的所述摄像机拍摄的图像中，确定与从所述视点观察了时的俯瞰图像对应的区域。

5.根据权利要求4所述的图像合成装置，其特征在于，

俯瞰图像生成单元通过使用再配置表中记录的坐标变换矩阵来实施帧缓冲器中保存的图像数据表示的图像的坐标变换，生成俯瞰图像。

6.根据权利要求1所述的图像合成装置，其特征在于，

每当所述视点位置信息所表示的视点变化时，区域确定单元实施与从变化的视点观察了时的俯瞰图像对应的区域的确定处理，将所述区域的确定处理结果提供给图像数据输入单元。

Images