CN102598683B - 立体影像制作装置以及立体影像制作方法 - Google Patents

Abstract

本发明的立体影像制作装置(100)包括：接收部(101)，接收二维影像；选择部(123)，从构成所述二维影像的多个帧中，将与对象帧共同的共同区域所占的区域大小在预先规定的值以上的多个帧选择为立体同伴帧候补；决定部(124)，根据第一基准，从所述立体同伴帧候补中决定立体同伴帧，该立体同伴帧是与该对象帧一起构成立体图像的帧；立体对生成部(125)，利用所述对象帧与所述立体同伴帧，生成与所述对象帧对应的构成立体图像的立体对；以及变换部(126)，根据对象帧和被决定的所述立体同伴帧生成变换矩阵，根据第二基准将生成的所述变换矩阵应用于所述立体对，从而对所述立体对进行变换。

Description

立体影像制作装置以及立体影像制作方法

技术领域

本发明涉及立体影像制作装置以及立体影像制作方法，尤其涉及从二维影像制作三维影像的立体影像制作装置以及立体影像制作方法。

背景技术

作为受人关注的技术有关于3D（Three Dimensions：三维）的技术。与3D相关的技术的适用范围较广，从军用导航到工业上的检查、一般消费者用的电子设备等均有应用。近些年，像众多的电视制造商销售的3D电视机、以及各种3D电影院上映的3D电影等，适用了3D技术的应用程序或产品不断地在市场上出现。而且，还有进行实验性地播放3D频道的电视广播公司。这样，通过适用与3D相关的技术，从而人们增加了与立体影像（3D影像）接触的3D体验的机会。

并且，从1838年开始就已开始了有关3D技术的立体图像的研究。由于人的左眼与右眼之间具有视差，因此能够感到深度的感觉。因此，对于人来说生成具有恰当的视差的左眼图像和右眼图像，若能够将生成的左眼图像和右眼图像分别传送到人的左眼和右眼，则人能够鉴赏具有临场感的立体图像（3D图像）。

因此，为了能够向人提供良好的3D体验，因此开发了各种技术。在被开发的技术中具有实现一连串的3D处理的各种功能的技术，这些一连串的3D处理包括：3D图像的摄影技术、3D影像的拍摄技术、后处理技术、数据包（3D内容）、3D内容的分发以及3D显示。

3D电视在近些年虽然有了显著的发展，但是用于家庭用户能够鉴赏的3D内容却不完备。对于这种状况能够利用两个解决方法来缓解。

一个是促进新的3D摄像机的开发，向市场提供更多的3D摄像机的方法。但是要想实现这些的话需要花费时间。而且，购买新的3D摄像机等对于用户而言，负担较大。

还有一个方法是，将2D（二维）影像的内容变换为3D（三维）影像。例如有将现有的2D影像的内容变换为3D影像的内容的方法，以及在以通常摄像机或数码摄像机（Camcorder）拍摄2D影像的同时，变换为3D影像的内容的方法。这种方法的较好之处是，与开发新的3D摄像机等相比，可以不必花费成本就能够向人们提供良好的3D体验。

在专利文献１中公开的技术是，能够应对复杂性（计算成本低），且自动地从2D图像（2D影像）变换到3D图像（3D影像）。在专利文献１公开的技术中，首先将帧分类为平坦图像以及非平坦图像。接着，平坦图像直接被变换为3D立体显示形式，非平坦图像则根据预先估计的深度图而被变换。并且，根据深度图的立体变换与更多的种类相对应。

专利文献２公开的技术是，将2D图像信号变换为3D图像信号，并输出变换后的3D图像信号。在专利文献２公开的技术中，首先分析各个帧的运动，并将这些帧分类为三种。具体而言，分类为：(1)包含水平方向的运动而不包含场面变化的帧、(2)不包含水平方向的运动以及场面变化的帧、(3)不包含水平方向的运动的帧。接着，在包含水平方向的运动而不包含场面变化的情况下，直接利用对象帧和下一帧来建立立体对。

在非专利文献１中公开了根据SFM（structure from motion：运动估计结构）的立体变换方法。在非专利文献１公开的技术中，首先通过SFM算法来估计位置、旋转、以及焦距等摄像机参数。接着，根据推定的摄像机参数，从原影像序列中选择左眼图像的候补以及与其对应的右眼图像。

（现有技术）

（专利文献）

专利文献1美国专利申请公开第2008/0150945号说明书

专利文献2国际公开第2010/024479号

（非专利文献）

非专利文献1Guofeng Zhang，Wei Hua，Xueying Qin，Tien-TsinWong，and Hujun Bao，“Stereoscopic Video Synthesis from a MonocularVideo”，IEEE Transactions on Visualization and Computer Graphics，13(4)∶686-696(2007)

非专利文献2“International Joint Conference on ArtificialIntelligence”中的Bruce D.Lucas以及Takeo Kanade的“An Iterative ImageRegistration Technique with an Application to Stereo Vision(1981)”

非专利文献3“Alvey vision conference”中的C.Harris以及M.Stephens的“A combined corner and edge detector(1988)”

非专利文献4R.Hartley and A.Zisserman，Multiple View Geometry inComputer Vision，Cambridge University Press，London，2000

然而，在上述的以往的技术中，具有以下的问题。

首先，在上述专利文献１公开的技术中，由于计算过于复杂，因此不能即时地进行质量高的深度图的估计。并且，在根据质量低的深度图变换到3D图像（3D影像）的情况下，不能满足变换到使人能够舒适地感受3D图像的条件。

接着，在专利文献２公开的技术中存在不能充分满足舒适的3D条件的问题。具体而言，在实际的影像中几乎不会发生仅包含水平方向的运动的帧。因此，在上述的专利文献２公开的技术中，大多情况是根据被估计的深度图来将2D影像变换为3D影像。深度图的估计由于是根据水平边界来估计的，因此容易受到噪声的影响。并且，在估计质量高的深度图时需要花费时间。

最后，在非专利文献１公开的技术中存在的问题是，立体变换的性能依存于SFM的精确度。高精确度的SFM是需要花费时间的处理，因此即时地适用是困难的。而且，虽然记载了在在线的变换中利用离线的SFM，但是实现性较低。

发明内容

本发明鉴于上述问题，目的在于提供一种从2D影像制作恰当且舒适的3D影像的立体影像制作装置以及立体影像制作方法。

为了达成上述的目的，本发明的一个实施例所涉及的立体影像制作装置，从二维影像制作三维影像，该立体影像制作装置包括：接收部，接收二维影像；选择部，从构成所述二维影像的多个帧中，将与对象帧具有共同的图像区域的共同区域所占的区域大小在预先规定的值以上的多个帧选择为立体同伴帧候补，该立体同伴帧候补是与该对象帧一起构成立体图像的帧的候补；决定部，根据规定的基准，从所述立体同伴帧候补中决定立体同伴帧，该立体同伴帧是与该对象帧一起构成立体图像的帧；立体对生成部，利用所述对象帧与所述立体同伴帧，生成与所述对象帧对应的构成立体图像的立体对；以及变换部，从所述对象帧与由所述选择部选择的所述立体同伴帧候补中，生成用于使所述立体同伴帧候补变形的变换矩阵，通过将生成的所述变换矩阵应用于所述立体对，来变换所述立体对。

根据此构成，可以不必进行由计算成本高的SFM执行的推定就能够生成立体影像。并且，本发明的立体影像制作装置可以不必进行花费时间的纵深图的推定就能够生成立体影像。

据此，能够实现从二维影像制作恰当且舒适的三维影像的立体影像制作装置。

本发明不仅可以作为装置来实现，而且可以作为具备这些装置所包括的处理单元的集成电路来实现，并且可以作为将构成这些装置的处理单元作为步骤的方法来实现，还可以作为使计算机执行这些步骤的程序来实现。并且，程序也可以通过CD－ROM等记录介质或互联网等通信介质来分发。

通过本发明，能够实现一种从2D影像制作恰当且舒适的3D影像的立体影像制作装置以及立体影像制作方法。

附图说明

图1是示出本发明的实施例１中的立体影像制作装置的构成的方框图。

图2是示出本发明的实施例１中的稳定化部的详细构成的方框图。

图3是示出本发明的实施例１中的立体影像制作部的详细构成的方框图。

图4是示出本发明的实施例１中的立体影像变换部的处理的流程图。

图5是示出本发明的实施例１中的稳定化部的处理的流程图。

图6示出了本发明的实施例１中的利用手持式摄像机的成为拍摄对象的场面的例子。

图7示出了本发明的实施例１中的手持式摄像机所拍摄的稳定化之前的2D影像。

图8示出了本发明的实施例１中的手持式摄像机所拍摄的稳定化后的2D影像。

图9示出了本发明的实施例１中的对象帧以及与其对应的立体同伴帧候补的共同区域。

图10是示出本发明的实施例１中的决定部的处理的流程图。

图11是用于说明本发明的实施例１中的生成变换矩阵的处理的流程图。

图12A是用于说明本发明的实施例１中的用语的概念的图。

图12B是用于说明本发明的实施例１中的用语的概念的图。

图13示出了本发明的实施例１中的对以摄像机拍摄的稳定化后的2D影像进行立体变换后的3D影像。

图14是示出本发明所涉及的立体影像制作装置的最小构成的方框图。

图15是示出图14所示的立体影像制作装置的工作的流程图。

图16是示出本发明的实施例２中的立体影像制作装置的构成的方框图。

图17是示出本发明的实施例３所涉及的图像装置的构成的方框图。

具体实施方式

以下，参照附图对本发明的实施例进行说明。

（实施例１）

图1是示出本发明的实施例１中的立体影像制作装置的构成的方框图。图2是示出本发明的实施例１中的稳定化部的详细构成的方框图。图3是示出本发明的实施例１中的立体影像制作部的详细构成的方框图。

图1所示的立体影像制作装置100从2D（二维）影像制作3D影像，并输出制作的3D（三维）影像。被输出的3D影像由外部的显示部112显示，或者由外部的存储发送装置114存储。该立体影像制作装置100具备：接收部101、立体影像变换部106、影像输出部108、以及内部缓冲器110。

接收部101接收2D影像。接收部101例如由图1所示的存储介质阅读器102和视频解码器104构成。存储介质阅读器102累积构成2D影像的多个帧（图像数据）。视频解码器104从存储介质阅读器102获得图像数据S11，并输出到立体影像变换部106。视频解码器104在图像数据S11被编码的情况下，按照需要将解码了图像数据S11的2D影像数据S13输出到立体影像变换部106。

立体影像变换部106由稳定化部116和立体影像制作部118构成。立体影像变换部106利用稳定化部116和立体影像制作部118将2D影像数据S13稳定化，之后变换为3D影像（立体影像）。

稳定化部116通过在构成2D影像（2D影像数据S13）的多个帧中校正该多个帧之间的摇晃，从而使该多个帧稳定化。在此，多个帧之间的摇晃例如是在拍摄2D影像时的手的震动而造成的影像的晃动。并且，稳定化例如是指校正为不摇晃的影像。

稳定化部116如图2所示由检测部121和算出部122构成。稳定化部116通过利用投影变换矩阵，来对多个帧之间的摇晃进行校正，所述投影变换矩阵是根据帧中具有特征的、且在规定帧与多个近邻帧之间具有对应关系的特征点而被算出的，所述多个近邻帧是在时间上与规定帧近的帧。

具体而言，检测部121检测在规定帧与近邻帧之间具有对应关系的多个特征点，该多个特征点是具有特征的点，所述近邻帧是与规定帧近的帧。

算出部122，将使规定帧变形的投影变换矩阵作为稳定化矩阵来算出，以使规定帧的多个特征点与对应的近邻帧中的被加权后的多个特征点具有相同的坐标值。例如，算出部122利用加权函数来算出多个近邻帧的权重。算出部122在对应的近邻帧为在时间上与规定帧最近的帧的情况下，利用加权函数，算出与1更近的值的权重。并且，在对应的近邻帧为在时间上与规定帧远的帧的情况下，利用加权函数，算出比1小的值的权重。

这样，稳定化部116将算出的投影变换矩阵适用于规定帧，并对所有的帧进行同样的处理，从而将构成2D影像数据的多个帧稳定化。

立体影像制作部118如图3所示，由选择部123、决定部124、立体对生成部125、以及变换部126构成，从被稳定化后的2D影像数据S13制作3D影像。

选择部123从构成2D影像的多个帧中，将与对象帧具有共同的图像的区域的共同区域所占区域的大小为预先规定的值以上的多个帧，选择为立体同伴帧候补，该立体同伴帧候补是与对象帧一起构成立体图像的帧的候补。

例如，选择部123从构成2D影像的多个帧中，选择与对象帧为同一场面拍摄的多个帧，以作为立体同伴帧候补。具体而言，选择部123在共同区域占对象帧的大小的比例以及共同区域占立体同伴帧候补的大小的比例分别为预先规定的值（例如0.9）以上的情况下，则判断为立体同伴帧候补为与对象帧在同一场面被拍摄的帧。在此，共同区域是根据特征点而被算出的，该特征点是在对象帧与立体同伴帧候补之间具有对应关系的、帧中具有特征的点。并且，选择部123例如在构成2D影像的多个帧中，也可以将作为在时间上与对象帧接近的帧的近邻帧作为立体同伴帧候补来选择。

决定部124根据第一基准，从立体同伴帧候补中在决定立体同伴帧，该立体同伴帧是与对象帧一起构成立体图像的帧。换而言之，决定部124通过利用帧中的具有特征的点的特征点，来判断是否满足第一基准，从而决定立体同伴帧，所述特征点并且是通过执行图像处理能够检测到的点。

立体对生成部125利用对象帧和立体同伴帧，来生成与对象帧对应的构成立体图像的立体对。

并且，第一基准是由垂直方向差基准、水平视差基准、平滑化基准、以及变形减少基准构成的基准。具体而言，在垂直方向差基准规定了，将对象帧的共同区域与垂直方向的位置的差略等于零的帧作为立体同伴帧。在水平视差基准规定了，将对象帧的共同区域与水平方向的位置的差（视差）包含在规定的范围内的帧作为立体同伴帧。并且，在平滑化基准规定了，将在时间上连续的立体对之间的、共同区域的位移为平滑的帧作为立体同伴帧。在变形减少基准规定了，将共同区域所占区域的大小与对象帧中的共同区域所占区域中的大小均在预先规定的值以上的帧作为立体同伴帧。

变换部126，从对象帧以及由选择选择123选择的立体同伴帧候补中，生成用于使立体同伴帧候补变形的变换矩阵，并通过将生成的变换矩阵适用于立体对，从而对生成的立体对进行变换。

在此，变换部126根据在对象帧与立体同伴帧之间具有对应关系的、且是帧中具有特征的特征点来生成变换矩阵。具体而言，变换部126使算出的投影变换矩阵、倾斜变换矩阵以及平移变换矩阵组合，从而生成变换矩阵。更具体而言，首先变换部126在对象帧与立体同伴帧候补之间算出基本矩阵。接着，变换部126根据基本矩阵算出投影变换矩阵，以使立体对中的对象帧与立体同伴帧候补之间的垂直方向差最小化。接着，变换部126在维持由投影变换矩阵变换的立体同伴帧中的共同区域与变换前的正交性和纵横比相同的状态下，算出倾斜变换矩阵。接着，变换部126算出平移变换矩阵，以使对象帧与被适用了投影变换矩阵以及倾斜变换矩阵的立体同伴帧之间的视差、与该对象帧以前的对象帧和立体同伴帧之间的视差成为相同。

内部缓冲器110相当于本发明的存储部，存储由变换部126变换的立体对。具体而言，内部缓冲器存储在立体影像制作部118生成的立体对，以作为由影像输出部108输出之前的数据的中间数据。换而言之，立体影像变换部106通过内部缓冲器110，将生成的立体对数据S15发送到影像输出部108。

影像输出部108相当于本发明的输出部，输出被存储在内部缓冲器110的被变换后的立体对。并且，影像输出部108输出由变换部126变换的立体对，该立体对是与构成2D影像的多个帧的每个帧相对应的立体对。

并且，影像输出部108将被输入的立体对数据S15调整为与优选的输出形式相对应的输出影像形式（立体对数据S17），并输出到显示部112。具体而言，影像输出部108为了能够使显示部112进行显示，从而将输出影像形式调整为与显示部112的显示形式相一致的形式。例如，作为输出影像形式例如有用于不佩戴眼镜而直接用肉眼来看立体装置的形式，但是并非受此所限。例如也可以是使用眼镜来看的灰色／彩色立体图片的形式，也可以是交错形式。并且，也可以是方格形式，或者可以是利用主动式快门眼镜来看帧连续型的立体显示装置的其他的形式。

并且，影像输出部108也可以利用存储发送装置114来对立体对数据S17进行存储以及发送。

存储发送装置114例如是以闪存为主的内存卡、硬盘驱动器、或光学驱动器，但并非受此所限。例如，存储发送装置114可以是HDMI接口（高清晰度多媒体接口）、USB接口、无线接口或direct-to-printer（直接连接打印机）接口,不过并非受此所限。另外，存储发送装置114也可以进行任意地可逆或不可逆压缩，来进行存储以及发送。

如以上所述，构成了立体影像制作装置100。

并且，立体影像制作装置100（或构成立体影像制作装置的立体影像变换部106等）通常可以由IC（集成电路）、ASIC（专用集成电路）、或LSI（大规模电路）来实现，并且可以由多个芯片构成也可以由一个芯片构成。并且，立体影像制作装置100或立体影像变换部106等的实现并非受LSI的形式所限。也可以按照集成度而以被称为IC（集成电路）、***LSI、超级LSI、或极超级LSI。

并且，立体影像制作装置100等也可以利用专用电路或通用处理器等被集成化后来实现。作为专用电路例如有能够按照程序指令来进行控制的DSP（数字信号处理器）等特殊化后的微处理器。

并且，立体影像制作装置100等在LSI制造后，也可以利用可编程的FPGA（现场可编程门阵列）或LSI的连接或者可重构的处理器。将来，在制造以及处理技术提高之后，在以全新的技术来取代LSI的情况下，也可以利用该技术，通过进行集成化来实现。

并且，立体影像制作装置100也可以被组装到以时间序列来显示图像（影像）的液晶显示装置、等离子体显示装置、附加有柱状透镜层的显示装置、或能够显示其他的种类的显示装置等的立体图像的显示装置。

并且，立体影像制作装置100也可以被安装在DVD播放器、蓝光盘播放器、以及其他种类的数字媒体播放器等的数字媒体播放装置。也可以安装在其他种类的装置中。上述的任何一种情况均不限定本发明的范围。

图4是示出本发明的实施例１所涉及的立体影像变换部106的工作的流程图。

首先，在S102，2D影像被输入到立体影像变换部106。具体而言，立体影像变换部106被输入有来自接收部101的2D影像数据S13。

接着，在S104，立体影像变换部106检测在相邻的帧之间的具有对应关系的特征点。

在此，在具有对应关系的特征点的检测（注册／追踪）中采用现有技术中公开的方法。并且，用于追踪特征的现有的方法例如由非专利文献２公开。并且，注册特征的现有的方法例如由非专利文献３公开。并且，特征点的检测（注册／追踪）的方法并非受上述非专利文献２以及非专利文献３公开的方法所限。

接着，在S106，立体影像变换部106使2D影像稳定化。具体而言，立体影像变换部106利用基于在对象（参考）帧与多个近邻帧之间的彼此对应的特征点而被算出的矩阵，来进行针对规定帧的稳定化变换。更具体而言，通过利用基于在规定帧与多个近邻帧之间的彼此对应的帧中的具有特征的特征点而被算出的投影变换矩阵，从而对该多个帧之间的摇晃进行校正，所述多个近邻帧是指，在时间上与规定帧接近的帧。这样，立体影像变换部106能够使2D影像稳定化。

接着，在S108，立体影像变换部106选择与对象帧对应的立体同伴帧候补。具体而言，立体影像变换部106从构成2D影像的多个帧中，选择具有共同区域的、且该共同区域所占的区域的大小在预先规定的值（例如0.9）以上的多个帧，以作为与对象帧一起构成立体图像的帧的候补的立体同伴帧候补，所述共同区域是与对象帧共同的区域。例如，立体影像变换部106从构成2D影像的多个帧中选择包含有与对象帧具有相同场面的帧。

接着，在S110，立体影像变换部106决定与对象帧对应的立体同伴帧。具体而言，立体影像变换部106根据第一基准，从立体同伴帧候补中决定立体同伴帧，该立体同伴帧是与对象帧一起构成立体图像的帧。

在此，第一基准如以上所述，包括以下的基准a)至基准d)。即，在决定形成立体对的立体同伴帧和对象帧时需要以下的基准：基准a)垂直方向差几乎为零（垂直方向差基准），基准b)具有充分且恰当的水平视差（水平视差基准），基准c)与相邻的立体对的对应点的视差相似（平滑化基准），以及基准d)变形为最小（变形减少基准）。

接着，在S112，立体影像变换部106生成立体对。具体而言，立体影像变换部106利用对象帧和立体同伴帧，生成与对象帧对应的构成立体图像的立体对。即，立体影像变换部106利用被稳定化的对象帧与基于第一基准而被决定的立体同伴帧，生成立体对。

接着，在S114，立体影像变换部106保存或显示生成的立体对（对象立体对）。例如，立体影像变换部106将生成的对象立体对保存到内部缓冲器110。

接着，在S115，立体影像变换部106确认生成的对象立体对的对象帧是否为构成2D影像的多个帧中的最后的帧。

在S115，立体影像变换部106在确认到生成的对象立体对的对象帧不是最后的帧的情况下（S115的“否”），返回到S106。

另外，立体影像变换部106在确认到生成的对象立体对的对象帧是最后的帧的情况下（S115的“是”），则进入到S116。

最后，在S116输出以在立体影像变换部106被生成的立体对构成的立体影像（3D影像）。

如以上所述，立体影像变换部106将2D影像变换为3D影像。

接着，对本申请的特征性处理S106、S108、以及S110进行详细说明。

首先，对S106进行详细说明。

例如，在被输入到立体影像变换部106的2D影像是由摄像机等拍摄的情况下，将要解决的课题之一是由于手的晃动以及其他的理由而造成的摄像机的晃动。即，在以因手的晃动等而晃动的摄像机拍摄2D影像时，则2D影像成为含有摇晃等的不稳定影像。因此，即使从不稳定的2D影像制作3D影像，制作后的3D影像也成为不稳定的3D影像。不稳定的3D影像在由人视听时，会给人带来不健全且不愉快的感觉。

因此，通过对因手的晃动或其他的理由而造成的帧间的晃动进行校正，从而能够使不稳定的2D影像稳定化。以下，对稳定化部116进行的稳定化处理（S106）的详细进行说明。

图5是示出本发明的实施例１中的稳定化部116的处理的流程图。

首先，在S201，2D影像被输入到稳定化部116。具体而言，2D影像数据S13从接收部101被输入到稳定化部116。

接着，在S202，稳定化部116在构成2D影像（2D影像数据S13）的多个帧中检测（追踪）在相邻的帧之间的具有对应关系的特征点。具体而言，检测部121在构成2D影像的多个帧中检测多个特征点，该多个特征点是在规定帧与近邻帧之间的彼此对应的具有特征的点，所述近邻帧是与规定帧接近的帧。

接着，在S204，稳定化部116根据在规定帧以及多个近邻帧之间具有对应关系的特征点，算出使规定帧变形的稳定化矩阵。

具体而言，算出部122算出作为使规定帧变形的稳定化矩阵的投射变换矩阵，以使规定帧的多个特征点与对应的近邻帧的被加权后的多个特征点具有相同的坐标值。

具体而言，在S204算出稳定化矩阵S_m，针对作为规定帧的第m个帧Im算出矩阵，该矩阵能够平稳地变更对应的多个近邻帧N_m=｛I_m-k，···，I_m-1，I_m，I_m+1，···，I_m+k｝的特征点。稳定化矩阵S_m是作为使式１的目标函数最小化的矩阵而被算出的。

（数式１）

$S_m=\underset{S}{\arg \min }\underset{j=m-k}{\overset{m+k}{\mathrm{\Σ}}}{\left|\right|{\mathrm{SP}}_m-w_j{P}_j\left|\right|}^2$ (式1)

在此，S是3×3投影变换矩阵，S_m是被推定的3×3稳定化矩阵。P_j是包含第j个帧的所有的特征点（K个）的3×K矩阵。这些矩阵的各个列是特征点的三维齐次坐标。w_j是在第j个帧的特征点的权重。在第j个帧离第m个对象帧远的情况下，权重变小。在第j个帧离第m个对象帧近的情况下，权重变大。权重是通过式２所示的高斯函数算出的。

（数式２）

$w_j=G\left(x\right)=G(j-m)=\frac{1}{\sqrt{2\mathrm{\π\σ}}}{e}^{-{(j-m)}^2/2\mathrm{\σ}}$ (式2)

在此，σ是分散的高斯函数。

接着，在S206，稳定化部116将算出的稳定化矩阵适用于规定帧。具体而言，稳定化部116通过将算出的投影变换矩阵适用于规定帧，从而对该规定帧间的摇晃进行校正。这样，能够使该多个帧稳定化。

接着，在S208，稳定化部116确认适用了稳定化矩阵的规定帧是否为构成2D影像的多个帧中的最后的帧。

在S208，在稳定化部116确认到适用了稳定化矩阵的规定帧不是最后的帧的情况下（S208的“否”），返回到S204。另外，在稳定化部116确认到适用了稳定化矩阵的规定帧是最后的帧的情况下（S208的“是”），进入到S210。

最后，在S210，稳定化部116输出稳定化后的2D影像。

在此，利用图6至图8对稳定化部116的效果进行说明。

图6示出了本发明的实施例１中的手持式摄像机所拍摄的成为对象的场面（景色）的例子。图7示出了以手持式摄像机拍摄的稳定化前的2D影像。图8示出了以手持式摄像机拍摄的稳定化后的2D影像。

更具体而言，在图7中示出了以手持式的单反式摄像机542拍摄场面502的状态。用户利用摄像机542，在相同的高度上的水平方向上以一定的速度一边移动该摄像机542一边拍摄2D影像。但是，由于用户是以手拿摄像机542来拍摄场面502，因此轨道562会因手的晃动而在上下方向上发生摇晃。换而言之，用户沿着因手的晃动而发生了变动的摄像机542的轨道562，以2D影像来拍摄场面502。即，摄像机542成为拍摄在上下方向上摇动的不稳定的2D影像，例如拍摄与图7所示的图像取样点522相对应的图像帧582（2D影像）。因此，如以上所述，在从这样的2D影像制作3D影像的情况下，这种摇晃会对3D影像的稳定性产生影响。

在此，图像取样点522是摄像机542的轨道562上的图像取样点之一，图像帧582是与图像取样点522相对应的图像帧。

另外，在图8中示出了，以手持式的单眼式摄像机542来拍摄场面502，并对拍摄的2D影像进行稳定化的状态。在此示出的是，使轨道562的上下变动沿着假设的被稳定化后的虚拟轨道566，以虚拟摄像机544来拍摄场面502，从而生成被稳定化后的2D影像。在此示出了与虚拟图像采样点524对应的虚拟图像帧584。从图7中可知，进行稳定化后，能够大幅度地减轻因手的晃动而带来的摇晃。并且，如摄像机542的虚拟轨道566所示，被稳定化后的轨道562变得流畅，并且图像取样点也变得更均匀。即被稳定化后的2D影像的摇晃得到了大幅度地减少。据此可知，从被稳定化后的2D影像得到的3D影像能够在人视听时给人带来健全且舒适的感觉，因此是最佳状态。

接着，对S108进行详细说明。

在S108，立体影像变换部106从构成2D影像的多个帧中，选择具有与对象帧共同的区域的共同区域、且该共同区域所占区域的大小在预先规定值以上的多个帧，以作为立体同伴帧候补。

例如，立体影像变换部106根据共同区域的大小与对象帧的大小之比，选择立体同伴帧候补。更详细而言，在第m个帧（对象帧）与第n个帧的比r_mn，比被称为ratio_infimum的规定的值大的情况下，将第n个帧作为立体同伴帧候补之一来选择。

（数式３）

C(m)＝{n|r_mn＞ratio_infimum}    (式3)

C(m)包含立体同伴帧候补的所有的指标。

在此利用图来详细说明共同区域。

图9示出了本发明的实施例１中的对象帧与该对象帧所对应的立体同伴帧候补的共同区域。图9的(a)示出了对象帧602，图9的(b)示出了立体同伴帧候补604。并且，矩形606与矩形608示出了作为两个帧的共同的区域的共同区域的外形。并且，共同区域成为由对象帧602与该对象帧602所对应的立体同伴帧候补604所构成的立体对的视域。

接着，对算出该共同区域的方法之一进行说明。

首先，算出第m个帧（对象帧图像）中的多个特征点的重心。

接着，在第n个帧（帧图像）中，算出与对象帧图像对应的多个特征点（共同区域）的重心。并且，对象帧图像与第n个帧图像的重心可以被同时算出。

接着，求出对象帧图像的重心与第n个帧图像的共同区域的重心的差。

这样，作为对象帧图像与第n个帧图像的共同区域的垂直方向的位置的差，能够得到图9的(a)所示的垂直差636。并且，作为对象帧图像与第n个帧图像的水平方向的差，能够得到图9的(a)所示的水平差638。

从以上说明可知，共同区域的大小能够从原来的帧大小（对象帧的大小）以及在对象帧图像与第n个帧图像之间的具有对应关系的特征点的重心的差中导出。

并且，在该方法中有不能导出正确的共同区域的可能性。即，在被算出的共同区域与实际的共同区域之间会有产生差的可能性。但是，在用于本发明的情况下，该方法是充分的。

最后，对S110进行详细说明。

图10是示出本发明的实施例１中的决定部124的处理的流程图。

立体影像变换部106在决定了立体同伴帧候补的组C(m)之后，在S110根据包含以下所示的基准a)至基准d)的第一基准，来选择针对对象帧的立体同伴帧。并且，以下所示的基准a)至基准d)相当于上述的基准a)至基准d)。

a)是在对象帧与立体同伴帧中的共同区域的y方向上的差几乎为零（垂直方向差基准）。在此，y方向相当于两眼视差方向的正交方向。

b)是对象帧与立体同伴帧中的共同区域的x方向上的差（视差）处于规定的范围，该规定的范围是指，能够得到充分的3D效果且能够成为舒适的3D影像（水平视差基准）。在此，x方向相当于两眼视差方向。

c)平稳地变更相邻的立体对之间的对应点（共同区域）的视差（平滑化基准）。

d)根据共同区域进行变形，以使立体对的变形成为最小。在此，在本发明中是因以往的透视变换而产生了变形。

具体而言，首先，在S302，决定部124根据在对象帧与其立体同伴帧候补之间具有对应关系的特征点，排除没有满足上述a)的垂直方向差的立体同伴帧候补。决定部124在垂直方向差的评价中利用方差。即，决定部124算出在对象帧与立体同伴帧候补之间的垂直差的方差。在算出的垂直差的方差过大的情况下，将立体同伴帧候补从候补的组中排除。

接着，在S304，决定部124根据在对象帧与在S302没有被排除的立体同伴帧候补之间具有对应关系的特征点，排除没有满足上述b)的水平视差的立体同伴帧候补。决定部124在水平视差的评价中利用方差。即，决定部124算出对象帧与立体同伴帧候补之间的水平视差的方差，根据算出的方差来排除没有满足上述b)的水平视差的立体同伴帧候补。若水平视差过大，则在此之后被制作的3D影像会产生不快感，相反，若水平视差过小，则在此之后被制作的3D影像的3D效果不显著。

并且，也可以对S302与S304一起进行处理。不论怎样，决定部124利用式４来决定被滤波后（包含在规定的范围内）的立体同伴帧候补。

（数式４）

$C^{\&prime;}\left(m\right)=\left\{n\right|\left\{\begin{array}{c}n\&Element;C\left(m\right)\\ {\mathrm{var}}_{\mathrm{mn}}^y<y\_\mathrm{disparity}\_\mathrm{supremum}\\ x\_\mathrm{disparity}\_\mathrm{supremum}>{\mathrm{var}}_{\mathrm{mn}}^x>x\_\mathrm{disparity}\_\mathrm{infimum}\end{array}\right\}$ (式4)

在此，决定部124分别利用式５以及式６来计算水平视差的方差和垂直差的方差。

（数式５）

${\mathrm{var}}_{\mathrm{mn}}^x={\mathrm{\&Sigma;}}_i({\left[d_i^{\mathrm{mn}}\right]}_x-{\left[{\stackrel{\&OverBar;}{d}}^{\mathrm{mn}}\right]}_x)/N$ (式5)

（数式６）

${\mathrm{var}}_{\mathrm{mn}}^y={\mathrm{\&Sigma;}}_i({\left[d_i^{\mathrm{mn}}\right]}_y-{\left[{\stackrel{\&OverBar;}{d}}^{\mathrm{mn}}\right]}_y)/N$ (式6)

在式５以及式６，d_i ^mn=p_i ^m-p_i ⁿ是差分向量，该差分向量示出在第m个帧与在第n个帧中对应的两点间的差分。在此，p_i ^m是第m个帧中的第i个点。

并且，式７示出了所有的（N点）的平均，通过式７能够进行计算。

（数式７）

$\stackrel{\&OverBar;}{d}\left[x\right]$

（数式８）

${\left[\stackrel{\&OverBar;}{d}\right]}_x={\mathrm{\&Sigma;}}_i{\left[d_i\right]}_x/N$ (式7)

在式７中，[d]_x示出矢量d的第一成分，[d]_y示出矢量d的第二成分。

接着，在S306，决定部124根据上述c)所示的平滑化基准，从残存的立体同伴帧候补中决定立体同伴帧。决定部124在平滑化基准的评价中利用方差。即，决定部124算出相邻的两个立体对之间的对应点上的水平视差的方差。并且，决定部124根据平滑化基准，即利用式８来决定立体同伴帧。

（数式９）

$\mathrm{idx}\left(m\right)=\underset{n}{\min }\underset{i}{\mathrm{\&Sigma;}}({\left[d_i^{\mathrm{mn}}\right]}_x-{\left[d_i^{(m-1)\mathrm{idx}(m-1)}\right]}_x)$ (式8)

在式８中，idx(m)示出立体同伴帧的指标。

并且，在S108，从被选择的立体同伴帧候补中，也可以不利用d)的减少失真基准，而根据a)～c)的第一基准，来决定立体同伴帧。

但是，在S108，被选择的立体同伴帧候补通常不能直接被用作与对象帧对应的最佳立体同伴帧。这是因为被选择的立体同伴帧候补通常是具有失真的缘故。即，在将被选择的立体同伴帧候补作为立体同伴帧来利用时，会对最终的3D影像造成影响，从而不能实现舒适的3D效果。

对此，在S302至S306最好是，根据上述的d)所示的减少失真基准，利用倾斜变换矩阵以能够减少了失真的立体同伴帧候补来进行判断。即，在（式５）以及（式６）中，最好是利用（式９）来算出差分矢量。

（数式１０）

$d_i^{\mathrm{mn}}=p_i^m-W_m{H}_m^n{p}_i^n$ (式9)

在式９，矩阵Hⁿ _m是根据第m个帧和第n个帧中的对应点而被算出的投影变换矩阵。矩阵W_m是根据共同区域而被算出的倾斜变换矩阵。

并且如以上所述，在S302至S306虽然是根据d)的减少失真基准并利用倾斜变换矩阵以减少了失真的立体同伴帧候补来进行判断的，不过并非受此所限。也可以利用将投影变换矩阵、倾斜变换矩阵、以及平移变换矩阵组合后而生成的变换矩阵，以减少了失真的立体同伴帧候补来进行判断。以下，利用图11来对生成变换矩阵的处理进行说明。

图11是用于说明本发明的实施例１中的生成变换矩阵的处理的流程图。具体而言，变换矩阵是由变换部126根据对象帧以及对应的立体同伴帧候补而被生成的。决定部124利用被生成的变换矩阵，从立体同伴帧候补中决定立体同伴帧。

首先，在S402，变换部126根据对象帧的特征点以及立体同伴帧候补中的对应的特征点（共同区域的特征点）来算出基本矩阵。

接着，在S404，变换部126根据基本矩阵来算出投影变换矩阵，以使对象帧的共同区域与立体同伴帧候补的共同区域之间的垂直方向差成为最小。

具体而言，首先式９所示的投影变换矩阵如式１０所示，利用对极几何（Epipolar Geometry）来加以约束。即，与基本矩阵一致或具有适合性的式９所示的投影变换矩阵，如式１０所示被加以约束（例如，参照非专利文献４）。据此，通常的投影变换的自由度不是8，而是被减少到3。

（数式１１）

H＝[e′]_×F-e′v^T        (式10)

在式１０中，H表示3×3投影变换矩阵，F表示在S402算出的3×3基本矩阵。并且，e'是立体同伴帧候补的对极几何的3×1齐次坐标。这些能够从基本矩阵F导出。[a]_xb表示外积，a×b也能表示。v^T表示包括自由度3的参数的1ｘ3矢量。

接着，利用式１１算出由v^T而被数式表现的H，以使对象帧与立体同伴帧候补之间具有对应关系的特征点的垂直差成为最小。

（数式１２）

$H_m^n=\underset{H}{\min }\underset{i}{\mathrm{\&Sigma;}}{\left|\right|{\left[{\mathrm{Hp}}_i^n\right]}_y-{\left[p_i^m\right]}_y\left|\right|}^2$ (式11)

并且，在S404，为了使垂直方向差成为最小，而采用了根据基本矩阵来算出投影变换矩阵的方法，但是并非受上述的方法所限。只要能够在同样的约束下来求出H，也可以采用其他的方法，这些均包括在本发明的范围内。

接着，在S406，变换部126算出倾斜变换矩阵，该倾斜变换矩阵能够维持在由投影变换矩阵被变换后的立体同伴帧中的共同区域与变换前具有相同的正交性和纵横比。

具体而言，根据上述的d)所示的减少失真基准，针对被选择的立体同伴帧候补，算出能够减少失真的倾斜变换矩阵。更具体而言，算出具有能够使纵横比和共同区域的正交性复原的倾斜量的倾斜变换矩阵。

在此，对共同区域、纵横比以及正交性这些用语进行说明。图12A以及图12B是用于说明本发明的实施例１中的用于概念的图。首先，利用图9来说明共同区域的概念，利用图12A以及图12B来说明纵横比以及正交性的概念。

在图8中，如以上所述，示出了对象帧602以及立体同伴帧候补604。并且，矩形606以及矩形608示出了共同区域的外形，该共同区域是对象帧602与立体同伴帧候补604共同拥有的区域。矩形606以及矩形608的外侧的区域仅表现在对象帧602和立体同伴帧候补604中的某一方的帧中。

利用对象帧602和立体同伴帧候补604来直接形成立体对（立体图像）的情况下，这些外侧的区域会对人在看立体图像时产生不快感。其原因是，人是将立体图像作为一个图像来看的，而人脑不能抽出用于感知纵深的视差信息。并且，矩形606和矩形608虽然被称为共同区域，但也可以称为视野区域。

并且，图12A示出了变形前的立体同伴帧候补604，图12B示出了变形后的立体同伴帧候补712。在此，变形是指，与被适用了变换矩阵的意义相同，在本实施例中的意思是，被适用了通过组合投影变换矩阵、倾斜变换矩阵以及平移变换矩阵而生成的变换矩阵。

图12A所示的矩形608（共同区域）具有规定的纵横比。该纵横比表示点718以及点722之间的距离与点720以及点724之间的距离的比。并且，在图12A中，角726是直角。对此，图12B所示的变形后的共同区域716表示被变形后的点728以及点730之间的距离与点732以及点734之间的距离的比。

并且，图12B所示的变形后的共同区域716也可以具有与图12A所示的矩形618（共同区域）不同的纵横比，角736也可以不是直角。在这种情况下，也可以进一步利用式１２所示的一般的错切变换矩阵，使正交性以及纵横比复原。错切变换矩阵是用于复原正交性以及纵横比而被算出的矩阵。

（数式１３）

$W=\left[\begin{array}{ccc}w1& w2& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$ (式12)

在此，对算出共同区域的一个方法进行说明。

首先，算出对象帧的多个特征点的重心。接着，算出立体同伴帧候补的特征点中的、与对象帧的特征点相对应的对应点（共同区域）的重心。并且，算出对象帧与立体同伴帧候补中的对应点（共同区域）的重心的差分。在此，垂直差636如图9所示，水平差638如图9所示。这样，共同区域的尺寸能够从对象帧的帧大小、以及对象帧与立体同伴帧候补中的对应点的重心的差分中而被导出。

并且，在该算出方法中不能算出完美的共同区域。即，被算出的共同区域与实际的共同区域之间会有产生差分的情况。不过，该方法在得到足够满意的结果上没有问题。

如以上所述，在S406，变换部126算出倾斜变换矩阵。此时，也可以进一步算出错切变换矩阵。

接着，在S408，变换部126算出平移变换矩阵，以使对象帧与被应用了投影变换矩阵以及倾斜变换矩阵后的立体同伴帧候补之间的视差、与该对象帧之前的对象帧和立体同伴帧候补之间的视差相同。

具体而言，变化部126为了实现平滑的纵深，而利用以下的式１３至式１５来算出式１６所示的平移变换矩阵。在应用了该平移变换矩阵时，对象的立体对的水平视差与之前的立体对的水平视差之间的差分被最小化，进而对象的立体对的垂直视差被最小化。

（数式１４）

$v_x=\underset{v_x}{\min }\underset{i}{\mathrm{\&Sigma;}}({[p_i^m-p_i^n+v]}_x-{\left[d_i^{(m-1)\mathrm{idx}(m-1)}\right]}_x)$ (式13)

（数式１５）

$v_y=\underset{v_x,v_y}{\min }\underset{i}{\mathrm{\&Sigma;}}\left({[p_i^m-p_i^n+v]}_y\right)$ (式14)

在此，v表示变换矢量，能够以式１５来表示。

（数式１６）

v＝[v_xv_y1]^T            (式15)

（数式１７）

$V=\left[\begin{array}{ccc}1& 0& v_x\\ 0& 1& v_y\\ 0& 0& 1\end{array}\right]$ (式16)

接着，在S406以及S408之后，在S410算出针对各个立体同伴帧候补的变换矩阵。具体而言，变换部126对投影变换矩阵、倾斜变换矩阵、平移变换矩阵进行组合，以作为一个变换矩阵（Tⁿ=VWH）来算出。

在此，作为立体同伴帧候补包含有｛I_n，Warp（Tⁿ，I_n）|n∈C(m)｝。即，也可以针对在S108选择的立体同伴帧候补，在应用了上述算出的变换矩阵的基础上（变形之后），根据图10所示的顺序来决定立体同伴帧。并且，也可以在S108被选择的立体同伴帧候补（此时为没有被变形的立体同伴帧候补）中，利用上述的变形矩阵，并根据图10所示的顺序来决定立体同伴帧。

并且，最好是从在S108被选择出的立体同伴帧候补中，利用被算出的变换矩阵，来决定立体同伴帧。在这种情况下，在图3所示的S112中，根据由变换部126生成的变换矩阵，来进行变形。这是因为比起分别进行图10所示的顺序（S302至S304）中变换（变形）而言效率更高的缘故。

另外，在S306，根据平滑化基准被决定的立体同伴帧也可以是没有被应用上述的变换矩阵的原来的立体同伴帧，也可以是被应用了变换矩阵后的立体同伴帧。

这样，通过本实施例，能够不必进行通过计算成本高的SFM的推定来生成立体影像，并且能够不必进行花费时间的深度图的推定就能够生成立体影像。并且，对于拍摄2D影像的摄影装置在手晃动等之时所拍摄的不稳定的2D影像，也能够变换为稳定的且舒适的3D影像。据此，能够实现从2D影像制作恰当且舒适的3D影像的立体影像制作装置以及立体影像制作方法。

在此，对于本实施例中的立体影像制作装置以及立体影像制作方法的效果，将利用图6至图8以及图13来进行说明。以下，以摄像机542由立体影像制作装置构成为例进行说明。

图13示出了将本发明的实施例１中的摄像机所拍摄的稳定化后的2D影像立体变换后的3D影像。

首先，手持式摄像机542的拍摄者（用户）利用摄像机542，拍摄图6所示的场面502。并且，在本发明中，场面502例如可以被想定为风景等以静止的对象物为代表的例子。

在此，用户使用摄像机542，以同一高度在水平方向上并以一定的速度一边移动，一边以2D影像来拍摄场面502。即，用户沿着轨道562一边移动摄像机542，一边以2D影像来拍摄场面502。

但是，由于用户是以手拿着摄像机542来拍摄场面502的，因此轨道562会因手的晃动而在上下方向上产生摇晃。换而言之，摄像机542拍摄的是在上下方向上晃动的不稳定的2D影像，例如图7所示的与图像取样点522对应的图像帧582（2D影像）。从不稳定的2D影像中只能制作不舒适且不恰当的3D影像。因此，在本实施例中，在将2D影像变换到3D影像（立体影像）之前，对2D影像进行稳定化。

接着，摄像机542使拍摄的2D影像稳定。在模式上由图8示出。即，沿着虚拟轨道566，就像以虚拟摄像机544来拍摄场景502那样来校正2D影像（稳定化），所述虚拟轨道566示出的是为了大幅度地减轻因手的晃动而造成的摇晃而被校正后的轨道562。例如，相当于虚拟摄像机544拍摄上下方向上的晃动被大幅度地减轻后的稳定的2D影像，也就是说例如拍摄图8所示的虚拟图像取样点524所对应的虚拟图像帧584。换而言之，如虚拟摄像机544的虚拟轨道566所示，轨道变得较平滑，虚拟图像取样点524也变得较均匀。从被稳定化后的2D影像能够制作完美且恰当的3D影像。

接着，摄像机542针对稳定化后的2D影像进行立体影像变换，从而制作3D影像。在模式上由图13示出。即，虚拟摄像机746沿着虚拟轨道766来制作稳定后的3D影像。例如，相当于虚拟摄像机746制作与图13所示的虚拟立体影像取样点767以及768相对应的立体影像帧对786以及788。

这样，摄像机542能够从2D影像中制作恰当且舒适的3D影像。

并且，在上述的说明中，本实施例所涉及的立体影像制作装置100虽然具备的是接收部101、立体影像变换部106、影像输出部108、以及内部缓冲器110，但是并非受此所限。如图14所示，作为立体影像制作装置100的最小构成，也可以至少具备立体影像制作装置150，该立体影像制作装置150具备接收部101，以及具有选择部123、决定部124、立体对生成部125、以及变换部126的立体影像制作部118。在此，图14是示出本发明所涉及的立体影像制作装置的最小构成的方框图。对于与图1同样的构成要素赋予相同的符号并省略详细说明。

并且，立体影像制作装置150按照图15所示的顺序，从2D影像制作3D影像。图15是示出图14所示的立体影像制作装置的工作的流程图。

首先，在S501接收部101接收2D影像。

接着，在S502，选择部123从构成2D影像的多个帧中，将与对象帧具有共同的区域的共同区域、且该共同区域所占的区域的大小在预先规定的值以上的多个帧，作为立体同伴帧候补来选择，该立体同伴帧候补是与该对象帧一起构成立体图像的帧的候补。

接着，在S503，决定部124根据第一基准，从立体同伴帧候补中决定立体同伴帧，该立体同伴帧是与该对象帧一起构成立体图像的帧。

接着，在S504，立体对生成部125利用对象帧和立体同伴帧，生成构成立体图像的立体对。

最后，在S505，根据对象帧和被决定的立体同伴帧来生成变换矩阵，并根据第二基准将生成的变换矩阵应用于立体对，从而对立体对进行变换。

这样，可以不必进行计算成本高的SFM的推定以及花费时间的深度图的推定，就能够从2D影像制作恰当且舒适的3D影像。即，从构成2D影像的多个帧中，选择与对象帧对应的立体同伴帧候补，从选择的立体同伴帧候补中，根据第一基准采用决定立体同伴帧的方法，从而能够从2D影像制作恰当且舒适的3D影像。

据此，能够从2D影像制作恰当且舒适的3D影像。

并且，通过对拍摄2D影像的拍摄装置在手晃动的情况下所拍摄的不稳定的2D影像进行稳定化处理，从而能够从2D影像中制作恰当且舒适的3D影像。

（实施例２）

图16是示出本发明实施例２中的立体影像制作装置的构成的方框图。对于与图1相同的构成要素赋予相同的符号并省略详细的说明。

图16所示的立体影像制作装置200与实施例１所涉及的立体影像制作装置100相比，不同之处是接收部201的构成，以及添加了用户反馈部204。并且，立体影像制作装置200还与显示部223相连接。

接收部201接收用户以相机等拍摄装置所拍摄的2D影像。具体而言，接收部201例如由空白媒体202构成，从相机等拍摄装置获得图像数据。接收部201在将2D影像数据S13输出到立体影像变换部106的同时，还将原图像数据S21发送到用户反馈部204。并且，也可以是接收部201例如只有在立体影像制作装置200中被设定有预览通路或预览模式的情况下，才将原图像数据S21发送给用户反馈部204。

用户反馈部204具备动作分析部220和反馈部222，并将反馈信息传达到显示部223，该反馈信息用于对用户以摄影装置拍摄的2D影像即时地进行反馈。在此，反馈信息是指，例如表示拍摄方向的箭头或表示摄影装置的动作的信号等引导用于拍摄稳定的2D影像的信息。

动作分析部220相当于本发明的分析部，对摄影装置的动作进行分析，生成用于引导用户拍摄稳定的2D影像的信息。

反馈部222根据由动作分析部220生成的信息，来生成用于向用户进行反馈的反馈信息。

显示部223是摄像机监视器等，显示被生成的反馈信息和2D影像。并且，也可以是显示部223根据被传达的反馈信息，以立体影像制作装置200能够制作最佳的3D效果的最好的方法，引导用户进行拍摄。

如以上所述，立体影像制作装置200被构成。

并且，立体影像制作装置200（或用户反馈部204或者立体影像变换部106等）通常可以由IC（集成电路）、ASIC（专用集成电路）、或LSI（大规模电路）来实现，并且可以由多个芯片构成也可以由一个芯片构成。并且，立体影像制作装置200或用户反馈部204或者立体影像变换部106等的实现并非受LSI的形式所限。也可以按照集成度而以被称为IC（集成电路）、***LSI、超级LSI、或极超级LSI。

并且，立体影像制作装置200等也可以利用专用电路或通用处理器等被集成化后来实现。作为专用电路例如有能够按照程序指令来进行控制的DSP（数字信号处理器）等特殊化后的微处理器。

并且，立体影像制作装置200等在LSI制造后，也可以利用可编程的FPGA（现场可编程门阵列）或LSI的连接或者可重构的处理器。将来，在制造以及处理技术提高之后，在以全新的技术来取代LSI的情况下，也可以利用该技术，通过进行集成化来实现。

并且，立体影像制作装置200也可以被组装到以时间序列来显示图像（影像）的液晶显示装置、等离子体显示装置、附加有柱状透镜层的显示装置、或能够显示其他的种类的显示装置等的立体图像的显示装置。

并且，立体影像制作装置200也可以被安装在DVD播放器、蓝光盘播放器、以及其他种类的数字媒体播放器等的数字媒体播放装置。也可以安装在其他种类的装置中。上述的任何一种情况均不限定本发明的范围。

（实施例３）

在实施例３中，针对在与实施例１以及实施例２不同的装置构成上述的立体影像变换部的例子进行说明。

图17是示出本发明的实施例３所涉及的图像装置的构成的方框图。对于与图1相同的构成要素赋予相同的符号并省略详细说明。

图17所示的图像装置1200具备：光学***1202、视频传感器1204、ADC（模数转换器）1206、视频处理器1208、微型计算机1210、外部存储器1212、驱动器控制器1220、操作部1222、存储发送装置1216、以及显示装置1214。

在此，视频处理器1208具备：内部存储器1240、立体影像变换部106、原图像处理器1242、以及彩色影像处理器1244。并且，扬声器等其他的构成要素虽然在图中没有示出，不过也属于本发明的范围内。

光学***1202控制到达视频传感器1204的光信号。光学***1202例如具备以下的构成要素：多个透镜或透镜组、变焦聚焦机构、执行机构、快门、开口部等。光学***1202例如由驱动器控制器1220来控制。

驱动器控制器1220由微型计算机1210来控制，在光学***1202中控制执行机构等。驱动器控制器1220由于能够使光学***1202的透镜移动以进行摇晃的补偿，因此能够降低因手的晃动或摄像机的移动而造成的模糊。

操作部1222接收用户的操作输入，并将电信号发送给微型计算机1210。操作部1222通过发送电信号，从而能够控制与用户的输入对应且相关联的驱动器控制器1220、视频传感器1204、视频处理器1208等模块。

微型计算机1210控制驱动器控制器1220和视频传感器1204。

视频传感器1204累积入射光信号并将该光信号转换为电信号。视频传感器1204由微型计算机1210控制。

ADC1206将在视频传感器1204被转换的电信号转换为数字数据（原图像数据），并存储到内部存储器1240或外部存储器1212。

原图像处理器1242从内部存储器1240（或外部存储器1212）中获得原图像数据，进行降低噪声、线性校正、白平衡、亮度校正等众多前处理。原图像处理器1242将进行了前处理的原图像输出到存储发送装置1216或彩色影像传感器1244。

彩色影像传感器1244通过对在原图像处理器1242被前处理的原图像进行处理，从而生成RGB或YCbCr等彩色图像。在此，彩色影像处理器1244的处理是指，包括色内插、色校正、色调范围的调整、色噪声的降低等处理，并生成优良的彩色图像。

立体影像变换部106具备稳定化部116和立体影像制作部118这两个子模块。立体影像变换部106读取内部存储器1240中的图像帧，进行稳定化后变换为3D影像。立体影像变换部106将变换后的3D影像输出到显示装置1214或外部存储器1212。并且，立体影像变换部106的详细由于之前已经说明过，在此省略说明。

显示装置1214例如是能够显示3D立体图像的、附带有柱状透镜（Lenticular Lens）层的液晶监视器等。显示装置1214能够显示由立体影像变换部106输出的3D影像。并且，显示装置1214也可以将由立体影像变换部106输出的3D影像以2D影像来显示，也可以存储到存储发送装置1216。

存储发送装置1216对在原图像处理器1242被前处理后的原影像、以及由立体影像变换部106输出的3D影像进行存储或发送。并且，存储发送装置1216也可以在对由原图像处理器1242前处理后的原影像以及立体影像变换部106输出的3D影像进行存储发送之前，由压缩部（图中未示出）来进行压缩。

存储发送装置1216例如是以闪存为主的内存卡、硬盘驱动器、或光学驱动器，但并非受此所限。并且，存储发送装置1216例如可以由HDMI接口（高清晰度多媒体接口）、USB接口、无线接口或direct-to-printer（直接连接打印机）接口构成,不过并非受此所限。并且，存储发送装置1216也可以对处理（存储或发送）的数据进行任意地可逆或不可逆压缩。

视频处理器1208以及内部的模块通常可以由IC（集成电路）、ASIC（专用集成电路）、或LSI（大规模电路）来实现，并且可以由多个芯片构成也可以由一个芯片构成。并且，立体影像制作装置100或立体影像变换部106等的实现并非受LSI的形式所限。也可以按照集成度而以被称为IC（集成电路）、***LSI、超级LSI、或极超级LSI。

并且，视频处理器1208以及内部的模块等也可以利用专用电路或通用处理器等被集成化后来实现。作为专用电路例如有能够按照程序指令来进行控制的DSP（数字信号处理器）等特殊化后的微处理器。

并且，视频处理器1208以及内部的模块等在LSI制造后，也可以利用可编程的FPGA（现场可编程门阵列）或LSI的连接或者可重构的处理器。将来，在制造以及处理技术提高之后，在以全新的技术来取代LSI的情况下，也可以利用该技术，通过进行集成化来实现。

这样，通过本发明，能够不必进行通过计算成本高的SFM的推定来生成立体影像，并且能够不必进行花费时间的深度图的推定就能够生成立体影像。据此，能够实现从2D影像制作恰当且舒适的3D影像的立体影像制作装置以及立体影像制作方法。

具体而言，本发明的立体影像制作装置接受2D影像，检测（追踪）连续的图像帧之间的对应点。本发明的立体影像制作装置根据对象帧与该对象帧所对应的多个近邻帧之间的对应点，来对对象帧进行稳定化处理。不过，事前已被稳定了的2D影像不需要进行稳定化处理。

本发明的立体影像制作装置按照对象帧与立体同伴帧候补之间的共同区域的大小，选择与对象帧对应的立体同伴帧候补。

并且，本发明的立体影像制作装置，在对象帧以及各个立体同伴帧候补之间，算出满足垂直方向差成为零的条件和对极约束的投影变换矩阵。并且，本发明的立体影像制作装置为了减轻在应用投影变换矩阵之时发生的失真而算出倾斜变换矩阵，并算出用于使对象帧与近邻帧之间的对应点的视差的差分成为最小的平移变换矩阵。

并且，本发明的立体影像制作装置，利用算出的投影变换矩阵、倾斜变换矩阵以及平移变换矩阵，并根据第一基准，从立体同伴帧候补中决定与对象帧对应的立体同伴帧。

在此，第一基准包括垂直方向差基准、水平视差基准（基线）、平滑化基准、减少失真基准。在垂直方向差基准中规定了，对象帧与立体同伴帧的y方向上（垂直方向上）的差为零。在水平视差基准（基线）中规定了，对象帧与立体同伴帧在x方向（水平方向）上的视差满足的范围是，能够得到3D效果且能够得到舒适的3D视觉。在平滑化基准中对纵深方向进行了规定，相邻立体对（对象帧与对应的立体同伴帧）之间的对应点的视差满足平滑的范围。在减少失真标准中规定了，在立体对不受因产生失真的以往的变换的影响下，根据立体对的共同区域来制作立体对，以使立体对的失真成为最小。

并且，本发明的立体影像制作装置针对决定了的立体同伴帧（立体对）应用通过组合投影变换矩阵、倾斜变换矩阵以及平移变换矩阵而被生成的变换矩阵，从而使立体同伴帧变形。

在此阶段，本发明的立体影像制作装置将对象帧和被变形的立体同伴帧作为构成3D图像的立体对来输出。

在本发明的立体影像制作装置，直到对象帧成为构成2D影像的最终帧为止反复进行以上所述的处理，从而输出从立体对生成的3D影像。

以上根据实施例对本发明的立体影像制作装置以及立体影像制作方法进行了说明，不过，本发明并非受这些实施例所限。在不超出本发明的主旨的范围内，在本实施例的基础上的本领域技术人员所能够想到的各种变形，以及对不同的实施例中的构成要素进行的组合而构成的实施方式均包括在本发明的范围内。

本发明能够利用于立体影像制作装置以及立体影像制作方法，尤其能够利用于液晶显示装置、等离子体显示装置、附带有柱状透镜（LenticularLens）层的显示装置、或者被组装到DVD播放器、蓝光盘播放器等的立体影像制作装置以及立体影像制作方法。

符号说明

100，150，200体影像制作装置

101，201    接受部

102         存储介质读取器

104         视频解码器

106         立体影像变换部

108         影像输出部

110         内部缓冲器

112，223    显示部

114         发送装置

116         稳定化部

118         立体影像制作部

121         检测部

122         算出部

123         选择部

124    决定部

125    立体对生成部

126    变换部

202    低频介质

204    用户反馈部

220    动作分析部

222    反馈部

502    场面

506，508，606，608，618    矩形

522         图像取样点

524         虚拟图像取样点

542         摄像机

544，746    虚拟摄像机

562         轨道

566，766    虚拟轨道

582         图像帧

584         虚拟图像帧

602         对象帧

604，712    立体同伴帧候补

636         垂直差

638         水平差

716    共同区域

718，720，722，724，728，730，732，734    点

726，736    角

767     虚拟立体影像取样点

786     立体影像帧对

1200    图像装置

1202    光学***

1204    视频传感器

1208    视频处理器

1210    微型计算机

1212    外部存储器

1214    显示装置

1216    发送装置

1220    驱动器控制器

1222    操作部

1240    内部存储器

1242    原图像处理器

1244    彩色影像处理器

Claims (15)

1.一种立体影像制作装置，从二维影像制作三维影像，该立体影像制作装置包括：

接收部，接收二维影像；

选择部，从构成所述二维影像的多个帧中，将与对象帧共同的图像的区域即共同区域所占的区域大小在预先规定的值以上的多个帧选择为立体同伴帧候补，该立体同伴帧候补是与该对象帧一起构成立体图像的帧的候补；

决定部，根据规定的基准，从所述立体同伴帧候补中决定立体同伴帧，该立体同伴帧是与该对象帧一起构成立体图像的帧；

立体对生成部，利用所述对象帧与所述立体同伴帧，生成与所述对象帧对应的构成立体图像的立体对；以及

变换部，从所述对象帧与由所述选择部选择的所述立体同伴帧候补中，生成用于使所述立体同伴帧候补变形的变换矩阵，通过将生成的所述变换矩阵应用于所述立体对，来变换所述立体对；

所述规定的基准包括：垂直方向差基准、水平视差基准以及平滑化基准；

在所述垂直方向差基准中规定了，将与所述对象帧的所述共同区域在垂直方向的位置上的差略等于零的帧，作为所述立体同伴帧；

在所述水平视差基准中规定了，将与所述对象帧的所述共同区域在水平方向的位置上的差属于规定的范围内的帧，作为所述立体同伴帧；

在所述平滑化基准中规定了，将在时间上连续的立体对之间的所述共同区域的位移成为平滑的帧，作为所述立体同伴帧；

所述变换部，对算出的投影变换矩阵、倾斜变换矩阵以及平移变换矩阵进行组合以便生成所述变换矩阵，并且将生成的所述变换矩阵应用于所述立体对；

所述变换部，在所述对象帧与所述立体同伴帧候补之间算出基本矩阵；

所述变换部，根据所述基本矩阵算出所述倾斜变换矩阵，以使所述立体对中的对象帧与所述立体同伴帧候补之间的垂直方向差成为最小；

所述变换部，算出所述投影变换矩阵，以使由所述投影变换矩阵变换后的所述立体同伴帧中的所述共同区域，维持与变换前相同的正交性和纵横比；所述共同区域的所述正交性是指，所述共同区域的横向延伸的边与纵向延伸的边表现出正交的角度；所述共同区域的所述纵横比是指，所述共同区域的纵向延伸的相对的两边之间的距离与所述共同区域的横向延伸的相对的两边之间的距离之比；

所述变换部，算出所述平移变换矩阵，以使以下的两种视差成为相同，该两种视差是指：所述对象帧与被应用了所述投影变换矩阵以及所述倾斜变换矩阵后的立体同伴帧之间的视差、以及所述对象帧之前的对象帧与立体同伴帧之间的视差。

2.如权利要求1所述的立体影像制作装置，

该立体影像制作装置还包括稳定化部，该稳定化部通过在构成所述二维影像的多个帧中对该多个帧之间的摇晃进行校正，从而使该多个帧变得稳定；

所述选择部，从由所述稳定化部稳定后的构成所述二维影像的多个帧中，选择立体同伴帧候补。

3.如权利要求1或2所述的立体影像制作装置，

所述立体影像制作装置包括：

存储部，用于存储由所述变换部变换后的立体对；以及

输出部，用于输出由所述存储部存储的被变换后的立体对；

所述输出部，通过输出由所述变换部变换后的立体对，从而从所述二维影像生成三维影像，所述变换后的立体对与构成所述二维影像的多个帧的每一个相对应。

4.如权利要求1或2所述的立体影像制作装置，

所述选择部，从构成所述二维影像的多个帧中，选择与所述对象帧为在同一场面拍摄的多个帧，以作为所述立体同伴帧候补。

5.如权利要求4所述的立体影像制作装置，

所述选择部，在所述共同区域的大小占所述对象帧的比例、以及所述共同区域的大小占所述立体同伴帧候补的比例分别在所述预先规定的值以上的情况下，判断所述立体同伴帧候补是与所述对象帧在同一场面拍摄的帧；

所述共同区域是根据帧中具有特征的、且在所述对象帧与所述立体同伴帧候补之间具有对应关系的特征点而被算出的。

6.如权利要求4所述的立体影像制作装置，

所述选择部，在构成所述二维影像的多个帧中，选择在时间上与所述对象帧近的近邻帧，以作为所述立体同伴帧候补。

7.如权利要求1或2所述的立体影像制作装置，

所述规定的基准还包括减少失真基准；

在所述减少失真基准中规定了，将所述共同区域所占的区域中的大小与所述对象帧同样，均为所述预先规定的值以上的帧，作为所述立体同伴帧。

8.如权利要求7所述的立体影像制作装置，

所述决定部，利用通过进行图像处理而能够检测到的、作为帧中的具有特征的点的特征点，来判断是否满足所述规定的基准，以便决定所述立体同伴帧。

9.如权利要求1所述的立体影像制作装置，

所述变换部，根据帧中具有特征的、且在所述对象帧与所述立体同伴帧之间具有对应关系的特征点来生成所述变换矩阵。

10.如权利要求2所述的立体影像制作装置，

所述稳定化部，通过利用投影变换矩阵来对多个帧之间的摇晃进行校正，该投影变换矩阵是基于帧中具有特征的、且在规定帧与在时间上和所述规定帧接近的多个近邻帧之间具有对应关系的特征点而被算出的。

11.如权利要求2所述的立体影像制作装置，

所述稳定化部包括：

检测部，检测多个特征点，该多个特征点是在规定帧和与所述规定帧邻近的近邻帧之间具有对应关系且具有特征的点；以及

算出部，算出使所述规定帧变形的投影变换矩阵，以使所述规定帧的多个特征点、与对应的所述近邻帧中被加权后的多个特征点具有相同的坐标值；

所述稳定化部通过将所述投影变换矩阵应用于所述规定帧，从而使该多个帧变得稳定。

12.如权利要求11所述的立体影像制作装置，

所述多个近邻帧是在时间上与所述规定帧近的帧。

13.如权利要求11所述的立体影像制作装置，

所述算出部利用加权函数，算出所述多个近邻帧的权重；

所述算出部，

在对应的所述近邻帧为在时间上与所述规定帧最近的帧的情况下，利用所述加权函数，算出值为更近于1的权重；

在对应的所述近邻帧为在时间上离所述规定帧远的帧的情况下，利用所述加权函数，算出值为比1小的权重。

14.如权利要求2所述的立体影像制作装置，

所述接收部，接收用户以拍摄装置拍摄的二维影像；

所述立体影像制作装置进一步包括：

分析部，分析所述拍摄装置的动作，生成用于引导所述用户的信息，以便拍摄稳定的二维影像；

反馈部，根据由所述分析部生成的信息，生成用于向所述用户反馈的反馈信息；以及

显示部，显示被生成的所述反馈信息以及所述二维影像。

15.一种立体影像制作方法，从二维影像制作三维影像，该立体影像制作方法包括：

接收步骤，接收二维影像；

选择步骤，从构成所述二维影像的多个帧中，将与对象帧共同的图像的区域即共同区域所占的区域大小在预先规定的值以上的多个帧选择为立体同伴帧候补，该立体同伴帧候补是与该对象帧一起构成立体图像的帧的候补；

决定步骤，根据规定的基准，从所述立体同伴帧候补中决定立体同伴帧，该立体同伴帧是与该对象帧一起构成立体图像的帧；

立体对生成步骤，利用所述对象帧与所述立体同伴帧，生成构成立体图像的立体对；以及

变换步骤，从所述对象帧与在所述选择步骤选择的所述立体同伴帧候补中，生成用于使所述立体同伴帧候补变形的变换矩阵，通过将生成的所述变换矩阵应用于所述立体对，来变换所述立体对；

所述规定的基准包括：垂直方向差基准、水平视差基准以及平滑化基准；

在所述垂直方向差基准中规定了，将与所述对象帧的所述共同区域在垂直方向的位置上的差略等于零的帧，作为所述立体同伴帧；

在所述水平视差基准中规定了，将与所述对象帧的所述共同区域在水平方向的位置上的差属于规定的范围内的帧，作为所述立体同伴帧；

在所述平滑化基准中规定了，将在时间上连续的立体对之间的所述共同区域的位移成为平滑的帧，作为所述立体同伴帧；

所述变换步骤，对算出的投影变换矩阵、倾斜变换矩阵以及平移变换矩阵进行组合以便生成所述变换矩阵，并且将生成的所述变换矩阵应用于所述立体对；

所述变换步骤，在所述对象帧与所述立体同伴帧候补之间算出基本矩阵；

所述变换步骤，根据所述基本矩阵算出所述倾斜变换矩阵，以使所述立体对中的对象帧与所述立体同伴帧候补之间的垂直方向差成为最小；

所述变换步骤，算出所述投影变换矩阵，以使由所述投影变换矩阵变换后的所述立体同伴帧中的所述共同区域，维持与变换前相同的正交性和纵横比；所述共同区域的所述正交性是指，所述共同区域的横向延伸的边与纵向延伸的边表现出正交的角度；所述共同区域的所述纵横比是指，所述共同区域的纵向延伸的相对的两边之间的距离与所述共同区域的横向延伸的相对的两边之间的距离之比；

所述变换步骤，算出所述平移变换矩阵，以使以下的两种视差成为相同，该两种视差是指：所述对象帧与被应用了所述投影变换矩阵以及所述倾斜变换矩阵后的立体同伴帧之间的视差、以及所述对象帧之前的对象帧与立体同伴帧之间的视差。