CN102272796B - 运动向量生成装置以及运动向量生成方法 - Google Patents

Abstract

在本发明的运动向量生成装置(1)中，当对多个图像依次生成运动向量时，在上述多个图像中的任意一个图像上以亚像素级决定关注点，在与该图像不同的其他图像上以亚像素级搜索与该关注点相对应的对应点，并根据这些关注点和其对应点计算出运动向量。然后，将该对应点决定为新的关注点，并反复进行上述处理来依次生成运动向量。因此，本发明的运动向量生成装置(1)通过在多个图像中以亚像素级进行对应点搜索，能够求出连续的运动向量。

Description

运动向量生成装置以及运动向量生成方法

技术领域

本发明涉及在时间序列图像之间通过搜索对应点来生成运动向量(motion vector)的运动向量生成装置以及运动向量生成方法。

背景技术

近年来，在汽车工业领域中，以提高安全性为目的的各种***的研究正在进行，特别是使用了照相机的图像传感器已经被加以利用。图像传感器通过对取入的图像进行图像处理，来进行障碍物的确定、该障碍物的运动的分析等。

分析运动的方法例如有相关法。相关法是指求出2个相互对应的图像中的与一个图像上的关注点相对应的另一个图像上的点(对应点)的方法。更具体而言，在该相关法中，例如在2个时间序列图像中，针对作为在前图像的基准图像上的关注点设定如包含该关注点那样的模板，并且在作为在后图像的参照图像上也设定多个与基准图像大小相同的窗口。然后，在基准图像上的模板和参照图像上的各窗口之间计算出相关值(相似度)，搜索相关值最高的参照图像上的窗口，并求出该窗口的重心位置作为对应点。在多个时间序列图像中，进而在求出了对应点之后，将该对应点作为新的关注点，然后求出被摄像的图像上的对应点，通过依次反复进行上述动作，能够按每一帧追踪对应点将要进行怎样的运动，从而能够连续地求出运动向量。其中，运动向量是连结各帧的相互对应的点之间的向量。作为相关法，例如已知有被称为SAD(Sum ofAbsolute Difference)法的方法。

已经提出有多种求出该运动向量的方法，例如在专利文献1中记载有一种通过块匹配来求出对应点，并求出运动向量的方法。其中，在该方法中，以像素级(pixel level：像素单位)来选择关注点，对应点也以像素级被搜索，但在块匹配的相似度较低的情况下，例如以1/2像素或者1/4像素等小于1像素的单位的亚像素级来进行搜索，并求出运动向量。由此，由于进行亚像素级的精确的对应点搜索，并且以此为基础求出运动向量，所以能够进行精确的运动分析。

另外，例如在专利文献2中记载有一种如下所述的方法：在进行用于搜索对应点的模板匹配时，将关注点侧的图像的一部分亚像素化，将对应点侧的图像的整体亚像素化，来搜索对应点并求出运动向量。由此，由于进行亚像素级的搜索，所以能够进行精确的运动向量的计算。

另外，例如在专利文献3中记载有对应点的搜索方法。记载了一种进行如下所述的方法：以在不同的时间点取得的立体图像为基础来搜索对应点，由此生成每个时间点的距离信息和2维运动向量，进而以此为基础来生成3维运动向量。在该方法中，以像素级来提供关注点和对应点。

另外，例如在非专利文献1中，公开了一种利用相位限定相关法(POC法)的精确的对应点搜索方法。在该方法中，计算出与基准图像上的像素级的关注点相对应的参照图像上的像素级的对应点。然后，求出相对于对应点的亚像素级的偏移量，并对上述计算出的对应点考虑该偏移量来计算出亚像素级的对应点。

但是，专利文献1所公开的方法虽然以亚像素级计算出对应点，但在将该对应点作为关注点来从下一个时间序列图像中搜索对应点时，关注点并不是亚像素级，而被重新设定成像素级。即，专利文献1所公开的方法将以亚像素级求出的对应点变换成像素级，然后求出与下一个图像的对应点。因此，该专利文献1所公开的方法在多个时间序列图像中并不能连续求出运动向量。

另外，由于专利文献2所公开的方法在图像的亚像素化中受限于规定的分辨率，所以在该专利文献2所公开的方法中，存在着推算精度会产生误差的问题。而且，也会产生为了将图像亚像素化而导致运算时间增大的问题。

另外，专利文献3所公开的方法没有考虑对应点的位置是亚像素级的情况。因此，该专利文献3所公开的方法即使在成为亚像素级的位置的情况下，也针对相对该亚像素级的位置位于附近的像素级的位置进行对应点搜索。因此，导致和正确的对应点的位置产生偏移。因此，即使根据如此求出的对应点求取距离信息、2维运动向量和3维运动向量，也无法得到正确的值。假定即使对得到的对应点的信息进行插值等而使其接近更正确的值，但始终是通过插值而得到的值，并不能称为精确。

另外，对于非专利文献1所公开的方法，虽然在运算的中间阶段，当求取对应点相对于关注点的亚像素级的偏移量时，将基准图像上的关注点变换成亚像素级来进行运算，但并不是对以亚像素级设定的关注点进行搜索。因此，与专利文献1所公开的方法同样，并不是求出正确的对应点的位置的情况，没有建立精确的对应。

专利文献1：日本特开平5-236452号公报

专利文献2：日本特开2007-257026号公报

专利文献3：日本特开2001-84383号公报

非专利文献1：Kenji TAKITA，Mohammad Abdul MUQUIT，Takafumi AOKI，Tatsuo HIGUCHI，“A Sub-Pixel Correspondence SearchTechnique for Computer Vision Applications”，IEICE Transactions.Fundamentals，Aug.2004，E87-A，no.8，pp.1913-1923

发明内容

本发明是鉴于上述情况而完成的发明，其目的在于，提供一种在多个图像中求出连续的运动向量的运动向量生成装置和运动向量生成方法。

在本发明涉及的运动向量生成装置和运动向量生成方法中，当对多个图像依次生成运动向量时，在上述多个图像中的任意一个图像上以亚像素级决定关注点，在与该图像不同的其他图像上以亚像素级搜索与该关注点相对应的对应点，并根据这些关注点和其对应点计算出运动向量。然后，将该对应点决定为新的关注点，并反复进行上述处理来依次生成运动向量。因此，本发明涉及的运动向量生成装置和运动向量生成方法通过在多个图像中以亚像素级进行对应点搜索，能够求出连续的运动向量。

通过下面的详细说明和附图，上述以及其他的本发明的目的、特征和优点会更加明确。

附图说明

图1是表示实施方式涉及的运动向量生成装置的构成的框图。

图2是用于说明模板的图，图2(A)是表示关注点是像素级的位置时的基准图像和参照图像的图，图2(B)是表示关注点是亚像素级时的基准图像和参照图像的图。

图3是用于说明图像插值的方法的图。

图4是表示包含偏移量的窗函数的图。

图5是用于说明将关注点置换为最近的像素来搜索对应点、然后进行插值的方法的图。

图6是用于说明对应点搜索的图。

图7是用于说明基于立体图像的3维运动向量的计算方法的图。

图8是表示在立体时间序列图像中3维运动向量连续相连的状况的图。

图9是用于说明基于立体图像的3维运动向量的其他计算方法的图。

图10是表示在立体时间序列图像中3维运动向量连续相连的状况的其他的图。

图11是用于说明运动向量的可靠性评价的方法的图。

图12是用于说明其他的运动向量的可靠性评价的方法的图。

具体实施方式

下面，根据附图对本发明涉及的一个实施方式进行说明。其中，在各图中标记相同符号的构成表示是相同的构成，其说明被适当省略。

首先，对本发明的实施方式涉及的运动向量生成装置的构成进行说明。图1是表示本实施方式涉及的运动向量生成装置的构成的框图。如图1所示那样，运动向量生成装置1具备：图像取得部2、关注点决定部3、对应点搜索部4、运动向量计算部5、和运动向量分析部6。运动向量生成装置1例如由各种电子部件或集成电路部件、CPU(CentralProcessing Unit)、存储部等构成。而且，运动向量生成装置1与照相机7和显示部8连接。照相机7用于取得时间序列图像，优选是立体照相机。更具体而言，由隔开规定的适当距离而左右设置的2个照相机构成。另外，显示部8用于显示由运动向量生成装置1求出的结果。

下面，对运动向量生成装置1的这些各构成部件进行说明。

图像取得部2取得来自照相机7的时间序列图像并对其进行保持。这里，照相机7中的立体照相机分别随时拍摄在相同的时刻对被摄体进行摄像而得到的左右一对图像，并向运动向量生成装置1输出时间序列立体图像。其中，照相机7中的左右照相机的像差被良好地校正，并且该左右照相机被设置成其光轴平行。这样，在立体照相机中，通过平行设置各照相机，可得到平行化的图像。另外，照相机7也可以不是立体照相机而是单眼照相机，可以通过利用单眼照相机在不同的时间点进行摄像来取得时间序列图像。

关注点决定部3在图像取得部2所保持的图像中的任意一个图像(基准图像)上决定关注点。其中，在该基准图像成为运动向量的起点的情况下，将该基准图像上的任意点决定为关注点。另外，在不是起点的情况下，将针对在时间上靠前摄像的图像的对应点重新设定为关注点。

对应点搜索部4搜索与基准图像相对应的参照图像上的点(对应点搜索)。其中，参照图像是指与基准图像相对应的图像。更具体而言，在立体图像中，同时刻摄像而得到的一对图像中的一个是基准图像，而另一个是参照图像。另外，在时间序列图像中，由同一照相机摄像而得到的图像中的在时间上靠前的图像是基准图像，而在时间上靠后的图像是参照图像。接着对具体的对应点搜索进行说明。针对由关注点决定部3设定的关注点设定模板，搜索与该模板对应的参照图像上的模板，并根据该搜索出的模板求出对应点。更具体而言，对应点搜索部4取入由关注点决定部3设定了关注点的基准图像，并在基准图像上设定包含关注点的模板。这里，模板是在基准图像中以一定的区域划分的范围，具有该范围内的各像素的亮度值等信息(图像图案(image pattern))。然后，对应点搜索部4计算出该模板和在与该基准图像对应的参照图像中设定的多个窗口的相关值，并根据相关值判断是否对应。其中，窗口是在参照图像中生成的多个与模板大小相同的范围的区域，具有该范围内的各像素的亮度值等信息(图像图案)。相关值能够根据模板和窗口的图像图案求出。例如，求出模板和任意一个窗口的相关值，如果假设这些相关值较低，判定为它们不对应，则求出例如在任意一个方向偏离了1像素的位置上生成的窗口和模板的相关值。由此，求出相关值取值为峰值的窗口，即与模板相对应的窗口。如果是时间序列图像，则例如将在前的图像设为基准图像，将在后的图像设为参照图像。另外，也可以相反地将在后的图像设为基准图像，将在前的图像设为参照图像。即，在一边对时间序列图像进行摄像、一边进行对应点搜索的情况下，将在前的图像设为基准图像，将在后的图像设为参照图像。但是，在对时间序列图像进行摄像，将这些图像例如预先保持在图像取得部2中，并在保持了一定程度的量的状态下进行对应点搜索的情况下，也可以不将在前的图像设为基准图像，而将在后的图像设为基准图像，将在前的图像设为参照图像。

对于这样的对应点搜索的方法，提出有各种已知的方案。下面，例如简单说明使求出与模板对应的窗口的时间缩短的方法。例如，如上述那样，在基准图像是立体图像的一个图像，参照图像是另一个图像，并且对各图像进行摄像的照相机被平行配置的情况下，基准图像和参照图像基本上被平行配置。于是，由于可以假定参照图像上的窗口位于与基准图像上的关注点高度相同的位置，所以只要针对该高度位置的窗口求出相关值即可。另外，在基准图像与参照图像基本平行配置、且基准图像和参照图像的视差被一定程度掌握的情况下，能够进一步限定窗口的设定范围。这样，通过对窗口的设定范围进行限定，能够抑制求取和模板之间的相关值的窗口的数量，因此能够在短时间搜索对应的窗口。

另外，作为其他的方法，有一种被称为基于多分辨率策略的搜索方法。该方法暂时使基准图像及参照图像的分辨率降低、即减少像素数，然后进行相关值运算，针对关注点求出相关值成为峰值的坐标，并将分辨率恢复到之前的状态，然后将窗口的设定范围缩小至以低分辨率求出的坐标周边来求出相关值。由于在降低了基准图像和参照图像的分辨率的状态下，能够使图像图案的信息减少，所以可以在短时间求出该状态下的相关值。另外，在这样求出的低分辨率下的相关值是峰值的坐标附近，应该存在本来的分辨率下的相关值成为峰值的坐标。这样，由于能够在短时间确定对应的窗口存在的范围，所以可在短时间搜索到对应的窗口。另外，在该方法中，可以生成分为几个等级的多个低分辨率图像，从而逐渐地缩小搜索位置。

接着，对具体的相关值计算方法进行说明。作为用于求出相关值的函数，例如已知有SAD(Sum of Absolute Difference)法、SSD(Sum ofSquared Difference)法(差方和法)、NCC(Normalize cross Correlation)法(正规化相互相关法)等。例如SAD法是对模板及窗口的亮度值的绝对值求总和的函数，利用通过该函数得到的值，能够求出每个窗口的相关值。

另外，还有与上述SAD法等相比具有鲁棒性的相关值运算的方法。具体而言，是仅利用从图像图案的频率分解信号抑制了振幅分量而得到的相位分量的信号来进行相似度运算的方法，不易受立体图像中的左右照相机的摄像条件之差、噪声干扰等的影响，能够实现具有鲁棒性的相关值运算。作为计算图像图案的频率分解信号的方法，例如已知有高速傅里叶变换(FFT)、离散傅里叶变换(DFT)、离散余弦变换(DCT)、离散正弦变换(DST)、小波变换、阿达玛变换等。这里，对这样的具有鲁棒性的相关值运算中的相位限定相关法(后面称为POC法)进行简单说明。

在POC法中，也在基准图像上设定模板，并在参照图像上设定具有相同大小的窗口。然后，在错开参照图像上的窗口的同时，计算模板和各窗口之间的相关值(POC值)，并根据该相关值求出与模板对应的窗口。首先，基准图像的模板及参照图像的窗口被分别进行2维离散傅里叶变换，在归一化后合成，被进行2维离散傅里叶逆变换。由此求出作为相关值的POC值。另外，由于POC值按每个像素离散地求出，所以能够按窗口内的每个像素求出相似度。因此，容易缩小窗口的范围，起到求取对应点的处理也能够快速执行的效果。即，在上述的SAD法等中，求出了每个窗口的相关值，而POC法能够求出窗口内的每个像素的相关值。因此，在上述POC法等具有鲁棒性的相关值运算方法中，无需如SAD法等那样将窗口逐个错开1像素来计算相关值，能够将窗口错开多个像素来计算相关值。可以错开多少依赖于对应点的搜索可能范围，但在一般情况下，可以说是窗口大小的一半左右。即，例如错开后的窗口和错开前的窗口只要以窗口大小的一半左右重叠的方式设定即可。例如，若将基准图像和参照图像的最大视差设为128像素，将窗口大小设为31×31，将通过POC法能够搜索的范围相对于重心位置假定为±8像素，则为了搜索该视差，由于只要将窗口逐个错开16像素即可，所以设定8个窗口。另外，在POC法中也能够使用上述的基于多分辨率策略的搜索方法。在上述的例子中，虽然只要设定8个窗口即可，但如果进一步利用基于多分辨率策略的搜索方法来将图像例如缩小至1/16，则设定的窗口只需要1个。由此，能够更加容易地执行对应点的搜索。

另外，除了POC法以外，还已知有仅利用从图像图案的频率分解信号抑制了振幅分量而得到的相位分量的信号来进行相关值运算的方法。例如有DCT符号限定相关法等，也可以利用这些方法来进行相关值运算。该DCT符号限定相关法是已知的方法，例如公开于“画像信号処理と画像パタ一ン認識の融合-DCT符号限定相関とその応用”，貴家仁志，首都大学東京システムデザイン学部動的画像処理実利用化ワ一クシヨツプ2007，2007.3.8-9。

其中，在本实施方式中，由于进行亚像素级下的搜索，所以参照图像上设定的窗口以亚像素级被设定，而非像素级。因此，由于对于1个像素来说，并不限定为其整体包含在窗口中，有时也仅是像素的一部分被包含在该窗口中，所以不限于窗口成为像素单位的区域。

对亚像素级下的窗口进行更具体的说明。图2是用于说明模板的图，图2(A)是表示关注点是像素级的位置时的基准图像和参照图像的图，图2(B)是表示关注点是亚像素级时的基准图像和参照图像的图。如图2(A)所示那样，在具有多个像素22的基准图像21a上的关注点是像素级的位置的情况下，在基准图像21a上设定了以关注点24a作为重心位置的例如3×3的模板25a。另外，在具有多个像素22的参照图像21b上设定了3×3的窗口，求出基准图像21a的模板25a的图像图案与参照图像21b的窗口的图像图案之间的相似度，由此求出对应点24b。其中，在对应点24b的搜索中，通过利用插值等，能够如图2(A)所示那样求出亚像素级下的位置。

但是，在如图2(B)所示那样，关注点24c的位置从像素的重心偏离的情况下，无法设定以像素为构成单位的窗口，为了进行设定，必须进行校正等，以使例如关注点24c的位置成为像素的重心位置。但是，如果这样，则会求出与本来的值有偏差的值。于是，将关注点24c作为重心位置，不以像素为构成单位来设定大小为3×3的模板25b。然后，求出与参照图像21b上的窗口25c之间的相关值，根据该相关值求出与模板25b对应的窗口25c，并求出该窗口25c的重心位置作为对应点24d。另外，关注点24a、对应点24b、关注点24c和对应点24d实际是点，但是考虑到可看性，在图2(A)和图2(B)中表示成与像素大小相同。

这里，对以亚像素级的位置为重心的模板的设定方法进行说明。由于模板被设定在亚像素级的位置，所以需要根据各像素的配置求出图像图案。

作为用于设定以亚像素级的位置为重心的模板的第1方法，有对图像进行插值的方法。图3是用于说明图像插值方法的图。在图3中，(i，j)、(i+1，j)、(i，j+1)和(i+1，j+1)表示像素的位置，(x，y)是亚像素级位置的关注点的坐标。该情况下，为了求出以这样的关注点为重心位置的模板的图像图案，具体需要求出(x，y)处的亮度值。鉴于此，通过利用位于(x，y)的周围的像素的亮度值来进行插值，求出(x，y)的亮度值。具体而言，通过利用位于(x，y)的周围的(i，j)、(i+1，j)、(i，j+1)和(i+1，j+1)处的像素的亮度值来进行插值，来求出(x，y)的亮度值。通过这样求出从像素级的位置偏离的、亚像素级的位置上的亮度值，能够求出模板的图像图案，可以设定模板。下面表示了利用双一次插值(双线性插值)的(x，y)处的亮度值I(x，y)。I(i，j)、I(i+1，j)、I(i，j+1)和I(i+1，j+1)表示各像素的亮度值。其中，式1表示(x，y)的坐标位置，式2表示其亮度值。这里，i和j为整数，δx和δy是大于0且小于1的数。

(x，y)＝(i+δx，j+δy)…(1)

I(x，y)＝{(1-δx)(1-δy)×I(i，j)}

+{(1-δx)×δy×I(i+1，j)}

+{δx×(1-δy)×I(i，j+1)}

+{δx×δy×I(i+1，j+1)}…(2)

对双一次插值除了上述说明，也可以通过除此以外的插值来求出亚像素级的位置上的亮度值，并设定模板。例如，只要利用双三次插值(两次立方插值)等来进行插值即可。由此，能够设定模板。

用于设定以亚像素级的位置为重心的模板的第2方法是应用窗函数的方法。在上述对应搜索的方法中，例如在如POC法那样进行频率分解的方法中，当进行频率分解时，通常为了去除不连续性的影响等而使用了窗函数，然后再进行频率分解。作为窗函数，例如可以列举出汉宁窗(Hanning Window)、汉明窗(Hamming Window)、凯塞窗(Kaiserwindow)等。该第2方法使该窗函数预先包含亚像素级位置上的关注点的、相对于像素位置的偏移量。由此，该第2方法通过使用窗函数，能够设定具有亚像素级的图像图案的模板。鉴于此，对使窗函数包含偏移量的方法进行说明。这里用汉宁窗作为一个例子进行说明。汉宁窗的公式由式3表示。

式3表示1维的汉宁窗。向2维的扩展能够容易地进行，表示2维汉宁窗的公式由式4表示。

通过在式4中考虑了位于亚像素级的位置的关注点的偏移量而求出的、应该应用的窗函数由式5表示。

$\mathrm{DH}(i,j)=\frac{1+\cos \left(\frac{\mathrm{\π}(i+\mathrm{\δx})}{M}\right)}{2}\×\frac{1+\cos \left(\frac{\mathrm{\π}(j+\mathrm{\δy})}{N}\right)}{2}...\left(5\right)$

图4是表示包含偏移量的窗函数的图。在图3中，表示了1维(x方向)的情况，表示了不包含偏移量的窗函数(◆)和、将偏移量δx设为0.5的情况下的窗函数(■)。根据图4可知，两者有偏差。

这样，第2方法在应用了包含求出的偏移量的窗函数之后，进行频率分解，例如使用POC法来进行对应建立。另外，在无需使用频率分解的SAD法等的对应建立方法中，也可以通过对像素(i，j)的亮度值、即I(i，j)乘以包含该偏移量的窗函数，来求出亚像素级的位置上的关注点的亮度值I(x，y)。具体而言，亚像素级的位置上的关注点的亮度值I(x，y)由式6表示。

I(x，y)＝DH(i，j)×I(i，j)      …(6)

因此，能够设定以亚像素级的位置作为重心位置的模板。

另外，在汉宁窗以外的窗函数中，也同样能够包含偏移量。由此，能够设定以亚像素级的位置为重心位置的模板。

以亚像素级的位置为重心的模板的设定方法的第3方法是在频率空间中使相位分量旋转的方法。通过该方法，当在利用频率分解的对应点搜索方法中通过反复运算来计算亚像素级的偏移量时，无需再次进行频率分解，通过在频率空间中旋转相位分量就能够设定模板。由此，能够快速进行对应点搜索。其中，该在频率空间使相位分量旋转的方法是已知的方法，例如公开于“‘A High-Accuracy Passive 3D MeasurementSystem Using Phase-Based Image Matching’，IEICE Transactions.Fundamentals，March 2006，E89-A，no.3，pp.686-697”，特别是公开在本论文的688页的右栏19行～32行。

另外，作为搜索亚像素级的关注点的对应点的方法，有一种如下所述的方法：不设定以亚像素级的位置为重心的模板，而将该关注点置换成最近的像素，并在利用以该像素为重心位置的模板求出了对应点之后进行校正。下面对该方法进行说明。图5是用于说明将关注点置换成最近的像素来搜索对应点，然后进行校正的方法的图。在图5的基准图像中，关注点26a偏离于像素的重心位置。鉴于此，在该方法中，设定以位于该关注点26a的最近位置的像素26b为重心的模板26c。然后，搜索与像素26b的重心位置相对应的、参照图像上的对应点27b。然后，在基准图像中，通过以与关注点26a和置换后的像素26b的重心位置之间的偏移量δ相等的量来错开对应点27b，求出与关注点26a相对应的对应点27a。例如，如果关注点26a的坐标是(x1，y1)，像素26b的重心的坐标是(x2，y2)，则表示偏移量δ的向量能够用(x1-x2，y1-y2)来表示。这里，若将与像素26b的重心位置相对应的对应点27b的坐标设为(x3，y3)，则通过加上表示偏移量δ的向量，能够求出针对关注点26a的对应点27a的坐标。具体而言，对应点27a的坐标成为(x1+x1-x2，y1+y1-y2)。

通过上述方法，对应点搜索部4只要针对亚像素级的关注点搜索亚像素级的对应点即可。另外，在使用上述基于多分辨率策略的搜索方法的情况下，由于在低分辨率下的对应点搜索中分解度较粗糙，所以也可以不以亚像素而以像素级来提供基准图像侧的关注点。由此，除了能够缩小对应的窗口的范围，还能够进一步缩短低分辨率状态下的对应点搜索的时间。另外，为了提高低分辨率下的精度，可以在低分辨率下也进行亚像素级的对应建立。

这里，利用附图来说明针对多个时间序列图像的、对应点搜索部4中的对应点的搜索。图6是用于说明针对由单眼照相机拍摄的图像的对应点搜索的图。首先，在图6中，表示了利用单眼照相机拍摄的时间点T1、T2、T3的图像。其中，各时间点T1、T2、T3以该顺序在时间上推移。这里，将时间点T1的图像作为基准图像来设定关注点。由于该图像为最初的图像，此时的关注点为起点，所以关注点被以像素级、即像素单位设定。由于在图6所示的图像中各小方格表示1个像素，所以像素级的关注点位于该集合(mass)的重心。另外，在亚像素级的情况下，关注点并不限于位于集合的重心位置。需要说明的是，各点31、32、33实际上是点，但是考虑到可看性，在图6中以与像素相同的大小进行了图示。

由于由照相机7摄像而得到的图像被保持在图像取得部2中，所以关注点决定部3从图像取得部2取得时间点T1的图像，并决定关注点。例如，将点31设为关注点。然后，对应点搜索部4从图像取得部2取得与时间点T1的图像相对应的时间点T2的图像，求出作为点31的对应点的点32。其中，该情况下，时间点T1的图像是基准图像，时间点T2的图像是参照图像。这里，点32被以亚像素级求出。接着，对应点搜索部4求出时间点T3的图像上的对应点。该情况下，时间点T1的图像上的关注点的对应点、即点32成为关注点。鉴于此，关注点决定部2将时间点T2的图像上的点32设定为关注点。然后，在对应点搜索部4中，从图像取得部2取得与时间点T2的图像相对应的时间点T3的图像，并求出作为点32的对应点的点33。其中，该情况下，时间点T2的图像是基准图像，时间点T3的图像是参照图像。这里，点33被以亚像素级求出。另外，对应点搜索方法只要利用上述的任意一种方法即可。这样，在本实施方式中，进行亚像素级的对应点搜索，并求出与由此求出的亚像素级的点相对应的点。在时间序列图像中，通过这样依次搜索对应点，能够在运动向量不中断的情况下检测出连续的运动，可以对作为起点的关注点实现准确的追踪。

在运动向量计算部5中，根据如上述那样由对应点搜索部4求出的各时间序列图像的对应点的坐标来计算出运动向量。更具体而言，根据由对应点搜索部4求出的关注点和对应点等，计算出距离信息、2维运动向量和3维运动向量等。图7是用于说明基于立体图像的3维运动向量的计算方法的图。这里，利用图7对3维运动向量的计算方法进行说明。

在图7中，表示了作为在时间点T1摄像得到的立体图像的图像L1和图像R1。其中，为了简化说明，设在具有对这些图像进行拍摄的一对左右配置的照相机的立体照相机中，各照相机被平行配置。另外，表示了在时间点T1之后的时间点、即时间点T2拍摄到的图像L2和图像R2。首先，时间点T1的图像L1上的点41a作为关注点(起点)被输入。与该点41a相对应的点、即图像R1上的点41b通过对应点搜索被求出。另外，在将点41a作为关注点的情况下，在时间点T2的图像L2上与点41a相对应的点42a通过对应点搜索被求出。然后，将该点42a作为关注点，在时间点T2的图像R2中与其相对应的点42b通过对应点搜索被求出。其中，各点41a、41b、42a、42b实际上是点，但是考虑到可看性，在图7中以与像素相同的大小进行了图示。

将点41a的坐标设为(p1x，p1y)，点41b的坐标设为(q1x，q1y)，点42a的坐标设为(p2x，p2y)，点42b的坐标设为(q2x，q2y)。其中，附图的上下方向是各图像的Y方向，左右方向是各图像的X方向。另外，由于如上述那样，各照相机被平行配置，所以点41a和点41b的Y坐标相同，点42a和点42b的Y坐标也相同。

首先，根据点41a和通过点41a求出的点41b的坐标，能够求出表示图像L1和R1的视差的向量Δd1。具体而言，Δd1是(q1x-p1x，0)。另外，根据点41a和通过点41a求出的点42a的坐标，能够求出表示图像L1和L2的运动的向量Δf1。具体而言，Δf1是(p2x-p1x，p2y-p1y)。另外，根据点42a和通过点42a求出的点42b的坐标，能够求出表示时间点T2的图像的视差的向量Δd2。具体而言，Δd2是(q2x-p2x，0)。

其中，根据Δd1可求出通过时间点T1的图像而得到的图像的纵深距离D1。具体是图7中纸面垂直方向的坐标，将该坐标设为Z坐标。这里，若将拍摄图像L1、R1、L2、R2的立体照相机中的各照相机的焦点距离设为f，将各照相机彼此的基线长设为B，则D1由式7表示。这里，在式7中，Δd1是向量的大小。

D1＝fB/Δd1    …(7)

另外，同样通过时间点T2的图像而得到的图像的纵深(Z坐标方向)距离D2可使用Δd2由式8表示。这里，在式8中，Δd2是向量的大小。

D2＝fB/Δd2    …(8)

由此，时间点T1的点41a和41b处的3维坐标(X1，Y1，Z1)可以表示为(p1x·D1/f，p1y·D1/f，D1)，时间点T2的点42a和42b处的3维坐标(X2，Y2，Z2)可以表示为(p2x·D2/f，p2y·D2/f，D2)。

可以根据这些3维坐标(X1，Y1，Z1)和(X2，Y2，Z2)来求出3维运动向量。具体而言，3维运动向量是由(X2-X1，Y2-Y1，Z2-Z1)表示的向量。

另外，根据由单眼照相机摄像得到的时间序列图像来计算2维运动向量。该情况下，只考虑通过上述立体照相机得到的图像中的、由一个照相机摄像得到的图像即可。例如，取得图像L1和L2，搜索并求出与点41a相对应的点42a，根据点41a和42a求出2维运动向量。即，2维运动向量可以由上述Δf1表示。

在随着时间的经过而依次拍摄到的时间序列图像中，如上述那样以亚像素级求出对应的点，并根据其坐标求出3维运动向量，由此，本实施方式的运动向量生成装置1能够准确地追踪时间序列图像上的任意的点(起点)。进一步增加时间序列图像来进行说明。图8是表示在立体时间序列图像中3维运动向量连续相连的状况的图。在图8中，表示了作为在时间点T1摄像得到的立体图像的图像L1和图像R1、在时间点T2摄像得到的图像L2和图像R2、在时间点T3摄像得到的图像L3和图像R3。将时间点T1的图像L1的点41a作为关注点，通过对应点搜索求出时间点T1的图像R1的对应点、即点41b。通过求出点41b，来计算出Δd1。然后，通过对应点搜索求出时间点T2的图像L2上的与图像L1的点41a相对应的点、即点42。通过求出点42a，来计算出Δf1。然后，通过对应点搜索求出时间点T2的图像R2上的与图像L2的点42a相对应的点42b。通过求出点42b，来计算出Δd2。然后，利用作为向量的Δd1、Δd2和Δf1，如上述那样求出时间点T1和时间点T2之间的3维运动向量。

另外，通过对应点搜索求出与时间点T2的图像L2的点42a相对应的、时间点T3的图像L3的对应点、即点43a。通过求出点43a，来计算出Δf2。然后，通过对应点搜索求出时间点T3的图像L3上的与图像L3的点43a相对应的点、即点43b。通过求出点43b，来计算出Δd3。然后，利用作为向量的Δd2、Δd3和Δf2，与时间点T1和时间点T2之间的3维运动向量同样地，求出时间点T2和时间点T3之间的3维运动向量。

接着，利用图9对其他的运动向量的计算方法进行说明。图9是用于说明基于立体图像的3维运动向量的其他计算方法的图。图9所示的图像与图7的图像相同，点42b的求出方法与利用图7进行了说明的方法不同。更具体而言，首先，时间点T1的图像L1上的点41a作为关注点(起点)被输入。求出与该点41a相对应的点、即图像R1上的点41b。另外，在将点41a作为关注点的情况下，求出在时间点T2时的图像L2上与点41a相对应的点42a。然后，将点41b作为关注点，通过对应点搜索求出在图像R2上与其相对应的点42b。

然后，在与图7同样地将点41a的坐标设为(p1x，p1y)，点41b的坐标设为(q1x，q1y)，点42a的坐标设为(p2x，p2y)，点42b的坐标设为(q2x，q2y)的情况下，首先根据点41a和通过点41a求出的点41b的坐标，求出表示图像L1和R1的视差的向量Δd1。具体而言，Δd1是(q1x-p1x，0)。另外，根据点41a和通过点41a求出的点42a的坐标，求出表示图像L1和L2的运动的向量Δf1。具体而言，Δf1是(p2x-p1x，p2y-p1y)。另外，根据点41b和通过点41b求出的点42b的坐标，求出表示图像R1和R2的视差的向量Δg1。

这里，表示图像L2和图像R2的视差的向量Δd2可以利用Δf1、Δg1和Δd1，如式9那样表示。

Δd2＝Δg1-Δf1+Δd1    …(9)

然后，通过Δd1、Δd2、焦点距离f、基线长B、式7、式8求出距离D1和D2。由此，如上述那样求出3维运动向量。即，时间点T1的点41a和41b处的3维坐标(X1，Y1，Z1)可以表示为(p1x·D1/f，p1y·D1/f，D1)，时间点T2的点42a和42b处的3维坐标(X2，Y2，Z2)可以表示为(p2x·D2/f，p2y·D2/f，D2)。而且，根据这些3维坐标(X1，Y1，Z1)和(X2，Y2，Z2)，3维运动向量是由(X2-X1，Y2-Y1，Z2-Z1)表示的向量。

在随着时间的经过而依次拍摄到的时间序列图像中，如上述那样以亚像素级求出对应的点，并根据其坐标求出3维运动向量，由此，本实施方式的运动向量生成装置1能够准确地追踪时间序列图像上的任意的点(起点)。进一步增加时间序列图像来进行说明。图10是表示在立体时间序列图像中3维运动向量连续相连的状况的其他的图。在图10中，表示了作为在时间点T1摄像得到的立体图像的图像L1和图像R1、在时间点T2摄像得到的图像L2和图像R2、在时间点T3摄像得到的图像L3和图像R3。将时间点T1的图像L1的点41a作为关注点，通过对应点搜索求出时间点T1的图像R1的对应点、即点41b。通过求出点41b，来计算出Δd1。然后，通过对应点搜索求出时间点T2的图像L2上的与图像L1的点41a相对应的点、即点42。通过求出点42a，来计算出Δf1。然后，通过对应点搜索求出时间点T2的图像R2上的与图像R1的点41b相对应的点42b。通过求出点42b，来计算出Δg1。然后，利用作为向量的Δd1、Δf1和Δg1，如上述那样求出时间点T1和时间点T2之间的3维运动向量。

另外，通过对应点搜索求出与时间点T2的图像L2的点42a相对应的、时间点T3的图像L3的对应点、即点43a。通过求出点43a，来计算出Δf2。然后，通过对应点搜索求出时间点T3的图像R3上的与图像R2的点42b相对应的点、即点43b。通过求出点43b，来计算出Δg2。然后，利用作为向量的Δd1、Δf1、Δg1、Δf2和Δg2，与时间点T1和时间点T2之间的3维运动向量同样地求出时间点T2和时间点T3之间的3维运动向量。

如上所述，用于计算时间序列立体图像中的运动向量的对应点搜索方法中，如图7、图8以及图9、图10所示那样存在2种方法。对应点搜索部4通过任意一种方法进行对应点搜索，据此，运动向量计算部5计算出运动向量。其中，优选在对应点的搜索中，例如在针对同一关注点搜索多个参照图像上的对应点的情况下，即使参照图像不同，对应点搜索部4也使用相同的相关值运算(SAD法或POC法，或者其他的方法)。即，在这样的情况下，由于对关注点设定的模板在各参照图像中能够公用，所以起到简化运算处理的效果。因此，优选在对应点搜索部4中使用的相关值运算采用任意一个运算方法。另外，在作为相关值运算方法，使用上述POC法等具有鲁棒性的相关值运算方法的情况下，当针对同一关注点搜索多个参照图像上的对应点时，即使参照图像不同，也优选使用同一图像图案作为被进行频率分解、振幅分量被抑制的模板的图像图案。通过这样的构成，由于能够将被频率分解、振幅分量被抑制的上述模板的图像图案共享，所以起到缩短运算处理时间的效果。

另外，如上述那样，用于计算时间序列立体图像中的运动向量的对应点搜索方法存在有2种方法。例如，是如图8所示那样根据一对立体图像的其中一个求出对应点的方法，以及如图10所示那样根据时间上在前拍摄的图像求出对应点的方法。在图8中，为了求出图像R2、R3上的对应点，使用了图像L2、L3。另外，在图10中，为了求出图像R2、R3上的对应点，使用了图像R1、R2。这样，能够根据多个关注点求出相同的对应点。由此，能够评价计算出的运动向量的可靠性。更具体而言，对应点搜索部4根据上述多个关注点来搜索与多个关注点相对应的一个对应点，并能够进行如下判断：在根据上述多个关注点求出了相同的对应点的情况下判断为计算出的运动向量的可靠性高，而在根据上述多个关注点求出了不同的对应点的情况下判断为计算出的运动向量的可靠性低。

这里，对运动向量的可靠性评价的方法进行更具体的说明。图11是用于说明运动向量的可靠性评价的方法的图。在图11中，存在时间点T1～T6的立体时间序列图像、即图像L1～L6和图像R1～R6。图像L1～L6和图像R1～R6分别相互对应。该情况下，对应点搜索部4和运动向量计算部5将图像L1的点41a作为关注点(起点)，通过对应点搜索求出图像R1的点41b，并计算出Δd1。然后，通过对应点搜索求出与图像L1的点41a相对应的图像L2的点42a，并计算出Δf1。然后，通过对应点搜索求出与图像L2的点42a相对应的图像R2的点42b，并计算出Δd2。然后，通过对应点搜索求出与图像L2的点42a相对应的图像L3的点43a，并计算出Δf2。然后，通过对应点搜索求出与图像L3的点43a相对应的图像R3的点43b，并计算出Δd3。然后，通过对应点搜索求出与图像L3的点43a相对应的图像L4的点44a，并计算出Δf3。然后，通过对应点搜索求出与图像L4的点44a相对应的图像R4的点44b，并计算出Δd4。然后，通过对应点搜索求出与图像R3的点43b相对应的图像R4的点，并计算出Δg3。这里，通过2种点44a、43b来搜索点44b。该情况下，由于根据哪个点都搜索到相同的点44b，所以对应点搜索的可靠性被认为较高。这样，在任意的图像中，通过利用2个点来进行与上述2个点相对应的对应点的搜索，并确认是否能够搜索到相同的点，由此可评价对应点搜索的可靠性。

而且，该情况下，由于对应点搜索不存在问题，所以对应点搜索部4和运动向量计算部5继续进行对应点搜索和运动向量的计算。通过对应点搜索求出与图像L4的点44a相对应的图像L5的点45a，并计算出Δf4。然后，通过对应点搜索求出与图像L5的点45a相对应的图像R5的点45b，并计算出Δd5。然后，通过对应点搜索求出与图像L5的点45a相对应的图像L6的点46a，并计算出Δf5。然后，通过对应点搜索求出与图像L6的点46a相对应的图像R6的点46b，并计算出Δd6。然后，通过对应点搜索求出与图像R5的点45b相对应的图像R6的点46c，并计算出Δg5。此时，点46b和点46c应该是相同的坐标，而此时却分别是不同的坐标。因此，该情况下，对应点搜索的可靠性被认为低。在这样的情况下，实施方式的运动向量生成装置1可以认为检测到错误而停止运动向量生成装置1的动作，或者也可以对搜索到的任意的点中看似可靠的点进一步进行对应点的搜索和运动向量的计算。

接着，对其他的运动向量的可靠性评价的方法进行说明。图12是用于说明其他的运动向量的可靠性评价的方法的图。在图12中，与图11同样存在时间点T1～T6的立体时间序列图像、即图像L1～L6和图像R1～R6。图像L1～L6和图像R1～R6分别相互对应。图12所示的运动向量的可靠性评价的方法与图11所示的情况不同之处在于对应点搜索和运动向量的计算。该情况下，对应点搜索部4和运动向量计算部5将图像L1的点41a作为关注点(起点)，通过对应点搜索求出图像R1的点41b，并计算出Δd1。然后，通过对应点搜索求出与图像L1的点41a相对应的图像L2的点42a，并计算出Δf1。然后，通过对应点搜索求出与图像R1的点41b相对应的图像R2的点42b，并计算出Δg1。然后，通过对应点搜索求出与图像L2的点42a相对应的图像L3的点43a，并计算出Δf2。然后，通过对应点搜索求出与图像R2的点42b相对应的图像R3的点43b，并计算出Δg2。然后，通过对应点搜索求出与图像L3的点43a相对应的图像R3的点，并计算出Δd3。这里，通过2种点43a、42b来搜索点43b。该情况下，由于根据哪个点都搜索到相同的点43b，所以对应点搜索的可靠性被认为高。这样，通过在任意的图像中利用2个点来进行与上述2个点相对应的对应点的搜索，并确认是否能够搜索到相同的点，由此可评价对应点搜索的可靠性。

而且，该情况下由于对应点搜索不存在问题，所以对应点搜索部4和运动向量计算部5继续进行对应点搜索和运动向量的计算。然后，通过对应点搜索求出与图像L3的点43a相对应的图像L4的点44a，并计算出Δf3。然后，通过对应点搜索求出与图像R3的点43b相对应的图像R4的点44b，并计算出Δg3。通过对应点搜索求出与图像L4的点44a相对应的图像L5的点45a，并计算出Δf4。然后，通过对应点搜索求出与图像R4的点44b相对应的图像R5的点45b，并计算出Δg4。然后，通过对应点搜索求出与图像L5的点45a相对应的图像L6的点46a，并计算出Δf5。然后，通过对应点搜索求出与图像R5的点45b相对应的图像R6的点46b，并计算出Δg5。然后，通过对应点搜索求出与图像L6的点46a相对应的图像R6的点46c，并计算出Δd6。此时，点46b和点46c应该是相同的坐标，但却分别是不同的坐标。因此，该情况下对应点搜索的可靠性被认为低。在这样的情况下，实施方式的运动向量生成装置1可以认为检测到错误而停止运动向量生成装置1的动作，或者也可以对搜索到的任意的点中看似可靠的点进一步进行对应点的搜索和运动向量的计算。

这样，在图11所示的情况下通过进行基于摄像时间不同的图像的对应点搜索，在图12所示的情况下通过进行基于立体图像的对应点搜索，能够评价对应点搜索的可靠性。这里，该对应点搜索的可靠性评价例如只要按照时间序列中的规定的时间间隔进行即可。更具体而言，只要按照规定的帧间隔进行即可。另外，也可以根据由对应点搜索中的相关值运算计算出的相似度的值进行对应点搜索的可靠性评价。例如，在使用了POC法的情况下，当POC值低于规定的阈值时，只要通过2种方法来进行对应点搜索即可。另外，例如在使用了SAD法的情况下，当相关值低于规定的阈值时，只要通过2种方法来进行对应点搜索即可。其原因在于，这些情况下无法正确进行对应建立的可能性较高。另外，只要在与之前的运动向量相比发生了较大变化的情况下进行即可。例如，在运动向量的大小成为2倍以上的情况下，或者在方向变化了5°以上的情况下，只要利用2种方法进行对应点搜索即可。其中，作为进行比较的运动向量，可以将过去计算出的所有运动向量作为对象，只要与前1个计算出的运动向量进行比较即可。另外，可以根据设定的模板的对比度进行。例如，在模板内的对比度低于规定的阈值的情况下，只要通过2种方法进行对应点搜索即可。

运动分析部6对由运动向量计算部5计算出的运动向量进行规定的分析。具体而言，例如将距离信息和运动向量等结果变换成在显示部8中进行显示的形式。

接着，对本实施方式涉及的运动向量生成装置1的动作进行说明。首先，照相机7拍摄时间序列立体图像。由照相机7拍摄到的图像被取入并保持在图像取得部2中。关注点决定部3从图像取得部2所保持的图像中取得成为动作的开始的图像，来决定关注点，并将其发送至对应点搜索部4。对应点搜索部4从图像取得部2所保持的图像中取得与由关注点决定部3决定了上述关注点的图像相对应的图像，进行对应点搜索，并求出针对关注点的亚像素级的对应点。其中，对应点搜索的方法利用上述的方法即可，但即便是上述以外的方法，只要是根据亚像素级的关注点能够搜索到亚像素级的对应点的方法即可。对应点搜索部4向运动向量计算部5发送关注点和求出的对应点。另外，在需要从由对应点搜索部4求出的对应点中搜索与该点相对应的点的情况下，该对应点被关注点决定部3决定为关注点。然后，再次被发送至对应点搜索部4，搜索对应点。而且，上述的处理被反复执行。另外，在对应点搜索被这样执行时，如上述那样，对应点搜索部4随时进行对应点搜索的可靠性的评价，在可靠性低的情况下，只要停止动作等即可。

运动向量计算部5根据由对应点搜索部4求出的点，利用上述的方法计算出距离信息和运动向量等。然后，将该结果发送到运动向量分析部6。运动向量分析部6为了通过显示部8进行显示等而对距离信息和运动向量进行规定的分析。而且，生成的运动向量的分析结果被发送至显示部8而进行显示。

这样，本实施方式涉及的运动向量生成装置1在进行对应点搜索时，即使在亚像素级的位置上存在有关注点的情况下，也能够直接求出针对该位置的对应点。另外，直接求出与说求出的亚像素级的位置上的对应点相对应的点，并反复进行该处理。因此，能够生成连续且精确的运动向量。

即，由于不用对成为关注点的点的坐标进行校正等，根据该坐标直接求出对应点，所以本实施方式涉及的运动向量生成装置1起到能够生成更精确的运动向量的效果。

本说明书如上述那样公开了各种方式的技术，下面对其中的主要技术进行总结。

一个方式涉及的运动向量生成装置具备：图像取得部，其取得多个图像并对其进行并保持；关注点决定部，其在上述图像取得部所保持的多个图像中的任意一个图像上决定亚像素级的关注点；对应点搜索部，其以亚像素级从上述图像取得部所保持的多个图像中搜索与被决定了上述关注点的上述图像不同的图像上的、与上述关注点相对应的对应点；和运动向量计算部，其根据上述关注点及上述对应点计算出运动向量；上述关注点决定部在上述对应点搜索部搜索到上述对应点以后，在上述搜索到的图像上将上述搜索到的对应点决定为关注点，上述运动向量计算部根据依次决定的关注点、以及对应该关注点被搜索的对应点，依次计算出运动向量。

这样，运动向量生成装置以亚像素级求出关注点的对应点，并进一步将求出的对应点作为关注点，以亚像素级求出针对该亚像素级的位置的对应点，并在多个图像、例如多个时间序列图像中反复进行上述处理。由此，由于各对应点针对各关注点被直接求出，所以例如以时间序列求出的运动向量具有连续的关联。另外，由于被依次求出的对应点相对其关注点被精确求出，所以能够更准确地进行关注点的追踪。

另外，在另一个方式中，在上述的运动向量生成装置中，上述对应点搜索部在被决定了上述关注点的图像上设定以上述关注点为重心位置的模板，并利用上述模板，以亚像素级搜索与上述关注点相对应的对应点。

根据该构成，利用将重心位置设为亚像素级的模板来进行对应点搜索。因此，由于具有这样的构成的运动向量生成装置能够直接求出与亚像素级的关注点相对应的点，所以能够实现精确的对应点搜索。

另外，在另一个方式中，在上述的运动向量生成装置中，上述对应点搜索部在被决定了上述关注点的图像上设定以上述关注点的最近的像素为重心位置的模板，利用上述模板搜索与上述像素的重心位置相对应的点，并通过将上述搜索到的点的位置错开上述关注点和上述关注点的最近的像素的重心位置之间的偏移量，以亚像素级搜索上述对应点。

根据该构成，不直接进行亚像素级的运算，而通过像素级的运算求出对应点，然后通过错开该对应点来进行亚像素级的对应点搜索。因此，具有这样的构成的运动向量生成装置所需运算量变少，运算时间也较短。

另外，在另一个方式中，在上述的运动向量生成装置中，上述对应点搜索部在被决定了上述关注点的图像上设定以上述关注点的最近的像素为重心位置的模板，利用上述模板来搜索与被决定了上述关注点的上述图像不同的图像上的、与上述像素的重心位置相对应的点，并通过将上述搜索到的点的位置错开上述关注点与上述关注点的最近的像素的中心位置之间的偏移量，以亚像素级搜索上述对应点。

根据该构成，也不直接进行亚像素级的运算，而通过像素级的运算求出对应点，然后通过错开该对应点来进行亚像素级的对应点搜索。因此，具有这样的构成的运动向量生成装置所需运算量变少，运算时间也较短。

另外，在另一个方式中，在上述的运动向量生成装置中，上述多个图像构成为具备多个一对立体图像，上述关注点决定部在上述一对立体图像中的其中一个图像上决定亚像素级的关注点，上述对应点搜索部进而以亚像素级搜索与被决定了上述关注点的图像成对的另一个图像上的、与上述关注点相对应的对应点。

具有这样的构成的运动向量生成装置能够通过使用立体图像，来得到距离信息。

另外，在另一个方式中，在上述的运动向量生成装置中，上述运动向量计算部还根据在上述一对立体图像之间相互对应的点计算出该一对立体图像被摄像时的距离信息，上述运动向量计算部在上述运动向量的计算中也使用上述距离信息。

根据该构成，能够利用立体图像来求出从照相机到关注点的距离等距离信息。因此，具有这样的构成的运动向量生成装置能够得到3维运动向量。

另外，在另一个方式中，在上述的运动向量生成装置中，上述多个图像构成为在时间序列上具备多个一对立体图像，上述关注点决定部在上述一对立体图像中的一个图像上决定亚像素级的关注点，上述对应点搜索部以上述亚像素级从与被决定了上述关注点的图像不同的时间点的立体图像中搜索与被决定了上述关注点的图像相对应的图像上的、与上述关注点相对应的对应点，上述关注点决定部将与上述关注点相对应的对应点决定为关注点，以上述亚像素级从与被决定了上述关注点的图像不同的时间点的立体图像中依次搜索与被决定了上述关注点的图像相对应的图像中的、与该关注点相对应的对应点，并且，以上述亚像素级搜索与被决定了该关注点的图像成对的另一个图像上的、与上述关注点相对应的对应点。

根据该构成，由于在连续的时间序列立体图像中的各图像之间不断搜索对应的点，所以具有这样的构成的运动向量生成装置能够求出从照相机到关注点的距离等距离信息，能够得到3维运动向量。

另外，在另一个方式中，在上述的运动向量生成装置中，上述多个图像构成为在时间序列上具备多个一对立体图像，上述关注点决定部在上述一对立体图像中的一个图像上决定亚像素级的关注点，上述对应点搜索部进而以上述亚像素级搜索与被决定了上述关注点的图像成对的另一个图像上的、与上述关注点相对应的对应点，除了上述一个图像上的上述关注点之外，上述关注点决定部还将上述另一个图像上的与上述关注点相对应的对应点决定为关注点，并在与上述各个关注点的图像不同的时间点的一对立体图像中的、与各个关注点的图像相对应的图像上，以上述亚像素级依次搜索与上述各个关注点相对应的对应点。

根据该构成，由于在连续的时间序列立体图像中的各图像之间不断搜索对应的点，所以具有这样的构成的运动向量生成装置能够求出从照相机到关注点的距离等距离信息，能够得到3维运动向量。

另外，在另一各方式中，在上述的运动向量生成装置中，上述对应点搜索部通过对图像进行插值来生成上述模板。

具有这样的构成的运动向量生成装置例如能够利用双一次插值(双线性插值)或双三次插值(两次立方插值)等已知的图像处理方法，能够容易地生成合适的搜索用模板。

另外，在另一个方式中，在上述的运动向量生成装置中，上述对应点搜索部通过利用窗函数来生成上述模板。

在具有这样的构成的运动向量生成装置中，通过利用窗函数，能够近似地生成以亚像素级配置的模板。因此，例如能够通过在利用频率分解进行对应点搜索时所使用的窗函数，近似地生成亚像素偏移来生成模板。因此，具有这样的构成的运动向量生成装置能够容易地生成合适的模板。另外，在利用频率分解进行对应点搜索的情况下，无需新增加处理、能够快速地进行处理。

另外，在另一个方式中，在上述的运动向量生成装置中，上述对应点搜索部在搜索与一个上述关注点相对应的多个对应点时，在所有的对应点的搜索中都使用相同的对应点搜索方法。

在具有这样的构成的运动向量生成装置中，由于在所有的对应点搜索中都能够将模板公用化，所以具有这样的构成的运动向量生成装置能够缩短模板设定所用的时间。

另外，在另一个方式中，在上述的运动向量生成装置中，上述对应点搜索部根据多个上述关注点来搜索一个上述对应点。

具有这样的构成的运动向量生成装置能够进行对应点搜索的可靠性评价。即，例如在通过进行应该求出同一对应点的、基于多个关注点的对应点搜索，却未能求出同一对应点的情况下，能够判断为对应点搜索的可靠性低。

另外，在另一个方式中，在上述的运动向量生成装置中，上述对应点搜索部在根据同一时间点拍摄的一对立体图像中的一个图像的点来搜索另一个图像上的对应点的情况下，在规定的条件下，根据在与上述另一个图像不同的时间点拍摄到的与上述另一个图像在时间序列上相对应的图像的点，搜索上述对应点。

具有这样的构成的运动向量生成装置能够评价对应点搜索的可靠性。

另外，在另一个方式中，在上述的运动向量生成装置中，上述对应点搜索部在根据不同的时间点拍摄到的时间序列上对应的图像的点来搜索对应点的情况下，在规定的条件下，根据在与上述被搜索到对应点的图像相同时间点拍摄到的一对立体图像中的一个图像的点，搜索上述对应点。

具有这样的构成的运动向量生成装置能够评价对应点搜索的可靠性。

另外，在另一个方式中，在上述的运动向量生成装置中，上述规定的条件是指规定的帧数。

由于具有这样的构成的运动向量生成装置按时间序列图像的一定的帧进行上述的对应点搜索的可靠性评价，所以被定期监视，以使得不发生错误的追踪。

另外，在另一个方式中，在上述的运动向量生成装置中，上述规定的条件由对应点搜索中的相似度决定。

具有这样的构成的运动向量生成装置在没有进行正确的对应点搜索的可能性高的情况下，能够评价对应点搜索的可靠性。即，在对应点搜索中的相似度低的情况下，没有进行正确的对应点搜索的可能性高。因此，该情况下，能够判断为对应点搜索是错误的可能性较高。

另外，在另一个方式中，在上述的运动向量生成装置中，上述规定的条件由上述运动向量决定。

具有这样的构成的运动向量生成装置在没有进行正确的对应点搜索的可能性高的情况下，能够评价对应点搜索的可靠性。即，在运动向量的大小或者方向例如与前一个运动向量相比有很大不同的情况下，没有进行正确的对应点搜索的可能性较高。因此，该情况下能够判断为对应点搜索是错误的可能性较高。

另外，在另一个方式中，在上述的运动向量生成装置中，上述规定的条件由上述模板内的对比度决定。

具有这样的构成的运动向量生成装置在没有进行正确的对应点搜索的可能性较高的情况下，能够评价对应点搜索的可靠性。即，在模板内的对比度低的情况下，没有进行正确的对应点搜索的可能性高。因此，该情况下能够判断为对应点搜索是错误的可能性较高。

另外，在另一个方式中，在上述的运动向量生成装置中，上述对应点搜索部利用被频率分解、振幅分量被抑制的上述模板的图像图案来搜索对应的点。

具有这样的构成的运动向量生成装置通过根据频率分量抑制振幅分量，由于不易受图像间的亮度差和噪声干扰的影响，所以能够进行具有鲁棒性的对应点搜索。

另外，在另一个方式中，在上述的运动向量生成装置中，上述对应点搜索部在搜索与一个上述关注点相对应的多个对应点时，在所有的对应点的搜索中，都使用相同的图像图案作为被频率分解、振幅分量被抑制的上述模板的图像图案。

由于具有这样的构成的运动向量生成装置能够将被频率分解、振幅分量被抑制的上述模板的图像图案共享，所以能够缩短运算处理时间。

另外，在另一个方式中，在上述的运动向量生成装置中，上述对应点搜索部通过在频率空间使上述图像图案的相位分量旋转，来生成上述模板。

具有这样的构成的运动向量生成装置在利用频率分解的对应点搜索中，通过在频率空间中旋转相位分量，能够生成搜索用模板，因此能够快速地进行处理。

另外，在另一个方式中，在上述的运动向量生成装置中，上述频率分解是FFT、DFT、DCT、DST、小波变换以及阿达玛变换中的任意一个。

根据该构成，由于通过普遍使用的已经被确定的方法来进行频率分解，所以具有这样的构成的运动向量生成装置能够可靠地进行频率分解。

另外，在另一个方式中，在上述的运动向量生成装置中，上述对应点搜索部利用相位限定相关法来搜索对应点。

具有这样的构成的运动向量生成装置通过使用相位限定相关法，能够进行更精确的搜索。

另外，另一个方式涉及的运动向量生成方法包括：关注点决定步骤，在多个图像中的任意一个图像上决定亚像素级的关注点；对应点搜索步骤，从上述多个图像中，以亚像素级搜索与被决定了上述关注点的上述图像不同的图像上的、与上述关注点相对应的对应点；将由上述对应点搜索步骤搜索到的对应点决定为上述对应点被搜索到的图像的关注点，并反复进行上述对应点搜索步骤的步骤；和运动向量计算步骤，根据上述关注点及上述对应点计算出运动向量。

具有这样的构成的运动向量生成方法以亚像素级求出关注点的对应点，并进而将求出的对应点作为关注点，以亚像素级求出针对该亚像素级的位置的对应点，通过反复进行上述处理来生成运动向量。由此，生成的运动向量具有连续的关联。另外，由于依次求出的对应点相对其关注点被精确求出，所以能够更准确地进行关注点的追踪。

该申请以在2009年1月9日申请的日本专利申请特愿2009-3655为基础，其内容被包含在本申请中。

为了表现本发明，在上述内容中参照附图并通过实施方式对本发明进行了确切且充分的说明，但应该认为如果是本领域的技术人员，则能够容易地对上述实施方式进行变更和/或改良。因此，本领域技术人员实施的变更方式或者改良方式只要不脱离权利要求书所记载的权利要求的权利范围，则该变更方式或者该改良方式也应该被包括在该权利要求的权利范围中。

产业上的可利用性

根据本发明，能够提供一种生成运动向量的运动向量生成装置和运动向量生成方法。

Claims (22)

1.一种运动向量生成装置，其特征在于，具备：

图像取得部，其取得多个图像并对其进行保持；

关注点决定部，其在上述图像取得部所保持的多个图像中的任意一个图像上决定亚像素级的关注点；

对应点搜索部，其以亚像素级从上述图像取得部所保持的多个图像中搜索与被决定了上述关注点的上述图像不同的图像上的、与上述关注点相对应的对应点；和

运动向量计算部，其根据上述关注点及上述对应点，计算出运动向量；

在上述对应点搜索部搜索到上述对应点以后，上述关注点决定部将上述被搜索到的对应点在上述被搜索的图像上决定为关注点，

上述运动向量计算部根据被依次决定的关注点、以及对应该关注点而被搜索到的对应点，依次计算出运动向量，

上述对应点搜索部在被决定了上述关注点的图像上设定以上述关注点为重心位置的模板，并利用上述模板，以亚像素级搜索与上述关注点相对应的对应点。

2.一种运动向量生成装置，其特征在于，具备：

图像取得部，其取得多个图像并对其进行保持；

关注点决定部，其在上述图像取得部所保持的多个图像中的任意一个图像上决定亚像素级的关注点；

对应点搜索部，其以亚像素级从上述图像取得部所保持的多个图像中搜索与被决定了上述关注点的上述图像不同的图像上的、与上述关注点相对应的对应点；和

运动向量计算部，其根据上述关注点及上述对应点，计算出运动向量；

在上述对应点搜索部搜索到上述对应点以后，上述关注点决定部将上述被搜索到的对应点在上述被搜索的图像上决定为关注点，

上述运动向量计算部根据被依次决定的关注点、以及对应该关注点而被搜索到的对应点，依次计算出运动向量，上述对应点搜索部在被决定了上述关注点的图像上设定以上述关注点的最近的像素为重心位置的模板，

利用上述模板来搜索与被决定了上述关注点的上述图像不同的图像中的、与上述像素的重心位置相对应的点，

通过将上述搜索到的点的位置错开上述关注点与上述关注点的最近的像素的重心位置之间的偏移量，以亚像素级搜索上述对应点。

3.根据权利要求1所述的运动向量生成装置，其特征在于，

上述多个图像构成为具备多个一对立体图像，

上述关注点决定部在上述一对立体图像中的一个图像上决定亚像素级的关注点，

上述对应点搜索部进而以亚像素级搜索与被决定了上述关注点的图像成对的另一个图像上的、与上述关注点相对应的对应点。

4.根据权利要求3所述的运动向量生成装置，其特征在于，

上述运动向量计算部还根据在上述一对立体图像之间相互对应的点计算出拍摄该一对立体图像时的距离信息，

上述运动向量计算部在上述运动向量的计算中也使用上述距离信息。

5.根据权利要求1所述的运动向量生成装置，其特征在于，

上述多个图像构成为在时间序列上具备多个一对立体图像，

上述关注点决定部在上述一对立体图像中的一个图像上决定亚像素级的关注点，

上述对应点搜索部以上述亚像素级从与被决定了上述关注点的图像不同的时间点的立体图像中搜索与被决定了上述关注点的图像相对应的图像上的、与上述关注点相对应的对应点，

上述关注点决定部将与上述关注点相对应的对应点决定为相应关注点，以上述亚像素级从与被决定了相应关注点的图像不同的时间点的立体图像中依次搜索与被决定了该相应关注点的图像相对应的图像上的、与该相应关注点相对应的对应点，并且，以上述亚像素级搜索与被决定了各关注点的图像成对的另一个图像上的、与各关注点相对应的对应点。

6.根据权利要求1所述的运动向量生成装置，其特征在于，

上述多个图像构成为在时间序列上具备多个一对立体图像，

上述关注点决定部在上述一对立体图像中的一个图像上决定亚像素级的关注点，

上述对应点搜索部还以上述亚像素级搜索与被决定了上述关注点的图像成对的另一个图像上的、与上述关注点相对应的对应点，

除了上述一个图像上的上述关注点之外，上述关注点决定部还将上述另一个图像中的、与上述关注点相对应的对应点决定为关注点，

在与上述各个关注点的图像不同的时间点的一对立体图像中、与各个关注点的图像相对应的图像上，以上述亚像素级依次搜索与上述各个关注点相对应的对应点。

7.根据权利要求1所述的运动向量生成装置，其特征在于，

上述对应点搜索部通过对图像进行插值来生成上述模板。

8.根据权利要求1所述的运动向量生成装置，其特征在于，

上述对应点搜索部通过利用窗函数来生成上述模板。

9.根据权利要求5或6所述的运动向量生成装置，其特征在于，

在搜索与一个上述关注点相对应的多个对应点时，上述对应点搜索部在所有的对应点的搜索中使用相同的对应点搜索方法。

10.根据权利要求3所述的运动向量生成装置，其特征在于，

上述对应点搜索部根据多个上述关注点来搜索一个上述对应点。

11.根据权利要求3所述的运动向量生成装置，其特征在于，

在根据同一时间点拍摄到的一对立体图像中的一个图像的点，搜索另一个图像上的对应点的情况下，上述对应点搜索部在规定的条件下，根据在与上述另一个图像不同的时间点拍摄到的、与上述另一个图像时间序列上对应的图像的点，搜索上述对应点。

12.根据权利要求3所述的运动向量生成装置，其特征在于，

在根据不同的时间点拍摄到的时间序列上对应的图像的点来搜索对应点的情况下，上述对应点搜索部在规定的条件下，根据在与上述对应点被搜索到的图像相同的时间点拍摄到的、一对立体图像中的一个图像的点，搜索上述对应点。

13.根据权利要求11或12所述的运动向量生成装置，其特征在于，

上述规定的条件是规定的帧数。

14.根据权利要求11或12所述的运动向量生成装置，其特征在于，

上述规定的条件由对应点搜索中的相似度决定。

15.根据权利要求11或12所述的运动向量生成装置，其特征在于，

上述规定的条件由上述运动向量决定。

16.根据权利要求11或12所述的运动向量生成装置，其特征在于，

上述规定的条件由上述模板内的对比度决定。

17.根据权利要求1所述的运动向量生成装置，其特征在于，

上述对应点搜索部利用被频率分解、振幅分量被抑制的上述模板的图像图案来搜索对应的点。

18.根据权利要求17所述的运动向量生成装置，其特征在于，

上述对应点搜索部在搜索与一个上述关注点相对应的多个对应点时，在所有的对应点的搜索中都使用相同的图像图案作为被频率分解、振幅分量被抑制的上述模板的图像图案。

19.根据权利要求17所述的运动向量生成装置，其特征在于，

上述对应点搜索部通过在频率空间中使上述图像图案的相位分量旋转来生成上述模板。

20.根据权利要求17所述的运动向量生成装置，其特征在于，

上述频率分解是FFT、DFT、DCT、DST、小波变换和阿达玛变换中的任意一种。

21.根据权利要求1所述的运动向量生成装置，其特征在于，

上述对应点搜索部利用相位限定相关法来搜索对应点。

22.一种运动向量生成方法，其特征在于，包括：

在多个图像中的任意一个图像上决定亚像素级的关注点的关注点决定步骤；

从上述多个图像中，以亚像素级搜索与被决定了上述关注点的上述图像不同的图像上的、与上述关注点相对应的对应点的对应点搜索步骤；

将由上述对应点搜索步骤搜索到的对应点决定为上述对应点被搜索到的图像的关注点，并反复进行上述对应点搜索步骤的步骤；和

根据上述被依次决定的关注点、以及对应该关注点而被搜索到的对应点，依次计算出运动向量的运动向量计算步骤；

上述对应点搜索步骤在被决定了上述关注点的图像上设定以上述关注点为重心位置的模板，并利用上述模板，以亚像素级搜索与上述关注点相对应的对应点。

Images