CN105143816A - 三维形状计测装置、三维形状计测方法及三维形状计测程序 - Google Patents

Abstract

本发明的三维形状计测装置，具备：拍摄部，逐个输出所拍摄到的规定的二维图像(以下称为第1二维图像)，并且与规定的输出指示对应地输出与所拍摄到的所述第1二维图像之间设定不同的二维图像(以下称为第2二维图像)；输出指示生成部，基于所述拍摄部所输出的所述第1二维图像和所述第2二维图像，生成所述输出指示；以及存储部，存储所述拍摄部所输出的所述第2二维图像。

Description

三维形状计测装置、三维形状计测方法及三维形状计测程序

技术领域

本发明涉及三维形状计测装置、三维形状计测方法及三维形状计测程序。

本申请以2013年4月19日在日本提交的特愿2013-088556号为基础并享受优先权，其内容援引于此。

背景技术

非专利文献1中记载了基于多个二维图像来生成对象物的三维形状模型的技术的一例，这些二维图像包含一边使拍摄部移动一边拍摄的对象物。在该非专利文献1所记载的三维形状计测***中，如下那样生成对象物的三维形状模型。首先，一边使构成拍摄部的立体摄像机移动一边以运动图像来拍摄对象物整体。在此，立体摄像机也被称为双眼立体视觉摄像机，是从多个不同的视点拍摄对象物的装置。接着，按照每规定帧，基于1组二维图像计算与各像素对应的三维坐标值。其中，在该时点计算出的三维坐标值通过在立体摄像机的每个视点而不同的多个三维坐标表示。在此，在非专利文献1所记载的三维形状计测***中，通过遍及多个帧追踪作为运动图像拍摄的多个二维图像中包含的特征点群，来推测立体摄像机的视点的移动。然后，基于视点移动的推测结果，用多个坐标系表示的三维形状模型被整合为同一坐标系，生成对象物的三维形状模型。

另外，在本申请中，对象物的三维形状模型是指，通过将三维空间内的对象物的形状在计算机内部数值化来表现的模型，例如是基于多视点的二维图像或各像素表示距离信息的二维图像将对象物的表面形状通过三维空间内的多个点的集合(即点群)来复原的点群模型。此外，在本申请中，三维形状计测意味着通过拍摄多个二维图像而生成对象物的三维形状模型，并且还意味着为生成对象物的三维形状模型而拍摄多个二维图像。

现有技术文献

非专利文献

非专利文献1：運天弘樹、増田智仁、三橋徹、安藤真、「立体摄像机移动摄影によるVR模型自动生成手法の検討」、日本バーチャルリアリティ学会論文誌、Vol.12、No.2、2007年

发明内容

发明所要解决的课题

如上述那样，在非专利文献1所示的三维形状计测***中，一边使拍摄部移动一边拍摄多个二维图像，基于拍摄到的多个二维图像来生成对象物的三维形状模型。在这样的构成中，如果以一定的时间间隔拍摄在生成三维形状模型时成为处理对象的二维图像，例如在拍摄部的移动速度大时，可能会产生未被拍摄到的部分。另一方面，拍摄部的移动速度小时，在多个图像间重复拍摄的区域可能会变大。或者，对于对象物来说，根据形状的复杂程度，有些部分需要更细致拍摄图像，有些部分则不需要，这种情况下，例如在拍摄者不熟练时，可能会难以适当地掌握拍摄方向或频度而拍摄图像。即，拍摄多个在生成三维形状模型时成为处理对象的二维图像的情况下，如果使拍摄各图像的时间间隔为一定，则在移动速度大时或者小时，或者对象物的形状复杂时等，可能无法适当地取得二维图像。此外，如果无用的重复拍摄增多，则二维图像过剩，有存储图像数据的存储器量变多、或者产生多余的处理的可能性。像这样，如果以一定的时间间隔来拍摄在生成三维形状模型时成为处理对象的二维图像，则存在可能无法适当地拍摄多个图像的问题。

本发明是鉴于以上情况而做出的，其目的在于，提供一种能够适当地拍摄在生成三维形状模型时成为处理对象的二维图像的三维形状计测装置、三维形状计测方法及三维形状计测程序。

解决课题所采用的手段

为了解决上述课题，本发明的第一方式的三维形状计测装置具备：拍摄部，逐个输出所拍摄到的规定的二维图像(以下称为第1二维图像)，并且与规定的输出指示对应地输出与所拍摄到的所述第1二维图像之间设定不同的二维图像(以下称为第2二维图像)；输出指示生成部，基于所述拍摄部所输出的所述第1二维图像和所述第2二维图像，生成所述输出指示；以及存储部，存储所述拍摄部所输出的所述第2二维图像。

本发明的第一方式的三维形状计测装置优选为，在所述第1二维图像与所述第2二维图像之间，图像的析像度的设定不同，所述第2二维图像与所述第1二维图像相比为高析像度。

本发明的第一方式的三维形状计测装置优选为，所述输出指示生成部基于所述第1二维图像与所述第2二维图像的相似度，生成所述输出指示。

本发明的第一方式的三维形状计测装置优选为，所述相似度对应于从所述第1二维图像抽取到的多个特征点与从所述第2二维图像抽取到的多个特征点建立对应的程度。

本发明的第一方式的三维形状计测装置优选为，在所述第1二维图像与所述第2二维图像之间，拍摄图像时的快门速度、光圈值或拍摄元件的灵敏度中的至少1个的设定不同。

本发明的第一方式的三维形状计测装置优选为，具备对拍摄对象物进行照明的照明部，与所述输出指示对应地，所述拍摄部拍摄所述第2二维图像，并且所述照明部对所述拍摄对象物进行规定的照明。

此外，本发明的第二方式的三维形状计测方法，使用逐个输出所拍摄到的规定的二维图像(以下称为第1二维图像)、并且与规定的输出指示对应地输出与所拍摄到的所述第1二维图像之间设定不同的二维图像(以下称为第2二维图像)的拍摄部，基于所述拍摄部所输出的所述第1二维图像和所述第2二维图像来生成所述输出指示(输出指示生成步骤)，存储所述拍摄部所输出的所述第2二维图像(存储步骤)。

此外，本发明的第三方式的三维形状计测程序，使计算机执行如下步骤：输出指示生成步骤，使用逐个输出所拍摄到的规定的二维图像(以下称为第1二维图像)、并且与规定的输出指示对应地输出与所拍摄到的所述第1二维图像之间设定不同的二维图像(以下称为第2二维图像)的拍摄部，基于所述拍摄部所输出的所述第1二维图像和所述第2二维图像来生成所述输出指示；以及存储步骤，存储所述拍摄部所输出的所述第2二维图像。

发明效果

根据本发明的方式，基于逐个输出的第1二维图像和与第1二维图像之间设定不同的第2二维图像来生成对于拍摄部的第2二维图像的输出指示。即，在该构成中，在判断是否生成第2二维图像的输出指示时，能够将逐个输出的第1二维图像和第2二维图像作为信息使用。根据该构成，例如能够基于多个第1二维图像以适当的定时生成输出指示，并且基于已经输出的第2二维图像等，考虑下一个第2二维图像的必要性等而生成输出指示。即，与以一定的时间间隔进行拍摄的情况相比，能够容易地适当设定图像的拍摄定时和拍摄到的图像的量。

附图说明

图1是表示本发明的一个实施方式的构成例的框图。

图2是表示图1所示的拍摄部11的构成例的框图。

图3是表示图1所示的输出指示生成部12的构成例的框图。

图4是用于说明图3所示的输出指示生成部12的动作例的流程图。

图5是用于说明使用了图2所示的拍摄部11的、对象物的计测例的说明图。

图6是用于说明图3所示的输出指示生成部12的动作例的说明图。

图7是用于说明图3所示的输出指示生成部12的动作例的说明图。

图8是用于说明图3所示的输出指示生成部12的动作例的说明图。

具体实施方式

以下参照附图说明本发明的实施方式。图1是表示作为本发明的一个实施方式的三维形状计测装置1的构成例的框图。三维形状计测装置1具备：拍摄部11、输出指示生成部12、存储部13、照明部14。拍摄部11逐个输出所拍摄到的规定的二维图像(以下称为第1二维图像)，并且与规定的输出指示对应地输出与所拍摄到的第1二维图像之间设定不同的二维图像(以下称为第2二维图像)。

另外，在本发明的实施方式中，拍摄到的二维图像的设定指的是，表示图像数据的构造或形式的设定信息、或者表示拍摄条件等的拍摄方式的设定信息。在此，表示图像数据的构造或形式的设定信息指的是，例如表示图像的析像度(以下也记为图像析像度)、图像压缩的方式或压缩率等图像数据的规格的信息。另一方面，表示拍摄方式的设定信息例如是表示拍摄析像度、拍摄时的快门速度、光圈值、拍摄元件的灵敏度(ISO灵敏度)等拍摄时的规格(即拍摄到的方式)的信息。另外，在本发明的实施方式中，拍摄析像度指的是从拍摄元件读出多个像素信号的读出析像度。根据拍摄元件不同，有些拍摄元件具有多种帧速率和输出有效行数的组合。在这样的拍摄元件中，例如可以设定为，从有效行数少的像素信号形成第1二维图像，从有效行数多的像素信号形成第2二维图像。另外，上述的图像析像度是从拍摄部11输出的图像数据的析像度，有与拍摄析像度相同的情况和不同的情况(例如，通过间隔剔除处理而变小或者通过插值处理而模拟地变大的情况)。另外，第1二维图像例如是以规定的帧速率反复依次拍摄到的图像(即运动图像)。此外，第2二维图像是与第1二维图像的析像度不同的析像度的图像(运动图像或静止图像)，或者是在与第1二维图像的拍摄条件不同的拍摄条件下拍摄到的图像。

此外，拍摄条件还可以包括照明部14的照明的有无或照明的强度的差异。此外，这些条件也可以多个组合而设定。例如，在第2二维图像的拍摄时，进行照明部14的照明或者增强照明，同时提高快门速度，能够减少抖动的影响。或者，在第2二维图像的拍摄时，进行照明部14的照明或者增强照明，同时增大光圈值(F值)(即减小光圈)，从而加深被摄场深度。此外，关于图像析像度和拍摄析像度，可以使第2二维图像的析像度与第1二维图像的析像度相比为高析像度。这种情况下，将第2二维图像作为在生成三维形状模型时成为处理对象的图像，将其析像度设为高析像度，从而能够进一步提高三维形状模型的生成精度。与此同时，第1二维图像是逐个拍摄到的图像，所以通过将第1二维图像设为低析像度，能够容易地提高帧速率或者减少数据量。这些拍摄条件的设定值可以使用对于第1二维图像和第2二维图像分别预先决定的值，也可以通过从输出指示生成部12等向拍摄部11输入适当地指示设定值的信息来设定。

此外，拍摄部11也可以如下那样构成。即，拍摄部11在输出第1二维图像时，取得与第2二维图像相同析像度的图像数据，将该图像数据暂时存储到自身内部的存储部，仅抽取规定的像素，作为比第2二维图像低析像度的第1二维图像，输出到输出指示生成部12和存储部13。然后，拍摄部11在被从输出指示生成部12供给了输出指示时，从自身内部的存储部读出与该输出指示对应的作为第1二维图像的图像数据，并且以拍摄时的析像度原样地作为第2二维图像输出。然后，拍摄部11与输出指示对应地，包括作为第2二维图像的图像数据在内，将在该图像数据之前的时刻拍摄到的图像数据从自身内部的存储部删除。在此，拍摄部11的内部的存储部在取得当前存储的第2二维图像的下一定时的第2二维图像之前，仅将取得的图像数据的存储所需的容量设为例如通过实验等决定的容量，设为必要最小限度的容量。

此外，这种情况下，作为上述的图像数据，拍摄部11可以以运动图像取得图像数据，也可以以规定的周期取得图像数据。这种情况下，在第1二维图像与第2二维图像之间，不同的设定仅为图像析像度。因此，关于拍摄条件，例如可以预先根据拍摄拍摄数据的周围的环境，按照环境的不同来设定拍摄拍摄数据时的快门速度、光圈值、拍摄元件的灵敏度等拍摄条件的设定值，与该时点拍摄的周围的环境相应地，由进行拍摄的用户对三维形状计测装置1设定。

另外，作为拍摄部11，可以使用能够使焦点距离变换为远景或广角的拍摄部，也可以使用焦点距离固定的拍摄部。这种情况下，焦点距离例如能够根据来自输出指示生成部12等的指示来变化。此外，拍摄部11可以具备自动对焦功能(即，自动对焦到对象物的功能)，也可以具备手动对焦功能。但是，在不依赖于来自输出指示生成部12等的指示地使焦点距离变化的情况下，拍摄部11能够将表示焦点距离的数据，与表示拍摄到的图像的图像数据即第1二维图像或第2二维图像一起供给至输出指示生成部12等。

输出指示生成部12基于拍摄部11输出的第1二维图像和第2二维图像，生成输出指示。

存储部13是存储按照输出指示而由拍摄部11输出的第2二维图像的存储装置。存储部13可以直接存储按照输出指示而由拍摄部11输出的第2二维图像，也可以按照输出指示生成部12的指示、或者通过经由输出指示生成部12接受输出指示生成部12从拍摄部11暂时取得的第2二维图像来进行存储。此外，也可以是，存储部13存储第2二维图像，并且存储在输出指示生成部12生成输出指示的处理的过程中计算出的各种数据(例如，表示从图像抽取的多个特征点的数据、表示从图像抽取的多个特征点的不同帧间的追踪结果的数据、从图像复原的三维形状数据等)。此外，存储部13也可以同时存储第2二维图像和第1二维图像。

照明部14是对拍摄部11的拍摄对象物进行照明的装置。照明部14与输出指示生成部12输出的输出指示对应地，以与拍摄部11拍摄第2二维图像的定时一致的方式对拍摄对象物进行规定的照明。照明部14可以是被称为闪光、闪光灯等的朝向拍摄对象物在短时间内照射强光的发光装置，也可以是连续发出规定的光的装置。另外，照明部14与输出指示对应地对拍摄对象物进行的规定的照明指的是，根据输出指示的有无，控制发光的有无或者使发光量的大小不同的照明。即，照明部14与输出指示对应地对拍摄对象物发出短时间的强光，或者提高照明的强度。

另外，如图1所示，三维形状计测装置1可以一体地具备拍摄部11、输出指示生成部12、存储部13及照明部14，例如也可以将1或2个以上的要素(三维形状计测装置的构成要素)分别通过不同的装置构成。例如，可以将拍摄部11、输出指示生成部12、存储部13及照明部14作为一体通过摄像机、便携信息终端等电子设备构成。此外，例如可以将拍摄部11和存储部13的一部分或全部通过便携摄像机构成，将输出指示生成部12和存储部13的一部分通过个人计算机等构成。此外，照明部14也可以省略，也可以通过与拍摄部11不同的装置、例如固定型的照明装置来构成照明部14。此外，照明部14也可以具有多个发光装置而构成。

进而，三维形状计测装置1也可以具备无线或有线的通信装置，将图1所示的构成要素间经由无线或有线的通信线路连接。此外，三维形状计测装置1也可以具备图1中未示出的显示部、信号音输出部、显示灯及操作部，具有将来自输出指示生成部12的输出指示输出到该显示部、信号音输出部及显示灯的构成。并且，也可以通过由摄影者操作规定的操作件，使拍摄部11拍摄第2二维图像。即，在输出指示生成部12输出了输出指示的情况下，除了拍摄部11直接按照该输出指示拍摄第2二维图像的构成，还可以采用经由摄影者的操作而拍摄部11按照输出指示拍摄第2二维图像的构成。

此外，三维形状计测装置1例如可以在输出指示生成部12内(或者与输出指示生成部12分体地)设置进行基于多个第1二维图像来推测三维形状计测装置1的移动的处理的构成。该移动的推测例如可以通过在多个第1二维图像中追踪各第1二维图像中包含的多个特征点来进行(例如参照非专利文献1)。这时，作为在运动图像那样的多个二维图像间追踪特征点的手法，广泛使用Kanade-Lucas-Tomasi法(KLT法)等多种手法。该移动的推测结果例如可以存储在存储部13中。

此外，三维形状计测装置1例如可以具有使用GPS(globalpositioningsystem)接收机等取得自装置的位置信息的功能，或者具有使用加速度传感器、陀螺仪传感器等检测自装置的移动的功能。该移动的检测结果例如可以存储在存储部13中。

接下来，参照图2说明参照图1说明的拍摄部11的构成例。图2所示的拍摄部11具备：第1拍摄部51a、第2拍摄部51b、控制部52。第1拍摄部51a和第2拍摄部51b是具有相同构成的拍摄装置。第1拍摄部51a具备光学***61a、曝光控制部62a及拍摄元件65a。第2拍摄部51b具备与光学***61a、曝光控制部62a及拍摄元件65a相同构成的光学***61b、曝光控制部62b及拍摄元件65b。第1拍摄部51a和第2拍摄部51b在拍摄部11中配置为彼此的位置和朝向不同。光学***61a及61b具备：1或多个透镜、用于使焦点距离变化为远景或广角的透镜的驱动机构、以及自动对焦用的透镜的驱动机构。曝光控制部62a及62b具备光圈值控制部63a及63b和快门速度控制部64a及64b。光圈值控制部63a及63b具备机械式光圈可变机构和驱动可变机构的驱动部，将从光学***61a及61b入射的光的量可变地射出。快门速度控制部64a及64b具备机械式快门和驱动机械式快门的驱动部，遮挡从光学***61a及61b入射的光，或者使其通过仅规定的时间。快门速度控制部64a及64b也可以取代机械式快门而使用电子快门。

拍摄元件65a及65b经由光学***61a及61b、曝光控制部62a及62b入射对象物的反射光，变换为电信号并输出。拍摄元件65a及65b通过在平面上纵横排列为栅格状的多个受光元件构成各像素(在此，像素指的是图像的记录单位)。此外，拍摄元件65a及65b可以具备与各像素对应的滤色器，也可以不具备。此外，拍摄元件65a及65b具有各受光元件的驱动电路和输出信号的变换电路等，将由各像素受光的光变换为数字或模拟的规定的电信号，并作为像素信号输出到控制部52。此外，作为拍摄元件65a及65b，也可以使用能够按照来自控制部52的指示而使像素信号的读出析像度可变的拍摄元件。

控制部52控制第1拍摄部51a及第2拍摄部51b分别具备的光学***61a及61b、曝光控制部62a及62b、拍摄元件65a及65b。控制部52将第1拍摄部51a及第2拍摄部51b输出的像素信号按照规定的帧周期反复输入，将第1拍摄部51a及第2拍摄部51b输出的各像素信号按照每个帧组合而作为预览用图像Sp(对应于图1的第1二维图像)输出。控制部52还按照从输出指示生成部12输入的输出指示，例如从预览用图像Sp的拍摄时的拍摄条件变化为规定的拍摄条件，并且将在该条件下从第1拍摄部51a和第2拍摄部51b读出的像素信号输入1帧或规定帧。控制部52例如将在按照输出指示而变化后的拍摄条件下拍摄到的图像信号按照每个帧进行组合，作为计测用立体图像Sm(对应于图1的第2二维图像)输出(在此，n是表示对(pair)编号的1～N的整数)。另外，预览用图像Sp是包括每帧包含1张预览图像的图像和每帧包含2张预览图像的图像这两种情况的名称。此外，在确定为包含由立体摄像机拍摄到的2张预览图像的情况时，称为预览用立体图像Sp。

此外，控制部52也可以在内部具备存储部71。这种情况下，控制部52在输出预览用图像Sp(第1二维图像)时，也可以取得与计测用立体图像Sm(第2二维图像)相同析像度的图像数据，将该图像数据暂时存储到自身内部的存储部71，仅抽取规定的像素，作为比计测用立体图像Sm更低析像度的预览用图像Sp，输出到输出指示生成部12和存储部13。此外，这种情况下，控制部52在被从输出指示生成部12供给了输出指示时，从自身内部的存储部71读出与该输出指示对应的作为预览用图像Sp的图像数据，并且以拍摄时的析像度原样地作为计测用立体图像Sm输出。然后，控制部52与输出指示对应地，包括作为计测用立体图像Sm的图像数据在内，将在该图像数据之前的时刻拍摄到的图像数据从自身内部的存储部71删除。在此，控制部52的内部的存储部71，在取得当前存储的计测用立体图像Sm的下一定时的计测用立体图像Sm之前，仅将取得的图像数据的存储所需的容量设为例如通过实验等决定的容量，能够设为必要最小限度的容量。

在图2所示的构成中，第1拍摄部51a和第2拍摄部51b作为立体摄像机使用。例如，第1拍摄部51a的内部参数矩阵A和第2拍摄部51b的内部参数矩阵A相同。此外，第1拍摄部51a和第2拍摄部51b之间的外部参数矩阵M预先设定为规定的值。因此，基于同时拍摄到的第1拍摄部51a的拍摄图像和第2拍摄部51b的拍摄图像(以下也将这1对图像称为立体图像对)进行像素间(或者副像素间)的对应建立，从而能够将以拍摄了该图像的视点为基准的三维形状(即三维坐标)没有不确定性地复原。

另外，内部参数矩阵A也被称为摄像机校正矩阵，是将与拍摄对象物有关的物理坐标变换为图像坐标(即以第1拍摄部51a的拍摄元件65a的拍摄面及第2拍摄部51b的拍摄元件65b的拍摄面为中心的坐标，也被称为摄像机坐标)的矩阵。图像坐标是以像素为单位的坐标。内部参数矩阵A通过焦点距离、图像中心的坐标、图像坐标的各成分的比例因子(＝换算系数)、剪切系数来表示。此外，外部参数矩阵M是将图像坐标变换为世界坐标(即，对于所有的视点和对象物共通地决定的坐标)的矩阵。外部参数矩阵M是由多个视点间的三维的旋转(即姿势的变化)和平移(即位置的变化)决定的矩阵。第1拍摄部51a和第2拍摄部51b之间的外部参数矩阵M例如能够通过第1拍摄部51a的图像坐标向作为基准的第2拍摄部51b的图像坐标的旋转和平移来表示。此外，基于立体图像对将三维形状没有不确定性地复原指的是，根据内部参数矩阵A和外部参数矩阵M均已知的2个拍摄部的各拍摄图像，计算与各像素对应的对象物的物理三维坐标。此外，在本发明的实施方式中，有不确定性指的是，无法唯一地决定投影成图像的三维形状。

另外，图1所示的拍摄部11并不是必须采用图2所示的立体摄像机(即使用2台摄像机的构成)。例如，也可以仅使用一个拍摄元件(即，使用1台摄像机)，将一边使该拍摄元件移动一边拍摄到的2张图像作为立体图像对使用。但是，这种情况下，外部参数矩阵M不确定，所以残留着一定的不确定性。但是，例如可以使用与对象物的多个基准点有关的三维坐标的实测数据来修正，或者即使在不使用实测数据的情况下，也能够取代现实的三维空间而在以不确定性的存在为前提的虚拟空间内将三维的形状复原等。此外，摄像机的台数不限于2台，例如也可以是3台或4台。

接下来，参照图3说明图1所示的输出指示生成部12的构成例。图3所示的输出指示生成部12基于预览用图像Sp(第1二维图像)和计测用立体图像Sn(第2二维图像)的相似度来生成输出指示。此外，该相似度被计算成对应于从预览用图像Sp抽取到的多个特征点与从计测用立体图像Sn抽取到的多个特征点建立对应的程度。图3所示的输出指示生成部12例如能够使用CPU(中央处理装置)、RAM(随机访问存储器)等构成和由CPU执行的程序来构成。图3示出了输出指示生成部12的构成要素。在图3中，通过执行上述的程序而进行的处理(或功能)被分为多个块。此外，在以下的说明中使用的“信号”这一用语，有时指的是执行程序时在函数间或程序间通信(发送和接收等)的规定的数据。

在图3所示的构成例中，输出指示生成部12具备：计测用立体图像取得部21、参照用特征点抽取部22、预览用图像取得部23、预览用图像特征点群抽取部24、特征点对应数计算部25、拍摄要否判定部26、输出指示信号输出部27。计测用立体图像取得部21从拍摄部11取得计测用立体图像Sn(第2二维图像)，输出到参照用特征点抽取部22。参照用特征点抽取部22从计测用立体图像取得部21所输出的计测用立体图像Sn抽取包含参照用的多个特征点的特征点群Fn(n是表示对编号的1～N的整数)。在此，特征点指的是，在立体图像或运动图像中在图像间容易将点与点建立对应的点。特征点例如定义为，某个点(任意选择的点，第一点)或者该点周围的颜色、亮度、轮廓信息与图像内的其他点(第二点)相比显著不同的点。换言之，在图像内，从颜色、亮度、轮廓信息的观点来说，相对差异被显著地表现出来的相互不同2个点中的一个点被定义为特征点。特征点也被称为顶点等。作为从图像抽取特征点的抽取算法，提出了作为角部检测算法起作用的各种算法，使用的算法并没有特别限定。但是，优选为即使将图像旋转、平移、缩放，也能够稳定地在相同区域抽取特征点，作为这样的算法，已知SIFT(US6711293)等。参照用特征点抽取部22可以从计测用立体图像Sn包含的2张图像分别抽取特征点，也可以从某一方的图像抽取特征点。参照用特征点抽取部22将抽取到的特征点群Fn存储到存储部13等规定的存储装置。

预览用图像取得部23从拍摄部11按照每个帧(或每规定帧)取得预览用图像Sp(第1二维图像)，并输出到预览用图像特征点群抽取部24。预览用图像特征点群抽取部24从预览用图像取得部23所输出的预览用图像Sp抽取包含多个特征点的特征点群Fp(p是表示预览图像的下标)。预览用图像特征点群抽取部24可以从预览用图像Sp所包含的2张图像分别抽取特征点，也可以从某一个图像抽取特征点。

特征点对应数计算部25计算在预览用图像特征点群抽取部24抽取到的最新的特征点群Fp与参照用特征点抽取部22以前(过去)抽取到的特征点群Fn(n＝以前(过去)取得的计测用立体图像Sn的张数n)之间对应的点的个数。特征点对应数计算部25将从预览用图像Sp抽取到的特征点群Fp与从n对计测用立体图像Sn抽取到的特征点群F1、F2、…、Fn分别建立对应，计算在特征点群Fp与特征点群F1、F2、…、Fn之间建立了对应的点数M1、M2、…、Mn并输出。在此，特征点群F1、F2、…、Fn是分别从计测用立体图像S1、S2、…、Sn抽取到的特征点的集合。关于特征点间的对应建立的判断，例如可以基于各特征点的像素值和坐标值的相似程度、以及多个特征点整体的相似程度的统计性分析结果，来判断在特征点间是否得到了对应性。此外，例如点数M1表示在特征点群Fp与特征点群F1之间建立了对应的特征点的个数。同样，例如点数M2表示在特征点群Fp与特征点群F2之间建立了对应的特征点的个数。

拍摄要否判定部26输入特征点对应数计算部25所输出的点数M1～Mn，基于点数M1～Mn判定是否需要取得下一计测用立体图像Sn(该情况下的n表示最后取得的对编号下一对编号)。拍摄要否判定部26例如在评价式f＜阈值Mt的条件成立的情况下判定为需要取得，在不成立的情况下判定为不需要。在此，评价式f是表示最新的预览用图像Sp与到此为止取得的n对计测用立体图像Sn的相似度的函数。在最新的预览用图像Sp与到此为止取得的计测用立体图像Sn相似的情况下，拍摄要否判定部26判定为不需要在与最新的预览用图像Sp相同的视点进一步取得计测用立体图像Sn。另一方面，在最新的预览用图像Sp与到此为止取得的计测用立体图像Sn不相似的情况下，拍摄要否判定部26判定为需要在与最新的预览用图像Sp相同(或者大体相同)的视点进一步取得计测用立体图像Sn。在本实施方式中，表示相似度的评价式f将点数M1～Mn作为参数而通过函数示出。

上述的评价式f例如能够如下那样表示。即，评价式f能够定义为点数M1～Mn的合计值。另外，阈值Mt可以使用事先设定的固定值，也可以对应于计测用立体图像Sn的张数n等而使用可变的值。

评价式f(M1，M2，…，Mn)＝ΣMi(i＝1，2，…，n)

拍摄要否判定部26判定为需要在最后拍摄了预览用图像Sp的视点(或者大体相同的视点)取得下一计测用立体图像Sn时，对输出指示信号输出部27输出表示该意思(判定结果)的信号。另一方面，在判断为不需要的情况下，拍摄要否判定部26对预览用图像取得部23输出表示该意思(判定结果)的信号。

输出指示信号输出部27在从拍摄要否判定部26输入了表示需要取得下一计测用立体图像Sn的信号时，对拍摄部11等输出输出指示信号。此外，从拍摄要否判定部26向预览用图像取得部23输入了表示不需要取得下一计测用立体图像Sn的信号时，预览用图像取得部23进行下一预览用图像Sp的取得处理(例如，在从拍摄部11输出下一预览用图像Sp之前进行待机的处理)。

接下来，使用图4的流程图和图5～图8的说明图，说明图1所示的三维形状计测装置1的动作例。图4是用于说明图3所示的输出指示生成部12内的处理流程的流程图。图5是示意性地表示一边使参照图1～图3说明的三维形状计测装置1在拍摄对象物100的周围沿着箭头方向移动一边拍摄的动作的说明图。这种情况下，图5针对三维形状计测装置1所具有的2个拍摄部51a和拍摄部51b，示出了拍摄部51a的拍摄元件65a所形成的面即拍摄面(或者图像面)66a与拍摄部51b的拍摄元件65b所形成的面即拍摄面66b的位置关系。在此，从拍摄面66a的视点(即焦点或光学中心)C1a向拍摄面66a垂直地引出的直线是光轴，在图5用箭头Z1a示出。此外，将拍摄面66a的横方向用箭头X1a示出，将纵方向用箭头Y1a示出。另一方面，将拍摄面66b的视点作为视点C1b示出。拍摄面66a及拍摄面66b以规定的距离分开，并且拍摄面66a的光轴方向与拍摄面66b的光轴方向配置为以规定的角度不同。

此外，在图5中，将使三维形状计测装置1沿箭头方向移动了的情况下的拍摄面66a的移动后的视点作为视点C2a示出。此外，将拍摄面66b的移动后的视点作为视点C2b示出。进而，将从视点C2a向移动后的拍摄面66a垂直地引出的直线即光轴作为箭头Z2a示出。此外，将移动后的拍摄面66a的横方向用箭头X2a示出，将纵方向用箭头Y2a示出。

此外，图6是示意性地表示从视点C1a对拍摄对象物100以拍摄面66a进行了拍摄的情况下的预览用图像Spa1的图。其中，在图6所示的预览用图像Spa1中，通过在矩形中加入×号的记号来表示从该图像抽取到的多个特征点201。

此外，图7是示意性地表示从视点C1a对拍摄对象物100以拍摄面66a进行了拍摄的情况下的计测用立体图像S1a的图。其中，在图7所示的计测用立体图像S1a中，通过在矩形中加入×号的记号来表示从该图像抽取到的多个特征点202。另外，之所以改变图6中表示各特征点201的记号和图7中表示各特征点202的记号的大小，是为了示意性地示出预览用图像Sp和计测用立体图像Sn的析像度的差异。

此外，图8是示意性地表示从移动后的视点C2a对拍摄对象物100以拍摄面66a进行了拍摄的情况下的预览用图像Spa2的图。其中，在图8所示的预览用图像Spa2中，通过在矩形中加入×号的记号来表示从该图像抽取到的多个特征点203。

接下来，参照图4说明三维形状计测装置1的动作例。例如，若摄影者进行规定的指示操作，则在输出指示生成部12中，将变量n(n：第n对计测用立体图像的编号)初始化为n＝1(步骤S100)。接着，输出指示信号输出部27输出输出指示信号(步骤S101)。接着，计测用立体图像取得部21取得第n对计测用立体图像Sn(步骤S102)。接着，参照用特征点抽取部22从第n对计测用立体图像Sn抽取特征点群Fn(步骤S103)。在这些步骤S100～S103的处理中，取得图7所示的第1对计测用立体图像S1(其中，图7示出了成对的计测用立体图像S1的一个图像S1a)，并且抽取到包含多个特征点202的特征点群F1。

接着，输出指示生成部12内的未图示的控制部将变量n更新为n＝n+1(步骤S104)。这种情况下，变量n被更新为“2”。接着，预览用图像取得部23取得预览用图像Sp(步骤S105)。接着，预览用图像特征点群抽取部24从预览用图像Sp抽取特征点群Fp(步骤S106)。在这些步骤S105及S106的处理中，拍摄到图6所示的预览用图像Sp(其中，在图6中示出了成对的预览用图像Sp的一个图像Spa1)，并且抽取到包含多个特征点201的特征点群Fp。

另外，在步骤S105中，预览用图像取得部23可以从拍摄部11取得预览用图像Sp的成对的2个图像，也可以仅取得一个图像。或者，作为预览用图像Sp，也可以从拍摄部11仅输出拍摄元件65a及65b中的某个拍摄到的图像。

接着，特征点对应数计算部25将从预览用图像Sp抽取到的特征点群Fp与从n对计测用立体图像Sn抽取到的特征点群F1、F2、…、Fn分别建立对应，计算在特征点群Fp与特征点群F1、F2、…、Fn之间建立了对应的点数M1、M2、…、Mn(步骤S107)。这种情况下，在步骤S107中，计算在从图6所示的预览用图像Spa1抽取到的多个特征点201与从图7所示的计测用立体图像S1a抽取到的多个特征点202之间能够建立规定的对应的特征点的个数M1。

接着，拍摄要否判定部26判定在评价式f与阈值Mt之间下面的条件是否成立(步骤S108)。该条件例如是f(M1，M2，…，Mn)＜Mt。在此，评价式f能够如上述那样定义为点数M1、M2、…、Mn的合计值。这种情况下，设为在从图6所示的预览用图像Spa1抽取到的多个特征点201与从图7所示的计测用立体图像S1a抽取到的多个特征点202之间能够建立规定的对应的特征点的个数M1为规定的阈值Mt以上。这种情况下，步骤S108的判定结果为不成立，预览用图像取得部23再次进行取得预览用图像Sp的处理(步骤S105)。以下同样，反复执行步骤S105～S108的处理，直到步骤S108的判定条件成立。

在此，作为一例，假定在与图5的视点C1a对应的位置开始拍摄、在视点C2a步骤S108的判定结果起初为不成立的情况。这种情况下，在视点C2a，在步骤S105及S106的处理中，拍摄到图8所示的预览用图像Sp(其中，图8中示出了成对的预览用图像Sp的一个图像Spa2)，并且抽取到包含多个特征点203的特征点群Fp。

接下来，在步骤S107中，计算在从图8所示的预览用图像Spa2抽取到的多个特征点203与从图7所示的计测用立体图像S1a抽取到的多个特征点202之间能够建立规定的对应的特征点的个数M1。

接着，拍摄要否判定部26判定评价式f与阈值Mt之间的下述条件成立或不成立(步骤S108)。这种情况下，通过上述的假定，在从图8所示的预览用图像Spa2抽取到的多个特征点203与从图7所示的计测用立体图像S1a抽取到的多个特征点202之间能够建立规定的对应的特征点的个数M1小于规定的阈值Mt。因此，这种情况下，步骤S108的判定结果为成立，输出指示信号输出部27输出输出指示信号(步骤S109)，进行下一计测用立体图像S2的取得(步骤S102)。

如以上那样，在本实施方式的三维形状计测装置1中，基于逐个拍摄的预览用图像Sp(第1二维图像)、以及与其具有不同设定的在生成三维形状模型时成为处理对象的计测用立体图像Sn(第2二维图像)，来判定是否需要取得下一计测用立体图像Sn(第2二维图像)。因此，例如能够基于预览用图像Sp(第1二维图像)适当地设定拍摄定时，基于计测用立体图像Sn(第2二维图像)适当地设定拍摄的图像的量，与以一定的时间间隔进行拍摄的情况相比，能够容易地适当设定拍摄定时。

此外，本实施方式的输出指示生成部12基于预览用图像Sp(第1二维图像)与计测用立体图像Sn(第2二维图像)的相似度来判定是否需要取得下一计测用立体图像Sn(第2二维图像)，所以例如能够省去三维的坐标计算等的运算量较多的处理。

另外，本发明的实施方式不限于上述实施方式。例如，三维形状计测装置1可以适当进行如下等变更：具备显示基于拍摄到的图像复原出的三维模型的显示部等，具备将三维模型复原或者将复原的结果输出的构成。此外，三维形状计测装置1可以使用1或多个CPU和由CPU执行的程序来构成，该程序经由计算机可读取的记录介质或通信线路流通。

符号的说明

1三维形状计测装置；11拍摄部；12输出指示生成部；13存储部；14照明部。

Claims (8)

1.一种三维形状计测装置，具备：

拍摄部，逐个输出所拍摄到的第1二维图像，并且与规定的输出指示对应地输出与所拍摄到的所述第1二维图像之间设定不同的第2二维图像；

输出指示生成部，基于所述拍摄部所输出的所述第1二维图像和所述第2二维图像，生成所述输出指示；以及

存储部，存储所述拍摄部所输出的所述第2二维图像。

2.如权利要求1所述的三维形状计测装置，

在所述第1二维图像与所述第2二维图像之间，图像的析像度的设定不同，

所述第2二维图像与所述第1二维图像相比为高析像度。

3.如权利要求1或2所述的三维形状计测装置，

所述输出指示生成部基于所述第1二维图像与所述第2二维图像的相似度，生成所述输出指示。

4.如权利要求3所述的三维形状计测装置，

所述相似度对应于从所述第1二维图像抽取到的多个特征点与从所述第2二维图像抽取到的多个特征点建立对应的程度。

5.如权利要求1～4中任一项所述的三维形状计测装置，

在所述第1二维图像与所述第2二维图像之间，拍摄图像时的快门速度、光圈值或拍摄元件的灵敏度中的至少1个的设定不同。

6.如权利要求1～5中任一项所述的三维形状计测装置，

具备对拍摄对象物进行照明的照明部，

与所述输出指示对应地，所述拍摄部拍摄所述第2二维图像，并且所述照明部对所述拍摄对象物进行规定的照明。

7.一种三维形状计测方法，

使用逐个输出所拍摄到的第1二维图像、并且与规定的输出指示对应地输出与所拍摄到的所述第1二维图像之间设定不同的第2二维图像的拍摄部，基于所述拍摄部所输出的所述第1二维图像和所述第2二维图像，生成所述输出指示，

存储所述拍摄部所输出的所述第2二维图像。

8.一种三维形状计测程序，使计算机执行如下步骤：

输出指示生成步骤，使用逐个输出所拍摄到的第1二维图像、并且与规定的输出指示对应地输出与所拍摄到的所述第1二维图像之间设定不同的第2二维图像的拍摄部，基于所述拍摄部所输出的所述第1二维图像和所述第2二维图像，生成所述输出指示；以及

存储步骤，存储所述拍摄部所输出的所述第2二维图像。