JPWO2015068470A1 - ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム - Google Patents

Abstract

本発明の３次元形状計測装置は、撮像した所定の２次元画像を逐次出力する撮像部と、前記撮像部が出力した前記２次元画像を記憶する記憶部と、前記記憶部に記憶される前記２次元画像に基づいて、３次元形状モデルを生成し、生成した３次元形状モデルを前記記憶部に記憶させる３次元形状モデル生成部と、前記記憶部に記憶される前記２次元画像および前記３次元形状モデルから前記２次元画像内の計測済み領域を算出する領域算出部と、前記計測済み領域に基づいて、前記２次元画像から表示用画像を生成する表示用画像生成部とを備える。

Description

本発明は、３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラムに関する。
本願は、２０１３年１１月６日に日本に出願された特願２０１３−２３０３２１号に基づき優先権を主張し、その内容をここに援用する。

撮像部を移動させながら撮像した対象物を含む複数の２次元画像に基づいて、対象物の３次元形状モデルを生成する技術の一例が非特許文献１に記載されている。この非特許文献１に記載されている３次元形状計測システムでは、次のようにして対象物の３次元形状モデルが生成される。まず、撮像部を構成するステレオカメラを移動させながら対象物全体を動画で撮像する。ここでステレオカメラとは、両眼立体視カメラとも呼ばれ、複数の異なる視点から対象物を撮像する装置である。次に、所定フレーム毎に、１組の２次元画像に基づいて各画素に対応する３次元座標値が算出される。ただし、この時点で算出された３次元座標値は、ステレオカメラの視点毎に異なる複数の３次元座標で表されている。そこで、非特許文献１に記載されている３次元形状計測システムでは、動画として撮像した複数の２次元画像に含まれている特徴点群を、複数のフレームにわたって追跡することで、ステレオカメラの視点の移動を推定している。そして、視点移動の推定結果に基づいて複数の座標系で表された３次元形状モデルが同一座標系に統合され、対象物の３次元形状モデルが生成される。

また、非特許文献２には、赤外線深度センサー（以下、撮像部と呼ぶ）を移動させながら取得した複数の深度画像（デプス画像、距離画像等とも呼ばれる）に基づいて対象物の３次元形状モデルを生成する技術の一例が記載されている。ここで、深度画像とは、測定した対象物の距離情報（撮像部から対象物までの距離に関する情報）を画素単位で表した画像である。非特許文献２に記載されている３次元形状計測システムでは、赤外線深度センサーが、赤外線投射部と赤外線撮像部と信号処理部とから構成されている。赤外線投射部が対象物に対してランダムスペックルパターンを投射し、対象物から反射された反射光を赤外線撮像部で撮像する。そして、赤外線撮像部で撮像したランダムスペックルパターンの偏りや形状変化に基づいて、信号処理部が対象物の距離情報を算出して深度画像を生成する。この赤外線深度センサーの構成等については、例えば、特許文献１〜３に記載されている。

日本国特表２０１１−５２７７９０号公報 日本国特表２００９−５１１８９７号公報 日本国特表２００９−５３０６０４号公報 日本国特開２００８−３２８３６７号公報

運天弘樹、増田智仁、三橋徹、安藤真、「ステレオカメラ移動撮影によるＶＲモデル自動生成手法の検討」、日本バーチャルリアリティ学会論文誌、Ｖｏｌ．１２、Ｎｏ．２、２００７年 Ｓｈａｈｒａｍ Ｉｚａｄｉ， Ｄａｖｉｄ Ｋｉｍ， Ｏｔｍａｒ Ｈｉｌｌｉｇｅｓ， Ｄａｖｉｄ Ｍｏｌｙｎｅａｕｘ， Ｒｉｃｈａｒｄ Ｎｅｗｃｏｍｂｅ， Ｐｕｓｈｍｅｅｔ Ｋｏｈｌｉ， Ｊａｍｉｅ Ｓｈｏｔｔｏｎ， Ｓｔｅｖｅ Ｈｏｄｇｅｓ， Ｄｕｓｔｉｎ Ｆｒｅｅｍａｎ， Ａｎｄｒｅｗ Ｄａｖｉｓｏｎ， ａｎｄ Ａｎｄｒｅｗ Ｆｉｔｚｇｉｂｂｏｎ，"ＫｉｎｅｃｔＦｕｓｉｏｎ： Ｒｅａｌ−ｔｉｍｅ ３Ｄ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ａｎｄ Ｉｎｔｅｒａｃｔｉｏｎ Ｕｓｉｎｇ ａ Ｍｏｖｉｎｇ Ｄｅｐｔｈ Ｃａｍｅｒａ，" Ｏｃｔｏｂｅｒ ２０１１， Ｐｕｂｌｉｓｈｅｒ： ＡＣＭ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｓｏｆｔｗａｒｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，［平成２５年４月１５日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｒｅｓｅａｒｃｈ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍ／ａｐｐｓ／ｐｕｂｓ／ｄｅｆａｕｌｔ．ａｓｐｘ？ｉｄ＝１５５４１６＞

上述したように、非特許文献１や非特許文献２に示されている３次元形状計測システムでは、撮像部を移動させながら複数の２次元画像を撮像し、撮像した複数の２次元画像に基づいて対象物の３次元形状モデル（以下、計測済み３次元形状モデル）が生成される。この計測済み３次元形状モデルは撮像とほぼ同時に表示部にて表示させることができる。

一方で、市販カメラのような撮像部と表示部とを一体とした撮像装置では、撮像部によって撮像した２次元画像を撮像とほぼ同時に表示部に表示させることができる。したがって、単純に非特許文献１や非特許文献２に示されている３次元形状計測システムと、撮像部及び表示部を一体とした撮像装置とを組み合わせることで、撮像した対象物を含む２次元画像に加えて計測済み３次元形状モデルを撮像とほぼ同時に表示部に表示させることができる。

しかしながら、このような構成では、表示部の表示に基づき対象物の未計測箇所があることが明らかになった際に、具体的にどのように撮像部を移動させれば未計測領域を計測できるか、計測者が容易に判断できないという課題があった。

本発明は、以上の事情を考慮してなされたものであり、３次元形状の計測時に未計測領域を容易に特定できる３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラムを提供することを目的とする。

上記の課題を解決するため、本発明の第一態様の３次元形状計測装置は、撮像した所定の２次元画像を逐次出力する撮像部と、撮像部が出力した２次元画像を記憶する記憶部と、記憶部に記憶される２次元画像に基づいて、３次元形状モデルを生成し、生成した３次元形状モデルを記憶部に記憶させる３次元形状モデル生成部と、記憶部に記憶される２次元画像および３次元形状モデルから２次元画像内の計測済み領域を算出する領域算出部と、計測済み領域に基づいて、２次元画像から表示用画像を生成する表示用画像生成部とを備える。
本発明の第一態様の３次元形状計測装置においては、前記領域算出部は、前記記憶部に記憶される前記２次元画像および前記３次元形状モデルから、前記２次元画像内の計測対象外領域、計測済み領域および未計測領域を算出し、前記表示用画像生成部は、前記計測対象外領域、前記計測済み領域および前記未計測領域に基づいて、前記２次元画像から表示用画像を生成することが好ましい。
本発明の第一態様の３次元形状計測装置においては、前記領域算出部は、前記記憶部に記憶される前記２次元画像および前記３次元モデルから前記２次元画像内の低精度計測済み領域および高精度計測済み領域を算出することが好ましい。
本発明の第一態様の３次元形状計測装置においては、前記３次元形状モデル生成部は、精度設定の変更を指示する精度設定変更指示部を更に備えることが好ましい。
本発明の第一態様の３次元形状計測装置においては、前記表示用画像生成部は、前記計測済み領域の画素値が高くかつ前記計測対象外領域の画素値が低い前記表示用画像を生成することが好ましい。
本発明の第一態様の３次元形状計測装置は、前記２次元画像内の前記未計測領域の分布に基づいて、最適な前記撮像部の移動方向を算出する最適移動方向算出部と、前記最適移動方向算出部によって算出された移動方向を案内する情報を出力する最適移動方向出力部とを更に備えることが好ましい。

また、本発明の第二態様の３次元形状計測方法は、２次元画像を逐次取得し（撮像画像取得ステップ）、撮像画像取得ステップで取得された２次元画像を記憶部に記憶し（記憶ステップ）、記憶ステップにおいて記憶した２次元画像に基づいて、３次元モデルを生成し、生成した３次元形状モデルを記憶部に記憶し（３次元形状モデル生成ステップ）、記憶部に記憶される２次元画像および３次元形状モデルから、２次元画像内の計測済み領域を算出し（領域算出ステップ）、領域算出ステップにおいて算出された計測済み領域に基づいて、２次元画像から表示用画像を生成する（表示用画像生成ステップ）。

また、本発明の第三態様の３次元形状計測プログラムは、２次元画像を撮像する撮像部から出力される２次元画像を記憶部に記憶させる記憶ステップと、記憶ステップにおいて記憶された２次元画像に基づいて、３次元モデルを生成し、生成した３次元形状モデルを記憶部に記憶させる３次元形状モデル生成ステップと、記憶部に記憶される２次元画像および３次元形状モデルから２次元画像内の計測済み領域を算出する領域算出ステップと、計測済み領域に基づいて２次元画像から表示用画像を生成する表示用画像生成ステップとをコンピュータに実行させる。

本発明の態様によれば、３次元形状の計測時に未計測領域を容易に特定できる３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラムを実現できる。

本発明の実施の形態に係る３次元形状計測装置の一例を示す機能ブロック図である。 図１に示した領域算出部の一例を示す機能ブロック図である。 図１および図２に示した３次元形状計測装置が行う制御処理の一例を示すフローチャートである。 図１に示した表示用画像生成部が行う画像処理の一例を模式的に示す図である。

以下、図面を参照して本発明の実施の形態に係る３次元形状計測装置について説明する。なお、本明細書において、対象物の３次元形状モデルとは、３次元空間内の対象物の形状をコンピュータ内部に数値化することで表現したモデルを意味し、例えば、多視点の２次元画像や各画素が距離情報を表す２次元画像に基づいて対象物の表面形状を３次元空間内の複数の点の集合（すなわち点群）によって復元する点群モデルを意味する。また、本明細書において３次元形状計測とは、複数の２次元画像を撮像することで対象物の３次元形状モデルを生成すること、および、対象物の３次元形状モデルを生成するために複数の２次元画像を撮像することを包含する概念である。

図１は、実施の形態に係る３次元形状計測装置１の一例を示す機能ブロック図である。３次元形状計測装置１は、撮像部１１と、記憶部１２と、３次元形状モデル生成部１３（３次元形状更新部）と、領域算出部１４と、表示用画像生成部１５と、表示部１６とを備えている。

撮像部１１は、撮像した所定の２次元画像を逐次出力する。なお、本実施形態において、２次元画像とは、２次元配列された複数の画素を有する撮像素子で撮像した各画素値に基づく画像、または、その画像を表す信号もしくはデータを意味する。この場合の画像は、モノクロ画像（グレー画像）、カラー画像、赤外線画像、距離画像等、または、複数同時の撮像によって得られた画像（ステレオ画像）である。

記憶部１２は、撮像部１１が出力した２次元画像および計測済み３次元形状モデルを記憶する記憶装置である。

３次元形状モデル生成部１３は、記憶部１２が記憶した２次元画像群に基づき、３次元形状モデルを更新する。ここで、２次元画像群に基づく３次元形状モデルの生成方法においては、例えば、複数の２次元画像に含まれる、撮像した対象の領域をシルエット（シルエット図形）として推定する。更に、推定された複数のシルエットが重なる領域を空間領域として算出することができる（例えば、特許文献４参照）。このような方法としては、視体積交差法等を用いることができる。
また、３次元形状モデル生成部１３は、精度設定の変更を指示する精度設定変更指示部を更に備える。

領域算出部１４は、記憶部１２に記憶される２次元画像および３次元形状モデルに基づき、２次元画像内における計測済み領域、すなわち、３次元形状モデルの作成済みの領域を算出する。
また、領域算出部１４は、記憶部１２に記憶される２次元画像および３次元形状モデルに基づき、２次元画像内の計測対象外領域、計測済み領域および未計測領域を算出する。
また、領域算出部１４は、２次元画像および３次元モデルから２次元画像内の低精度計測済み領域および高精度計測済み領域を算出する。

表示用画像生成部１５は、領域算出部１４が算出した計測済み領域Ｒ１および計測対象外領域Ｒ２と、記憶部１２に記憶される２次元画像Ｉとに基づき、表示用画像Ｖを生成する。また、表示用画像生成部１５は、計測済み領域Ｒ１、計測対象外領域Ｒ２、及び未計測領域に基づいて、前記２次元画像から表示用画像を生成してもよい。
この場合、例えば、表示用画像Ｖは、２次元画像Ｉを構成する各画素のうち、計測済み領域Ｒ１の画素値が高くかつ計測対象外領域Ｒ２の画素値が低い画像として生成することができる。すなわち、正の定数ａおよびｂを用い、２次元画像Ｉ上の画素ｐ（ｕ，ｖ）の画素値ｐ’（ｕ，ｖ）に対して、表示用画像上の画素ｑ（ｕ，ｖ）の画素値ｑ’（ｕ，ｖ）を以下のように定義することができる。

表示部１６は、液晶表示装置や有機ＥＬ等の表示装置であり、表示用画像生成部１５が生成した表示用画像を表示する。

また、３次元形状計測装置１は、前記２次元画像内の前記未計測領域の分布に基づいて、最適な前記撮像部の移動方向を算出する最適移動方向算出部と、前記最適移動方向算出部によって算出された移動方向を案内する情報を出力する最適移動方向出力部とを更に備えてもよい。
次に、図２を参照して、図１を参照して説明した領域算出部１４の構成例について説明する。

図２は、図１に示した領域算出部の一例を示す機能ブロック図である。図２に示した領域算出部１４は、計測済み領域算出部２１と、計測対象外領域算出部２２と、未計測領域算出部２３とを備えている。計測済み領域算出部２１は、記憶部１２に記憶される２次元画像群及び３次元形状モデルに基づいて、撮像対象を含む２次元画像において、３次元形状モデルの作成済み領域である計測済み領域Ｒ１を算出する。計測対象外領域算出部２２は、記憶部１２に記憶される２次元画像群及び３次元形状モデルに基づいて、撮像対象を含む２次元画像において、３次元形状モデルの作成対象外の領域である計測対象外領域Ｒ２を算出する。未計測領域算出部２３は、算出された計測済み領域Ｒ１と計測対象外領域Ｒ２とに基づいて、撮像した対象を含む２次元画像の未計測領域Ｒ３を算出する。

また、計測済み領域算出部２１は、記憶部１２に記憶される３次元形状計測装置１の移動の推定結果を用いて計測済み領域Ｒ１を算出することができる。この場合、記憶部１２が記憶した３次元形状モデルＧを、撮像した対象を含む２次元画像Ｉの撮像時の視点から２次元画像として表した場合に、算出することができた画素の集合が計測済み領域Ｒ１に相当する。これによって、計測済み領域Ｒ１を算出することができる。すなわち、例えば、上記３次元形状モデルＧを絶対座標で表された３次元点Ａｉ（ｘｉ，ｙｉ，ｚｉ）（ｉ＝１，２，…、ｎ ただし、ｎは３次元形状モデルＧを構成する３次元点の総数）の集まりとして表すと、２次元画像Ｉ上の画素ｐ（ｕ，ｖ）に対して、絶対座標から２次元画像Ｉの撮像時の視点への座標変換Ｔ、および、２次元画像Ｉの撮影時における投影行列Ｐを用いて、計測済み領域Ｒ１を以下のように定義することができる。

ただし、ｉｎｔ（（ｓ，ｔ））は、実数ベクトル（ｓ，ｔ）の各要素を四捨五入した整数ベクトルを返す関数とする。

また、計測対象外領域算出部２２は、記憶部１２に記憶される３次元形状モデルの奥行き値を用いて計測済み領域Ｒ２を算出することができる。この場合、記憶部１２が記憶した３次元形状モデルＧの奥行き値が一定以上または一定以下の部分を計測対象外の近景または遠景とみなし、これに対応する撮像した対象を含む２次元画像Ｉの画素の集合が計測対象外領域Ｒ２に相当する。これによって、計測対象外領域Ｒ２を算出することができる。すなわち、撮像した対象を含む２次元画像Ｉ上の画素ｐ（ｕ，ｖ）に対して、奥行き値ｄ（ｕ，ｖ）、奥行き閾値ｄｍｉｎおよびｄｍａｘを用いて、計測対象外領域Ｒ２を以下のように定義することができる。

また、未計測領域算出部２３は、計測済み領域Ｒ１と計測対象外領域Ｒ２とを用いて未計測領域Ｒ３を算出することができる。この場合、例えば、未計測領域Ｒ３は、撮像した対象を含む２次元画像Ｉの各画素のうち、計測済み領域Ｒ１と計測対象外領域Ｒ２のいずれにも属さないが、画素の集合に相当する。これによって未計測領域Ｒ３を算出することができる。すなわち、撮像した対象を含む２次元画像Ｉ上の画素ｐ（ｕ，ｖ）に対して、未計測領域Ｒ３は以下のように定義することができる。

次に、図３および図４を参照して、図１および図２に示した３次元形状計測装置１の動作例について説明する。例えば、計測者が所定の操作を行うと、撮像部１１が、２次元画像Ｉを取得する（ステップＳ３０１）。次に、記憶部１２が、２次元画像Ｉを記憶する（ステップＳ３０２）。次に、３次元形状モデル生成部１３が、２次元画像Ｉ、記憶された２次元画像Ｉｏｌｄに基づき、記憶された３次元形状モデルＧを更新する（ステップＳ３０３）。次に、計測済み領域算出部２１が、記憶された２次元画像Ｉ、記憶された３次元形状Ｇ、カメラ位置Ｐ及びカメラパラメータＡから計測済み領域Ｒ１を算出する（ステップＳ３０４）。次に、計測対象外領域算出部２２が、記憶された２次元画像Ｉ及び記憶された３次元形状モデルＧから計測対象外領域Ｒ２を算出する（ステップＳ３０５）。次に、未計測領域算出部２３が、計測済み領域Ｒ１および計測対象外領域Ｒ２から未計測領域Ｒ３を算出する（ステップＳ３０６）。次に、表示用画像生成部１５が、計測済み領域Ｒ１、計測対象外領域Ｒ２、未計測領域Ｒ３および２次元画像Ｉから表示用画像Ｖを生成する（ステップＳ３０７）。次に、表示部１６が、表示用画像Ｖを表示する（ステップＳ３０８）。その後、計測者からの指示等に基づいて３次元形状計測処理を終了する場合は、処理を終了し（ステップＳ３０９でＹＥＳ）、それ以外の場合は（ステップＳ３０９でＮＯ）、ステップＳ３０１に戻る。

ここで、表示部１６に表示された表示用画像Ｖに基づいて、計測者は撮影部１１（撮像部）を移動させる。これと同時に撮影部１１は前回とは異なる視点から撮像した被写体を含む２次元画像Ｉを新たに取得する。ここにおいて、処理がステップＳ３０１に戻ることとなり、上記の処理が繰り返し実行される。

以上のようにして、本実施形態の３次元形状計測装置１では、撮像した被写体を含む２次元画像Ｉ及び３次元形状モデルＧから算出した計測済み領域Ｒ１に基づいて、表示用画像Ｖが生成される。すなわち、この構成では、表示用画像Ｖを生成する際に、画像内の各画素が計測済み領域Ｒ１に属しているか否かを参考情報として用いることができる。この構成によれば、例えば、計測済み領域Ｒ１が強調された表示用画像を生成して表示部１６に表示することができる。すなわち、単純に撮像した被写体を含む２次元画像Ｉに加えて計測済み３次元形状モデルＧを表示部１６に表示する場合に比べ、具体的にどのように撮像部１１を移動させれば未計測領域を計測できるか、計測者が容易に判断することが可能となる。

また、本実施形態の領域算出部１４は、記憶部１２に記憶される２次元画像Ｉｏｌｄ及び３次元形状モデルＧに基づいて、計測済み領域Ｒ１、計測対象外領域Ｒ２及び未計測領域Ｒ３を算出し、表示用画像生成部１５に出力する。したがって、表示用画像Ｖを生成する際に計測済み領域Ｒ１、計測対象外領域Ｒ２及び未計測領域Ｒ３を参考情報として用いることができ、具体的にどのように撮像部１１を移動させれば未計測領域を計測できるかをより明確化して表示用画像Ｖを生成することができる。

なお、３次元形状計測装置１は、図１に示したように、撮像部１１、記憶部１２、３次元形状モデル生成部１３、領域算出部１４、表示用画像生成部１５及び表示部１６を一体として備えることもできるし、例えば、１又は２以上の要素３次元形状計測装置の構成要素）の各々を別の装置で構成することもできる。例えば、撮像部１１、記憶部１２、３次元形状モデル生成部１３、領域算出部１４、表示用画像生成部１５及び表示部１６は、一体として、携帯カメラ、携帯情報端末等の電子機器として構成することができる。また、例えば、撮像部１１、記憶部１２及び表示部１６の一部又は全部を携帯カメラで構成し、３次元形状モデル生成部１３、領域算出部１４及び表示用画像生成部１５をパーソナルコンピュータ等で実現することができる。

さらに、３次元形状計測装置１は、無線や有線の通信装置を備え、図１に示した構成要素間を無線や有線の通信回線を介して接続してもよい。

また、３次元形状計測装置１は、記憶部１２に記憶される２次元画像群及び３次元形状モデルに基づいて、３次元形状計測装置１の移動を推定する処理を行う手段（装置）を設けることができる。この移動の推定は、例えば、複数の２次元画像において各２次元画像に含まれる複数の特徴点の位置を追跡することで行うことができる（例えば、非特許文献１参照）。その際、動画像のような複数の２次元画像間で特徴点を追跡する手法としては、Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ法（ＫＬＴ法）等、複数の手法が広く使用されている。この移動の推定結果は、例えば、記憶部１２に記憶することができる。

また、３次元形状計測装置１は、例えば、ＧＰＳ（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）受信機等を用いて自装置の位置情報を取得する機能を有したり、加速度センサー、ジャイロセンサー等を用いて自装置の移動を検知する機能を有したりしていてもよい。この移動の検知結果は、例えば、記憶部１２に記憶することができる。

なお、本発明の実施の形態は、上記実施形態に限定されない。例えば、３次元形状計測装置１は、１又は複数のＣＰＵと、ＣＰＵで実行されるプログラムとを用いて構成することができ、そのプログラムは、コンピュータ読み取り可能な記録媒体や通信回線を介して流通等させることができる。

本発明に係る３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラムは、デジタルカメラ等の撮像装置、カメラを備える携帯情報端末等に利用できる。

１ ３次元形状計測装置
１１ 撮像部
１２ 記憶部
１３ ３次元形状モデル生成部
１４ 領域算出部
１５ 表示用画像生成部
１６ 表示部
２１ 計測済み領域算出部
２２ 計測対象外領域算出部
２３ 未計測領域算出部

Claims (8)

1. 撮像した所定の２次元画像を逐次出力する撮像部と、
   前記撮像部が出力した前記２次元画像を記憶する記憶部と、
   前記記憶部に記憶される前記２次元画像に基づいて、３次元形状モデルを生成し、生成した３次元形状モデルを前記記憶部に記憶させる３次元形状モデル生成部と、
   前記記憶部に記憶される前記２次元画像および前記３次元形状モデルから前記２次元画像内の計測済み領域を算出する領域算出部と、
   前記計測済み領域に基づいて、前記２次元画像から表示用画像を生成する表示用画像生成部とを備える、３次元形状計測装置。
2. 前記領域算出部は、前記記憶部に記憶される前記２次元画像および前記３次元形状モデルから、前記２次元画像内の計測対象外領域、計測済み領域および未計測領域を算出し、
   前記表示用画像生成部は、前記計測対象外領域、前記計測済み領域および前記未計測領域に基づいて、前記２次元画像から表示用画像を生成する請求項１に記載の３次元形状計測装置。
3. 前記領域算出部は、前記記憶部に記憶される前記２次元画像および前記３次元モデルから前記２次元画像内の低精度計測済み領域および高精度計測済み領域を算出する請求項１又は請求項２に記載の３次元形状計測装置。
4. 前記３次元形状モデル生成部は、精度設定の変更を指示する精度設定変更指示部を更に備える請求項３に記載の３次元形状計測装置。
5. 前記表示用画像生成部は、前記計測済み領域の画素値が高くかつ前記計測対象外領域の画素値が低い前記表示用画像を生成する請求項１から請求項４のいずれか一項に記載の３次元形状計測装置。
6. 前記２次元画像内の前記未計測領域の分布に基づいて、最適な前記撮像部の移動方向を算出する最適移動方向算出部と、
   前記最適移動方向算出部によって算出された移動方向を案内する情報を出力する最適移動方向出力部とを更に備える請求項１から請求項５のいずれか一項に記載の３次元形状計測装置。
7. ２次元画像を逐次取得し、
   取得された前記２次元画像を記憶部に記憶し、
   記憶された前記２次元画像に基づいて、３次元モデルを生成し、生成した３次元形状モデルを前記記憶部に記憶し、
   前記記憶部に記憶される前記２次元画像および前記３次元形状モデルから、前記２次元画像内の計測済み領域を算出し、
   前記領域算出ステップにおいて算出された前記計測済み領域に基づいて、前記２次元画像から表示用画像を生成する３次元形状計測方法。
8. ２次元画像を撮像する撮像部から出力される前記２次元画像を記憶部に記憶させる記憶ステップと、
   前記記憶ステップにおいて記憶された前記２次元画像に基づいて、３次元モデルを生成し、生成した３次元形状モデルを前記記憶部に記憶させる３次元形状モデル生成ステップと、
   前記記憶部に記憶される前記２次元画像および前記３次元形状モデルから前記２次元画像内の計測済み領域を算出する領域算出ステップと、
   前記計測済み領域に基づいて前記２次元画像から表示用画像を生成する表示用画像生成ステップとをコンピュータに実行させる、３次元形状計測プログラム。