JP4764959B1 - 撮影装置及びその制御方法 - Google Patents

Abstract

不必要な広範囲画像を記録しないようにする。
第１カメラ，第２カメラは、視差画像を撮影する。これら各カメラは設定モードでは、測定対象物の全体を撮影できるようにした全体撮影用焦点距離にズーム駆動されて、スルー画表示のための広範囲画像の撮影を行う。設定モードで視差画像を撮影する際の焦点距離、撮影対象部分を設定した後、視差画像の撮影を指示すると、スルー画表示のための広範囲画像の撮影対象部分の画像が調べられ、広範囲画像の記録の要否が判定される。広範囲画像の記録が必要と判定された場合には、第１カメラで広範囲画像の静止画を撮影してから、各カメラを測定用焦点距離にズーミングして視差画像を撮影する。視差画像の範囲を示す案内枠が合成された広範囲画像が視差画像とともに記録される。
【選択図】図４

Description

本発明は、三次元情報を取得するための撮影装置及びその制御方法に関するものである。

測定対象物の三次元情報を取得するための撮影装置として、例えばステレオカメラが知られている。ステレオカメラでは、一対のカメラを左右に適当な間隔で離して配置し、測定対象物を被写体として撮影、視差画像を得る。視差画像は、各カメラで撮影された左右一対の視点画像からなる。各視点画像上の対応点の視差に基づいて、測定対象物の三次元情報、すなわち測定対象物の任意の点の三次元空間での座標値を求めることができる。

上記のようにして得られる三次元情報の分解能は、撮影距離が短いほど、また視差画像を撮影する撮影レンズの焦点距離が長いほど高くなる。このため、通常は比較的に長い焦点距離の撮影レンズを用い、撮影距離を短くして測定対象物の一部を撮影している。しかし、このような条件で撮影を行った場合に、測定対象物の形状や表面の模様などによっては、記録された視点画像を見ただけでは測定対象物の撮影箇所がわからないという問題があった。

対象物の広範囲画像と測定または監視対象の箇所の拡大画像とを撮影・記録して、測定または監視対象の箇所が対象物のいずれの箇所であるかを容易に判断できるようにした装置が特許文献１，２によって知られている。

特開平８−２２３４６６号公報 特開２００３−２２７７０６号公報

ところで、測定対象物の一部を撮影した視差画像の他に、測定対象物の広範囲画像を撮影して記録する場合では、広範囲画像を撮影するための動作時間や記録容量が余分に必要になるが、一見して視差画像の撮影箇所が測定対象物のいずれの部分であるかがわかるような場合にまで、広範囲画像を撮影・記録することは効率的ではない。一方で、撮影時の操作者の判断で広範囲画像の撮影・記録の要否を決定するようにした場合では、その判断に個人差が生じるため、他のユーザが撮影箇所を識別できないといった問題も生じる。

本発明は、上記課題を鑑みてなされたものであって、不必要な広範囲画像を記録しないようにして、測定対象物の三次元情報を取得するための撮影を効率的に行うことができる撮影装置及びその制御方法を提供することを目的とする。

上記課題を達成するために、本発明の撮影装置では、撮影部と、判定部と、記録制御部とを備える。撮影部は、可変焦点型の撮影レンズを有する第１のカメラを含む複数のカメラからなる。各カメラは、三次元情報を測定するための測定画像としての視差画像を撮影するときに、同一の焦点距離で測定対象物の測定部分を撮影する。測定部分を含む測定対象物の広範囲な広範囲画像を撮影するときには、視差画像の撮影時よりも撮影レンズの焦点距離を短くして、第１のカメラによって撮影を行う。判定部は、撮影部から得られる測定対象物の測定部分またはその周辺部分の画像に基づいて、広範囲画像の記録の要否を判定する。記録制御部は、判定部によって広範囲画像の記録が必要と判定されたときに、広範囲画像に視差画像の範囲を示す案内を重ねた画像を生成して記録させる。

撮影部は、広範囲画像を撮影する際に、第１のカメラの焦点距離を広角端として撮影するのがよい。

また、本発明の撮影装置では、投光部と、撮影部と、判定部と、記録制御部とを備える。投光部は、測定対象物に測定用の光を照射する投光する。撮影部は、可変焦点型の撮影レンズを備えるカメラを有する。この撮影部は、三次元情報を測定するための測定画像を撮影するときには、測定用の光が照射される測定対象物の測定部分の測定画像を撮影し、測定部分を含む測定対象物の広範囲な広範囲画像を撮影するときには、測定画像の撮影時よりも撮影レンズの焦点距離を短くして撮影を行う。判定部は、撮影部から得られる測定対象物の測定部分またはその周辺部分の画像に基づいて、広範囲画像の記録の要否を判定する。記録制御部は、判定部によって広範囲画像の記録が必要と判定されたときに、広範囲画像に測定画像の範囲を示す案内を重ねた画像を生成して記録させる。

判定部は、測定画像に特徴のある模様を検出できないときに、広範囲画像の記録が必要と判定するのがよい。

判定部は、測定画像に対する、その周辺部分の画像の類似度が所定レベル以上のときに、広範囲画像の記録が必要と判定するのもよい。

判定部は、複数のカメラで撮影される視差画像の対応点の検出を行い、対応点の検出結果に基づいて広範囲画像の記録の要否を判定するのもよい。

判定部は、対応点に１対１で対応する基準点を検出し、この検出される基準点の個数が所定の値Ｎ（Ｎは１以上）以上の場合に、広範囲画像の記録が不要と判定し、それ以外の場合に必要と判定するのもよい。

判定部は、対応点の候補となる対応点候補が複数見つかる基準点を検出し、この検出される基準点の個数が所定の値Ｍ（Ｍは１以上）未満の場合に、広範囲画像の記録が不要と判定し、それ以外の場合に必要と判定するのもよい。

判定部は、対応点に１対１で対応する基準点を検出し、この検出される基準点の個数が所定の値Ｎ（Ｎは１以上）以上、かつ対応点の候補となる対応点候補が複数見つかる基準点を検出し、この検出される基準点のされる個数が所定の値Ｍ（Ｍは１以上）未満の場合に、広範囲画像の記録が不要と判定し、それ以外の場合に必要と判定するのもよい。

さらに、本発明の撮影装置の制御方法では、測定対象物の測定部分またはその周辺部分の画像に基づいて、測定画像の撮影時よりも撮影レンズの焦点距離が短くして撮影した測定対象物の広範囲画像の記録の要否を判定し、広範囲画像の記録が必要と判定されたときに、広範囲画像に測定画像の範囲を示す案内を重ねた画像を生成して記録する。

本発明によれば、測定対象物の測定部分またはその周辺部分の画像を用いて、広範囲画像の記録の要否を判定し、必要と判定されたときに、広範囲画像に測定画像の範囲を示す案内を重ねた画像を記録するように制御するから、測定画像が測定対象物の撮影箇所のいずれの部分であるかがわかるような場合には、その広範囲画像の記録が行われないため無駄をなくし効率化を図ることができる。また、画像を用いて記録の要否を判定するので、操作者の判断の個人差による影響がなくなり、撮影箇所の識別の可否に応じて適切に広範囲画像の記録がされ、また記録されないようにできる。

本発明を実施した三次元情報取得装置の構成を示すブロック図である。 表示部に表示される枠付き広範囲画像を示す説明図である。 第１カメラで撮影される右視点画像を示す説明図である。 第２カメラで撮影される左視点画像を示す説明図である。 三次元情報の解析結果の表示例を示す説明図である。 撮影手順を示すフローチャートである。 特徴のある模様の検出の有無で判定を行う判定処理を示すフローチャートである。 視差画像の撮影対象部分と周辺部分との各画像の類似度で判定を行う判定処理を示すフローチャートである。 視差画像の撮影対象部分とそれに隣接する部分の画像の関係を示す説明図である。 周辺部分の一部が視差画像の撮影対象部分に重なる状態を示す説明図である。 対応点の検出結果に基づいて判定を行う判定処理を示すフローチャートである。 第１、第２カメラに加えて広範囲画像を撮影するカメラを設けた構成を示す斜視図である。 光切断法で三次元情報を取得する三次元情報取得装置の構成を示すブロック図である。 光切断法の三次元情報取得装置の撮影手順を示すフローチャートである。 光切断法の三次元情報取得装置に広範囲画像を撮影するカメラを設けた構成を示す斜視図である。

［第１実施形態］
第１実施形態の三次元情報取得装置の構成を図１に示す。三次元情報取得装置１０は、本発明の撮影装置を含む。この三次元情報取得装置１０は、第１カメラ１１，第２カメラ１２によって測定対象物Ｏｂｊの視差画像を撮影し、その視差画像を解析して測定対象物Ｏｂｊの三次元情報、すなわち三次元空間における測定対象物上の任意の点Ｐｉの座標値（Ｘｉ，Ｙｉ，Ｚｉ）取得する。測定画像としての視差画像は、異なる視点から撮影された各視点画像の集合であり、三次元情報取得装置１０では、第１カメラ１１によって撮影される右視点画像と、第２カメラ１２によって撮影される左視点画像とからなる。

システム制御部１４は、三次元情報取得装置１０の各部を統括的に制御する。操作部１５は、これを操作することにより、焦点距離の設定、撮影の指示、視差画像の解析の指示などを行うことができる。

三次元情報取得装置１０の動作モードとして、測定対象物Ｏｂｊの測定範囲を設定する設定モードと、広範囲画像を撮影する広範囲画像撮影モードと、視差画像を撮影する測定用撮影モードと、視差画像を解析して三次元情報を取得する解析モードとがある。設定モードでは、操作部１５の操作で測定範囲を設定する。この測定範囲の設定には、視差画像を撮影する際の測定用焦点距離（撮影画角）、すなわち撮影範囲の広さの設定と、測定対象物Ｏｂｊ上の撮影対象部分の設定が含まれる。

上述のように、三次元情報取得装置１０には、第１カメラ１１と、第２カメラ１２とが設けられている。第１カメラ１１と第２カメラ１２とは、光軸ＰＬ１，ＰＬ２が互いに平行となる向きで、左右方向に一定の間隔をあけて配されている。なお、光軸ＰＬ１，ＰＬ２を平行としたが、適当な輻輳角を持たせて第１カメラ１１と第２カメラ１２を配してもよい。また、第１カメラ１１、第２カメラ１２が並ぶ方向は、左右方向に限られるものではない。例えば第１カメラ１１、第２カメラ１２を上下方向に並べて配してもよい。また、２視点からの各視点画像を撮影しているが、３視点以上の各視点画像を撮影する構成であってもよい。

第１カメラ１１は、撮影レンズ１１ａとイメージセンサ部１１ｂとから構成される。この第１カメラ１１は、撮影レンズ１１ａで結像される光学像をイメージセンサ部１１ｂで電気信号に変換して出力する。イメージセンサ部１１ｂは、例えばＣＣＤ型やＭＯＳ型のイメージセンサで構成されている。撮影レンズ１１ａは、ワイド端とテレ端との間で焦点距離を変化させることができるズームタイプとなっている。この撮影レンズ１１ａのズーミングによって、第１カメラ１１の撮影範囲の広狭を調節することができる。第２カメラ１２についても、第１カメラ１１と同様に、ズームタイプの撮影レンズ１２ａとイメージセンサ部１２ｂとから構成されている．

レンズ制御部１６は、各撮影レンズ１１ａ，１２ａの焦点距離を調節し、互いに同じ焦点距離となるように制御する。設定モード及び広範囲画像モードでは、レンズ制御部１６は、各撮影レンズ１１ａ，１２ａの焦点距離を全体撮影用焦点距離とし、測定用撮影モードでは、設定モード下で設定される測定用焦点距離とする。なお、広範囲画像を撮影する際には、少なくとも広範囲画像を実際に撮影するカメラだけを全体撮影用焦点距離とすればよい。したがって、第１カメラ１１を全体撮影用焦点距離と測定用焦点距離とで変化させ、第２カメラ１２を常に測定用焦点距離とする制御であってもよい。

広範囲画像は、測定対象物Ｏｂｊのいずれの部分を視差画像として撮影し、またいずれの部分を撮影したものであるかを提示するために用いる。したがって、広範囲画像は、必ずしも測定対象物Ｏｂｊの全てが撮影されていなくてもよい。すなわち、測定対象物Ｏｂｊ上での撮影対象部分の位置がわかれば、測定対象物Ｏｂｊが部分的に撮影されなくてもよい。全体撮影用焦点距離は、上述の広範囲画像を撮影するための焦点距離であり、例えば測定対象物Ｏｂｊの全体を撮影することができる焦点距離として、測定対象物の大きさに応じて操作者によって予め設定される。なお、撮影レンズ１１ａ，１２ａの広角端の焦点距離を全体撮影用焦点距離として設定してもよい。

また、レンズ制御部１６は、後述する信号処理部１７からの画像データに基づいて、測定対象物Ｏｂｊにピントが合致するように各撮影レンズ１１ａ，１２ａのピントを調節する。このピントの調節は、例えばコントラスト検出法により行うが、他の手法によって調節してもよい。

雲台１９は、雲台制御部１９ａによって制御される。この雲台１９に第１及び第２カメラ１１，１２が取り付けられている。雲台制御部１９ａは、操作部１５の操作に応じて、第１及び第２カメラ１１，１２の撮影方向を左右方向、上下方向に振るように雲台１９を駆動する。これにより、測定対象物Ｏｂｊを固定したまま、撮影対象部分を変更することができる。

なお、第１，第２カメラ１１，１２を左右方向、上下方向にスライドさせて撮影対象部分を変更してもよい。また、この例では、広範囲画像撮影モードと測定用撮影モードとでは、同一の撮影方向となるように雲台１９を固定し、視差画像の撮影範囲が広範囲画像の中央に位置するようにしているが、設定モード及び広範囲画像撮影モードでは、測定用撮影モードと撮影方向を変え、測定対象物Ｏｂｊの全てが広範囲画像として撮影されるように制御してもよい。

信号処理部１７は，カメラ１１，１２のそれぞれに対応して設けた相関二重サンプリング回路、増幅回路、Ａ／Ｄ変換器などから構成されている。この信号処理部１７は、各カメラ１１，１２の出力信号にノイズ除去、信号増幅を施した後にデジタル変換し、得られる画像データをバス１８に出力する。

バス１８には、システム制御部１４やレンズ制御部１６，信号処理部１７などの各部が接続されており、このバス１８を通して各部がデータの授受，各種指示の授受を行うことができる。

露出制御部２１は、各カメラ１１，１２を作動させて視差画像、広範囲画像の撮影を行わせる。撮影の際には、露出制御部２１は、各カメラ１１，１２の電子シャッタ速度を制御し、測定画像、広範囲画像が適正露出となるようにする。設定モード及び広範囲画像撮影モードでは、一方のカメラ、例えば第１カメラ１１だけで撮影を行う。第１カメラ１１は、設定モードでは、スルー画表示のための撮影を行い、広範囲画像撮影モードでは静止画を撮影する。測定用撮影モードでは、第１カメラ１１と第２カメラ１２とでそれぞれ撮影を行う。

画像処理部２２は、撮影された広範囲画像、視差画像に対してホワイトバランス補正やガンマ補正などを行う。また、画像処理部２２は、視差画像として撮影される範囲を示す案内枠Ｇｆ（図２参照）を広範囲画像に合成した枠付き広範囲画像を生成する枠合成処理を行う。この枠合成処理は、後述する枠設定部２３からの測定用焦点距離情報に基づいて行う。

広範囲画像と視差画像（右視点画像）とは、撮影方向を同じにして、第１カメラ１１の焦点距離を変化させて撮影するので、それらの画像の中心は一致する。このため、枠合成処理では、案内枠Ｇｆの中心を広範囲画像の中心に一致させ、測定用焦点距離情報に示される撮影画角に対応する大きさの案内枠Ｇｆを重ねるようにして画像合成を行う。

表示部２５は、表示すべき画像の画像データを記憶するＶＲＡＭや、ＶＲＡＭに記憶されている画像データに基づいた駆動信号を発生させるドライバ、ドライバからの駆動信号で駆動されることで画像を表示するモニタなどから構成される。

設定モード下では、第１カメラ１１から得られる広範囲画像に枠合成処理を施したデータ、すなわち枠付き広範囲画像が順次に表示部２５に入力されて表示される。これにより、第１カメラ１１で撮影中の広範囲画像をスルー画として観察しながら、それに重ねて表示される案内枠Ｇｆによって、測定対象物Ｏｂｊのいずれの部分を撮影対象部分としているのかを操作者が知ることができる。解析モード下では、表示部２５には、例えば枠付き広範囲画像、視差画像、この視差画像を解析することにより得られる三次元情報などが表示される。

圧縮伸長部２６は、視差画像、枠付き広範囲画像を記録メディア２7に記録する際に、それらのデータを所定形式で圧縮する。また、圧縮伸長部２６は、記録メディア２7から読み出された視差画像、枠付き広範囲画像を伸長する。伸長された視差画像は、表示部２５、解析部３１に送られ、伸長された枠付き広範囲画像は、表示部２５に送られる。なお、画像を圧縮する際の圧縮率は、測定画像よりも広範囲画像の圧縮率を大きくすることが好ましい。

記録部２8は、記録メディア２7に対する画像データの書き込み読み出しを行う。詳細を後述する判定処理によって広範囲画像の記録が必要と判断された場合には、記録部２8は、枠付き広範囲画像と視差画像の各データを含む１つのファイルを生成し、このファイルを記録する。この記録されるファイルには、視差画像の撮影に用いた測定焦点距離などの、三次元情報を解析する際に必要となる情報も記録される。一方、広範囲画像の記録が不要と判断された場合には、記録部２8は、画像データとして視差画像だけを含むファイルを生成して記録する。記録メディア２７からファイルを読み出したときには、記録部２８は、ファイル中に含まれる視差画像、枠付き広範囲画像を、圧縮伸長部２６に送る。

なお、この例では、対応する枠付き広範囲画像と測定画像とを１つのファイルとして記録することにより、これらの関連付けを行っているが、関連付けの手法はこれに限られない。例えば、枠付き広範囲画像と視差画像とを別ファイルとして記録し、それらのファイルに含まれるタグに関連づけられる他方のファイル名を記録したり、双方のファイルを関連付けるためのファイルを記録したりしてもよい。記録メディア２７の代わりに、メモリやハードディスクなどに記録してもよい。

また、広範囲画像あるいは枠付き広範囲画像からサムネイル画像を作成し、ファイルのサムネイル画像とすることも好ましい。このようにすれば、必要な視差画像を含むファイルを迅速に見つけることができる。

枠設定部２３は、測定用撮影モードでの測定用焦点距離を設定し、その測定用焦点距離をメモリ２３ａに記憶する。測定用焦点距離の設定は、設定モード下での操作部１５による撮影画角の設定操作に応答して行われる。メモリ２３ａに記憶される測定用焦点距離は、測定用焦点距離情報として画像処理部２２に送られ、枠付き広範囲画像を生成する際に用いられる。また、測定用撮影モード時には、メモリ２３ａに記憶されている測定用焦点距離がレンズ制御部１６によって参照され、その測定用焦点距離となるように第１カメラ１１，第２カメラ１２がズーミングされる。

判定部３２は、枠付き広範囲画像の記録の要否を判定する判定処理を行う。この判定処理では、判定部３２は、広範囲画像の記録の要・不要の判定を視差画像として撮影される撮影対象部分が他の部分と区別可能か否かという観点で行う。この例では、設定モード中に撮影される広範囲画像を用い、それの視差画像に相当する領域内（測定画像の撮影対象部分）を調べ、その領域内に特徴のある模様を検出できたときには、枠付き広範囲画像の記録が不要と判定し、特徴のある模様を検出できないときには枠付き広範囲画像の記録が必要と判定する。

特徴のある模様としては、例えば点や線の配列、色の配列や濃淡やそれらの組み合わせによって表現される形状、マークなどを挙げることができる。また、特徴のある模様としては、予め設定したパターンとすることもできる。なお、他の部分と区別できるかという観点からは、同様な模様が繰り返されており、視差画像の周囲も同様な模様の配列となっていることが推測されるような場合には、特徴のある模様を検出できないと判定するのがよい。枠付き広範囲画像の記録が必要と判定した場合には、広範囲画像撮影モードとして広範囲画像の撮影を行ってから、測定用撮影モードとして視差画像の撮影を行う。

判定部３２は、設定モード下で撮影される広範囲画像を用いて判定を行っているが、例えば設定モード下で第２カメラ１２を測定用焦点距離に設定し、この第２カメラ１２で撮影された視点画像を用いて判定行ってもよい。また、判定処理を測定用撮影モードでの撮影後に行ってもよく、この場合には、測定用撮影モードで撮影された視点画像のいずれか一方を判定に用いることができる。

解析部３１は、視差画像を解析し、測定対象部の範囲の各部分の三次元情報を演算して求める。この解析では、各視点画像のうちの一方、例えば左視点画像を基準画像とし、他方を参照画像として、基準画像中の基準点（画素）と同一点を撮影した参照画像中の対応点の視差を求め、この視差と、各カメラ１１，１２の画素サイズ、焦点距離や撮影距離、カメラ間隔（基線長）などから撮影レンズの光軸に平行な方向での距離（奥行き方向の距離）、奥行き方向に垂直な平面方向での座標を算出する。算出される三次元情報は、表示部２５に表示され、また記録部２５を介して記録メディア２７に記録される。

設定モードでの表示部２５の表示画面の一例を図２Ａに示す。表示部２５の表示画面には、広範囲画像３５に案内枠Ｇｆを合成した枠付き広範囲画像３６が表示される。この案内枠Ｇｆによって示される領域は、図２Ｂに示す右視点画像３７Ｒ、図２Ｃに示す左視点画像３７Ｌの撮影範囲とほぼ同じになっている。

なお、この例では、第１カメラ１１で撮影する広範囲画像３５の中心に案内枠Ｇｆの中心を一致させているので、案内枠Ｇｆで示す領域は、右視点画像３７Ｒの領域とおおよそ同じになる。しかし、厳密には左右の各視点画像の撮影範囲は異なるので、左視点画像と右視点画像の重複領域を算出し、重複領域を枠として表示するようにしても良い。また、記録時の枠も同様に重複領域としても良い。また、設定モード下で表示部２５に測定用焦点距離で撮影される画像を表示するようにしてもよい。

図３は、解析モード下での表示部２５の表示状態の一例を示している。表示部２５の表示画面の右半分には、グラフィック表示エリア４１、データ表示エリア４２が設けられている。グラフィック表示エリア４１には、視差画像から解析された３次元情報に基づいて生成される測定対象物Ｏｂｊの測定部分の形状を視覚化したグラフィックが表示される。データ表示エリア４２は、解析された３次元情報のデータが表示される。

表示部２５の左半分には、右視点画像エリア４３Ｒ、左視点画像エリア４３Ｌ、広範囲画像エリア４４が設けられている。右視点画像エリア４３Ｒ、左視点画像エリア４３Ｌには、右視点画像、左視点画像が表示され、広範囲画像エリア４４には枠付き広範囲画像が表示される。なお、枠付き広範囲画像が記録されていない場合には、表示されない。

次に上記構成の作用について説明する。測定対象物Ｏｂｊの撮影を行う場合には、まず測定対象物Ｏｂｊをカメラ１１，１２の前方に置く。次に、操作者は、操作部１５を操作して、三次元情報取得装置１０を設定モードにする。

設定モードとなると、図４に示すように、レンズ制御部１６の制御の下で、撮影レンズ１１ａ，１２ａがそれぞれ全体撮影用焦点距離にまでズーム駆動される。また、設定モードとなることにより、第１カメラ１１での動画の撮影が開始され、その撮影画像、すなわち広範囲画像が信号処理部１７を介して画像処理部２２に送られる。この画像処理部２２には、枠設定部２３にそれまでに設定されている測定用焦点距離情報が入力されている。このため、現在撮影されている広範囲画像に、その測定用焦点距離に対応する撮影範囲を示す案内枠Ｇｆが合成された枠付き広範囲画像が生成され、これが表示部２５に送られて表示されるようになる。

操作者は、表示部２５に表示されている枠付き広範囲画像を観察しながら、案内枠Ｇｆ内に測定しようとする測定対象物Ｏｂｊの部分が入るように、操作部１５を操作し、雲台１９を作動させて各カメラ１１，１２の撮影方向を調節する。また、操作部１５を操作して、測定用焦点距離の調節を行う。測定用焦点距離を行うと、各カメラ１１，１２の焦点距離は、この時点では全体撮影用焦点距離に維持されるが、枠設定部２３に設定・記憶されている測定用焦点距離が変化する。このため、その変化に対応して撮影中の広範囲画像に合成される案内枠Ｇｆのサイズが増減される。これにより、操作者は、表示部２５に表示されている枠付き広範囲画像を観察することで、視差画像として撮影される撮影対象部分を知ることができる。

上記のような操作で撮影対象部分を所望とする範囲、位置とした後、操作部１５を操作して視差画像の撮影を指示する。この指示により、まず広範囲画像の記録の要否の判定処理が判定部３２によって行われる。

判定処理では、図５に示すように、現時点で第１カメラ１１によって撮影されている１フレーム分の広範囲画像を取り出して、その広範囲画像のうちの撮影対象部分となるべき領域内に特徴のある模様が検出されるか否かが調べられる。そして、特徴のある模様が検出された場合には、広範囲画像の記録が不要となるため、この後に測定用撮影モードに移行し、検出できなかった場合には、広範囲画像の記録が必要となるため、広範囲画像撮影モードに移行する。

例えば、特徴のある模様が検出されずに、広範囲画像撮影モードに移行した場合には、全体撮影用焦点距離を維持したまま、第１カメラ１１の露出制御とピント合わせを行って静止画撮影を行う。これにより、記録するための広範囲画像の撮影が行われ、この広範囲画像に案内枠Ｇｆが画像処理部２２で合成されて、枠付き広範囲画像が生成される。生成された枠付き広範囲画像は、圧縮伸長部２６に送られてデータ圧縮された後に、記録部２８に送られる。

なお、広範囲画像撮影モードを実行して広範囲画像を撮影する代わりに、視差画像の撮影を指示の時点あるいはその直前に設定モードで撮影されていた１フレーム分の広範囲画像を用いるように構成してもよい。

上記のようにして枠付き広範囲画像が生成された後、あるいは広範囲画像の記録が不要と判断された後には、測定用撮影モードとなる。測定用撮影モードとなると、レンズ制御部１６によって、枠設定部２３に設定・記憶されている測定用焦点距離が参照され、その焦点距離となるように各カメラ１１，１２がズーミングされる。

ズーミングの後、第１，第２カメラ１１，１２の露出制御とピント合わせが行われてから、各カメラ１１，１２によって静止画の撮影が行われる。これにより、広範囲画像上の案内枠Ｇｆで示されていた測定対象物Ｏｂｊの撮影対象部分を撮影した右視点画像と左視点画像からなる視差画像が撮影される。そして、視差画像は、圧縮伸長部２６に送られてデータ圧縮された後に記録部２８に送られる。

視差画像が記録部２８に入力されると、枠付き広範囲画像と視差画像とを含むファイルが生成され、これが記録メディア２７に記録される。なお、広範囲画像の記録が不要と判定されている場合には、視差画像だけを含むファイルが生成されて記録メディア２７に記録される。

視差画像の解析を行う場合には、操作部１５を操作して解析モードにする。なお、測定用撮影モードの後に、自動的に解析モードに移行させてもよい。解析モード下では、操作部１５を操作して、記録メディア２７に記録されている解析すべきファイルを選択する。

選択されたファイルは、記録部２８によって記録メディア２７から読み出され、そしてその中に含まれる画像が取り出される。例えば、選択されたファイルが視差画像と枠付き広範囲画像とを含むものであるときには、それら各画像がファイルから取り出され、それぞれ圧縮伸長部２６によって伸長される。この後に、視差画像と枠付き広範囲画像が表示部２５に送られて、右視点画像エリア４３Ｒ、左視点画像エリア４３Ｌ、広範囲画像エリア４４にそれぞれ表示される。操作者は、広範囲画像エリア４４に表示される枠付き広範囲画像を参照することにより、表示されている視差画像が測定対象物のいずれの部分のものであるかを知ることができる。

また、視差画像が解析部３１に送られ、この解析部３１で解析されて得られる三次元情報と、結果を視覚化したグラフィックとが表示部２５に送られ、データ表示エリア４２，グラフィック表示エリア４１にそれぞれ表示される。

上記実施形態では、その判定処理において、特徴のある模様を視差画像の撮影対象部分から検出できるか否かによって、広範囲画像を記録するか否かを判定しているが、この判定の手法は、これに限られるものではない。

図６は、撮影対象部分の画像とその周辺部分の画像との一致度（類似度）によって、広範囲画像記録の要否を判断する例を示している。この例では、広範囲画像内の撮影対象部分の画像と、その周辺部分の画像との一致度を演算して求め、その一致度が所定値以上であるときは、周辺に類似する領域があるため撮影対象部分を明確にするために広範囲画像の記録を必要と判定し、一致度が所定値未満のときには広範囲画像の記録を不要と判定する。

例えば図７に示すように、視差画像の撮影対象部分の画像Ｐｔの周辺部分を、画像Ｐｔと同じサイズの複数の画像Ｐｃに区分し、それぞれの画像Ｐｔ、Ｐｃについて画素値のヒストグラムを求める。そして、画像Ｐｔと１つの画像Ｐｃの同じ画素値どうしのヒストグラムの値の差分（絶対値）を各画素値について求め、各画素値の差分を合計した値の逆数を一致度とする。そして、いずれか１つの画像Ｐｃの一致度が所定値以上であるときに広範囲画像の記録が必要と判定する。

なお、上記の例では、一致度の判定にヒストグラムを用いているが、一致度を求める手法はこれに限られるものではなく、例えば画像Ｐｔと各画像Ｐｃを適当な画素数からなる複数のブロックにそれぞれ分割し、画像Ｐｔと１つの画像Ｐｃの対応するブロック同士の画素値の平均値の差分をそれぞれ求め、その差分の合計値の逆数を一致度としてもよい。また、画像Ｐｔと各画像Ｐｃを周波数に変換し、その周波数同士の比較によって一致度を判定してもよい。

また、周辺部分としては、視差画像の撮影対象部分の画像の周囲に限らず、図８にハッチングで示すように、一部が視差画像の撮影対象部分に重なる領域であってもよい。また、撮影対象部分の画像と一致度が判定される画像Ｐｃを区画する際に、画像Ｐｃの領域の一部が相互に重なってもよい。

さらに、判定処理は、図９に示す例のように、各カメラ１１，１２で撮影された広範囲画像中の撮影対象部分の各画像の対応点の検出を行い、その対応点の検出結果に基づいて広範囲画像の記録の要否を判定してもよい。

図９に示す例では、対応点の検出が正常に行えない場合に、広範囲画像の記録が必要と判定し、正常に行える場合には、記録が不要としている。この判定では、対応点に１対１で対応する基準点の検出個数が所定の値Ｎ以上、かつ対応点の候補となる対応点候補が複数見つかる基準点の検出個数が所定の値Ｍ未満のときに、対応点の検出が正常に行えると判断して広範囲画像の記録が不要とし、それ以外の場合には対応点の検出を正常に行えず広範囲画像の記録が必要とする。

上記の判定に用いる値Ｎ，値Ｍは、広範囲画像の記録を必要とする場合の撮影対象部分の特徴の有無の程度や、視差画像の画素数などに応じて、１以上の値に適宜決定することができる。値Ｎは、撮影対象部分中に他の部分と区別するために必要な特徴的な部分の多さを判断する基準値となり、この値Ｎが大きいほど、撮影対象部分が他の部分と区別し易いような場合でも広範囲画像が記録されるようになる。一方、値Ｍは、例えば繰り返し模様が多い、模様や濃淡がない等のように、撮影対象部分中に他の部分と区別できないような部分の多さを判断する基準値となり、この値Ｍが大きいほど、撮影対象部分が他の部分と区別し難いような場合でも広範囲画像が記録されなくなる。

なお、この例では、値Ｎと値Ｍとの両方を用いて広範囲画像の記録の要否の判定を行っているが、値Ｎだけ、あるいは値Ｍだけを用いて広範囲画像の記録の要否の判定することもできる。また、広範囲画像中の撮影対象部分の各画像に代えて、測定用焦点距離で撮影された視差画像を用いることもできる。

図１０は、視差画像を撮影するカメラとは別に、広範囲画像を撮影するカメラを設けたものである。第１，第２カメラ１１，１２は、視差画像を撮影するように測定用焦点距離に設定され、第３カメラ４８は、全体撮影用焦点距離に設定される。この第３カメラ４８は、雲台１９に固定されており、撮影範囲の中心が第１，第２カメラ１１，１２のものとほぼ一致するように、その撮影方向が第１，第２カメラ１１，１２とともに変えられる。

なお、第３カメラ４８の撮影方向を第１，第２カメラ１１，１２とは独立して変えられるようにしてもよい。この場合にも、上記と同様に撮影範囲の中心が第１，第２カメラ１１，１２のものと一致するように制御することもできる。また、第１，第２カメラ１１，１２の撮影方向によらず、第３カメラ４８が常に測定対象物Ｏｂｊの全体を撮影できるように制御することもできる。

［第２実施形態］
第２実施形態の三次元情報装置の構成を図１１，図１２に示す。この三次元情報装置５０は、光切断法によって測定対象物の三次元情報を測定するものである。なお、三次元情報装置５０は、スリット光を測定対象物に照射して１台のカメラで測定画像を撮影する他は、第１実施形態と同様であり、実質的に機能が同じ構成部材には、同じ符号を付してその説明を省略する。

雲台１９上には、投光器５１、カメラ５２が配置されている。投光器５１は、測定用撮影モード時に、例えばレーザ装置などから出力された縦長のスリット状のスリット光を測定対象物Ｏｂｊに照射する。この投光器５１は、走査制御部５３で駆動が制御される走査機構５１ａを有しており、この走査機構５１ａによるスリット光の照射位置の移動と、スリット光の照射とを繰り返し行う。

カメラ５２は、撮影レンズ５２ａ、イメージセンサ部５２ｂとから構成される。このカメラ５２は、第１実施形態の第１カメラ１１と同様に制御され、設定モード及び広範囲画像撮影モードでは、全体撮影用焦点距離とされて広範囲画像の撮影を行い、測定用撮影モードで測定用焦点距離とされて測定画像の撮影を行う。

測定用撮影モードでは、測定画像として撮影される範囲をスリット光の照射位置が順次に移動している間、イメージセンサ部５２ｂでの電荷蓄積を行うことにより、照射位置が変えられた多数のスリット光を１枚の測定用画像に撮影する。解析部３１は、上記のように撮影される測定用画像を解析して、測定対象物Ｏｂｊの測定範囲の三次元情報を求める。なお、スリット光の照射位置が移動するごとに１枚の測定画像を撮影するように構成してもよい。

この例においても、図１２に示すように、広範囲画像の記録の要否を判定し、広範囲画像の記録が必要と判定された場合に、カメラ５２で広範囲画像を撮影し、それに案内枠を合成した枠付き広範囲画像を記録する。なお、判定処理では、第１実施形態において説明した特徴ある模様が検出できるか否かで判定する手法、撮影対象部分の画像とその周辺領域の画像との一致度（類似度）で判定する手法を用いることができる。

この第２実施形態では、光切断法を用いた三次元情報装置について説明したが、本発明は、これに限定されるものではなく、投光器から光を測定対象物に照射し、その像を測定画像として撮影する各種三次元情報装置に利用することができる。例えば、投光器から格子パターンを測定対象物に投影し、ワーク上の変形格子像を測定画像としてカメラで撮影するものや、投光器から測定対象物に照射されたスポット光をカメラで撮影して測定画像とするものに利用でできる。また、図１０に示す例と同様に、図１３に示すように、広範囲画像を撮影するためのカメラ４８を設けてもよい。

上記各実施形態では、広範囲画像を測定画像に関連づけて記録しているが、測定画像に変えて測定画像から取得される三次元情報に関連づけて記録してもよい。また、三次元情報の解析をＰＣ等の外部装置で行っても良い。

１０，５０ 三次元情報取得装置
１１，１２，５２ カメラ
１１ａ，１２ａ，５２ａ 撮影レンズ
２８ 記録部
３２ 判定部

Claims (10)

1. 可変焦点型の撮影レンズを有する第１のカメラを含む複数のカメラからなり、三次元情報を測定するための測定画像としての視差画像を撮影するときには、同一の焦点距離で測定対象物の測定部分を各カメラで撮影し、測定部分を含む測定対象物の広範囲な広範囲画像を撮影するときには、視差画像の撮影時よりも撮影レンズの焦点距離を短くした第１のカメラで撮影を行う撮影部と、
   前記撮影部から得られる測定対象物の測定部分またはその周辺部分の画像に基づいて、広範囲画像の記録の要否を判定する判定部と、
   前記判定部によって広範囲画像の記録が必要と判定されたときに、広範囲画像に視差画像の範囲を示す案内を重ねた画像を生成して記録させる記録制御部とを備えたことを特徴とする撮影装置。
2. 前記撮影部は、広範囲画像を撮影する際に、第１のカメラの焦点距離を広角端として撮影することを特徴とする請求項１記載の撮影装置。
3. 測定対象物に測定用の光を照射する投光する投光部と、
   可変焦点型の撮影レンズを備えるカメラを有し、三次元情報を測定するための測定画像を撮影するときには、測定用の光が照射される測定対象物の測定部分の測定画像を撮影し、測定部分を含む測定対象物の広範囲な広範囲画像を撮影するときには、測定画像の撮影時よりも撮影レンズの焦点距離を短くして撮影を行う撮影部と、
   前記撮影部から得られる測定対象物の測定部分またはその周辺部分の画像に基づいて、広範囲画像の記録の要否を判定する判定部と、
   前記判定部によって広範囲画像の記録が必要と判定されたときに、広範囲画像に測定画像の範囲を示す案内を重ねた画像を生成して記録させる記録制御部とを備えたことを特徴とする撮影装置。
4. 前記判定部は、測定画像に特徴のある模様を検出できないときに、広範囲画像の記録が必要と判定することを特徴とする請求項１ないし３のいずれか１項に記載の撮影装置。
5. 前記判定部は、測定画像に対する、その周辺部分の画像の類似度が所定レベル以上のときに、広範囲画像の記録が必要と判定することを特徴とする請求項１ないし３のいずれか１項に記載の撮影装置。
6. 前記判定部は、前記複数のカメラで撮影される視差画像の対応点の検出を行い、対応点の検出結果に基づいて広範囲画像の記録の要否を判定することを特徴とする請求項１記載の撮影装置。
7. 前記判定部は、対応点に１対１で対応する基準点を検出し、この検出される基準点の個数が所定の値Ｎ（Ｎは１以上）以上の場合に、広範囲画像の記録が不要と判定し、それ以外の場合に必要と判定することを特徴とする請求項６記載の撮影装置。
8. 前記判定部は、対応点の候補となる対応点候補が複数見つかる基準点を検出し、この検出される基準点の個数が所定の値Ｍ（Ｍは１以上）未満の場合に、広範囲画像の記録が不要と判定し、それ以外の場合に必要と判定することを特徴とする請求項６記載の撮影装置。
9. 前記判定部は、対応点に１対１で対応する基準点を検出し、この検出される基準点の個数が所定の値Ｎ（Ｎは１以上）以上、かつ対応点の候補となる対応点候補が複数見つかる基準点を検出し、この検出される基準点の個数が所定の値Ｍ（Ｍは１以上）未満の場合に、広範囲画像の記録が不要と判定し、それ以外の場合に必要と判定することを特徴とする請求項６記載の撮影装置。
10. 三次元情報を取得するために測定対象物の一部の測定画像を撮影する撮影装置の制御方法において、
    測定対象物の測定部分またはその周辺部分の画像に基づいて、測定画像の撮影時よりも撮影レンズの焦点距離が短くして撮影した測定対象物の広範囲画像の記録の要否を判定し、
    広範囲画像の記録が必要と判定されたときに、広範囲画像に測定画像の範囲を示す案内を重ねた画像を生成して記録することを特徴とする撮影装置の制御方法。

Images