JP2016020891A - 形状計測システムおよび撮像装置 - Google Patents

Abstract

【課題】 対象物の３次元形状を計測することができる形状計測システムおよび形状計測装置を提供すること。
【解決手段】本形状計測システム１００は、筐体内に備えられ、筐体内に配置される計測対象を照明する１以上の照明手段１２８と、筐体内に備えられ、計測対象を撮像する１以上の撮像手段１２６と、筐体内に備えられ、１以上の撮像手段１２６および１以上の照明手段１２８を、略球体を近似する多面体形状に配置されるように保持する保持手段１１６と、１以上の撮像手段１２６および１以上の照明手段１２８のうちの動作させるものを選択する選択手段１３２と、１以上の照明手段１２８のうちの動作するものによる照明下で１以上の撮像手段１２６のうちの動作するものによって撮像された画像情報に基づき、計測対象の３次元形状を演算する形状演算手段１９４とを含む。
【選択図】 図６

Description

本発明は、形状計測技術に関し、より詳細には、対象物の３次元形状を計測することができる形状計測システムおよび撮像装置に関する。

近年、対象物体を立体的に認識可能とするために、計測対象物の３次元形状を全周に渡って計測する装置が開発されている（例えば特開２００１−２４３４９７号公報（特許文献１）や特開２００３−０８３７２７号公報（特許文献２））。特許文献１の従来技術では、複数の異なる方向から撮像された撮像画像を用いるが、このような撮像画像は、計測対象物を回転させながら撮影したり、計測装置自体を計測対象物の周りを移動させながら撮影したり、といった手法で撮像される。

しかしながら、従来技術の３次元形状計測装置では、一度に得られる３次元モデルは撮影装置の方を向いている面だけであった。このため、全周の３次元モデルを得るためには、計測対象物を回転させるか、または撮影装置を移動させることが必要であり、計測に時間がかかるといった問題があった。

短時間に対象物体の全周３次元モデルを表示することのできる３次元形状計測装置を提供する目的とした技術として、特開２０１３−９２８７８号公報（特許文献３）が知られている。特許文献３は、パネルが側面および上面に配置され接合されて底面が開放された形状の筐体と、上記パネルの各内面に配置され筐体内部を撮影する撮影手段と、筐体内部を複数方向から選択的に照射する照明手段とを備え、底面側から対象物体に被せて使用するスタジオ装置を開示する。また、特開２００７−１０９２３４号公報（特許文献４）は、顔の３次元モデルを構成するためにジオデシックドーム内に顔スキャナを設ける構成を開示する。

しかしながら、上記特許文献３および特許文献４の従来技術では、撮影手段もしくは照明手段を対象物体に応じて動的に制御する機構を持たない。このため、撮影手段もしくは照明手段の数を増やそうとした場合、全ての撮影手段および照明手段を用いて３次元形状を計測しなければならない点で、充分なものではなかった。対象物体によっては、より少ない撮像手段および照明手段で充分な場合があり、撮像手段および照明手段を余分に動作させることは、計測にかかる時間を増大させ、消費電力を増大させることになる。また、底面からの撮像ができず、全方位から計測対象物の３次元形状を計測できるものでもなかった。

本発明は、上記従来技術における不充分な点に鑑みてなされたものであり、本発明は、計測対象物の３次元形状を全方位から精度よくかつ効率よく計測することが可能な形状計測システムおよび形状計測装置を提供することを目的とする。

本発明は、上記課題を解決するために、下記特徴を有する形状計測システムを提供する。本形状計測システムは、筐体内に備えられ、筐体内に配置される計測対象を照明する１以上の照明手段と、筐体内に備えられ、計測対象を撮像する１以上の撮像手段と、筐体内に備えられ、上記１以上の撮像手段および１以上の照明手段を、略球体を近似する多面体形状に配置されるように保持する保持手段と、上記１以上の撮像手段および１以上の照明手段のうちの動作させるものを選択する選択手段と、上記１以上の照明手段のうちの動作するものによる照明下で上記１以上の撮像手段のうちの動作するものによって撮像された画像情報に基づき、計測対象の３次元形状を演算する形状演算手段とを含む。

上記構成により、計測対象物の３次元形状を全方位から精度よくかつ効率よく計測することが可能となる。

本実施形態による３次元形状計測システムの概略構成および３次元形状撮像装置の外観を示す図。 図１に示した基板フレームが有するジオデシックドーム形状を説明する図。 本実施形態による基板ユニットの表面（撮像部および照明部積載面）の概略構成図。 本実施形態による基板ユニットの裏面（撮像部および照明部積載面の裏面）の概略構成図。 本実施形態による情報処理装置のハードウェア構成図。 本実施形態による３次元形状撮像装置の各基板ユニットおよび情報処理装置上の３次元形状計測に関する主要な構成要素およびデータフローを示す図。 本実施形態による撮像照明制御部の詳細な機能ブロック図。 本実施形態による３次元形状計測システムが実行する３次元計測処理を示すフローチャート。 特定の実施形態における照度差ステレオ法を用いた３次元形状計測について説明する図。 特定の実施形態による３次元形状撮像装置の各基板ユニットおよび情報処理装置上の３次元形状計測に関する主要な構成要素およびデータフローを示す図。 好適な実施形態による３次元形状撮像装置の各基板ユニットおよび情報処理装置上の３次元形状計測に関する主要な構成要素およびデータフローを示す図。 （Ａ）必要な被写界深度、（Ｂ）複数のフォーカス位置での複数回の撮像、および（Ｃ）複数回撮像した画像の合成について説明する図。 好適な実施形態による３次元形状撮像装置が実行する、全焦点画像のための撮像処理を示すフローチャート。

以下、本実施形態について説明するが、以下に説明する実施形態に限定されるものではない。なお、以下に説明する実施形態では、形状計測システムおよび撮像装置として、３次元形状計測システムおよび３次元形状撮像装置を一例として説明する。

図１は、本実施形態による３次元形状計測システム１００の概略構成および３次元形状撮像装置１１０の外観を示す図である。図１に示す３次元形状計測システム１００は、３次元形状撮像装置１１０と、この３次元形状撮像装置１１０に接続される情報処理装置１６０とを含み構成される。３次元形状撮像装置１１０と情報処理装置１６０との間は、特に限定されるものではないが、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、有線ＵＳＢ（Universal Serial Bus）、無線ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの有線または無線の通信路を介して接続されている。

３次元形状撮像装置１１０は、計測対象となる物等（以下、計測対象物という。）の３次元形状を計測するために、計測対象物を全方位にわたる多視点から一括で撮像する撮像装置である。３次元形状撮像装置１１０の筐体は、台座１１２と、外部環境からの光を遮光する遮光ドーム１１４と、ジオデシックドーム（Geodesic Dome）形状を有する基板フレーム１１６と、計測対象物を載置する対象物テーブル１１８と、基板フレーム１１６に固定される複数の基板ユニット１２０とを含み構成される。

基板ユニット１２０は、本実施形態において、筐体内に設置される計測対象物を撮像するために基板フレーム１１６に固定される基本ユニットである。基板ユニット１２０は、１または複数の照明部と、１または複数の撮像部とを含み構成される。基板ユニット１２０は、基板ユニット１２０が基板フレーム１１６の適切な位置に固定されると、これらの照明部および撮像部が、対象物テーブル１１８上の所定位置に配置された計測対象物の方向を向くように、構成されている。

基板フレーム１１６は、筐体内に備えられ、上述した撮像部および照明部がジオデジック・ドーム形状に配置されるように、基板ユニット１２０を接続して保持する保持手段である。基板フレーム１１６は、すべての基板ユニット１２０が基板フレーム１１６の所定の箇所に固定されると、全体として、対象物テーブル１１８上に配置された計測対象物を全方位にわたる多視点から撮像し、３次元情報を全方位から取得できるように構成されている。

遮光ドーム１１４は、閉じ合わせると基板フレーム１１６を包含する、上下の半球部１１４Ｔ，１１４Ｂを含み構成される。遮光ドーム１１４が分割された構成に対応して、上述した基板フレーム１１６は、上半球部１１４Ｔに対応する上部基板フレーム１１６Ｔと、下半球部１１４Ｂに対応する下部基板フレーム１１６Ｂとに分割されている。遮光ドーム１１４は、好適には、上下の半球部１１４Ｔ，１１４Ｂが閉じ合わせられると、筐体内部への外部光を遮光できるように構成されている。また、好ましくは、遮光ドーム１１４Ｔ，１１４Ｂの内面は、例えば、つや消し表面加工や、黒塗り加工などがなされて、内面での光の反射が低減されるような加工が施されている。また、遮光ドーム１１４は、基板ユニット１２０からの電源ケーブルや通信ケーブルなどのケーブル類を筐体から取り出せるように構成されている。なお、遮光ドーム１１４の形状は、図１に示すような球体でなくともよく、他の形を採用することもできる。

対象物テーブル１１８は、計測対象物を所定の位置（例えば、ジオデシックドーム形状の中心）に載置するためのテーブルである。対象物テーブル１１８は、好ましくは、下半球部１１４Ｂに対応する下部基板フレーム１１６Ｂからの撮像をできるだけ妨げないよう、計測対象物の大きさに応じて最小の大きさとなるように構成されている。また、対象物テーブル１１８の材質は、特に限定されるものではないが、撮像部に対して計測対象物が隠れてしまわないように、透明材料で構成することができる。さらに、計測対象物の大きさに応じて対象物テーブル１１８の高さを変更できるようにしてもよい。さらに、支柱を有するテーブルに限定されるものではなく、吊り下げ形式のテーブルとしてもよい。

情報処理装置１６０は、３次元形状撮像装置１１０と接続されて、３次元形状撮像装置１１０に対し、撮像条件および照明条件などの種々の設定値を設定するとともに、３次元形状撮像装置１１０により撮像された３次元情報（複数の視点からの撮像画像を含む。）を受信し、３次元形状を演算し、３次元モデルを生成する。情報処理装置１６０は、また、この生成された３次元モデルに基づいて、所定の視点から計測対象物を観察した場合の画像を仮想的に復元し、情報処理装置１６０が備えるディスプレイ上に表示することができる。なお、立体視が可能なディスプレイとし、３次元画像を復元してもよい。

図２は、図１に示した基板フレーム１１６が有するジオデシックドーム形状を説明する図である。ジオデシックドームとは、正十二面体や正二十面体などの正多面体、または、切頂二十面体などの半正多面体（凸多面体でありかつ一様多面体である多面体のうちの正多面体以外の多面体が含まれる。）を基礎とし、さらに対称性をできるだけ維持しながら、多面体を構成する正多角形を２以上に細分割し、これにより生じた頂点を外接球面へ投影して構成される、略球体を近似する多面体形状を有するドーム状構造をいう。図２に示すジオデシックドーム形状ＧＤは、正二十面体を基礎とし、正二十面体を構成する各正三角形ＴＡの３辺を３等分し、分割した９つの正三角形の頂点を外接球面上に投影することにより生成されたものである。

図２に示す例では、正二十面体の２０面の各正三角形を、さらに、９分割しているため、全体で１８０つの面が存在する。そして、図１および図２に示す実施形態では、合わせて１８０面体を構成する基板フレーム１１６Ｔ，１１６Ｂの各面に基板ユニット１２０を張り付けることによって、ジオデシックドーム形状に１以上の撮像部および１以上の照明部が配置された構造が実現される。その他、特に限定されるものではないが、合わせて２０面体を構成する基板フレーム１１６Ｔ，１１６Ｂの各面に、各９面の三角形の基板ユニット１２０が張り付けられたサブフレームを固定することによって実現してもよい。

このように、ジオデシックドーム形状の各面に基板ユニット１２０を張り付けて固定することによって、大きな費用をかけることなく、全ての撮像部および全ての照明部を、計測対象物からの距離および密度がともに同程度となる位置に全方位にわたり配置することが可能となる。

３次元形状計測においては、全ての撮像部および全ての照明部が、計測対象物から等距離かつ等密度に配置されていることが望ましいところ、図１および図２に示すようなジオデジック・ドーム形状を採用することにより、コスト上実際には作成することが難しい球体を近似する形状を実現し、照明部および撮像部を均等に配置することが可能となる。また、図１および図２に示すジオデシックドーム形状では、解放された面が無いように構成できるので、全方位にわたり撮像することが可能であり、３次元形状計測装置内に入射する外部光を遮光することもできる。

図３は、基板ユニット１２０の表面（撮像部および照明部が積載され、計測対象物を向いている面）の概略構成を示す図である。基板ユニット１２０は、基板１２２と、基板フレーム１１６に固定するための基板固定部１２４と、計測対象物の３次元情報を取得するため撮像を行う１または複数の撮像部１２６と、計測対象物を照明するための１または複数の照明部１２８とを含み構成される。

基板固定部１２４は、例えばネジなどの締結部材を設ける箇所であり、当該基板ユニット１２０を基板フレーム１１６の所定位置に固定するために用いられる。図３に示す実施形態では、三角形状の基板１２２の３隅に基板固定部１２４Ｔ，１２４Ｌ，１２４Ｒが設けられている。撮像部１２６は、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサなどの固体撮像素子を含む。図３に示す実施形態では、ピラミッド状に合計１０個の撮像部１２６が基板１２２上に設けられている。照明部１２８は、ＬＥＤ（Light Emitting Diode）やＯＬＥＤ（Organic Light Emitting Diode）などの発光素子を含む。図３に示す実施形態では、ピラミッド状に設けられた１０個の撮像部１２６をそれぞれ取り囲んで、合計１０個の照明部１２８が基板１２２上に設けられている。

複数の撮像部１２６は、それぞれ独立して動作するよう構成されている。例えば全ての基板ユニット１２０に搭載されている撮像部１２６全てを同時に動作させる場合、計測対象物の３次元情報を全方位から最大の精度で取得することが可能となる。また、絵画などのように下部からの計測が不要な対象物については、上部基板フレーム１１６Ｔに固定されている基板ユニット１２０のみに搭載された撮像部１２６を動作させることにより、上半球にわたる視点からのみ３次元情報を取得し、無駄を省くことが可能である。

さらに、基板ユニット１２０に搭載されている複数の撮像部１２６のうちの、任意のもののみを選択的に動作させてもよい。例えば、すべての基板ユニット１２０を動作させる一方で、基板ユニット１２０各々に搭載されている複数の撮像部１２６のうち、それぞれの中心に設けられた１つの撮像部のみを動作させることができる。さらに、基板ユニット１２０毎に、動作させる撮像部１２６（その数および配置）を変更することも可能である。

なお、ひとつの基板ユニット１２０上の撮像部１２６の個数は、特に限定されるものではなく、図３では、１０個の撮像部を配置する構成を例示しているが、１個、６個、１５個など他の数としていいことは言うまでもない。また、複数の撮像部１２６の配置については、均一な密度を実現することが好ましいが、図３に示すピラミッド形状に限定されるものではない。例えば、中心のみに１つの撮像部１２６を配置する構成としてもよい。また、撮像部１２６は、モノクロおよびカラーのいずれを撮像する機能を有していてもよいし、静止画および動画のいずれを撮像する性能を有していてもよい。さらに、好ましい実施形態においては、撮像部１２６としては、例えば画像情報以外に距離情報を得ることができるＴｏＦ（Time of Flight）カメラを用いてもよい。ＴｏＦカメラを用いることにより、画像情報のほかに、撮像部１２６から計測対象物までの距離情報を得ることができる。

複数の照明部１２８についても、撮像部１２６と同様に、それぞれ独立して動作するよう構成されている。なお、図３に示す照明部１２８は、より詳細には、各撮像部１２６を取り囲むように配置された、８つの照明部品（ひとつひとつがＬＥＤ素子などである。）１２８ａ〜１２８ｈを含んでいる。そして、このような照明部品１２８ａ〜１２８ｈも、それぞれ独立して動作するよう構成することができる。

照明部１２８を構成する照明部品１２８ａ〜１２８ｈは、それぞれ、同一または異なる発光波長および同一または異なる光度を有している。例えば、照明部１２８を構成する照明部品１２８ａ〜１２８ｈのうち赤色の照明部品（例えば１２８ｂおよび１２８ｆである）のみを点灯させて、撮像部１２６を動作させることで、赤色の照明条件下での３次元情報を取得することができる。つまり、照明の波長を選択し、ひいては、照明の色合いを調節することが可能となる。

なお、ひとつの基板ユニット１２０上の照明部１２８の個数、照明部１２８を構成する照明部品の個数は、特に限定されるものではない。図３では、撮像部１２６と同じく１０個の照明部１２８を配置する構成を例示しているが、４個、６個など他の数としていいことは言うまでもない。また、照明部１２８の配置についても、図３に示すようなピラミッド形状に限定されるものではなく、照明部１２８内での各照明部品１２８ａ〜１２８ｈの配置も、撮像部１２６の周辺に円周状に配置することに制約されるものではない。

例えば図３に示す３つの撮像部１２６毎に中心に１つの照明部１２８を配置し、撮像部１２６を１０個および照明手段を６個搭載した基板ユニット１２０として構成することもできる。また、基板ユニット１２０の中心にある撮像部を取り外し、取り外した場所に照明部を配置することもできる。また、ひとつの基板ユニット１２０上には、撮像部１２６および照明部１２８のいずれかのみを設けるようにしてもよい。

また、照明部１２８は、ＬＥＤを含むものに限定されるものではなく、プロジェクタ（液晶パネルおよび拡大光学系）を含んでもよいし、レーザダイオード素子を含んでいてもよい。照明部１２８にプロジェクタを用いる場合には、所定の形状を有するパターン光など任意の形での照射が可能となり、レーザダイオード素子を用いた場合には、ビーム角度を狭くし、光度を高めて計測対象物に照射することによって、３次元形状を演算する際のマーカ（目印）として利用することができる。さらに、照明部１２８は、単一種類の光源とすることに制約されず、ＬＥＤ素子、プロジェクタおよびレーザダイオード素子の少なくとも２つの混合としてもよい。

図４は、基板ユニット１２０の裏面（撮像部および照明部が積載された面の裏面）の概略構成を示す図である。基板ユニット１２０は、電源部１３０と、撮像部１２６および照明部１２８を制御する撮像照明制御部１３２と、撮像照明制御部１３２の１次記憶領域を提供する主記憶部１３４と、２次記憶領域を提供する副記憶部１３６と、当該基板ユニット１２０を外部の情報処理装置１６０と通信させて、制御情報や測定した３次元情報を受信および送信するための情報転送部１３８とを含み構成される。

電源部１３０は、各部１３２〜１３８に電力を給電し、動作させる。撮像照明制御部１３２は、ＣＰＵやマイクロプロセッサを備えるプロセッサ・ユニット、ＦＰＧＡ（Field Programmable Gate Array）およびこれらの組み合わせ（プロセッサコアが組み込まれたエンベディッドＦＰＧＡを含む。）により実現される。主記憶部１３４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などにより実現される。副記憶部１３６は、ＳＤカード（登録商標）やフラッシュメモリ、ＳＳＤ（Solid State Drive）などにより実現される。情報転送部１３８は、ＮＩＣ（Network Interface Card）、ＵＳＢ２．０、ＵＳＢ３．０のインタフェース・カードなどにより実現される。

図４に示す構成では、撮像照明制御部１３２を構成するプロセッサが、副記憶部１３６に格納されたオペレーティング・システムなどの制御プログラムを読み出し、主記憶部１３４が提供する作業領域上に展開することにより、後述する撮像照明制御部１３２上の各機能部および各処理の一部または全部を実現することができる。また、撮像照明制御部１３２を構成するプログラマブル・ロジック・デバイスが、副記憶部１３６に格納されたビットストリームデータを読み出し、コンフィグレーションメモリ上に展開することにより、各機能部および各処理の一部または全部を実現することができる。あるいは、ＡＳＩＣなどの特定回路として、各機能部および各処理の一部または全部が実現されてもよい。

なお、図４に示す構成は、例示であり、機能を実現できる範囲内で、機能の集約およびデバイスの削減を行うことができる。例えば、撮像照明制御部１３２を起動するための制御プログラムを、情報転送部１３８を経由してネットワーク取得し、ブートすることが可能であれば、副記憶部１３６は必ずしも必要ではない。また、充分な不揮発メモリを搭載したＦＰＧＡ製品も存在するので、そのようなＦＰＧＡ製品を用いる場合も、副記憶部１３６は必ずしも必要ではない。

図５は、本実施形態による情報処理装置１６０のハードウェア構成を示す図である。本実施形態による情報処理装置１６０は、ノート型、タブレット型、デスクトップ型のパーソナル・コンピュータ、ワークステーションなどの汎用コンピュータなどとして構成されている。図５に示す情報処理装置１６０は、シングルコアまたはマルチコアのＣＰＵ１６２と、ＣＰＵ１６２とメモリとの接続を担うノースブリッジ１６４と、該ノースブリッジ１６４と専用バスまたはＰＣＩバスを介して接続され、ＰＣＩバスやＵＳＢなどのＩ／Ｏとの接続を担うサウスブリッジ１６６とを含む。

ノースブリッジ１６４には、ＣＰＵ１６２の作業領域を提供するＲＡＭ１６８と、映像信号を出力するグラフィックボード１７０とが接続される。グラフィックボード１７０には、アナログＲＧＢ、ＨＤＭＩ（High-Definition Multimedia Interface，登録商標）、ＤＶＩ（Digital Visual Interface，登録商標）、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）などの映像出力インタフェースを介してディスプレイ１９０に接続される。

サウスブリッジ１６６には、ＰＣＩ（Peripheral Component Interconnect）１７２、ＬＡＮポート１７４、ＩＥＥＥ（The Institute of Electrical and Electronics Engineers, Inc.）１３９４ポート１７６、ＵＳＢ（Universal Serial Bus）ポート１７８、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの補助記憶装置１８０、オーディオ入出力１８２、シリアルポート１８４が接続される。補助記憶装置１８０は、情報処理装置１６０を制御するためのＯＳ、後述する機能部を実現するための制御プログラムや各種システム情報や各種設定情報を格納する。ＬＡＮポート１７４は、情報処理装置１６０をＬＡＮなどのネットワークを介して３次元形状撮像装置１１０に接続させるインタフェース機器である。

ＵＳＢポート１７８には、キーボード１８６およびマウス１８８などの入力装置が接続されてもよく、当該情報処理装置１６０の操作者からの各種指示の入力を受け付けるためのユーザ・インタフェースを提供することができる。本実施形態による情報処理装置１６０は、補助記憶装置１８０から制御プログラムを読み出し、ＲＡＭ１６８が提供する作業空間に展開することにより、ＣＰＵ１６２の制御の下、後述する各機能部および各処理を実現する。

以下、図６を参照しながら、本実施形態による３次元形状計測システム１００における３次元形状計測の基本アーキテクチャについて説明する。図６は、本実施形態による３次元形状撮像装置１１０の各基板ユニット１２０および情報処理装置１６０上の３次元形状計測に関する主要な構成要素およびデータフローを示す図である。図６中、細い矢印は、制御情報の流れを示し、太い矢印は、測定された３次元情報（撮像画像を含む。）の流れを示している。

図６には、基板ユニット１２０上の主要な構成要素として、１以上の撮像部１２６と、１以上の照明部１２８と、撮像照明制御部１３２と、主記憶部１３４と、情報転送部１３８とが示されている。同様に、図６には、情報処理装置１６０上の主要な要素として、情報転送部１９２と、演算制御部１９４とが示されている。

情報処理装置１６０上の情報転送部１９２は、当該情報処理装置１６０を、外部の３次元形状撮像装置１１０と通信させて、制御情報や測定された３次元情報の送信および受信を行う。情報転送部１９２は、図５に示したＬＡＮポート１７４やＵＳＢポート１７８などのインタフェースにより実現される。

情報処理装置１６０上の演算制御部１９４は、３次元形状撮像装置１１０の動作を制御し、すべての基板ユニット１２０各々の撮像部１２６および照明部１２８を統括して、計測対象物の３次元形状を計測するための制御および演算を実施する。演算制御部１９４は、典型的には、ＣＰＵ１６２が補助記憶装置１８０上の制御プログラムをＲＡＭ１６８の作業領域上に展開することにより、実現される。

本実施形態による３次元形状計測システム１００において、基本的な動作は、以下の通りである。情報処理装置１６０上の演算制御部１９４は、動作させる撮像部１２６および照明部１２８を決定し、情報処理装置１６０上の情報転送部１９２と、各基板ユニット１２０上の情報転送部１３８とを経由して、各基板ユニット１２０上の撮像照明制御部１３２へ制御情報を送信する。制御情報には、基板ユニット１２０を動作状態とするか否か、基板ユニット１２０上の撮像部１２６および照明部１２８のうちのいずれを動作状態とするか、照明部１２８に関しては、いずれの照明部品を動作させるか、といった情報が含まれる。

各基板ユニット１２０においては、撮像照明制御部１３２は、受信した制御情報に基づき、指定された照明部１２８を動作させた後、指定された撮像部１２６を動作させて撮像を行う。各基板ユニット１２０において、撮像された１または複数の撮像画像は、主記憶部１３４に転送されて一旦書き込まれる。そして、撮像照明制御部１３２は、撮像された１または複数の撮像画像を読み出し、３次元情報として構成して、情報転送部１３８を経由して、後段の情報処理装置１６０上の情報転送部１９２に転送する。転送された３次元情報は、演算制御部１９４によって読み出されて、動作させたすべての基板ユニット１２０からの３次元情報に基づいて、３次元形状が演算され、３次元モデルが復元される。演算制御部１９４は、撮像された画像情報に基づき計測対象物の３次元形状を演算する形状演算手段を構成する。

なお、演算制御部１９４により、撮像された複数の撮像画像から３次元モデルを生成する処理、生成された３次元モデルに基づいて表示画像を生成する処理については、詳細は説明しないが、これまで知られた如何なる方式を採用することができる。

撮像照明制御部１３２は、その撮像を行う際に、演算制御部１９４から出力される制御情報に基づいて、動作させる撮像部１２６および照明部１２８を制御し、３次元情報を取得する。演算制御部１９４は、３次元情報の受け取りに際して制御情報による応答を返しつつ、演算結果に応じて、必要な場合に、撮像照明制御部１３２に対し、新たな制御情報を送信することができる。

ここで、演算制御部１９４が最初に動作させる撮像部１２６および照明部１２８を指示する制御情報は、例えば、ユーザが任意に指定した情報に基づき生成することができる。また、好適な実施形態では、基板ユニット１２０の撮像照明制御部１３２における解析結果に基づいて、動作させる撮像部１２６および照明部１２８を決定することができる。動作させる撮像部１２６および照明部１２８の決定方法については、詳細を後述する。

なお、図１および図６に示した実施形態では、撮像部１２６および照明部１２８を制御する撮像照明制御部１３２から分離して、取得された３次元形状情報およびテクスチャ情報から３次元モデルを生成する演算制御部１９４を情報処理装置１６０上に構成するものとして説明した。このような構成は、基板ユニット１２０側の撮像照明制御部１３２の演算性能が充分ではない場合に好適に採用することができる。しかしながら、この構成に限定されるものではない。例えば、撮像照明制御部１３２の演算性能が充分確保できる場合は、図６に示した撮像照明制御部１３２の機能と、３次元モデルを生成する演算制御部１９４の機能とを一体的に構成することもできる。

以下、図７および図８を参照しながら、本実施形態による３次元形状計測システム１００において、動作させる撮像部１２６および照明部１２８を決定し、３次元計測を行う処理の詳細について説明する。

図７は、本実施形態による撮像照明制御部１３２の詳細な機能ブロック図である。図７に示す撮像照明制御部１３２は、制御情報受信部１４０と、制御情報送信部１４２と、３次元情報受信部１４４と、３次元情報送信部１４６と、撮像部照明部選択部１４８とを含み構成される。

制御情報受信部１４０は、当該基板ユニット１２０の情報転送部１３８からの制御情報を受信する。制御情報送信部１４２は、制御情報受信部１４０が受信した制御情報、または３次元情報の解析結果に基づく制御情報を、１以上の撮像部１２６および１以上の照明部１２８に送信し、撮像部１２６および照明部１２８各々を動作させる。

３次元情報受信部１４４は、１以上の撮像部１２６にて撮像された３次元情報（１以上の撮像画像を含む。）を受信する。受信した３次元情報は、一旦、主記憶部１３４に書き出される。３次元情報送信部１４６は、主記憶部１３４から、受信した３次元情報を読み出し、情報転送部１３８へ送信する。

撮像部照明部選択部１４８は、３次元情報受信部１４４が受信した３次元情報、別の手段によって取得された３次元情報、制御情報受信部１４０が受信した制御情報の少なくとも１つに基づいて、当該基板ユニット１２０が備える１以上の撮像部１２６および１以上の照明部１２８のうちから、動作させる撮像部および照明部（その個数および配置）を選択し、制御情報送信部１４２に制御情報として渡し、各撮像部および照明部に送信させる。

撮像部照明部選択部１４８は、得られた３次元情報を解析し、動作させる撮像部１２６および照明部１２８を動的に選択する機能を有する。これにより、３次元形状撮像装置１１０は、計測対象物に応じて動作させる撮像部１２６および照明部１２８の個数を動的に切り替えて、必要十分な３次元形状計測を行うことが可能となる。

図７には、撮像部照明部選択部１４８の詳細なブロック図が示されている。撮像部照明部選択部１４８は、より詳細には、３次元情報入力部１５０と、制御情報入力部１５２と、３次元情報解析部１５４と、制御情報出力部１５６とを含み構成される。

３次元情報入力部１５０は、３次元情報受信部１４４からの３次元情報の入力を受け付け、３次元情報解析部１５４へ渡す。制御情報入力部１５２は、制御情報受信部１４０からの制御情報（情報処理装置１６０からの制御情報である。）の入力を受け付け、３次元情報解析部１５４へ渡す。

３次元情報解析部１５４は、入力された制御情報および３次元情報を受け取り、受け取った３次元情報および制御情報を解析して、解析結果に基づいて、各撮像部１２６および各照明部１２８に対する制御情報を生成し、制御情報出力部１５６へ渡す。制御情報出力部１５６は、３次元情報解析部１５４が生成した制御情報を制御情報送信部１４２へ出力する。

３次元情報解析部１５４は、動作させる撮像部および照明部（その個数および配置）を決定するために、撮像部１２６または他の手段によって取得された計測対象物の３次元情報を解析する機能を有する。すなわち、３次元情報解析部１５４の解析結果、動作させる撮像部１２６の個数が少なくとも計測対象物の充分な３次元情報を取得できると判断される場合は、本番の計測において動作させる撮像部１２６の個数を少なくすることができる。同様に、解析の結果、動作させる照明部１２８の個数が少なくても充分な３次元情報を取得できると判断される場合は、本番の計測において動作させる照明部の個数を少なくすることができる。このような制御は、基板ユニット１２０各々に搭載されている撮像部１２６および照明部１２８について行うことができる。例えばある基板ユニット１２０では、計測対象物の比較的に複雑なつくりの部分を撮像するため、３つの撮像部１２６と５つの照明部１２８を動作させ、他の基板ユニット１２０では、比較的に簡素なつくりの部分を撮像するため、１つの撮像部１２６と１つの照明部１２８を動作させるといったことがあり得る。

どの程度の３次元情報を取得できる場合に充分と判断するかに関しては、情報処理装置１６０側からの制御情報に基づいて決定することができる。例えば、照明に関していうと、得られた画像のコントラストなどの画質を定量する指標量に対する閾値や範囲が制御情報として与えられ、指標量が閾値を上回るか否か、範囲内であるか否かによって、動作させる照明部１２８を増やしたり、減らし、照明を抑えたりすることができる。また、撮像に関していれば、画像や３次元形状の複雑さを定量する指標量に対する閾値や範囲が制御情報として与えられ、指標量が閾値を上回るか否かや、範囲内であるか否かによって、動作させる撮像部１２６の個数を増減させることができる。

また、以下のように判断することもできる。照度差ステレオ法を用いて仮の撮像を行い、計測対象物の陰影情報を取得する。その際に、撮像の密度を粗くして撮像を行い、陰影のでき方で計測対象物の複雑さを推定する。そして、陰影が複雑で細かい場合は、計測対象物は、形状が複雑であると推定し、計測において駆動させる撮像部１２６の個数を増大させるといった対応をすることができる。また、照度差ステレオ法に代えて、空間コード化法を用いて仮の撮像を行い、計測対象物の陰影情報を取得してもよい。さらに、他の実施形態では測定対象物の形状から、作業者の経験に基づいて決定することもできる。

以下、図８を参照しながら、動作させる撮像部１２６および照明部１２８を決定して３次元計測を行う具体例を説明する。図８は、本実施形態による３次元形状計測システムが実行する３次元計測処理を示すフローチャートである。図８に示す処理は、例えばユーザが情報処理装置１６０上で計測を指示したことに応答して、ステップＳ１００から開始される。

ステップＳ１０１では、計測対象物の認識処理が実行される。例えば、演算制御部１９４は、まず少数の撮像部および照明部を動作させて、計測対象物を粗く撮像し、その撮像画像に対してパターンマッチングなどを施すことによって、計測対象物を分類する。ステップＳ１０２では、認識された計測対象物の種類に応じて、動作させる基板ユニット１２０を決定する。ここでは、絵画を検出するためのテンプレートや、彫刻を検出するためのテンプレートなどの複数種類のテンプレートが事前に登録されており、各種類毎に、動作させる基板ユニット１２０が紐付けられているものとする。

例えば、絵画のような測定対象物では、一般的に下部の３次元情報が不要と考えられる。そこで、計測対象物が絵画の種類に分類された場合は、下部基板フレーム１１６Ｂの基板ユニット１２０を非動作状態とし、上部基板フレーム１１６Ｔの基板ユニット１２０を動作状態として決定する。これにより、下部基板フレーム１１６Ｂの基板ユニット１２０に搭載されている撮像部１２６および照明部１２８は動作させず、上部の基板フレーム１１６Ｔの基板ユニット１２０に搭載されている撮像部１２６および照明部１２８を動作させることができる。

ステップＳ１０３では、演算制御部１９４は、動作させるものとして決定した基板ユニット１２０の一部の撮像部１２６および照明部１２８を動作させるよう制御情報を基板ユニット１２０に送信し、かかる一部の撮像部および照明部を動作状態とする。ステップＳ１０４では、決定された基板ユニット１２０の一部の撮像部１２６および照明部１２８を動作させて、粗い３次元形状計測を行う。一部の撮像部１２６および照明部１２８は、粗い測定を行うことを目的とするものであり、例えば、各基板ユニット１２０上の中心の撮像部１２６および照明部１２８としてもよい。なお、粗い３次元計測を行う際に動作させる撮像部１２６および照明部１２８は、略均一な密度を与えるよう選択することができる。これにより、動作するものを決定するための情報を効率的に取得することができる。

ステップＳ１０５〜ステップＳ１０８では、各基板ユニット１２０毎に、得られた粗い３次元情報に基づいて、最終的に本番の測定で動作させる基板ユニット１２０の撮像部１２６および照明部１２８を決定する。

ステップＳ１０５では、各基板ユニット１２０の３次元情報解析部１５４は、得られた粗い３次元情報を解析する。ここでは、動作させる撮像部１２６および照明部１２８の個数を算出するために必要最小限な演算だけを行えばよい。ステップＳ１０６では、当該基板ユニット１２０が担当する被写体部分において、複雑な３次元形状を有するか否かを判定する。ステップＳ１０６で、複雑な３次元形状を有すると判定された場合（ＹＥＳ）は、ステップＳ１０７へ処理が分岐される。

ステップＳ１０７では、各基板ユニット１２０の３次元情報解析部１５４は、事前定義された詳細用セットの撮像部１２６および照明部１２８を動作するものとして決定し、これらを動作させる。この詳細用セットとは、複雑な３次元形状が担当範囲に含まれる場合に、詳細な計測を実施するべく事前に定義された一揃いの撮像部１２６および照明部１２８を含む。例えば、基板ユニット１２０のすべての撮像部１２６および照明部１２８を詳細用セットに含めることができる。

これに対して、ステップＳ１０６で、複雑な３次元形状を有さないと判定された場合（ＮＯ）は、ステップＳ１０８へ処理が分岐される。ステップＳ１０８では、各基板ユニット１２０の３次元情報解析部１５４は、事前定義された標準用セットの撮像部１２６および照明部１２８を決定し、これらを動作させる。この標準用セットとは、複雑な３次元形状が、自身が担当する部分に含まれない場合に、無駄を省いて計測を行うために事前に定義された一揃いの撮像部１２６および照明部１２８を含む。典型的には、基板ユニット１２０の一部の撮像部１２６および照明部１２８を標準用セットに含めることができる。

ステップＳ１０９では、各基板ユニット１２０についてステップＳ１０７またはステップＳ１０８で動作させられた１以上の撮像部１２６および１以上の照明部１２８を用いて、本番の３次元形状計測を行う。ステップＳ１１０では、演算制御部１９４は、動作する１以上の撮像部１２６により撮像された３次元情報に基づいて、計測対象物の３次元形状を演算し、３次元モデルを生成し、ステップＳ１１１で本処理を終了させる。

例えば、絵画を計測対象物とした場合において、油絵のような材料を用いて制作され、表面に複雑な３次元形状を持っていた場合を検討する。上記処理フローによれば、まず、各基板ユニット１２０の一部（例えば中心のみ）の撮像部１２６および照明部１２８を用いて密度的に粗い３次元情報を取得する（ステップＳ１０４）；そして、３次元情報解析部１５４によって、簡単な解析を行う（ステップＳ１０５）；解析の結果、複雑な３次元情報を持つことが判明した場合（ステップＳ１０６でＹＥＳ）は、その後、基板ユニット１２０に搭載されている、より多くの撮像部１２６およびより多くの照明部１２８を動作させる（ステップＳ１０７）；といった利用方法が考えられる。

なお、上述した説明では、各基板ユニット１２０上の３次元情報解析部１５４内で最終的に動作させる撮像部１２６および照明部１２８を決定するものとして説明した。しかしながら、３次元情報解析部１５４は、必要に応じて、他の基板ユニット１２０が撮像した３次元情報またはその解析結果を取得し、これらの情報を踏まえて動作させるものを決定することができる。あるいは、すべての基板ユニット１２０からの情報が集約される演算制御部１９４が、全基板ユニット各々について、最終的な個数を決定してもよい。つまり、３次元情報解析部１５４および演算制御部１９４の一方または両方が、本実施形態における、１以上の撮像部および１以上の照明部のうちの動作させるものを選択する選択手段を構成することができる。

また、図８に示した処理は、一例であり、特に限定されるものではない。例えば、高密度な３次元形状は取得できないが、高速に計測対象物までの距離を測定できる、ＴｏＦカメラなどを用いて粗い測定を行うこともできる。ＴｏＦカメラでは、センサの各画素には対象物体までの距離情報が記録されているため、距離画像から、粗い距離情報の変化を読み取ることが可能である。例えば、距離画像を解析した結果、対象範囲の距離情報の変化が大きく、３次元形状が複雑であると判断できる場合には、対象範囲を撮像するための基板ユニット１２０および撮像部１２６、照明部１２８を増やして対応することができる。ＴｏＦカメラなどを用いることにより、粗く３次元形状を計測する際の処理時間を短縮することができる。

その他、プロジェクタなどからコード化パターン光などを照射して、空間コード化法により、物体の粗い３次元情報を取得してもよいし、物体の影から粗い３次元情報を取得することもできる。これらの粗い３次元情報を単独でまたは組み合わせて用いて、最終的に本番で動作させる撮像部１２６およい照明部１２８を決定することができる。

以下、３次元形状を計測する処理について、より具体的に説明する。特定の実施形態では、３次元形状を計測するために、照明方向を変化させながら複数の画像を撮像し、光源方向に正対した物体の面が明るく写るという性質を利用して、各画素で観測される輝度値の違いから、物体表面の法線の方向を求める照度差ステレオ法を適用することができる。

図９は、特定の実施形態における照度差ステレオ法を用いた３次元形状計測について説明する図である。物体の明るさは、均等拡散面の場合、面を観測する角度によらず、光源の強度とその方向によって決定される。図９（Ａ）に示すように、面法線方向ｎを基準としてθ角傾いた方向ｓからの光源によって面が照らされている場合を検討すると、光源強度Ｌおよび物体表面の反射率ρを用いて、画像中で観察される面の明るさｘは、下記式で表すことができる。

また、面法線方向と光源方向を表す３次元単位ベクトルをそれぞれｎ’，ｓ’とした場合、ｃｏｓθ=ｎ’^Ｔｓ’より、ｘ＝ρＬｎ’^Ｔｓ’が得られる。さらに法線方向を表す単位ベクトルを反射率倍したものをρｎ’→ｎとし、光源方向を表す単位ベクトルを光源の強さ倍したものをＬｓ’→ｓとすると、下記式のように簡略化される。

ここで、図９（Ｂ）に示すように、３つの異なる光源方向ｓ１，ｓ２，ｓ３から順に物体を照らし、観察される明るさをそれぞれｘ１，ｘ２，ｘ３とすると、それらを要素とするベクトルｘ=（ｘ１，ｘ２，ｘ３）^Ｔは、下記式で表される。

よって、光源方向と光源の強さ、すなわち光源ベクトルが既知であるとすると、３行３列の行列Ｓが既知となり、逆行列Ｓ^−１を上記式の両辺に右からかけることにより、下記式のように面法線ベクトルＮを得ることができる。

上記計算を入力画像の全ての画素に関して行うことにより、物体表面上の全ての点における面法線ベクトル、すなわち法線方向および反射率を推定することができる。物体表面上の全ての点における面法線ベクトルが決定されると、物体表面上の各点における面の向きと面法線ベクトルが一致するということを手がかりに、物体の３次元形状を得ることができる。

図１０は、特定の実施形態による照度差ステレオ法により３次元形状計測を行う場合の３次元形状撮像装置の各基板ユニットおよび情報処理装置上の主要な構成要素およびデータフローを示す。

図９で示したとおり、照度差ステレオ法では、３以上の光源方向を用いて１方向からの撮像部にて被写体の撮像を行い、撮像した画像より被写体の３次元形状を計測する。照度差ステレオ法による３次元形状計測においては、撮像照明制御部１３２が、演算制御部１９４による制御の下、照明部１２８の光源の点灯および消灯を制御しながら、計測対象の被写体に照明を照射し、撮像部１２６で撮像を行う。撮像された３以上の撮像画像は、主記憶部１３４に転送されて一旦書き込まれ、３次元情報として構成されて、情報転送部１３８を経由して、後段の情報処理装置１６０上の情報転送部１９２に転送される。転送された３次元情報（３以上の撮像画像を含む。）は、演算制御部１９４によって読み出される。

図１０に示す演算制御部１９４は、各基板ユニット１２０から３次元情報として転送されてきた３以上の撮像画像から、画素単位で法線方向を算出する法線算出部１９６と、算出された画素単位の法線から３次元形状を復元する３次元形状復元部１９８とを含む。法線算出部１９６および３次元形状復元部１９８は、撮像された画像情報に基づき計測対象物の３次元形状を演算する形状演算手段を構成する。

以上、照度差ステレオ法を用いる特定の実施形態について説明したが、他の実施形態では、さらに、被写体の各点における位置の座標を得るために、被写体の撮影に用いたカメラの自動焦点調節機構により、被写体の各点における距離情報を取得する技術を適用することができる。

さらに他の実施形態では、フォーカス位置の不一致を解消し、高低差のある被写体を撮影するために、全焦点画像を撮像する技術を適用することができる。これにより、被写界深度以上の高低差のある被写体を撮影した場合にフォーカス位置の不一致により３次元形状計測の精度が劣化するという通常の照度差ステレオ法の欠点を克服することができる。

上述した全焦点画像を撮像する技術としては、（１）被写界深度拡張（ＥＤｏＦ，Extended Depth of Field）カメラを用いて全焦点画像を生成する技術、（２）フォーカス位置をスイーブすることにより全焦点画像を生成する技術、（３）フォーカス位置を変化させた複数回の撮像し画像処理することにより全焦点画像を生成する技術を挙げることができる。

上記（１）の技術では、特殊な光学系を用いて、撮像後に画像処理を施すことによって一枚で全焦点画像を撮像することができる。上記（２）の技術では、一枚の撮像中にフォーカス位置を動かすことによって、全領域にわたって均一にボケのある画像を撮像し、撮像後に画像処理することによってボケ除去を行い、全焦点画像を生成することができる。上記（３）の技術では、複数回の撮像を行い、撮像毎にフォーカス位置を変えて画像を撮像し、撮像後に画像処理によって一枚の全焦点画像を生成することができる。

しかしながら、上記（１）の技術は、専用の光学系が必要であり、装置自体が高価となり、また、小型化も難しい。上記（２）の技術は、一枚の撮像中に高速にフォーカス位置を動かす機構が必要になり、装置自体が高価となり、得られる全焦点画像も、一般的に解像度が低くなる。上記（３）の技術では、汎用的なカメラで実現できるため、装置自体は低価格で実現できるが、フォーカスの位置を少しずつ変化させた大量の撮像を行うことが必要となり、フォーカス位置を動かす機構の速度に起因して撮像時間が長期化する。また、撮像した全画像および全画素に対してフォーカス位置を算出するための演算についても、演算コストおよび演算時間が必要となる。

上述した欠点を克服し、特殊な機構を必要とせず、低コスト、低処理負荷で全焦点画像を撮像し、高低差のある被写体を精密に計測することができる、好適な実施形態による三次元計測処理について、以下、詳細を説明する。

図１１は、好適な実施形態による拡張された照度差ステレオ法により３次元形状の復元を行う場合の３次元形状撮像装置の各基板ユニットおよび情報処理装置上の主要な構成要素およびデータフローを示す。図１１に示す構成では、図１０に示した構成に加え、計測対象の被写体の粗い３次元形状を計測する距離カメラ１２７と、距離カメラ１２７から得られた被写体の粗い３次元形状情報に基づいて被写界深度を算出する被写界深度算出部１３１とを含み構成される。距離カメラ１２７および被写界深度算出部１３１は、特に限定されるものではないが、典型的には、基板ユニット１２０上に搭載することができる。距離カメラ１２７としては、上述したＴｏＦカメラを採用することができ、好適な実施形態における粗い３次元形状を取得する取得手段を構成する。被写界深度算出部１３１は、好適な実施形態における算出手段を構成する。

図１１に示す撮像照明制御部１３２は、被写界深度算出部１３１からの情報に基づいて、演算制御部１９４と連携して、照明部１２８の光源の点灯および消灯を制御しながら、撮像部１２６のフォーカス位置を制御し、撮像部１２６で撮像を行う。

複数の光源方向各々にてフォーカス位置を変化させながら撮像された複数の撮像画像は、主記憶部１３４に転送されて一旦書き込まれ、３次元情報として構成されて、情報転送部１３８を経由して、後段の情報処理装置１６０上の情報転送部１９２に転送される。転送された３次元情報（複数の光源方向各々についての複数の撮像画像を含む。）は、演算制御部１９４によって読み出される。

図１１に示す演算制御部１９４は、画像合成部１９５と、法線算出部１９６と、３次元形状復元部１９８とを含む。画像合成部１９５は、ある１つの光源方向について、フォーカス位置を変更した複数の画像を撮像した際、撮像した画像を合成して１枚の全焦点画像を生成する。図１１に示す法線算出部１９６は、３以上の方向に対応する３以上の全焦点画像から、画素単位で法線方向を算出する。３次元形状復元部１９８は、算出された画素単位の法線から３次元形状を復元する。画像合成部１９５、法線算出部１９６および３次元形状復元部１９８は、撮像された画像情報に基づき計測対象物の３次元形状を演算する形状演算手段を構成する。

図１２（Ａ）は、被写体を適切に撮像する際に必要となる被写界深度について説明する図です。被写界深度とは、ピントを合わせた部分の前後のピントが合っているように見える範囲のことをいう。被写界深度は、絞り値（Ｆ値）、レンズの焦点距離、撮影距離（被写体ｏｂｊとカメラの間の距離）で決定される。基本的には、レンズの絞り値が、小さくなるほど、被写界深度が浅くなり、大きくなるほど被写界深度が深くなる。レンズの焦点距離が、長くなるほど、被写界深度が浅くなり、短くなるほど被写界深度が深くなる。さらに、撮影距離が、短くなるほど被写界深度が浅くなり、長くなるほど被写界深度が深くなる。被写界深度は、詳細には以下の式で表される。

被写体ｏｂｊおよび被写界深度の関係について検討すると、照度差ステレオ法を用いて３次元計測を行う際は、図１２（Ａ）に示すように、撮像部１２６のカメラの被写界深度は、被写体ｏｂｊの高さよりも深い必要がある。カメラの被写界深度が被写体ｏｂｊの高さよりも浅い場合、被写体の一部にピントが合わず、画像がぼけてしまう。

携帯電話用カメラモジュールなどとして用いられる汎用的なカメラは、小型、高解像度、かつ安価であり、照度差ステレオ法においても有用なデバイスである。しかしながら、一般的な携帯電話用カメラモジュールは、絞り値や焦点距離を変更することができない。また、近年絞り値が小さくなる傾向にあり、小型化のため、被写体距離は短くしたいという要求がある。結果として、被写界深度が浅くなる傾向にある。

そこで、好適な実施形態では、距離カメラ１２７を用いて、被写体ｏｂｊの複数回撮像を実行する。図１２（Ｂ）は、好適な実施形態における距離カメラを用いた被写体ｏｂｊの複数回撮像について説明する図である。距離情報を取得できる距離カメラ１２７は、一般的になってきており、小型なものが低価格で入手できる。ただし、汎用的な距離カメラで取得できる距離情報は、通常のカメラモジュールに比べて低い解像度であるため、得られる３次元形状も解像度が低くなる。そこで、好適な実施形態では、距離カメラ１２７を用いて、まず被写体ｏｂｊの粗い３次元形状を取得し、その後、撮像部１２６にて複数回の撮像を行い、被写体ｏｂｊの最終的な三次元形状を測定する構成を採用する。

図１３は、好適な実施形態による３次元形状撮像装置１１０が実行する、全焦点画像のための撮像処理を示すフローチャートを示す。なお、図１３に示す処理は、１つの光源方向にてフォーカス位置を変化させながら撮像された複数の撮像画像から、１つの全焦点画像を生成する処理に対応する。また、説明する実施形態では、説明の便宜上、距離カメラ１２７と、撮像で用いられる撮像部１２６とは、距離カメラの機能および通常のカメラの機能を兼ね揃えた同一のカメラを用いるものとして説明するが、異なっていることを妨げるものではない。

図１３に示す処理は、ステップＳ２００から開始され、ステップＳ２０１では、３次元形状撮像装置１１０は、図１２（Ｂ）に示すように、距離カメラ１２７により、粗く距離情報を取得する。図１２（Ｂ）において、距離情報が取得された点を三角（距離取得点）で示す。この距離情報は、上述したように、通常のカメラほど高精細には情報を取得できないため、その後計測できる３次元形状も粗いものとなる。しかしながら、好適な実施形態では、距離カメラ１２７からは、視野における、カメラから台座（被写体の底部）までの距離および被写体の高さ（被写体の底部から頂点までの高さ）が取得すればよいので、汎用的な距離カメラでも充分な精度で取得できる。

ステップＳ２０２では、３次元形状撮像装置１１０は、被写界深度算出部１３１により、距離カメラ１２７から台座までの間の距離および被写体高さを計算する。例えば、距離カメラ１２７での視野の取得範囲が台座範囲内のみであった場合は、上記得られた複数の粗い距離情報の中で、距離カメラ１２７からの距離が最も遠い点を台座までの距離と判定することができる。同様に、被写体の高さを算出する場合、例えば、距離カメラ１２７での取得範囲が台座範囲内のみであった場合は、取得した粗い距離情報の中から、距離カメラ１２７からの距離が最も近い点を抽出し、その後、上記求めたカメラと台座までの距離と、カメラと被写体が一番近い点の距離の差分を計算し、得られた差分が被写体高さとなる。

ステップＳ２０３以降の処理では、被写体高さとカメラのパラメータに基づいて、撮像を行う撮像部１２６のカメラのフォーカス位置が決定される。ステップＳ２０３では、３次元形状撮像装置１１０は、被写界深度算出部１３１により、粗い３次元形状から計測したカメラと台座までの距離、あらかじめ分かっているカメラの焦点距離、絞り値および許容錯乱円の情報に基づいて被写界深度を算出する。ステップＳ２０４では、３次元形状撮像装置１１０は、被写界深度算出部１３１により、算出された被写体高さと、算出された被写体深度とを比較し、算出した被写界深度が、被写体高さ以上であるかを判定する。

ステップＳ２０４で、被写界深度が被写体高さ以上であると判定された場合（ＹＥＳ）、ステップＳ２０５へ処理が分岐される。ステップＳ２０５では、３次元形状撮像装置１１０は、被写界深度算出部１３１により、被写体高さが全てカメラの被写界深度に収まるようにフォーカス位置を決定する。ステップＳ２０６では、３次元形状撮像装置は、撮像照明制御部１３２により、通常の照度差ステレオ法と同様に、１つの光源方向に対して１枚の撮像を行い、ステップＳ２０９で本処理を終了する。

一方、ステップＳ２０４で、被写体高さがカメラの被写界深度より大きいと判定された場合（ＮＯ）、ステップＳ２０７へ処理が分岐される。ステップＳ２０７では、３次元形状撮像装置１１０は、被写界深度算出部１３１により、被写体ｏｂｊを設置している台座までの距離情報に基づいて、台座までカメラの被写界深度内に入るような初期フォーカス位置を決定する。初期フォーカス位置は、例えば、図１２（Ｂ）に示すフォーカス位置ｆｐ１が対応する。ステップＳ２０８では、３次元形状撮像装置１１０は、撮像照明制御部１３２により、各光源方向に対して初期フォーカス位置で１枚の撮像を行う。この場合、図１２（Ｂ）のフォーカス位置ｆｐ１の被写界深度の範囲に入っている被写体の部分のみ、例えば、図１２（Ｂ）に示す被写体ｏｂｊの左右両側の周辺部のみフォーカスが最適な画像が撮像されることになる。

ステップＳ２０９では、３次元形状撮像装置１１０は、被写界深度算出部１３１により、これまでの撮像で被写体高さ全体がカバーされたか否かを判定する。ステップＳ２０９で、被写体高さがカバーされていないと判定された場合（ＮＯ）は、ステップＳ２１０へ処理を分岐させる。

ステップＳ２１０では、３次元形状撮像装置１１０は、被写界深度算出部１３１により、従前のフォーカス位置の被写界深度の最前端の距離を被写体までの距離として、フォーカス位置および被写界深度を再度計算する。具体的には、（新しいカメラから台座までの距離）＝（従前のカメラからの台座までの距離）−（従前のフォーカス位置の被写界深度）を代入し、（新しい被写体高さ）＝（従前の被写体高さ）−（従前のフォーカス位置での被写界深度）を代入する。そして、同様に、既知のカメラの焦点距離、絞り値、および許容錯乱円の情報に基づいて、再度、被写界深度を算出する。

図１２（Ｂ）を例にすると、フォーカス位置ｆｐ１に続く１回目の再計算では、フォーカス位置ｆｐ２とその被写界深度が上記算出結果となる。ステップＳ２０８では、３次元形状撮像装置１１０は、撮像照明制御部１３２により、１つの光源方向に対して２回目の撮像を行う。この場合、被写体ｏｂｊの中央部および周辺部に挟まれた部分のみフォーカス位置が最適な画像が撮像される。

図１２（Ｂ）に示す例では、被写体ｏｂｊの周辺部と、被写体ｏｂｊの中央部および周辺部に挟まれた部分とは、１回目および２回目の撮像にてフォーカス位置が最適な画像が撮像できているが、被写体ｏｂｊの中央部が残されている。そのため、１回目の再計算後のステップＳ２０９では、さらにステップＳ２１０へ処理が分岐され、ステップＳ２１０で、図１２（Ｂ）におけるフォーカス位置ｆｐ３とその被写界深度を算出し、ステップＳ２０８で、光源方向に対して３回目の撮像が行われる。図１２（Ｂ）の例では、フォーカス位置ｆｐ３の被写界深度で、被写体高さを全て満たすことができので、フォーカス位置ｆｐ２に続く２回目の再計算後のステップＳ２０９では、被写体高さがカバーされると判定され（ＹＥＳ）で、ステップＳ２１１で、１箇所の光源方向における撮像がすべて終了する。

なお、光源方向を変えた場合でも、カメラの方向は変わらないため、次の光源方向における撮像では、前回の算出結果を用いてフォーカス位置、撮像回数を決定することができる。

以下、図１２（Ｃ）を参照しながら、図１３で示した処理フローによりフォーカス位置を変化させながら撮像された複数の撮像画像の合成処理について説明する。図１２（Ｃ）は、複数回撮像した画像の合成処理について説明する図である。特定の実施形態では、図１２（Ｃ）に示す処理は、情報処理装置１６０で実行される。しかしながら、基板ユニット１２０側で実行されることを妨げるものではない。

フォーカス位置を変化させて複数回撮像した画像の合成処理としては、複数回撮像した画像に対して領域分割を行い、それぞれの領域ごとにコントラストが一番高い画像を決定し、各領域における該画像の画素値を合成画像の画素値とすることができる。しかしながら、このような方法では、分割した領域内に高低差のある被写体の部分が存在する場合、正しい合成ができない可能性もある。また、領域内に高低差に対応させて領域を細かく分割することができるが、コントラスト算出のための処理負荷が重くなり、計算コストが上昇してしまう。

そこで、好適な実施形態では、事前に取得された粗い３次元情報に基づいて画像の合成を行う。以下、事前に取得された粗い３次元情報に基づく画像合成について、より詳細に説明する。

好適な実施形態においては、画像合成部１９５は、まず、距離センサを用いて取得された粗い距離情報に基づいて、画素各々までの距離を算出する。距離情報が粗いため、合成する画像の解像度での各画素に対して対応する距離情報が見つからない場合は、周辺の画素にある距離情報に基づいて演算を行い、各画素に対する距離情報を算出する。演算方法としては、最も近くにある画素の距離情報を取得する最近傍補完、距離情報を有する周辺の複数の画素から、距離に応じて重みつき計算を行い、距離を決定するバイリニア補完を挙げることができる。

各画素に対する距離情報が求められると、画像合成部１９５は、各画素について、複数の撮像画像のうちの、算出された距離情報が該当するフォーカス位置および被写界深度で撮像された撮像画像の画素値を優先して用いることにより全焦点画像を生成する。

例えば、１回目の撮像の際のフォーカス位置が２０ｃｍであり、被写界深度が１５ｃｍ−２５ｃｍであったとすると、ある画素の距離情報が１５ｃｍ〜２５ｃｍの間にあった場合は、１回目の撮像で得られた撮像画像の画素値を優先して用いる。また、２回目の撮像の際のフォーカス位置が１０ｃｍであり、被写界深度７ｃｍ−１５ｃｍであったとした場合、例えばある画素の距離情報が７ｃｍ〜１５ｃｍの間にあった場合は、２回目の撮像画像の画素値を優先して用いる。このようにして、全ての画素に対して、距離情報に基づいて、何回目の撮像画像の画素値を合成画像の画素値として優先的に用いればよいのかを決定する。全ての画素に対して合成処理が完了すると、全ての画素値に対してフォーカス位置が最適な一枚の全焦点画像を得ることができる。

なお、説明する実施形態では、距離情報が該当するフォーカス位置および被写界深度に対応する撮像画像の画素値をそのまま用いるものとしている。しかしながら、他の実施形態では、対応する撮像画像の画素値に大きな重み付けをして複数の撮像画像間で重み付け平均を求めるなど、対応する撮像画像の画素値を優先して用いる態様とすればよい。

上記図１２および図１３を参照して説明した処理により１つの光源方向に対する全焦点画像が得られ、これを複数の光源方向について行うことにより、複数の全焦点画像が得られる。そして、３以上の全焦点画像を用いて照度差ステレオ法を適用することにより、視野内の全ての点における面法線ベクトル、すなわち法線方向および反射率を推定することができる。視野内の全ての点における面法線ベクトルが決定されると、各点における面の向きと面法線ベクトルが一致するということを手がかりに、計測対象の視野内における３次元形状を得ることができる。さらに、複数の基板ユニット１２０各々で計測された多視点の３次元形状情報を、各基板ユニット１２０の位置関係に基づいて、統合することにより、計測対象物の高精細な三次元形状を復元することが可能となる。

以上説明した実施形態によれば、計測対象物の３次元形状を全方位から精度よくかつ効率よく計測することが可能な形状計測システムおよび形状計測装置を提供することができる。

上記構成により、全ての撮像部１２６および全ての照明部１２８を、計測対象物から等距離かつ等密度に配置することが可能となり、また、全方位にわたる測定が可能となる。さらに、上述した実施形態では、動作させる撮像部１２６および照明部１２８を計測対象物に応じて制御することができるので、計測対象物の性質に合わせて必要充分な撮像部および照明部のみを動作させて、計測を最適化し、計測にかかる時間を短縮し、消費電力を削減することができる。

さらに、上述した好適な実施形態では、距離センサを用いて取得した粗い距離情報に基づいて、複雑な計算なしに、複数枚撮像した画像のうち、どの画素値を合成画像に用いればよいかを判断することが可能となる。上記好適な実施形態では、粗い３次元形状に基づいて設定すべきフォーカス位置を算出することができるので、撮像枚数自体を最小化することができる。さらに、粗い３次元情報に基づいて複数枚撮像した画像を画素単位で容易に画像合成することが可能となるので、画像合成のための演算コストおよび演算時間が省略される。よって、特殊な機構を必要とせず、低コスト、低処理負荷で全焦点画像を撮像し、高低差のある被写体を精密に計測することが可能となる。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。また、上記機能部の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）上に実装することができ、あるいはＡＳＩＣ（特定用途向集積）として実装することができ、上記機能部をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（Very High Speed Integrated Circuits Hardware Description Language）、Ｖｅｒｉｌｏｇ−ＨＤＬなどにより記述されたデータとして記録媒体により配布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１００…３次元形状計測システム、１１０…３次元形状撮像装置、１１２…台座、１１４…遮光ドーム、１１６…基板フレーム、１１８…対象物テーブル、１２０…基板ユニット、１２２…基板、１２４…基板固定部、１２６…撮像部、１２７…距離カメラ、１２８…照明部、１３０…電源部、１３１…被写界深度算出部、１３２…撮像照明制御部、１３４…主記憶部、１３６…副記憶部、１３８…情報転送部、１４０…制御情報受信部、１４２…制御情報送信部、１４４…３次元情報受信部、１４６…３次元情報送信部、１４８…撮像部照明部選択部、１５０…３次元情報入力部、１５２…制御情報入力部、１５４…３次元情報解析部、１５６…制御情報出力部、１６０…情報処理装置、１６２…ＣＰＵ、１６４…ノースブリッジ、１６６…サウスブリッジ、１６８…ＲＡＭ、１７０…グラフィックボード、１７４…ＬＡＮポート、１７６…ＩＥＥＥ１３９４ポート、１７８…ＵＳＢポート、１８０…補助記憶装置、１８２…オーディオ入出力、１８４…シリアルポート、１８６…キーボード、１８８…マウス、１９０…ディスプレイ、１９２…情報伝送部、１９４…演算制御部、１９５…画像合成部、１９６…法線算出部、１９８…３次元形状復元部
１７２、…ＰＣＩ

特開２００１−２４３４９７号公報 特開２００３−０８３７２７号公報 特開２０１３−９２８７８号公報 特開２００７−１０９２３４号公報

Claims (13)

1. 筐体内に備えられ、前記筐体内に配置される計測対象を照明する１以上の照明手段と、
   前記筐体内に備えられ、前記計測対象を撮像する１以上の撮像手段と、
   前記筐体内に備えられ、前記１以上の撮像手段および前記１以上の照明手段を、略球体を近似する多面体形状に配置されるように保持する保持手段と、
   前記１以上の撮像手段および前記１以上の照明手段のうちの動作させるものを選択する選択手段と、
   前記１以上の照明手段のうちの動作するものによる照明下で前記１以上の撮像手段のうちの動作するものによって撮像された画像情報に基づき、前記計測対象の３次元形状を演算する形状演算手段と
   を含む、形状計測システム。
2. 前記選択手段は、前記１以上の撮像手段および前記１以上の照明手段のうちの一部を動作させて得られた解析結果に基づいて、前記動作させるものを選択することを特徴とする、請求項１に記載の形状計測システム。
3. 前記一部は、動作する撮像手段および照明手段が略均一な密度を与えるよう選択される、請求項２に記載の形状計測システム。
4. 前記１以上の撮像手段は、距離画像を取得できる撮像手段を含み、前記選択手段は、前記距離画像の解析結果に基づいて、前記動作させるものを選択することを特徴とする、請求項２または３に記載の形状計測システム。
5. 前記選択手段は、ユーザ指定に基づき、前記動作させるものを選択する、請求項１〜４のいずれか１項に記載の形状計測システム。
6. 前記選択手段は、前記計測対象の画像認識結果に基づいて、前記動作させるものを選択することを特徴とする、請求項１〜５のいずれか１項に記載の形状計測システム。
7. 前記照明手段は、それぞれ異なる波長、異なる光度、または異なる波長および光度の照明を行う複数の照明要素を含む、請求項１〜６のいずれか１項に記載の形状計測システム。
8. 前記計測対象の粗い３次元形状を取得する取得手段と、
   前記粗い３次元形状に基づいて、前記１以上の照明手段による光源方向各々について、前記１以上の撮像手段による複数回の撮像各々でのフォーカス位置および該フォーカス位置での被写界深度を算出する算出手段と、
   異なる前記フォーカス位置および前記被写界深度で撮像された複数の画像情報に基づいて、前記１以上の照明手段による光源方向各々について、全焦点画像を合成する合成手段と、
   前記複数の光源方向各々の全焦点画像に基づいて、前記計測対象の三次元形状を復元する復元手段と
   をさらに含む、請求項１〜７のいずれか１項に記載の形状計測システム。
9. 前記算出手段は、前記粗い３次元形状に基づいて、所定の視野における前記計測対象の被写体高さがカバーされるように、複数回の撮像各々でのフォーカス位置を算出することを特徴とする、請求項８に記載の形状計測システム。
10. 前記合成手段は、前記粗い３次元形状に基づいて、合成する全焦点画像の各画素での距離情報を算出し、各画素について、前記複数の画像情報のうちの、算出された距離情報が該当するフォーカス位置および被写界深度で撮像された画像情報の画素値を優先して用いることにより前記全焦点画像を得ることを特徴とする、請求項８または９に記載の形状計測システム。
11. 前記略球体を近似する多面体形状は、一様多面体を構成する各多角形を２以上に分割して生成された形状を有し、前記形状計測システムは、
    それぞれ、１または複数の撮像手段および１または複数の照明手段の両方または一方と、前記撮像手段および前記照明手段の両方または一方を制御する演算手段と、前記演算手段の作業領域を提供する主記憶手段と、前記形状演算手段と通信するための通信手段とを含み、前記分割により生成された各多角形の面を担当する、複数の基板ユニットを含む、請求項１〜１０のいずれか１項に記載の形状計測システム。
12. 筐体と、
    前記筐体内に備えられ、前記筐体内に配置される計測対象を照明する１以上の照明手段と、
    前記筐体内に備えられ、前記計測対象を撮像する１以上の撮像手段と、
    前記筐体内に備えられ、前記１以上の撮像手段および前記１以上の照明手段を、略球体を近似する多面体形状に配置されるように保持する保持手段と、
    前記１以上の撮像手段および前記１以上の照明手段のうちの動作させるものを選択する選択手段と、
    前記１以上の撮像手段のうちの動作するものによって撮像された画像情報を出力する出力手段と
    を含む、撮像装置。
13. 前記筐体は、前記保持手段を内包する２つの半球部を有する遮光ドームを含み、前記２つの半球部を閉じ合わせることによって前記筐体内部への外部光の入射が遮光され、前記遮光ドームの内面は、内面での光の反射が低減されるように加工されている、請求項１２に記載の撮像装置。