JP2013092878A

JP2013092878A - ３次元形状計測装置

Info

Publication number: JP2013092878A
Application number: JP2011234018A
Authority: JP
Inventors: Reiko Ariga; 玲子有賀; Atsuhiko Maeda; 篤彦前田; Minoru Kobayashi; 稔小林; Yu Chiaki; 裕千明
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2011-10-25
Filing date: 2011-10-25
Publication date: 2013-05-16
Anticipated expiration: 2031-10-25
Also published as: JP5685516B2

Abstract

【課題】対象物体の全周３次元モデルの計測に必要な情報を短時間に取得する。
【解決手段】スタジオ装置１０は、パネル１０１〜１０５が側面及び上面に配置され接合されて底面が開放された形状の筐体に対して、筐体内部を複数方向から選択的に照射する照明装置１１１〜１１８を配備すると共に、筐体内部を複数方向から撮影する撮影装置１２１〜１２５を配置し、底面側から対象物体に被せて使用する。演算制御装置２０は、照明装置１１１〜１１８に筐体内部を複数方向から選択的に照射させ、照射の切り替えに応じて任意の撮影装置の撮影画像を取得し、これらの撮影画像から対象物体の形状を示す３次元情報を演算し、この３次元情報に基づいて全周３次元モデルを作成する。表示装置３０は演算制御装置２０で作成された全周３次元モデルを表示する。
【選択図】図１

Description

本発明は、対象物体の全周３次元形状を計測する３次元形状計測装置に関する。

近年、対象物体を立体的に認識可能とするために、対象物体の３次元形状を全周に渡って計測する装置が提案されている。この装置は、対象物体を回転させながら撮影する、計測装置自体を対象物体の周りを移動させながら撮影する、複数台の撮影装置で同時に複数方向から撮影する、といった手法で対象物体全周の画像を取得し、その全周画像から３次元モデルを作成する構成となっている（例えば特許文献１参照）。

特開２００１−２４３４９７号公報

従来の３次元形状計測装置では、一度に得られる３次元モデルは撮影装置の方を向いている面だけであり、全周の３次元モデルを得るためには、対象物体を回転させるまたは撮影装置を移動させることが必要であり、計測に時間がかかるといった問題があった。

本発明は、上記課題に鑑みてなされたものであり、その目的とするところは、対象物体の全周３次元モデルの計測に必要な情報を、対象物体を回転させるまたは撮影装置を移動させることなく短時間に取得することができ、これによって短時間に対象物体の全周３次元モデルを表示することのできる３次元形状計測装置を提供することにある。

本発明に係る３次元形状計測装置は以下のような態様の構成とする。
（１）パネルが側面及び上面に配置され接合されて底面が開放された形状の筐体と、前記パネルの各内面に配置され前記筐体内部を撮影する撮影手段と、前記筐体内部を複数方向から選択的に照射する照明手段とを備え、前記底面側から対象物体に被せて使用するスタジオ装置と、前記照明手段に前記筐体内部を複数方向から選択的に照射させ、前記照射の切り替えに応じて前記パネルの各面に配置される複数の撮影手段の撮影画像を取得し、これらの撮影画像から前記対象物体の形状を示す３次元情報を演算し、この３次元情報に基づいて全周３次元モデルを作成する演算制御手段と、前記演算制御手段で作成された全周３次元モデルを表示する表示手段とを具備する態様とする。

（２）（１）の構成において、前記撮影手段は、所定の倍率で拡大するレンズと、このレンズで拡大される画像を取得するイメージセンサとを備える態様とする。
（３）（１）において、前記撮影手段は、前記パネルの内面側に設けられ、複数のピンホールを所定間隔で形成してなるピンホールアレイと、前記ピンホールアレイのピンホールを透過して受光面に投影される画像を取得するイメージセンサを備える態様とする。

（４）（１）において、前記スタジオ装置は、前記対象物体の載置面に置かれたことを検出する検出手段を備え、前記演算制御手段は前記検出手段の検出に基づいて前記処理の実行を開始する態様とする。
（５）（１）において、前記撮像手段は異なる波長に感度を持ち、前記照明手段は異なる波長で発光する照明群を備える態様とする。

本発明によれば、撮影手段と照明手段の組み合わせを演算制御手段によって高速に制御して、各照明の点灯中に撮影手段によって撮影することにより、効率よく短時間で、各照明条件下での前後左右情報の対象物体の陰影情報、すなわち全周３次元形状計測に必要な情報を取得する。また、箱型筐体の側面及び上面に筐体内部に向かって撮影手段を配置して対象物体の全周囲から撮影を同時に行うことができるようにしているので、対象物体にスタジオ装置を被せるという簡単な操作によって、対象物体の全周３次元形状計測に必要な情報を短時間に取得することができる。

また、撮影手段としてレンズとイメージセンサを用いることにより、レンズによって計測対象物体からの反射光がイメージセンサに集光されるために撮影手段が小型化され、撮影手段及び照明手段ともに小型な光学部品となり、３次元形状計測可能な範囲内で匡体の形状を自由に設計することを可能にする。

また、撮影手段としてピンホールアレイとイメージセンサを用いることにより、撮影可能範囲を広げるために撮影手段を筐体中心部から離す必要がなくなり、計測装置の横幅を小型化することを可能にする。
また、スタジオ装置に対象物体の載置面に置かれたことを検出する検出手段を装備することで、対象物体に筐体を被せるというユーザにとってわかりやすい動作によって３次元形状計測を開始することを可能にする。

また、スタジオ装置において、異なる波長を発光する照明手段と、この波長にピーク感度を持つ撮影手段を用いることにより、同時に異なる波長で計測を行うことができ、より短時間に３次元形状計測を行うことを可能にする。
以上のように、本発明によれば、対象物体の全周３次元形状モデルの計測に必要な情報を比較的短時間に取得して、対象物体の全周３次元形状モデルを表示することのできる３次元形状計測装置を提供することができる。

本発明の第１の実施形態に係る３次元形状計測装置の構成を示すブロック図である。第１の実施形態の演算制御装置の具体的な構成を示すブロック図である。第１の実施形態のスタジオ装置において３次元形状情報及びテクスチャ情報を取得する計測プロセスを示すフローチャートである。第１の実施形態の計測プロセスによって取得される、３次元形状情報とテクスチャ情報の一例を示す概念図である。第１の実施形態の演算制御装置において３次元モデルを復元する復元プロセスを示すフローチャートである。第２の実施形態において、撮影可能な対象物体のサイズと撮影装置の画角の関係を示した図である。本発明の第３の実施形態に係る３次元形状計測装置の構成を示すブロック図である。。第３の実施形態において、ピンホールの直径とピンホールアレイ面の厚さとの関係を説明するための図である。

添付の図面を参照して本発明の実施の形態を説明する。以下に説明する実施の形態は本発明の構成の例であり、本発明は、以下の実施の形態に制限されるものではない。
（第１の実施形態）
図１は第１の実施形態に係る３次元形状計測装置の全体構成を示す図である。この３次元形状計測装置は、対象物体の３次元形状情報及びテクスチャ情報を取得するためのスタジオ装置１０、取得された３次元形状情報及びテクスチャ情報から３次元モデルを生成する演算制御装置２０、生成された３次元モデルを表示する表示装置３０を備える。

上記スタジオ装置１０は、図２に示すように、５枚のパネル１０１〜１０５を４つの側面及び上面に配置し接合して箱型に形成したもので、８つの各頂点には、スタジオ内部を照らすように照明装置１１１〜１１８が配置され、各側面及び上面のパネルには図中矢印Ａ１〜Ａ５で示すように４方及び上方からスタジオ内部方向を撮影する撮影装置１２１〜１２５が配置される。このスタジオ装置１０は、３次元モデルを得たい対象物体（図示せず）に被せるようにして使用される。上記照明装置１１１〜１１８及び撮影装置１２１〜１２５は、演算制御装置２０によって駆動制御される。また、撮影装置１２１〜１２５で得られた画像データは演算制御装置２０に送られる。

演算制御装置２０は、照明装置１１１〜１１８の点灯及び撮影装置１２１〜１２５の撮影をプログラム制御することによって得られる画像データを３次元形状情報及びテクスチャ情報として取り込み、これらの３次元形状情報及びテクスチャ情報に基づいて対象物体の３次元モデルを作成し、表示装置３０に表示する。

図２は上記演算制御装置２０の具体的な構成を示すブロック図である。この演算制御装置２０は、バス２０１上に上記照明装置１１１〜１１８、撮影装置１２１〜１２５及び表示装置３０をそれぞれインターフェース（図示せず）を介して接続したものである。そして、本装置の制御及び情報処理を実行するＣＰＵ（演算処理装置）２０２、ＣＰＵ２０２の処理プログラムを格納するためのプログラムメモリ２０３、情報処理の作業空間及び取得データ及び演算結果を格納する記憶装置２０４を備え、図３に示す３次元形状情報及びテクスチャ情報の取得処理（計測プロセス）と、図４に示す３次元モデルの復元処理（演算プロセス）を実行する。これらの処理については後述する。

上記構成による計測装置を用いて対象物体を計測する場合には、スタジオ装置１０を底面の開口から対象物体Ｔに被せ、スタジオ内部のほぼ中央に対象物体Ｔを配置する。スタジオ装置１０を被せられた対象物体Ｔを照明装置１１１〜１１８のうちの一つを点灯して照らしたときに、対象物体Ｔを撮影装置１２１〜１２５のうち適切な方向の撮影装置で撮影する。照明装置１１１〜１１８と撮影装置１２１〜１２５の組み合わせを演算制御装置２０によって高速に制御する。

スタジオ装置１０にて３次元モデル復元に必要な３次元形状情報及びテクスチャ情報を得た場合には、演算制御装置２０において、３次元形状情報及びテクスチャ情報をもとに３次元モデルを作成し、得られた３次元モデルの情報を表示装置３０に送り、所定の形式で表示させる。

図３はスタジオ装置１０において３次元形状情報及びテクスチャ情報を取得する計測プロセスを示すフローチャートである。まず、照明装置１１１を点灯して（ステップＳ１）撮影装置１２１，１２４，１２５で撮影を行う（ステップＳ２）。撮影が終了したら、照明装置１１１は消灯して照明装置１１２を点灯させ（ステップＳ３）、撮影装置１２１，１２４で撮影を行う（ステップＳ４）。撮影が終了したら、照明装置１１２は消灯して照明装置１１３を点灯させ（ステップＳ５）、撮影装置１２１，１２２，１２５で撮影を行う（ステップＳ６）。撮影が終了したら、照明装置１１３は消灯して照明装置１１４を点灯させ（ステップＳ７）、撮影装置１２１，１２２で撮影を行う（ステップＳ８）。撮影が終了したら、照明装置１１４は消灯して照明装置１１５を点灯させ（ステップＳ９）、撮影装置１２２，１２３，１２５で撮影を行う（ステップＳ１０）。撮影が終了したら、照明装置１１５は消灯して照明装置１１６を点灯させ（ステップＳ１１）、撮影装置１２２，１２３で撮影を行う（ステップＳ１２）。撮影が終了したら、照明装置１１６は消灯して照明装置１１７を点灯させ（ステップＳ１３）、撮影装置１２３，１２４，１２５で撮影を行う（ステップＳ１４）。撮影が終了したら、照明装置１１７は消灯して照明装置１１８を点灯させ（ステップＳ１５）、撮影装置１２３，１２４で撮影を行う（ステップＳ１６）。撮影が終了したら、照明装置１１８は消灯して全照明装置１１１〜１１８を点灯させ（ステップＳ１７）、全撮影装置１２１〜１２５で撮影を行う（ステップＳ１８）。撮影が終了したら、全照明装置１１１〜１１８を消灯する（ステップＳ１９）。最後に、得られた画像データ群を３次元形状情報及びテクスチャ情報として記憶装置２０４に格納する（ステップＳ２０）。

図４は上記計測プロセスによって取得される、３次元形状情報とテクスチャ情報の一例を示したものである。計測プロセスにおいて、撮影装置１２１〜１２５では、それぞれ方向Ａ１〜Ａ５から見た対象物体を４つの異なる照明条件で撮影する。各撮影装置１２１〜１２５で撮影された４枚の画像、すなわち計２０枚の画像を各方向から見た３次元形状情報とする。また、各撮影装置１２１〜１２５で撮影された全照明点灯条件での画像、すなわち計５枚の画像を各方向から見たテクスチャ情報とする。例として、対象物体が立方体の場合の３次元形状情報を図４（ａ）に示し、テクスチャ情報を図４（ｂ）に示す。

図５は演算制御装置２０において３次元モデルを復元する復元プロセスを示すフローチャートである。まず、記憶装置２０４から３次元形状情報とテクスチャ情報を読み出し（ステップＳ２１）、方向Ａ１〜Ａ５の各方向から見た対象物体の３次元形状を、撮影装置１２１〜１２５でそれぞれ撮影された４枚の画像セットである３次元形状情報から算出し復元する（ステップＳ２２）。このとき用いる３次元形状復元アルゴリズムは、異なる照明条件下で撮影された複数画像から３次元形状を算出する照度差ステレオ法などの既存のアルゴリズムを用いてよい。

各方向から見た対象物体の３次元形状を算出し復元したら、３次元形状の座標にテクスチャ情報をマッピングして（ステップＳ２３）これを統合して全周３次元座標を演算する（ステップＳ２４）。具体的には、統合された全周３次元座標において、３次元ドロネー分割などを用いて三角メッシュ化し、各メッシュに対してテクスチャ情報で得たテクスチャを貼り、全周３次元モデルを得る。

最後に、復元された全周３次元モデルを表示装置３０に送り、ユーザ指定の方向から見た映像を表示する。表示装置３０には、モニタやタッチパネル等の２次元ディスプレイを用いてもよいし、ＡＲ（Augmented Reality：拡張現実）で表示をしてディスプレイやＨＭＤ（Head Mounted Display：ヘッド・マウント・ディスプレイ）で閲覧してもよいし、３次元ディスプレイで表示してもよい。

尚、本実施形態では立方体の筐体に実装した例を挙げたが、三角錐等の他の多面体でも応用は可能である。また、本実施形態では３次元形状復元アルゴリズムに照度差ステレオを用いる例を挙げたが、shape from shading等の陰影から形状を求めるアルゴリズムを適用してもよい。

（第２の実施形態）
続いて、第２の実施形態について説明する。尚、基本的な構成は第１の実施形態と同じであるので、ここでは構成に関する説明を省略する。
本実施形態における撮影装置１２１〜１２５には、レンズとイメージセンサで構成されたカメラを用いる。この場合、撮影可能な対象物体のサイズや筐体のサイズは、カメラの画角や被写界深度によって決定される。図６は撮影可能な対象物体のサイズと撮影装置の画角の関係を示した図である。つまり、視野の画角θのカメラ１２１〜１２３を３次元計測が可能である領域から距離ｄだけ離して設置すると、３次元形状を計測可能な領域の大きさ（幅）はＯ³となる。ただし、Ｏは次式により表される。
Ｏ＝２ｄtan(θ／２)
（第３の実施形態）
図７は、第３の実施形態の構成図である。第１の実施形態における撮影装置を、図７に示すようにピンホールアレイ１３１とイメージセンサ１３２によって構成してもよい。各ピンホール１３１にはピンホール面の法線方向からの光線のみが入り、この像がイメージセンサ１３２に結像する。この場合、スタジオ装置１０の壁面と対象物体の距離が近くても対象物体の前後左右上方の撮影を行うことができる。また、ピンホール効果によって被写界深度が深くなるので、どこにでも焦点のあった像を得ることができる。この様子を図８に示す。ここで、ピンホール１３１の直径ｓとピンホールアレイ面の厚さｄには以下の関係式が成り立つ。
θ＝２tan^-1(ｓ／ｄ)
ここで、隣り合うピンホール１３１で撮影される像が重ならないようにするために、ピンホールアレイ１３１の背面からイメージセンサ面までの距離をＬとすると、図８に示すように、隣り合うピンホール同士の距離ｘは、以下の関係式が成り立つように設定するとよい。
ｘ≧（２Ｌ＋ｄ）tan(θ／２)
このようにすることで、像が重ならないため、滲みのような不具合を回避することが可能となる。

（第４の実施形態）
続いて、第４の実施形態について説明する。尚、基本的な構成は第１の実施形態と同じであるので、ここでは構成に関する説明を省略する。
本実施形態は計測プロセスの開始の制御に関する。すなわち、計測プロセスの開始は、計測を開始する際にユーザがボタン等の入力操作を行うように設計してもよいが、本実施形態は、この計測プロセスの開始制御を自動化するものである。まず、スタジオ装置１０に内部の明るさを検知する明るさセンサや設置の際に生じる衝撃を検知する加速度センサ等の各種センサを設ける。そして、演算制御装置２０において、スタジオ装置１０に装備した各種センサによりスタジオ装置１０が対象物体の載置面に設置したことをセンシングし、自動的に計測プロセスを開始する。この形態は、対象物体にスタジオ装置１０を被せるだけというユーザにとってわかりやすい動作によって３次元形状計測を開始することを可能にする。

（第５の実施形態）
さらに、第５の実施形態について説明する。尚、基本的な構成は第１の実施形態と同じであるので、ここでは構成に関する説明を省略する。
本実施形態は、照明装置１１１〜１１８として、複数種類の異なる波長を発光する照明群を用いる。この照明群の各波長帯域にピーク感度を持つ撮影装置１２１〜１２５を用いることによって、同時に異なる波長で計測を行うことができるようになり、これによって、より短時間に３次元形状を計測することができる。あるいはマルチバンドのイメージセンサで撮影した後に、画像処理によって波長帯域ごとに分割して複数の照明条件の画像群を得てもよい。

具体的には、例えば、ＲＧＢの光源によって、異なる方向から同時に対象物体を照らし、カラーイメージセンサで撮影した後に、画像処理によってＲＧＢ画像に分割して、異なる方向からの照明条件の画像に分割することが可能である。この場合、異なる３方向の光源を点滅させて撮影し、３枚の画像を得るのと同じ効果がある。また、異なる波長帯域の撮影装置を複数用いて複数の照明条件の画像群を得てもよい。具体的には、例えば、紫外線、可視光線、赤外線の光源によって、異なる方向から同時に対象物体を照らし、これを紫外カメラ、カラーカメラ、赤外カメラで撮影することによっても、同じ効果が得られる。

尚、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成を削除してもよい。さらに、異なる実施形態例に亘る構成要素を適宜組み合わせてもよい。

１０…スタジオ装置、１０１〜１０５…パネル、１１１〜１１８…照明装置、１２１〜１２５…撮影装置、１３１…ピンホールアレイ、１３２…イメージセンサ、２０…演算制御装置、２０１…バス、２０２…ＣＰＵ、２０３…プログラムメモリ、２０４…記憶装置。

Claims

パネルが側面及び上面に配置され接合されて底面が開放された形状の筐体と、前記パネルの各内面に配置され前記筐体内部を撮影する撮影手段と、前記筐体内部を複数方向から選択的に照射する照明手段とを備え、前記底面側から対象物体に被せて使用するスタジオ装置と、
前記照明手段に前記筐体内部を複数方向から選択的に照射させ、前記照射の切り替えに応じて前記パネルの各面に配置される複数の撮影手段の撮影画像を取得し、これらの撮影画像から前記対象物体の形状を示す３次元情報を演算し、この３次元情報に基づいて全周３次元モデルを作成する演算制御手段と、
前記演算制御手段で作成された全周３次元モデルを表示する表示手段と
を具備することを特徴とする３次元形状計測装置。
前記撮影手段は、所定の倍率で拡大するレンズと、このレンズで拡大される画像を取得するイメージセンサとを備えることを特徴とする請求項１記載の３次元形状計測装置。
前記撮影手段は、前記パネルの内面側に設けられ、複数のピンホールを所定間隔で形成してなるピンホールアレイと、前記ピンホールアレイのピンホールを透過して受光面に投影される画像を取得するイメージセンサを備えることを特徴とする請求項１記載の３次元形状計測装置。
前記スタジオ装置は、前記対象物体の載置面に置かれたことを検出する検出手段を備え、前記演算制御手段は前記検出手段の検出に基づいて前記処理の実行を開始することを特徴とする請求項１記載の３次元形状計測装置。
前記撮像手段は異なる波長に感度を持ち、前記照明手段は異なる波長で発光する照明群を備えることを特徴とする請求項１記載の３次元形状計測装置。