JP7094400B2 - シミュレーション装置およびシミュレーション方法 - Google Patents

Description

本発明は、三次元計測装置の計測結果をシミュレーションすることが可能なシミュレーション装置、シミュレーション方法およびシミュレーションプログラムに関する。

従来、光を計測対象物に投影する投影装置と、計測対象物を撮影する撮像装置とを用いて、三次元計測を行う装置が知られている。例えば、特許文献１には、アクティブステレオ法による三次元計測を行う三次元計測装置が開示されている。特許文献１に開示された三次元計測装置は、投影装置から計測対象物に幾何パターンを投影し、撮像装置が出力する撮影画像における幾何パターン上の複数の検出点を設定して、検出点に対応する計測対象物の表面の三次元位置を、三角測量法に基づき計算する。

特開２０１５－２０３６５２号公報

しかしながら、特許文献１に記載の技術では、計測結果を得るためには、実環境を構成して計測対象物のサンプルを用意する必要があった。そのため、実環境がない場合や、計測対象物のサンプルが少ない場合には、実環境における計測結果を評価することができないという問題があった。

本発明は、上記に鑑みてなされたものであって、実環境がない場合や計測対象物のサンプルが少ない場合であっても、計測結果を評価することが可能なシミュレーション装置を得ることを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかるシミュレーション装置は、光を計測対象物に投影する投影装置と、投影装置からの投影光が照射された計測対象物を含む撮影空間を撮影する撮像装置とを備える三次元計測装置の計測条件を示す計測条件情報を取得する計測条件取得部と、計測条件情報に基づいて、撮像装置が出力する撮影画像を再現した仮想撮影画像を生成する仮想撮影画像生成部と、仮想撮影画像を用いて計測対象物の表面の三次元位置を計測する三次元計測処理を実行し、計測値を得る三次元計測演算部と、計測値を含むシミュレーション結果を出力する出力部と、を備えることを特徴とする。仮想撮影画像生成部は、計測条件情報に基づいて、撮影画像における投影光によって生じる陰影の境界を示す位置に含まれる誤差を画素値で再現した仮想撮影画像を生成する。

本発明によれば、実環境がない場合や計測対象物のサンプルが少ない場合であっても、計測結果を評価することが可能になるという効果を奏する。

本発明の実施の形態１にかかるシミュレーション装置の機能構成を示す図 図１に示すシミュレーション装置の動作を示すフローチャート 図１に示す計測条件取得部の詳細な機能構成を示す図 図１に示すシミュレーション装置が出力する表示画面の一例を示す図 本発明の実施の形態２にかかる仮想撮影画像生成部の機能構成を示す図 図５に示す仮想撮影画像生成部を有するシミュレーション装置の動作を示すフローチャート 本発明の実施の形態３にかかるシミュレーション装置の機能構成を示す図 図７に示す仮想撮影画像生成部の機能構成を示す図 図７に示すシミュレーション装置の動作を示すフローチャート 図９に示すステップＳ３０４の詳細を示すフローチャート 図９に示すステップＳ３０５の詳細を示すフローチャート 図７に示すシミュレーション装置が出力する表示画面の一例を示す図 本発明の実施の形態４にかかる光学再現画像生成部の機能構成を示す図 図１３に示すセンサ視点データ生成部の詳細な機能構成を示す図 図１３に示すマップ生成部の詳細な機能構成を示す図 本発明の実施の形態４にかかるシミュレーション装置の動作を示すフローチャート 本発明の実施の形態５にかかるシミュレーション装置が出力する表示画面の一例を示す図 本発明の実施の形態６にかかるシミュレーション装置の機能構成を示す図 図１８に示すシミュレーション装置の動作を示すフローチャート 図１８に示すシミュレーション装置の表示画面の一例を示す図 本発明の実施の形態７にかかるシミュレーション装置の機能構成を示す図 図２１に示すシミュレーション装置の動作を示すフローチャート 本発明の実施の形態８にかかるシミュレーション装置の機能構成を示す図 図２３に示すシミュレーション装置の動作を示すフローチャート 図２３に示すシミュレーション装置が出力する表示画面の一例を示す図 本発明の実施の形態１～８にかかるシミュレーション装置の機能を実現するための専用のハードウェアを示す図 本発明の実施の形態１～８にかかるシミュレーション装置の機能を実現するための制御回路の構成を示す図 本発明の実施の形態１～８にかかるシミュレーション装置の機能を実現するためのハードウェア構成の一例を示す図

以下に、本発明の実施の形態にかかるシミュレーション装置、シミュレーション方法およびシミュレーションプログラムを図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

実施の形態１．
図１は、本発明の実施の形態１にかかるシミュレーション装置１０の機能構成を示す図である。シミュレーション装置１０は、計測条件取得部１０１と、仮想撮影画像生成部１０２と、三次元計測演算部１０３と、出力部１０４とを有する。

シミュレーション装置１０は、アクティブステレオ法を用いて、計測対象物の表面の三次元位置を計測する三次元計測装置の計測条件を示す計測条件情報に基づいて、三次元計測装置の計測結果をシミュレーションする機能を有する。ここで想定している三次元計測装置は、光を計測対象物に投影する投影装置と、投影装置からの投影光が照射された計測対象物を含む撮影空間を撮影する撮像装置とを備える。投影装置からの投影光は、三次元計測に用いる投影パターンを示している。以下、「投影光」という場合、投影パターンを示す光を指す。三次元計測装置は、撮像装置の出力する撮影画像に含まれる投影パターンに基づいて、計測対象物の表面の三次元位置を計測する三次元計測処理を行うことができる。また、シミュレーション装置１０は、三次元計測装置を利用するシステムの出力結果をシミュレーションしてもよい。

計測条件取得部１０１は、三次元計測装置の計測条件を示す計測条件情報を取得する。計測条件情報の詳細については、後述する。計測条件取得部１０１は、取得した計測条件情報を仮想撮影画像生成部１０２に入力する。

仮想撮影画像生成部１０２は、計測条件取得部１０１から入力される計測条件情報に基づいて、三次元計測装置に含まれる撮像装置が出力する撮影画像を再現したＣＧ（Computer Graphics）画像である仮想撮影画像を生成する。仮想撮影画像生成部１０２は、生成した仮想撮影画像を三次元計測演算部１０３に入力する。

三次元計測演算部１０３は、仮想撮影画像生成部１０２から入力される仮想撮影画像を用いて、三次元計測装置が実行する三次元計測処理を実行し、計測値を取得する。三次元計測演算部１０３は、取得した計測値を出力部１０４に入力する。

出力部１０４は、三次元計測演算部１０３から入力される計測値を含むシミュレーション結果を出力する。

図２は、図１に示すシミュレーション装置１０の動作を示すフローチャートである。シミュレーション装置１０の計測条件取得部１０１は、計測条件情報を取得する（ステップＳ１０１）。計測条件取得部１０１は、取得した計測条件情報を仮想撮影画像生成部１０２に入力する。

仮想撮影画像生成部１０２は、計測条件情報に基づいて、仮想撮影画像を生成する（ステップＳ１０２）。仮想撮影画像生成部１０２は、生成した仮想撮影画像を三次元計測演算部１０３に入力する。

三次元計測演算部１０３は、仮想撮影画像を用いて、三次元計測の演算を実行し、計測値を取得する（ステップＳ１０３）。三次元計測演算部１０３は、取得した計測値を出力部１０４に入力する。出力部１０４は、計測値を含むシミュレーション結果を出力する（ステップＳ１０４）。

シミュレーション装置１０は、三次元計測装置の計測条件情報に基づいて、撮像装置が出力する撮影画像を再現した仮想撮影画像を生成し、仮想撮影画像を用いて、三次元計測処理を実行することができる。このような構成をとることで、実際に投影装置および撮像装置を設置して実データを取得することなく、シミュレーション上で三次元計測の検証が可能になる。このため、現場に三次元計測装置を設置する作業、三次元計測装置のハードウェアおよびソフトウェアの調整作業、および計測対象物の実データを収集する作業を行う必要がなく、作業にかかる時間を短縮することができ、人的および物的コストを抑制することが可能になる。このため、三次元計測装置の計測条件を様々に設定しながらシミュレーションを行うことで、適切な計測条件を特定することができる。したがって、三次元計測装置の設計期間、三次元計測装置を現場に導入して稼働するまでに行う試行錯誤の検証期間を短縮することが可能である。

図３は、図１に示す計測条件取得部１０１の詳細な機能構成を示す図である。計測条件取得部１０１は、三次元計測装置の計測条件を示す計測条件情報を取得する。計測条件取得部１０１は、投影条件情報取得部２０１と、撮影条件情報取得部２０２と、計測対象物情報取得部２０３と、非計測対象物情報取得部２０４とを有する。

投影条件情報取得部２０１は、投影装置の投影条件を示す投影条件情報を取得する。投影条件情報は、投影装置の性能および使用状態の少なくとも１つを特定可能な情報を含むことができる。投影装置の性能は例えば解像度、画角であり、投影装置の状態は例えば投影装置の位置姿勢、ピントの状態である。また、投影条件情報は、投影パターンを示す情報を含むことができる。投影パターンを示す情報は、投影パターンの模様を示す情報を含む。なお、投影パターンが複数ある場合は、投影パターンを示す情報は、さらに投影パターンの枚数を示す情報を含んでもよい。投影パターンの模様は、投影パターンごとに予め定められた太さの縞を一定の規則に従って並べたストライプ模様、不規則な配置で並べられたドット状の模様、投影パターン中で投影光の強度を滑らかに変化させたグラデーション模様、もしくはこれらの組み合わせであってもよい。上記の模様は一例であり、あらゆる模様の投影パターンを用いることができる。投影パターンの枚数は１枚以上の任意の枚数である。また、投影パターンの模様を示す情報は、例えば、模様の種類を示す情報であってもよいし、所定の投影面における光の強度分布を示す情報であってもよい。

撮影条件情報取得部２０２は、撮像装置の撮影条件を示す撮影条件情報を取得する。撮影条件情報は、撮像装置の性能および使用状態の少なくとも１つを特定可能な情報を含むことができる。撮像装置の性能は例えば解像度、画角であり、撮像装置の状態は例えば、撮像装置の位置姿勢、ピントの状態である。

計測対象物情報取得部２０３は、計測対象物に関する情報、例えば、計測対象物の形状、位置姿勢などの状態、特性を示す情報である計測対象物情報を取得する。計測対象物の特性は、例えば、計測対象物の反射特性である。計測対象物の反射特性を示す情報は、例えば、計測対象物の色、拡散反射率、および鏡面反射率の少なくとも１つを含む。

非計測対象物情報取得部２０４は、撮影空間内に存在する、計測対象物以外の物体または投影光以外の環境光である非計測対象物に関する情報である非計測対象物情報を取得する。非計測対象物は、例えば、計測対象物を保持する容器、架台、冶具である。なお、非計測対象物は、上記の例に限定されず、実際の撮影装置が撮影する撮影画像に映り込みうる計測対象物以外の物体、例えば、壁、窓、その他の風景、および上記の物体を照射する照明光などの光も含まれる。非計測対象物情報は、非計測対象物の位置、形状および特性と、環境光の状態を示す情報とのうち少なくとも１つを含むことができる。

なお、計測対象物情報および非計測対象物情報に含まれる物体の形状を示す情報は、３Ｄ－ＣＡＤ（３Dimensional－Computer－Assisted Drawing）のようなメッシュの組み合わせ、球または直方体といったプリミティブもしくはその集合体として表現することができる。物体の反射特性は、光が当たったときの物体の見え方を再現するために用いられる。環境光の状態を示す情報は、実際に撮像装置で撮影した画像のような陰影効果を得るために用いられる。また、物体は宙に浮いている状態であってもよいし、床面および物体を納める箱を設定して、箱の内部に物体が存在するようにしてもよい。床面および箱についても物体と同様に反射特性を設定できることが好ましい。

上記の通り、投影装置および撮像装置の解像度、画角といった性能を含む投影条件情報および撮影条件情報をそれぞれ個別に設定可能であるため、現実の三次元計測装置で起こり得る計測誤差をより正確に再現することが可能である。例えば、撮像装置の解像度が投影装置の解像度よりも低い場合、投影装置の投影パターンをより精細にしても、投影パターンを撮影した画像からは精細に投影パターンの模様を判別することができないため、三次元計測の誤差、欠損の原因となる。仮想撮影画像生成部１０２は、撮像装置の解像度に基づいて仮想撮影画像を生成するため、仮想撮影画像を解析することで、撮像装置の判別可能な投影パターンの細かさが分かる。これにより、撮像装置で判別可能な投影パターンの細かさの限界値を、投影装置の解像度の上限値として見積もることができる。或いは、投影装置の解像度に見合った撮像装置の性能を検討することもできる。つまり、三次元計測装置が有する投影装置および撮像装置は、互いに見合った性能のものを使用する必要があるため、シミュレーション結果を用いて、投影装置および撮像装置の性能を検討することが好ましい。

仮想撮影画像生成部１０２は、計測条件情報に基づいて、撮像装置が出力する撮影画像を再現した仮想撮影画像を生成する。仮想撮影画像生成部１０２は、計測条件情報に含まれる計測対象物情報および非計測対象物情報に基づいて、撮影空間内に存在する物体の配置を仮想の撮影空間内で再現し、撮影条件情報に基づいて、仮想撮影画像が示す撮影空間内の部分を特定することができる。さらに仮想撮影画像生成部１０２は、投影条件情報、計測対象物情報および非計測対象物情報に基づく反射モデルを用いて、撮影空間内で投影光により生じる陰影を再現することができる。仮想撮影画像生成部１０２は、撮像装置が出力する撮影画像における投影光によって生じる陰影の境界を示す位置を画素値で再現することができる。ここで、陰影の境界を示す位置に含まれる誤差は、撮影画像中で光の視認性を低下させる。光の視認性の低下とは、投影光が撮影空間内で照射される三次元位置と、撮影画像上における投影光の照射位置の検出結果とが整合しなくなることや、投影装置が二次元の投影パターンを投影する場合において、光の陰影境界、例えば、投影光が照射される領域と投影光が照射されない領域との境界であるパターン境界が正しく検出できなくなることを意味する。このため、光の視認性が低下すると、三次元計測の計測結果に誤差が生じたり、計測不可能な状態となったりして、三次元計測の品質が低下する。

撮影画像における光の陰影境界の位置に誤差が生じる要因には、投影装置に起因するものと、撮像装置に起因するものとが含まれうる。投影装置に起因する誤差要因としては、投影装置からの投影光が第１の面で反射した後、第２の面に入射して第２の面を照らす相互反射、投影装置のピントが合わないことによる光のボケなどが考えられる。第２の面は、第１の面と異なる物体の表面であってもよいし、第１の面と同じ物体の異なる部位であってもよい。

撮像装置に起因する誤差要因としては、撮像装置が有するレンズの歪曲収差などによる画像ひずみ、画像に規則性なく出現するランダムノイズ、撮像装置のピントが合っていないことによる画像ボケなどが考えられる。なお、誤差要因として扱われる現象は、上記に限定されず、光の投影状態が変化したり、撮影される画像が変化したりする原因となるあらゆる現象を含めてよい。

上述の相互反射が生じやすい状況の一例としては、２以上の物体が近接して配置されている場合が挙げられる。投影装置から照射される光線が、撮影空間中の第１の物体の表面で反射して、反射光が第１の物体と異なる第２の物体を照らす場合がある。また、撮影空間に存在する第１の物体の部位Ｘで反射した光が、同じ第１の物体の部位Ｘと異なる部位Ｙを照らす場合も考えられる。

相互反射は、投影装置からの投影光だけでなく、室内照明および屋外からの日光といった環境光においても同様に生じうる。また、光線の反射は一度とは限られず、複数回の反射も起こり得る。ただし、光は反射のたびにエネルギーが吸収されるため、反射回数を重ねると、撮像装置の観測感度を下回り、撮影画像に影響を及ぼさなくなることが多い。このため、予め定めた回数以上の反射光による相互反射は無視してもよい。

相互反射による光の強度は、仮想撮影画像を生成するときと同様の反射モデルに加えて、反射前の光の強度と反射点の反射特性および光の進行経路に基づいて決定することができる。

相互反射が生じると、画像上で観測されるべきパターン境界以外にも光の陰影境界が観測されることがある。パターン境界以外の境界が観測された部分においては、光の照射方向を正しく計算することができず、三次元計測の際に計測誤差の原因となる。

仮想撮影画像生成部１０２は、光の相互反射の影響を考慮して、仮想撮影画像を生成するため、三次元計測演算部１０３が出力する計測値には、実際に相互反射が生じ得る計測対象物に対して三次元計測を行った際に生じ得る計測誤差が再現されている。このため、計測誤差の大きさや出現傾向を、実際に三次元計測装置を構成する前に把握することが可能になる。計測誤差の出現傾向を事前に把握することができれば、投影装置および撮像装置の位置関係または計測対象物の配置方法などの計測条件を変更することで、相互反射の影響を低減する方法を検討することもできる。したがって、三次元計測の精度を向上させることが可能である。

投影装置のピントずれが生じると、光の陰影境界のボケが生じ、パターン境界がぼやけるため、光の照射方向を特定する目的で、撮影画像上における投影パターンの解析精度が低下し、光の照射方向が誤って算出される可能性がある。撮影空間が一定以上の奥行を有する場合、投影装置のピントを撮影空間の全体に合わせることができないことも考えられる。このような場合、投影装置のピントずれが生じた場合でも精度よく投影パターンを解析できるような計算方法を検討することが必要となる。しかしながら、実際に投影装置および撮像装置を動作させて計測対象物を観測したデータである実データを用いて投影パターンの解析方法を検証しようとしても、実データにおけるパターン境界の真の位置を知ることは困難である。このため、検証結果が正しいかどうかを厳密に判断することはできない。これに対して、シミュレーション装置１０では、計測条件情報に基づいてパターン境界の真の位置を取得することができ、投影装置のピントずれに起因するパターン境界のボケを再現した仮想撮影画像を生成する。そのため、投影パターンの解析方法を改良した結果として、パターン境界の検出結果が改善しているかどうかを容易に判定することが可能になる。したがって、三次元計測に要する投影パターンの解析アルゴリズムの開発を効率化することが可能になる。

また、投影装置のピントずれの度合と三次元計測の計測結果との関係をシミュレーションすることができるため、どの程度のピントずれであれば計測結果の誤差が許容範囲内となるかを検証することができ、投影装置のピントがあう奥行の範囲といった要求性能を見積もることが可能になる。したがって、シミュレーション装置１０は、三次元計測装置の設計を容易にすることができるという効果を奏する。

また、仮想撮影画像生成部１０２は、撮像装置のレンズによる歪曲収差の効果として、画像ひずみを計算することができる。画像ひずみのモデルの一例として、画像にひずみが生じる前後の画素の対応は、下記の数式（１）を用いて求めることができる。

ここで、（ｘ_ｕ，ｙ_ｕ）は、ひずみのない画像における画像座標であり、（ｘ_ｄ，ｙ_ｄ）は、ひずみのある画像における画像座標であり、Ｋは、ひずみの度合を示す係数であり、ｒは、画像中心から注目画素までの距離である。注目画素は、ひずみのある画像の任意の座標（ｘ_ｄ，ｙ_ｄ）の画素である。仮想撮影画像生成部１０２は、注目画素として、ひずみのある画像のすべての画素を順次選択してもよい。画像ひずみは、簡略化したモデルから詳細なモデルまで多数提案されている。シミュレーション装置１０は、画像ひずみの計算式として、数式（１）を含む任意のモデルを用いることができる。

仮想撮影画像生成部１０２は、画素ごとまたは画像上の一定領域ごとに、ノイズの出現確率および強度を設定することで、ランダムノイズを再現することができる。仮想撮影画像生成部１０２は、出現確率を用いて画素または領域にノイズを付与するか否かを判定し、付与すると判定した場合には、設定した強度に基づいて画素または領域の色を変化させる。強度の指定の方法としては、元の画素または領域の色に対する変化率としてもよいし、整数値としてもよい。強度は、固定の変化率または整数値を用いて示してもよいし、一定の範囲を有するものとしてもよい。また、強度は、画素の輝度の上昇を意味する正の値と、輝度の下降を意味する負の値の両方を取り得る。

仮想撮影画像生成部１０２は、注目画素の周囲の画素の色情報を用いて、撮像装置のピントずれに起因する画像ボケを再現することができる。注目画素としては、画像上の任意の画素を選択してよい。画像ボケが生じた後の色の計算方法としては、注目画素とその周囲の画素における色の平均値とする方法、注目画素に近い画素ほど高い比率で合成するガウシアン平滑化などがある。ガウシアン平滑化を用いることで、平均値をとる方法よりも正確に画像ボケを再現することができるという利点がある。また、平均値をとる方法は、ガウシアン平滑化を用いる方法よりも処理時間が早いという利点がある。また、画像ボケは、撮像装置から物体までの距離によっても変化する。ピントが合っている物体はボケが少なく、ピントがあっていない物体はより大きくぼやけた像として撮像される。距離によるボケの度合の変化とピントが合っている距離といった情報をさらに用いることで、仮想撮影画像生成部１０２は、より実際の撮影画像に近いボケを再現することが可能である。該情報は、計測条件情報として取得してもよいし、計測条件情報に含まれる他の情報から計算により求めてもよい。なお、仮想撮影画像生成部１０２が誤差要因を再現する具体的な方法については、一例を実施の形態２および３で説明するが、再現方法はこれらに限定されない。

三次元計測演算部１０３は、仮想撮影画像を入力として、三次元計測処理を実行する。三次元計測演算部１０３が実行する三次元計測処理は、三次元計測装置が実環境で撮影した撮影画像を用いて行う三次元計測処理と同じであってよい。三次元計測処理は、計測対象物に照射された投影パターンの識別処理と、距離計測処理とを含む。投影パターンの識別処理は、複数枚の撮影画像から同じ位置の画素の輝度情報を取得し、それぞれの画素が投影装置によって照らされているかどうかを判定し、その組み合わせを取得する。パターン識別処理としては、上記の他にも、注目画素の周囲のローカルな投影パターンの模様を解析する方法がある。ローカルな投影パターンがパターン全体においても独自性があるように設計されていれば、投影装置から投光されている投影パターン全体のうち、注目画素周辺に照射されている部分がどこに位置するかを特定することができる。いずれのパターン識別方法においても、投影装置から注目画素までのベクトルを一意に求めることが目的である。

投影パターンの識別処理によって、投影装置から注目画素までのベクトルを求めると、三次元計測演算部１０３は、計測条件情報に含まれる、投影装置および撮像装置の位置および姿勢といった配置条件を示すセンサ情報に基づいて、三角測量の原理で距離計測処理を行う。距離計測処理の詳細は、使用する投影パターンによって異なる。シミュレーション装置１０が使用する投影パターンは任意の投影パターンであってよいため、距離計測処理は、使用する投影パターンに合わせて選択される。

図４は、図１に示すシミュレーション装置１０が出力する表示画面２０の一例を示す図である。表示画面２０は、処理結果表示領域２１と、計測条件表示領域２２と、計測条件のリスト表示領域２３と、表示内容選択領域２４と、実行ボタン２５と、保存ボタン２６と、終了ボタン２７とを含む。処理結果表示領域２１には、シミュレーション結果が表示される。計測条件表示領域２２には、個別の計測条件が表示されるとともに、表示された計測条件の変更入力ができるようになっている。計測条件のリスト表示領域２３には、保存済みの計測条件がリスト表示される。リスト表示領域２３に表示された計測条件のリストの中から１つが選択されると、選択された計測条件が計測条件表示領域２２に表示される。表示内容選択領域２４には、処理結果表示領域２１に表示する内容を選択するための操作部が表示され、ここでは、仮想撮影画像生成部１０２が再現した撮影画像と、計測データとが選択肢として表示されている。

実行ボタン２５は、計測条件表示領域２２に表示されている計測条件を使用して、シミュレーション処理を実行するための操作部である。保存ボタン２６は、計測条件表示領域２２に表示されている計測条件を保存するための操作部である。終了ボタン２７は、三次元計測のシミュレーション処理を終了するための操作部である。

計測条件取得部１０１は、実行ボタン２５が操作されると、計測条件表示領域２２に表示されている計測条件を取得して仮想撮影画像生成部１０２に入力する。仮想撮影画像生成部１０２が仮想撮影画像を生成して三次元計測演算部１０３に入力し、三次元計測演算部１０３が三次元計測処理を実行して計測結果を出力部１０４に入力すると、出力部１０４は、仮想撮影画像、計測値といったシミュレーション処理の過程で得られる処理結果、計測条件情報などシミュレーション処理への入力データなどを処理結果表示領域２１に出力する。

ユーザにとって見やすい出力となるように、出力部１０４は、注目箇所を強調する、コントラストを調整する、ノイズを除去するなどの処理を行ってもよい。図４に示す表示画面２０は一例であり、図４の例に限定されない。図４に示す表示画面２０を用いることで、ユーザは、計測条件を逐次調整しながら、繰返しシミュレーション結果を確認することができる。

以上説明したように、本発明の実施の形態１によれば、実際の撮像装置が出力する撮影画像を再現した仮想撮影画像が生成され、仮想撮影画像に基づいて、三次元計測処理が行われる。このような構成をとることで、実際に三次元計測装置を構成することなく、三次元計測の計測結果を得ることができる。また、シミュレーション装置１０は、実際の三次元計測装置で取得される撮影画像に含まれる光の位置の誤差を再現することができる。誤差は、例えば、歪曲収差による画像ひずみ、ランダムノイズ、画像ボケ、相互反射などに起因して生じる。実際に三次元計測装置を構成した場合に、実際の撮影画像に後からこれらの誤差を付加するのは難しいが、仮想撮影画像上でこれらの誤差を再現することで、三次元計測のシミュレーション結果の精度を向上することができる。また、仮想撮影画像に再現性よく投影パターンおよび誤差を再現することができれば、三次元計測処理は通常の処理を用いることが可能である。

実施の形態２．
図５は、本発明の実施の形態２にかかる仮想撮影画像生成部１０２の機能構成を示す図である。仮想撮影画像生成部１０２は、光学再現画像生成部３０１と、画質劣化処理部３０２とを有する。なお、図示していないが、図５に示す仮想撮影画像生成部１０２を備え、図１に示すシミュレーション装置１０と同様の構成を示す装置を、実施の形態２にかかるシミュレーション装置１２と称する。シミュレーション装置１２は、仮想撮影画像生成部１０２以外の構成については、図１に示す実施の形態１と同様であるため、ここでは詳細な説明を省略する。以下、実施の形態１と同様の構成要素については、図１に示す符号を用いて説明し、実施の形態１と異なる部分について主に説明する。

光学再現画像生成部３０１は、計測条件情報に基づいて、光学的なシミュレーションを行い、撮影画像を再現した光学再現画像を生成する。画質劣化処理部３０２は、光学再現画像に対して、誤差要因に応じた画質の劣化処理を施す。仮想撮影画像生成部１０２は、劣化処理後の画像を仮想撮影画像とする。

図６は、図５に示す仮想撮影画像生成部１０２を有するシミュレーション装置１２の動作を示すフローチャートである。計測条件取得部１０１は、計測条件情報を取得する（ステップＳ２０１）。計測条件取得部１０１は、取得した計測条件情報を仮想撮影画像生成部１０２に入力する。

仮想撮影画像生成部１０２の光学再現画像生成部３０１は、計測条件情報に基づいて、光学再現画像を生成する（ステップＳ２０２）。光学再現画像生成部３０１は、生成した光学再現画像を画質劣化処理部３０２に入力する。

画質劣化処理部３０２は、光学再現画像に対して、画質劣化処理を実行する（ステップＳ２０３）。画質劣化処理部３０２は、画質劣化処理後の画像を仮想撮影画像として三次元計測演算部１０３に入力する。

三次元計測演算部１０３は、仮想撮影画像を用いて、三次元計測処理を行い、計測結果を得る（ステップＳ２０４）。三次元計測演算部１０３は、計測結果を出力部１０４に入力する。出力部１０４は、計測結果を含むシミュレーション結果を出力する（ステップＳ２０５）。

光学再現画像生成部３０１は、画像中の各画素に対応する撮影空間内の撮像位置を計算し、計算した撮像位置に投影光が照射されているかどうか、つまり、投影装置の投影光が撮像位置に到達しているか否かを判定する。まず、光学再現画像生成部３０１は、センサ情報と、撮影空間内に存在する物体の配置および特性を示す情報とに基づいて、撮像装置の光学中心Ｏ_camから各画素を通るベクトルＶ_camを計算する。光学再現画像生成部３０１は、ベクトルＶ_camと最初に交差する物体の表面上の点Ｐ_objを検出する。このような計算によって、各画素に撮像されている物体を把握することができる。

続いて、光学再現画像生成部３０１は、物体の表面上の点Ｐ_objが投影装置によって照らされているかどうかを判定する。光学再現画像生成部３０１は、まず、投影装置の光学中心Ｏ_projから点Ｐ_objに向かうベクトルＶ_projを計算する。光学再現画像生成部３０１は、センサ情報と、投影装置の投影パターンを示すパターン情報とを用いて、投影装置から投影パターンが照射される範囲にベクトルＶ_projが含まれているか否かを判定する。含まれる場合、物体の表面上の点Ｐ_objは、投影装置に照らされていると判定することができる。

光学再現画像生成部３０１は、上記の計算結果に加えて、計測条件情報に含まれる反射特性および環境光の状態を示す情報を用いて、各画素の色を決定することができる。色を決定するために用いられる代表的な反射モデルとしては、拡散反射においてはランバート反射、鏡面反射においてはフォンの反射モデルが挙げられる。しかしながら、光学再現画像生成部３０１が使用する反射モデルはこれらに限定されず、任意の反射モデルを使用することができる。

なお、光学再現画像の生成において、画像は離散的な画素の集合体であるため、ひとつの画素に撮像される範囲に、物体の境界、投影装置の投影パターンの境界部分が含まれることがある。その場合は、境界を構成する２つ以上の物体の色が混ざった色を画素の色とする方が自然である。しかし、上述のベクトルＶ_camは、撮影空間中の１点の交差点しか検出することができない。このため、境界を構成する物体のうち、ベクトルＶ_camと交差する物体の色のみが画素の色として決定されてしまう。結果として、物体や投影パターンの境界が不自然に見える画像が生成される可能性がある。これはいわゆる量子化誤差に起因する現象の一種であり、画像処理の分野においてはしばしば問題となる現象である。

量子化誤差に起因する現象の問題を解決するために、光学再現画像を仮想撮影画像の解像度よりも高い解像度で作成しておき、画質劣化処理において画像サイズになるように画像を縮小する処理を加えることで、仮想撮影画像を生成する方法がある。例えば、光学再現画像生成部３０１は、最終的に出力する仮想撮影画像の解像度の４倍の解像度で光学再現画像を生成する。この場合、仮想撮影画像の各画素の色は、光学再現画像におけるその画素にもっとも近い４画素分の色情報を用いて決定することができる。これにより、物体および投影パターンの境界付近の表現が自然な仮想撮影画像を生成することができる。

光学再現画像生成部３０１は、誤差要因のうち、例えば、投影装置に起因する誤差要因である相互反射および投影装置のピントずれの情報を用いて、光学再現画像を生成する。これらは投影パターンの投影状態に影響するため、例えば、ピントずれが生じる場合には、光学再現画像生成部３０１は、光学再現画像におけるパターン境界を含む光の陰影境界をぼやけさせる。光学再現画像生成部３０１は、例えば、第１の面で反射した反射光が第２の面に入射する入射点を含む画素の輝度を、相互反射の影響を考慮しないときの輝度よりも高くすることで、相互反射を再現することができる。また、光学再現画像生成部３０１は、光の陰影境界に対応する画素の輝度を調整することで、光の陰影境界のボケを再現することができる。相互反射を再現する具体的な方法、および、投影装置のピントずれに起因する光の陰影境界のボケを再現する具体的な方法については、例えば、実施の形態３で説明する方法を用いることができる。

画質劣化処理部３０２は、例えば、撮像装置に起因する誤差要因である画像ひずみ、ランダムノイズおよび撮像装置のピントずれの情報を用いて、光学再現画像の画質を劣化させる。例えば、画質劣化処理部３０２は、画像中の輝度変化を平坦化するフィルタリング処理を行って、物体の輪郭、光の陰影境界などをぼやけさせたり、ランダムに選択した位置の画素の輝度を変化させたりすることで、光学再現画像の画質を劣化させることができる。

本発明の実施の形態２にかかるシミュレーション装置１２によれば、光学シミュレーションによって、光が物体に遮蔽されることによる影を含めた光学的な効果を再現した画像である光学再現画像を得ることができる。さらに、光学再現画像に画質の劣化処理を施すことで、実際の撮影画像を精度よく再現することが可能になる。

また、光学的な現象を再現する処理と画質の劣化を再現する処理とを明示的に分けることで、三次元計測の誤差要因をそれぞれ独立して分析することが容易になる。三次元計測装置の実機を用いて三次元計測の計測誤差を検証する場合、各誤差要因がどれくらいの比率で影響しているのかを切り分けることは困難であるが、シミュレーション装置１２を用いることで、投影装置に起因して生じる計測誤差と、撮像装置に起因して生じる計測誤差とを切り分けて検証することができる。したがって、三次元計測装置の設計や、投影装置および撮像装置などの機器の性能の検討を正確に行うことができる。また、実環境で三次元計測装置の実機を用いて検証するためには、様々な計測条件に対応する機器および計測対象物をそろえる必要があるため、多大な費用および時間がかかる。シミュレーション装置１２によれば、シミュレーションによって検討を実施することができるため、より多くの計測条件で三次元計測装置を評価することができ、製品保証が容易になるという効果がある。

実施の形態３．
図７は、本発明の実施の形態３にかかるシミュレーション装置１３の機能構成を示す図である。シミュレーション装置１３は、計測条件取得部１０１と、仮想撮影画像生成部１０２と、三次元計測演算部１０３と、出力部１０４と、誤差情報取得部１０５とを有する。以下、シミュレーション装置１２と異なる部分について主に説明する。

シミュレーション装置１３は、シミュレーション装置１２の構成に加えて、誤差情報取得部１０５を有する。誤差情報取得部１０５は、仮想撮影画像で表現する誤差要因を示す誤差情報を外部から取得する。誤差情報には、誤差要因の種類ごとの誤差の強度および付加順のうち少なくとも１つが含まれる。誤差情報取得部１０５は、取得した誤差情報を仮想撮影画像生成部１０２に入力する。

図８は、図７に示す仮想撮影画像生成部１０２の機能構成を示す図である。シミュレーション装置１３において、仮想撮影画像生成部１０２は、光学再現画像生成部３０１と、画質劣化処理部３０２と、誤差要因決定部３０３とを有する。

誤差要因決定部３０３は、誤差情報に基づいて、光学再現画像を生成して画質の劣化処理を施す誤差要因付加処理の強度および付加順の少なくとも１つを含む誤差要因付加処理の処理条件を決定する。誤差要因決定部３０３は、決定した処理条件を光学再現画像生成部３０１に入力する。

光学再現画像生成部３０１は、計測条件情報と誤差情報と誤差要因決定部３０３から入力される処理条件とに基づいて、光学再現画像を生成する。画質劣化処理部３０２は、計測条件情報と誤差情報とに基づいて、光学再現画像に対して画質の劣化処理を施す。

図９は、図７に示すシミュレーション装置１３の動作を示すフローチャートである。計測条件取得部１０１は、計測条件情報を取得する（ステップＳ３０１）。計測条件取得部１０１は、取得した計測条件情報を仮想撮影画像生成部１０２に入力する。

誤差情報取得部１０５は、誤差情報を取得する（ステップＳ３０２）。誤差情報取得部１０５は、取得した誤差情報を仮想撮影画像生成部１０２に入力する。なお、ステップＳ３０１の処理とステップＳ３０２の処理とは同時並行で行われてよい。

仮想撮影画像生成部１０２の誤差要因決定部３０３は、誤差要因の強度および付加順の少なくとも１つを含む、誤差要因付加処理の処理条件を決定する（ステップＳ３０３）。誤差要因決定部３０３は、決定した処理条件を光学再現画像生成部３０１に入力する。

光学再現画像生成部３０１は、処理条件と、計測条件情報とに基づいて、光学的なシミュレーションによって光学再現画像を生成する（ステップＳ３０４）。光学再現画像生成部３０１は、生成した光学再現画像を画質劣化処理部３０２に入力する。

画質劣化処理部３０２は、計測条件情報と誤差情報とに基づいて、光学再現画像の画質劣化処理を実行する（ステップＳ３０５）。画質劣化処理部３０２は、画質劣化処理後の画像を仮想撮影画像として三次元計測演算部１０３に入力する。

三次元計測演算部１０３は、仮想撮影画像を用いて、三次元計測処理を実行し、計測結果を得る（ステップＳ３０６）。三次元計測演算部１０３は、計測結果を出力部１０４に入力する。出力部１０４は、計測結果を含むシミュレーション結果を出力する（ステップＳ３０７）。

図１０は、図９に示すステップＳ３０４の詳細を示すフローチャートである。光学再現画像生成部３０１は、まず、誤差要因を含まない光学再現画像を生成する（ステップＳ４０１）。上記の通り、光学再現画像生成部３０１は、投影光によって直接照らされる領域である投影領域と、照らされない領域である非投影領域とを判別し、投影領域を非投影領域よりも明るい色で描画する。

続いて光学再現画像生成部３０１は、誤差情報から誤差要因の付加順を取得する（ステップＳ４０２）。さらに光学再現画像生成部３０１は、誤差情報から誤差要因の種類および種類ごとの強度を取得する（ステップＳ４０３）。以下、光学再現画像生成部３０１は、ステップＳ４０２で取得した付加順に従って、光学再現画像に誤差を付加するか否かを判断していく。光学再現画像生成部３０１は、誤差情報に基づいて、まず、光学再現画像に相互反射を付加するか否かを判断する（ステップＳ４０４）。

相互反射を付加する場合（ステップＳ４０４：Ｙｅｓ）、光学再現画像生成部３０１、光学再現画像に相互反射を付加する（ステップＳ４０５）。具体的には、相互反射が生じる場合、物体の第１の面で反射した反射光が、第２の面に入射する。このとき光学再現画像生成部３０１は、第２の面に反射光が入射する入射点を含む画素の輝度を、相互反射によって輝度が増加する画素とする。光学再現画像生成部３０１は、輝度の増加量を、第１の面を含む物体および第２の面を含む物体の位置姿勢と、第１の面および第２の面の表面特性とに基づいて決定する。光学再現画像の各画素の輝度は、相互反射の影響を考慮しないときの画素の第１の輝度に、相互反射による輝度の増加量を加えた第２の輝度となる。

なお、光学再現画像生成部３０１は、ステップＳ４０５の処理において、必ずしも全ての光の反射において相互反射による輝度増加を計算しなくてもよい。例えば、光の鏡面反射率が低い面については、輝度増加量は画像の分解能よりも小さくなることがあるため、閾値以下の鏡面反射率を有する面については、相互反射による輝度の増加はないものとみなすことができる。

光学再現画像生成部３０１は、ステップＳ４０５の相互反射を付加する処理を終えると、誤差付加処理が終了であるか否かを判断する（ステップＳ４０６）。誤差付加処理が終了である場合（ステップＳ４０６：Ｙｅｓ）、光学再現画像生成部３０１は、誤差付加処理を終了して、光学再現画像を画質劣化処理部３０２に入力する。誤差付加処理が終了でない場合（ステップＳ４０６：Ｎｏ）、光学再現画像生成部３０１は、ステップＳ４０３の処理に戻る。

相互反射を付加しない場合（ステップＳ４０４：Ｎｏ）、光学再現画像生成部３０１は、投影装置の光ボケを付加するか否かを判断する（ステップＳ４０７）。

投影装置の光ボケを付加する場合（ステップＳ４０７：Ｙｅｓ）、光学再現画像生成部３０１は、投影装置の光ボケを光学再現画像に付加する（ステップＳ４０８）。光の陰影境界のボケは、画素の輝度で表現することができる。具体的には、光学再現画像生成部３０１は、計測条件情報に基づき、光学再現画像においてピントずれがないと仮定した場合に光が投影される領域である第１の領域と、同じく投影装置のピントずれがないと仮定した場合に光が投影されない領域である第２の領域とを判別する。光学再現画像生成部３０１は、判別結果に基づいて、第１の領域と第２の領域との境界から予め定められた距離以内の画素を特定する。これらの画素の最大輝度は、光が投影される領域の輝度であり、最小輝度は、光が投影されない領域の輝度である。画素の輝度は、境界付近において、注目画素と境界との距離に基づいて決定されてよい。画素の輝度は、注目画素が第１の領域に近いほど最大値の輝度に近くなり、注目画素が第２の領域に近いほど最小値の輝度に近くなるように決定されてもよい。このようにして注目画素と第１の領域との最短距離に基づいて輝度を変化させることで、投影装置のピントがずれた状態を再現することが可能である。

光学再現画像生成部３０１は、ステップＳ４０８の処理を終えると、ステップＳ４０６に進む。投影装置の光ボケを付加しない場合（ステップＳ４０７：Ｎｏ）、光学再現画像生成部３０１は、環境光を光学再現画像に付加するか否かを判断する（ステップＳ４０９）。

環境光を付加する場合（ステップＳ４０９：Ｙｅｓ）、光学再現画像生成部３０１は、環境光を光学再現画像に付加する（ステップＳ４１０）。環境光は、画素の輝度および色の少なくとも一方で表現される。光学再現画像生成部３０１は、ステップＳ４１０の処理を終えると、ステップＳ４０６に進む。また、環境光を付加しない場合（ステップＳ４０９：Ｎｏ）、光学再現画像生成部３０１は、誤差付加処理を終了する。

図１１は、図９に示すステップＳ３０５の詳細を示すフローチャートである。画質劣化処理部３０２は、まず、誤差情報に基づいて、誤差要因の付加順を取得する（ステップＳ５０１）。画質劣化処理部３０２は、誤差情報に基づいて、さらに、誤差要因の種類と誤差の強度とを取得する（ステップＳ５０２）。以下、画質劣化処理部３０２は、ステップＳ５０１で取得した付加順に従って、誤差を付加するか否かを判断する。

まず画質劣化処理部３０２は、画像ひずみを付加するか否かを判断する（ステップＳ５０３）。画像ひずみを付加すると判断した場合（ステップＳ５０３：Ｙｅｓ）、画質劣化処理部３０２は、光学再現画像に画像ひずみを付加する（ステップＳ５０４）。画像ひずみを付加した後、画質劣化処理部３０２は、画質劣化処理を終了するか否かを判断する（ステップＳ５０５）。画質劣化処理を終了すると判断した場合（ステップＳ５０５：Ｙｅｓ）、画質劣化処理部３０２は処理を終了する。画質劣化処理を終了しないと判断した場合（ステップＳ５０５：Ｎｏ）、画質劣化処理部３０２は、ステップＳ５０２の処理に戻る。

画像ひずみを付加しないと判断した場合（ステップＳ５０３：Ｎｏ）、画質劣化処理部３０２は、続いて、ランダムノイズを付加するか否かを判断する（ステップＳ５０６）。ランダムノイズを付加すると判断した場合（ステップＳ５０６：Ｙｅｓ）、画質劣化処理部３０２は、光学再現画像にランダムノイズを付加する（ステップＳ５０７）。ステップＳ５０７の処理が終わると、画質劣化処理部３０２は、ステップＳ５０５の処理に進む。

ランダムノイズを付加しないと判断した場合（ステップＳ５０６：Ｎｏ）、画質劣化処理部３０２は、画像ボケを付加するか否かを判断する（ステップＳ５０８）。画像ボケを付加しないと判断した場合（ステップＳ５０８：Ｎｏ）、画質劣化処理部３０２は処理を終了する。画像ボケを付加すると判断した場合（ステップＳ５０８：Ｙｅｓ）、画質劣化処理部３０２は、光学再現画像に画像ボケを付加する（ステップＳ５０９）。ステップＳ５０９の処理が終わると、画質劣化処理部３０２は、ステップＳ５０５の処理に進む。

なお、画質劣化処理部３０２は、１つの種類の誤差要因だけを光学再現画像に付加してもよいし、同じ誤差要因を複数回、光学再現画像に付加してもよい。例えば、ランダムノイズの付加と画像ボケの付加を交互に複数回実行すると、対象の物体の見え方に色ムラが生じたような効果を得ることができる。このように誤差要因の付加順と強度の組み合わせによって、さまざまな画質効果を再現することができる。

図１２は、図７に示すシミュレーション装置１３が出力する表示画面３０の一例を示す図である。表示画面３０は、処理結果表示領域２１と、計測条件表示領域２２と、計測条件のリスト表示領域２３と、表示内容選択領域２４と、実行ボタン２５と、保存ボタン２６と、終了ボタン２７と、誤差要因設定領域２８とを有する。

表示画面３０は、実施の形態１で説明した表示画面２０の構成要素に加えて、誤差要因設定領域２８を有する。以下、表示画面２０と同様の部分については説明を省略し、表示画面２０と異なる部分について主に説明する。

誤差要因設定領域２８は、誤差要因の種類ごとに、誤差の強度および誤差の付加順を設定するための領域である。ユーザは、誤差要因設定領域２８に対して、誤差の強度および付加順を入力して設定することができる。誤差情報取得部１０５は、実行ボタン２５が操作されたときに誤差要因設定領域２８に表示されている誤差情報を取得することができる。

以上説明したように、本発明の実施の形態３にかかるシミュレーション装置１３は、誤差情報取得部１０５によって、ユーザが設定した誤差情報を反映したシミュレーションを実行することができる。このような構成をとることで、ユーザは、所望の動作条件において実行された三次元計測の評価を行うことができる。また、誤差要因の種類、誤差を光学再現画像に付加する付加順および強度を選択することができるため、再現可能な画質のバリエーションを増やすことができるという効果がある。動作条件や使用環境をランダムに変化させて試験することも可能であるため、設計者が事前に想定できなかった条件の組み合わせでの試験をすることもでき、試験内容が網羅的となるため、結果的に三次元計測装置の信頼性が高まるという効果も期待できる。

実施の形態４．
図１３は、本発明の実施の形態４にかかる光学再現画像生成部３０１の機能構成を示す図である。光学再現画像生成部３０１は、センサ視点データ生成部４０１と、マップ生成部４０２と、画像合成部４０３とを有する。

なお、図１３に示す光学再現画像生成部３０１を備え、図７に示すシミュレーション装置１３と同様の構成を有する不図示の装置を、実施の形態４にかかるシミュレーション装置１４と称する。シミュレーション装置１４は、図７に示すシミュレーション装置１３と同様の構成を有し、仮想撮影画像生成部１０２の光学再現画像生成部３０１の構成がシミュレーション装置１３と異なる。以下、シミュレーション装置１３と同様の構成要素については説明を省略し、シミュレーション装置１３と異なる部分について主に説明する。

センサ視点データ生成部４０１は、撮像装置から見える撮影空間を示す第１画像と、撮像装置および投影装置のそれぞれから撮影空間内の物体までの距離データとを含むセンサ視点データを生成する。センサ視点データ生成部４０１は、生成したセンサ視点データをマップ生成部４０２に入力する。

図１４は、図１３に示すセンサ視点データ生成部４０１の詳細な機能構成を示す図である。センサ視点データ生成部４０１が生成する第１画像は、投影光が照射されたときの明るさで撮影空間の全体が表現された明画像と、撮影空間に投影光が照射されていない暗画像とを含む。センサ視点データ生成部４０１は、明画像を生成する明画像生成部５０１と、暗画像を生成する暗画像生成部５０２と、距離データを生成する距離データ生成部５０３とを有する。

センサ視点データ生成部４０１は、明画像生成部５０１が生成した明画像と、暗画像生成部５０２が生成した暗画像とを含む第１画像と、距離データ生成部５０３が生成する距離データとを含むセンサ視点データを出力する。

図１３の説明に戻る。センサ視点データ生成部４０１が出力するセンサ視点データは、マップ生成部４０２に入力される。マップ生成部４０２は、計測条件情報に基づいて、投影装置からの光が照らされる第１領域と、投影装置からの光が照らされない第２領域とを異なる数値で示すマップである照射マップを生成する。例えば、照射マップは、第１領域を「１」、第２領域を「０」で表すことができる。マップ生成部４０２は、生成した照射マップを画像合成部４０３に入力する。

図１５は、図１３に示すマップ生成部４０２の詳細な機能構成を示す図である。マップ生成部４０２は、照射領域算出部６０１と、照射マップ生成部６０２と、光ボケ再現部６０３と、反射領域算出部６０４と、反射マップ生成部６０５とを有する。

照射領域算出部６０１は、計測条件情報に基づいて、投影装置からの光が照らされ得る領域を算出する。照射領域算出部６０１は、算出した領域を示す情報を照射マップ生成部６０２に入力する。

照射マップ生成部６０２は、照射領域算出部６０１からの情報と、計測条件情報とを用いて、投影装置からの光が照らされる第１領域と投影装置からの光が照らされない第２領域とを異なる数値で示すマップである照射マップを生成する。照射マップ生成部６０２は、生成した照射マップを光ボケ再現部６０３に入力する。

反射領域算出部６０４は、計測条件情報とセンサ視点データとを用いて、投影装置から照射された光が一度撮影空間内の物体に反射して光線の強度および方向が変化した光である反射光線によって照らされる点の三次元位置と、第１画像上の座標とを対応づけることによって、第１画像において反射光線によって照らされる領域である反射領域を算出する。反射領域算出部６０４は、算出した反射領域を示す情報を反射マップ生成部６０５に入力する。反射マップ生成部６０５は、反射領域を示す情報と計測条件情報とを用いて、投影装置が投影パターンごとに、反射領域と反射光に照らされない領域とを異なる数値で示すマップである反射マップを生成する。例えば、反射マップは、反射領域を「１」、反射光に照らされない領域を「０」で表すことができる。反射マップ生成部６０５は、生成した反射マップを光ボケ再現部６０３に入力する。

光ボケ再現部６０３は、照射マップに光のボケの効果を再現する。具体的には、光ボケ再現部６０３は、光の陰影境界のボケの度合によって照射マップの値を０から１の実数に調整する。光ボケ再現部６０３は、反射マップについても照射マップと同様に光のボケの効果を再現する。具体的には、光ボケ再現部６０３は、光の陰影境界のボケの度合によって照射マップの値を０から１の実数に調整する。光ボケ再現部６０３は、値を調整した後の照射マップおよび反射マップを出力する。

画像合成部４０３は、照射マップおよび反射マップの情報に基づいて第１画像に含まれる明画像と暗画像とを合成することで光学再現画像を生成する。具体的には、画像合成部４０３は、光学再現画像の各画素の輝度を、照射マップの値に基づいて、明画像または暗画像における同じ位置の画素から取得した輝度とすることで、明画像と暗画像とを合成する。また、画像合成部４０３は、光ボケ再現部６０３によって照射マップおよび反射マップの値が調整されている場合、調整後の値に基づいて各画素の輝度を重みづけすることができる。

仮想撮影画像の枚数は、投影パターンの数に等しい。したがって、投影パターンが増えると、仮想撮影画像を作成するための処理時間が長くなるという問題がある。そこで、異なる投影パターンの照射において仮想撮影画像を作成する際に共通する処理を、１回だけ行えばよいように実装することが有効である。共通する処理の例としては、撮像装置視点から見た撮影空間の明画像および暗画像の作成、撮像装置および投影装置から撮影空間に存在する物体までの距離データの計算などが挙げられる。

投影装置からの投影光によって照らされる領域の計算は、投影パターンが異なると計算結果が異なる。しかし、物体の陰になって投影光が遮蔽されて陰になる領域の計算については、投影パターンによらず一定であるため、共通処理として抜き出すことができる。

投影装置のピントが合っていない場合、シーンに投影されるパターンがボケるため、パターンの認識精度が低下し、結果的に３次元計測の精度が低下する可能性がある。パターン光のボケは、撮像装置の撮影の際に生じるものではなく、投影装置からのパターン投光の際に生じるものである。したがって、仮想撮影画像に対してボケを付加する方法では、現象を再現することはできない。

そこで、仮想撮影画像において投影光によって照らされる領域を示す照射マップを作成する。照射マップは、仮想撮影画像と同じ要素数を持つ２次元配列として定義でき、各要素は０から１までの実数の値を持つ。投影光によって照らされている領域は１、投影光が届かない領域は０、投影光のボケの影響を受けて通常よりも低い強度で照らされている領域は０より大きく１より小さい値として表現できる。これを数式で表すと、以下の数式（２）のようになる。

ここで、Ｉ_i,jは、仮想撮影画像の画像座標（i,j）における輝度であり、P_i,jは、照射マップの座標（i,j）における値であり、Ｂ_i,jは、明画像の画像座標（i,j）における輝度であり、Ｓ_i,jは、暗画像の画像座標（i,j）における輝度である。

照射マップを作成する際には、まず投影装置のピントが合っている状態、すなわち投影光のボケがない状態を仮定し、投影パターンで照らされる領域を計算する。この時点では照射マップの各要素が持つ値は、０または１である。この照射マップに対して、ガウシアン平滑化などの平滑化フィルタを施すことによって、投影光のボケを再現する。ガウシアン平滑化を施すことにより、パターン光によって照らされる領域と照らされない領域の境界付近における照射マップの値の変化が滑らかになる。境界部分の値の変化が滑らかになることで、投影光の境界がぼやける効果が得られ、投影光のボケを再現することが可能である。

図１６は、本発明の実施の形態４にかかるシミュレーション装置１４の動作を示すフローチャートである。センサ視点データ生成部４０１は、明画像生成部５０１および暗画像生成部５０２において、明画像および暗画像を生成する（ステップＳ６０１）。センサ視点データ生成部４０１は、ステップＳ６０１と同時並行で、距離データ生成部５０３において、各視点の距離データを生成する（ステップＳ６０２）。センサ視点データ生成部４０１は、生成した明画像、暗画像および距離データを含むセンサ視点データをマップ生成部４０２に入力する。

マップ生成部４０２は、照射領域算出部６０１において、照射領域を算出する（ステップＳ６０３）。続いてマップ生成部４０２は、照射マップ生成部６０２において照射マップを生成する（ステップＳ６０４）。

マップ生成部４０２は、誤差要因の付加順を取得する（ステップＳ６０５）。続いてマップ生成部４０２は、誤差要因の種類と強度を取得する（ステップＳ６０６）。マップ生成部４０２は、相互反射を付加するか否かを判断する（ステップＳ６０７）。相互反射を付加すると判断した場合（ステップＳ６０７：Ｙｅｓ）、マップ生成部４０２は、反射領域算出部６０４に反射領域を算出させ（ステップＳ６０８）、反射マップ生成部６０５に反射マップを生成させる（ステップＳ６０９）。

相互反射を付加しないと判断した場合（ステップＳ６０７：Ｎｏ）、ステップＳ６０８およびステップＳ６０９の処理は省略される。続いてマップ生成部４０２は、光ボケを付加するか否かを判断する（ステップＳ６１０）。光ボケを付加すると判断した場合（ステップＳ６１０：Ｙｅｓ）、マップ生成部４０２の光ボケ再現部６０３は、照射マップに光ボケを再現する（ステップＳ６１１）。

光ボケを付加しないと判断した場合（ステップＳ６１０：Ｎｏ）、ステップＳ６１１の処理は省略される。続いてマップ生成部４０２は、環境光を付加するか否かを判断する（ステップＳ６１２）。環境光を付加すると判断した場合（ステップＳ６１２：Ｙｅｓ）、マップ生成部４０２の照射マップ生成部６０２は、照射マップに環境光を付加する（ステップＳ６１３）。環境光を付加しないと判断した場合（ステップＳ６１２：Ｎｏ）、ステップＳ６１３の処理は省略される。

マップ生成部４０２は、誤差付加処理を終了するか否かを判断する（ステップＳ６１４）。誤差付加処理を終了しないと判断した場合（ステップＳ６１４：Ｎｏ）、ステップＳ６０６の処理に戻る。誤差付加処理を終了すると判断した場合（ステップＳ６１４：Ｙｅｓ）、画像合成部４０３は、画像合成処理を実行する（ステップＳ６１５）。

以上説明したように、本発明の実施の形態４にかかるシミュレーション装置１４によれば、光学的な現象を個別に再現した画像である第１画像、照射マップ、反射マップを作成することで、複数の投影パターンを用いる場合の光学再現画像を生成する処理およびデータ構造を簡素化することができる。また、照射マップを用いてピントずれに起因する光の陰影境界のボケ効果を表現し、反射マップを用いて相互反射の効果を表現することで、簡易な演算処理によって投影装置のピントずれ、相互反射といった複雑な光学現象が複合した撮影画像を再現することができるという効果を奏する。

実際の三次元計測装置を構成して評価を行う場合、光学的な現象が全て混在した状態の結果しか得ることができない。これに対してシミュレーション装置１４によれば、複数の種類の光学的な現象のそれぞれを個別に再現することができる。このため、三次元計測によって生じる計測誤差がどの要因によって引き起こされたかをより詳細に知ることができる。このような構成をとることで、三次元計測装置の設計および性能評価が容易になるという効果を奏する。

実施の形態５．
実施の形態５にかかる不図示のシミュレーション装置１５は、図７に示すシミュレーション装置１３と同様の構成を有する。シミュレーション装置１５は、出力する表示画面がシミュレーション装置１３と異なる。以下、シミュレーション装置１３と同様の部分については説明を省略し、シミュレーション装置１３と異なる部分について主に説明する。

図１７は、本発明の実施の形態５にかかるシミュレーション装置１５が出力する表示画面４０の一例を示す図である。シミュレーション装置１５は、計測条件情報の少なくとも一部と、仮想撮影画像とのうち少なくとも一方をさらに含むシミュレーション結果を出力することができる。

表示画面４０は、調整項目表示領域４１と、保存ボタン４２と、終了ボタン４３と、計測結果表示領域４４とを含むことができる。調整項目表示領域４１は、調整対象の項目の設定値がリスト表示される領域である。計測結果表示領域４４は、調整対象の計測条件の項目をリスト表示されたそれぞれの設定値に設定したときの計測値を表示する領域である。保存ボタン４２は、計測結果を保存する操作を行うための操作部であり、終了ボタン４３は、処理を終了させる操作を行うための操作部である。

表示画面４０では、調整対象の計測条件の項目の設定値と、処理結果である計測値と、中間結果として処理過程で得られる仮想撮影画像、照射マップなどが並べて表示される。また、いずれかの設定値における処理結果を基準とした差分結果を併せて表示したり、処理結果の差異が大きい部分を強調表示したりしてもよい。

以上説明したように、本発明の実施の形態５にかかるシミュレーション装置１５によれば、計測値とあわせて、計測条件情報および仮想撮影画像などを出力することにより、ユーザが、計測条件ごとの三次元計測結果の過程を確認することができる。このとき、複数の計測条件に対応する処理結果および中間結果を並べて表示することで、計測条件の設定値を比較して検討することが可能になる。したがって、投影装置および撮像装置の配置、性能の検討が容易になるという効果を奏する。

実施の形態６．
図１８は、本発明の実施の形態６にかかるシミュレーション装置１６の機能構成を示す図である。シミュレーション装置１６は、計測条件取得部１０１と、仮想撮影画像生成部１０２と、三次元計測演算部１０３と、出力部１０４と、誤差情報取得部１０５と、評価基準データ生成部１０６と、計測評価部１０７とを有する。

シミュレーション装置１６は、シミュレーション装置１３の構成に加えて、評価基準データ生成部１０６と、計測評価部１０７とを有する。以下、シミュレーション装置１３と同様の構成については詳細な説明を省略し、シミュレーション装置１３と異なる部分について主に説明する。

評価基準データ生成部１０６は、計測条件情報を用いて、シミュレーション結果の評価基準となる評価基準データを生成する。評価基準データ生成部１０６は、生成した評価基準データを計測評価部１０７に入力する。計測評価部１０７は、評価基準データを用いてシミュレーション結果を評価し、シミュレーション評価を取得する。出力部１０４は、シミュレーション結果に加えて、シミュレーション評価結果も出力する。

図１９は、図１８に示すシミュレーション装置１６の動作を示すフローチャートである。図１９に示す動作は、ステップＳ３０１からステップＳ３０７までは、図９と同様であるため詳細な説明を省略する。本実施の形態では、三次元計測処理が終わった後、評価基準データ生成部１０６が評価基準データを生成する（ステップＳ７０１）。続いて、計測評価部１０７は、シミュレーションによって得られた計測データと評価基準データとを比較して定量的な評価値を算出する計測評価処理を行う（ステップＳ７０２）。出力部１０４は、シミュレーション評価を出力する（ステップＳ７０３）。

評価基準データとしては、センサ視点データに含まれる、撮像装置からの距離データ、誤差要因を付加する前の仮想撮影画像を入力とした場合の三次元計測の処理結果、照射マップのような処理の過程で得られるデータ、実際に計測対象物を計測して得られる実計測データが考えられる。

シミュレーション評価としては、理論上、計測データが得られうる領域である計測可能領域に対する、計測データが得られない欠損領域の割合、評価基準データと比較した場合の計測誤差などを用いることが考えられる。計測可能領域は、例えば、誤差要因を付加する前の仮想撮影画像を入力として得られる計測データにおいて、欠損が生じていない領域とすることができる。また、評価基準データとシミュレーション結果とを比較して得られる、平均値、分散、標準偏差、最大値といった統計量を評価指標として用いてもよい。

実計測データを評価基準データとして用いる場合、よりシミュレーション評価がよくなるように、すなわち実計測データとシミュレーション結果の間の差異が小さくなるようにフィードバックをすることも有用である。

フィードバックの方法としては、例えば、複数の異なるシミュレーション結果を生成し、最もシミュレーション評価が良い設定値を取得することが考えられる。複数のシミュレーション結果を得るためには、例えば、計測条件における計測対象物の表面特性の値を変化させたり、誤差要因の強度を変化させたりする方法がある。

シミュレーション評価が最もよくなるときの、計測対象物の表面特性、誤差要因の強度といったパラメータが、最適なシミュレーション設定として定義できる。この最適なシミュレーション設定をユーザに提供することによって、より正確な検証実験が実施できるようになる。

図２０は、図１８に示すシミュレーション装置１６の表示画面５０の一例を示す図である。表示画面５０は、表示画面４０の構成要素に加えて、評価基準データ表示領域５１を含む。

表示画面５０では、計測条件の調整対象項目の複数の設定値と並んで、評価基準データが表示される。また、基準値を使用した三次元計測処理のシミュレーションから得られる中間結果も表示してもよい。また、表示画面５０は、シミュレーション評価をさらに表示することもできる。

以上説明したように、本発明の実施の形態６にかかるシミュレーション装置１６では、シミュレーション結果に加えて、評価基準データを得ることができる。評価基準データは、シミュレーション結果を評価する際に基準となるデータであって、実計測データなどである。シミュレーション装置１６は、シミュレーション結果に含まれる計測値と、評価基準データとを並べて表示することで、シミュレーション結果の検討を容易にすることができる。

また、シミュレーション装置１６は、評価基準データを用いてシミュレーション結果を評価したシミュレーション評価を得ることができる。このような構成をとることで、計測誤差および欠損を定量的に把握することができる。このため、撮影装置および投影装置の性能検討、計測対象物ごとに三次元計測の適不適を判定するなどの作業が容易になる。また、性能評価方法が規格で定められている場合、その性能評価方法を使用してシミュレーション評価を得ることで、容易に適不適の判定を行うことが可能になる。

実施の形態７．
図２１は、本発明の実施の形態７にかかるシミュレーション装置１７の機能構成を示す図である。シミュレーション装置１７は、実施の形態６にかかるシミュレーション装置１６の構成に加えて、物体認識処理部１０８および認識評価部１０９を有する。以下、シミュレーション装置１６と異なる部分を主に説明する。

物体認識処理部１０８は、三次元計測演算部１０３が出力するシミュレーション結果と、計測条件取得部１０１が出力する計測条件情報とを入力として、撮影空間内に存在する物体の位置姿勢と、物体を把持可能な位置である把持位置とのうち少なくとも１つを含む認識結果を取得する。物体認識処理部１０８は、認識結果を認識評価部１０９に入力する。

認識評価部１０９は計測条件情報に基づいて、認識結果を評価する。具体的には、認識評価部１０９は、認識結果に含まれる位置姿勢の推定精度と、把持位置の推定精度のうち少なくとも１つを含む認識評価結果を取得する。認識評価部１０９は、物体の認識結果および認識評価結果を出力部１０４に入力する。出力部１０４は、シミュレーション結果およびシミュレーション評価に加えて、認識結果および認識評価結果を出力する。

図２２は、図２１に示すシミュレーション装置１７の動作を示すフローチャートである。ステップＳ３０１からステップＳ３０７，ステップＳ７０１からステップＳ７０３の動作は、図１９と同様であるためここでは説明を省略する。以下、図１９と異なる部分について主に説明する。

ステップＳ３０６に示す三次元計測処理が終わると、物体認識処理部１０８は、物体認識処理を実行して認識結果を取得する（ステップＳ８０１）。認識結果が得られると、認識評価部１０９は、認識結果を評価する認識評価処理を実行する（ステップＳ８０２）。認識評価結果が得られると、出力部１０４は、認識評価結果を出力する（ステップＳ８０３）。ここでステップＳ８０３において、認識評価結果に加えて、認識結果を出力してもよい。

物体の三次元計測を行う目的の１つとして、計測対象物の位置姿勢などの認識が挙げられる。例えばロボットに物体を把持させるアプリケーションプログラムが該当する。把持対象となる物体の位置姿勢があらかじめ分かっていない場合には、その場で対象物をセンシングし、対象物の位置姿勢もしくはロボットが把持可能な位置を認識する必要がある。

そこで本発明の実施の形態７では、三次元計測のシミュレーション結果を入力として、物体認識処理を行う物体認識処理部１０８を備える。物体認識処理部１０８における物体認識のためのアルゴリズムは任意のアルゴリズムを使用してよい。物体認識アルゴリズムは、三次元計測の結果を三次元空間における点の集合として扱う三次元点群を入力としてもよいし、三次元計測結果を二次元画像で表現したデプス画像を入力としてもよい。

さらに、物体認識の結果を用いて、認識した物体の位置姿勢の推定精度や把持位置の推定精度といった認識結果の評価も行う。物体の位置姿勢を認識するアルゴリズムを評価する際、多くのケースで問題となるのは、物体の位置姿勢の真値が分からないことである。真値が分からないため、物体の位置姿勢の認識結果が出力されても、その良し悪しを定量的に判断することは難しい。しかし、シミュレーションにおいては物体の位置姿勢が既知であるため、認識結果を定量的に評価することが可能である。

以上説明したように、本発明の実施の形態７にかかるシミュレーション装置１７によれば、シミュレーション結果を用いて物体認識の検証を行うことが可能になる。このような構成をとることで、実際に三次元計測装置を構成することなく物体認識の性能評価が可能になる。シミュレーション空間において、認識対象物の位置姿勢は既知であるため、物体認識結果を真値と比較することができ、物体認識性能の定量的な評価が容易になるという効果を奏する。

ロボットで認識した物体を把持するシステムでは、物体認識の精度が十分であるか否かを定量的に評価することが非常に重要である。ロボットによる把持が成功するかどうかは物体認識の精度に大きく影響されるためである。しかしながら、例えば複数の物体が規則性なく積まれたばら積み状態からの把持を想定すると、ばら積みされた物体の位置姿勢の真値を知ることは困難である。そのため三次元計測装置およびロボットを含む実機を用いて試験を行ったとしても、物体認識の厳密な精度を定量的に把握することができない。本発明によれば、シミュレーションによって容易に真値を取得して、物体認識の精度を定量的に評価することができるという利点がある。

実施の形態８．
図２３は、本発明の実施の形態８にかかるシミュレーション装置１８の機能構成を示す図である。シミュレーション装置１８は、実施の形態７にかかるシミュレーション装置１７の構成に加えて、物体把持評価部１１０を有する。

以下、シミュレーション装置１７と同様の構成については説明を省略し、シミュレーション装置１７と異なる部分について主に説明する。

物体把持評価部１１０は、計測条件取得部１０１が出力する計測条件情報と、三次元計測演算部１０３が出力するシミュレーション結果と、物体認識処理部１０８が出力する認識結果とに基づいて、物体の把持成功確率を評価した物体の把持評価結果を取得する。物体把持評価部１１０は、把持評価結果を出力部１０４に入力する。出力部１０４は、把持評価結果も出力する。

図２４は、図２３に示すシミュレーション装置１８の動作を示すフローチャートである。ステップＳ３０１からステップＳ３０７，ステップＳ７０１からステップＳ７０３，ステップＳ８０１からステップＳ８０３の動作は図２２と同様であるため、ここでは説明を省略する。以下、図２２と異なる部分について主に説明する。

物体認識結果が得られると、物体把持評価部１１０は、物体把持評価を実行する（ステップＳ９０１）。物体把持評価部１１０は、把持評価結果を出力部１０４に入力する。出力部１０４は、把持評価結果を出力する（ステップＳ９０２）。ステップＳ９０１の動作は、認識評価処理と同時並行で実行することができる。

物体の認識結果を用いることで、ロボットハンドがどの位置で物体を把持するかの情報を得ることができる。その情報を用いることで、ロボットハンドを把持位置まで移動させ、把持動作を実行した場合に、物体と接触する位置や、ロボットハンドあるいは物体に生じる力の大きさと方向をシミュレーションすることができる。

ロボットハンドおよび物体に生じる力の大きさと方向が分かれば、把持が成功するかどうかを推定することが可能である。例えば、ロボットハンドが２本の爪を有する平行ハンドである場合を考える。把持に失敗するのは、ロボットハンドの爪の隙間から把持物体が外れてしまうケースである。このケースに該当する状況としては、把持物体に対して、平行ハンドが閉じる方向に対して垂直な方向にかかる力が、ロボットハンドと把持物体との間の摩擦力よりも大きいときが考えられる。したがって、ロボットハンドおよび把持物体の表面の摩擦係数、把持物体の重量、ロボットハンドの把持力といった情報があれば把持が成功するか否かの判定が可能である。

ただし、把持の成功確率を評価する方法は、ロボットハンドと把持物体との間に生じる力を推定する方法だけでなく、任意の評価方法を用いて良い。本発明の実施の形態８では、このようなロボットによる物体把持のシミュレーション機能を備えた物体把持評価部１１０を有する。実施の形態８における出力画面例を図２５に示す。図２５は、図２３に示すシミュレーション装置１８が出力する表示画面６０の一例を示す図である。表示画面６０は、表示画面３０の表示内容に加えて、認識および把持評価結果表示領域６１を有する。認識結果および把持評価結果の出力方法としては、認識や把持の成否を成功の場合と失敗の場合とで異なる記号を出力してもよいし、失敗時には失敗の原因を出力してもよいし、評価に用いる何らかの定量値を表示してもよい。

以上説明したように、本発明の実施の形態８にかかるシミュレーション装置１８によれば、シミュレーション上で把持成功率が評価できるため、ロボットシステムを構築する前の事前検証が容易になるという効果がある。

ロボット実機を用いて物体の認識から把持までの一連の動作が可能なシステムを構築するためには、３次元計測装置の設置から物体認識のソフトウェア調整、およびロボットの動作調整など、多大な期間とコストを要する。さらに、実空間で物体の把持を繰り返し行う試験にも長い時間と試行錯誤を要する。本発明によれば、シミュレーション上で把持試験が可能になるため、従来よりも短期間で試験を行うことができる。

また、実際のロボットシステムを用いて把持試験を行い、把持失敗の原因分析をしようとした場合、３次元計測の誤差からロボットの動作調整ミスまで、あらゆる失敗要因が混在した状態で把持成功か把持失敗かの結果だけが得られることになる。そのため、どこを修正すれば把持の成功率が向上するかを解析するのは困難である。本発明ではシミュレーションによって失敗要因を切り分けて検証することができるため、短期間で原因究明および改善を行うことができる。

続いて、本発明の実施の形態１～８にかかるシミュレーション装置１０，１２，１３，１４，１５，１６，１７，１８のハードウェア構成について説明する。計測条件取得部１０１、仮想撮影画像生成部１０２、三次元計測演算部１０３、出力部１０４、誤差情報取得部１０５、評価基準データ生成部１０６、計測評価部１０７、物体認識処理部１０８、認識評価部１０９および物体把持評価部１１０は、処理回路により実現される。これらの処理回路は、専用のハードウェアにより実現されてもよいし、ＣＰＵ（Central Processing Unit）を用いた制御回路であってもよい。

上記の処理回路が、専用のハードウェアにより実現される場合、これらは、図２６に示す処理回路９０により実現される。図２６は、本発明の実施の形態１～８にかかるシミュレーション装置１０，１２，１３，１４，１５，１６，１７，１８の機能を実現するための専用のハードウェアを示す図である。処理回路９０は、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、またはこれらを組み合わせたものである。

上記の処理回路が、ＣＰＵを用いた制御回路で実現される場合、この制御回路は例えば図２７に示す構成の制御回路９１である。図２７は、本発明の実施の形態１～８にかかるシミュレーション装置１０，１２，１３，１４，１５，１６，１７，１８の機能を実現するための制御回路９１の構成を示す図である。図２７に示すように、制御回路９１は、プロセッサ９２と、メモリ９３とを備える。プロセッサ９２は、ＣＰＵであり、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）などとも呼ばれる。メモリ９３は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（登録商標）（Electrically ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disk）などである。

上記の処理回路が制御回路９１により実現される場合、プロセッサ９２がメモリ９３に記憶された、各構成要素の処理に対応するプログラムを読み出して実行することにより実現される。また、メモリ９３は、プロセッサ９２が実行する各処理における一時メモリとしても使用される。

また、本発明の実施の形態１～８にかかるシミュレーション装置１０，１２，１３，１４，１５，１６，１７，１８の機能は、図２８に示す構成のハードウェアを用いて実現することもできる。図２８は、本発明の実施の形態１～８にかかるシミュレーション装置１０，１２，１３，１４，１５，１６，１７，１８の機能を実現するためのハードウェア構成の一例を示す図である。本発明の実施の形態１～８にかかるシミュレーション装置１０，１２，１３，１４，１５，１６，１７，１８の機能は、プロセッサ９２およびメモリ９３に加えて、入力装置９４および出力装置９５を用いて実現することができる。入力装置９４は、キーボード、マウス、タッチセンサなどユーザからの入力操作を受け付ける入力インタフェースである。出力装置９５は、例えば表示装置であり、ユーザに対して出力画面を表示することができる。なお、タッチパネルを用いる場合、タッチパネルの表示装置が出力装置９５であり、表示装置に重畳されたタッチセンサが入力装置９４である。

例えば、シミュレーション装置１０，１２，１３，１４，１５，１６，１７，１８の計測条件取得部１０１および出力部１０４の機能は、プロセッサ９２だけによって実現されてもよいし、プロセッサ９２と入力装置９４または出力装置９５、もしくはそれらとのインタフェースとによって実現されてもよい。

以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。

例えば、本発明の実施の形態１～８にかかるシミュレーション装置１０，１２，１３，１４，１５，１６，１７，１８の機能は、１台のハードウェア上で実現されてもよいし、複数のハードウェアで分散処理されてもよい。

また、上記で示した表示画面２０，３０，４０，５０，６０は一例であり、様々な変更を加えることが可能である。

１０，１２，１３，１４，１５，１６，１７，１８ シミュレーション装置、２０，３０，４０，５０，６０ 表示画面、２１ 処理結果表示領域、２２ 計測条件表示領域、２３ リスト表示領域、２４ 表示内容選択領域、２５ 実行ボタン、２６，４２ 保存ボタン、２７，４３ 終了ボタン、２８ 誤差要因設定領域、４１ 調整項目表示領域、４４ 計測結果表示領域、５１ 評価基準データ表示領域、６１ 認識および把持評価結果表示領域、９０ 処理回路、９１ 制御回路、９２ プロセッサ、９３ メモリ、１０１ 計測条件取得部、１０２ 仮想撮影画像生成部、１０３ 三次元計測演算部、１０４ 出力部、１０５ 誤差情報取得部、１０６ 評価基準データ生成部、１０７ 計測評価部、１０８ 物体認識処理部、１０９ 認識評価部、１１０ 物体把持評価部、２０１ 投影条件情報取得部、２０２ 撮影条件情報取得部、２０３ 計測対象物情報取得部、２０４ 非計測対象物情報取得部、３０１ 光学再現画像生成部、３０２ 画質劣化処理部、３０３ 誤差要因決定部、４０１ センサ視点データ生成部、４０２ マップ生成部、４０３ 画像合成部、５０１ 明画像生成部、５０２ 暗画像生成部、５０３ 距離データ生成部、６０１ 照射領域算出部、６０２ 照射マップ生成部、６０３ 光ボケ再現部、６０４ 反射領域算出部、６０５ 反射マップ生成部。

Claims (23)

1. 光を計測対象物に投影する投影装置と、前記投影装置からの投影光が照射された前記計測対象物を含む撮影空間を撮影する撮像装置とを備える三次元計測装置の計測条件を示す計測条件情報を取得する計測条件取得部と、
   前記計測条件情報に基づいて、前記撮像装置が出力する撮影画像を再現した仮想撮影画像を生成する仮想撮影画像生成部と、
   前記仮想撮影画像を用いて前記計測対象物の表面の三次元位置を計測する三次元計測処理を実行し、計測値を得る三次元計測演算部と、
   前記計測値を含むシミュレーション結果を出力する出力部と、
   を備え、
   前記仮想撮影画像生成部は、前記計測条件情報に基づいて、前記撮影画像における前記投影光によって生じる陰影の境界を示す位置に含まれる誤差を画素値で再現した前記仮想撮影画像を生成することを特徴とするシミュレーション装置。
2. 前記計測条件情報は、前記投影装置の投影条件を示す情報と、前記撮像装置の撮影条件を示す情報と、前記計測対象物の形状を示す情報と、前記計測対象物の状態を示す情報と、前記計測対象物の特性を示す情報との少なくとも１つを含むことを特徴とする請求項１に記載のシミュレーション装置。
3. 前記投影条件を示す情報は、前記投影装置の位置姿勢、解像度およびピントを特定可能な情報であり、
   前記撮影条件を示す情報は、前記撮像装置の位置姿勢、解像度およびピントを特定可能な情報であり、
   前記計測対象物の状態を示す情報は、前記計測対象物の位置および姿勢の少なくとも１つを含み、
   前記計測対象物の特性を示す情報は、前記計測対象物の色、拡散反射率、および鏡面反射率の少なくとも１つを含むことを特徴とする請求項２に記載のシミュレーション装置。
4. 前記計測条件情報は、前記撮影空間を構成する前記計測対象物以外の物体の位置、形状および特性の少なくとも１つを示す情報をさらに含むことを特徴とする請求項１から３のいずれか１項に記載のシミュレーション装置。
5. 前記計測条件情報は、環境光の状態を示す情報をさらに含むことを特徴とする請求項１から４のいずれか１項に記載のシミュレーション装置。
6. 前記仮想撮影画像生成部は、物体の表面で反射した光によって照らされる相互反射、前記投影装置のピントが合っていないことに起因する前記投影光のボケ、前記撮像装置のレンズの湾曲収差に起因する画像ひずみ、ランダムノイズ、および前記撮像装置のピントが合っていないことに起因する画像ボケのうち少なくとも１つの発生要因から生じる前記誤差を再現した前記仮想撮影画像を生成することを特徴とする請求項１から５のいずれか１項に記載のシミュレーション装置。
7. 前記仮想撮影画像生成部は、
   前記計測条件情報に基づいて、光学的なシミュレーションにより前記撮影画像を再現した光学再現画像を生成する光学再現画像生成部と、
   前記光学再現画像に対して、前記誤差に基づいて画質の劣化処理を施す画質劣化処理部と、を含み、
   前記画質の劣化処理後の画像を前記仮想撮影画像とすることを特徴とする請求項１から６のいずれか１項に記載のシミュレーション装置。
8. 前記仮想撮影画像生成部は、
   前記仮想撮影画像で表現する前記誤差の発生要因を示す誤差情報を取得する誤差情報取得部、
   をさらに備え、
   前記光学再現画像生成部は、前記計測条件情報および前記誤差情報に基づいて、前記光学再現画像を生成し、
   前記画質劣化処理部は、前記計測条件情報および前記誤差情報に基づいて、前記光学再現画像に対して画質の劣化処理を施すことを特徴とする請求項７に記載のシミュレーション装置。
9. 前記誤差情報は、前記誤差の発生要因の種類ごとの誤差の強度を含み、
   前記仮想撮影画像生成部は、前記誤差情報に基づいて、前記光学再現画像に対して施す前記劣化処理の強度を、前記誤差の発生要因の種類ごとに決定することを特徴とする請求項８に記載のシミュレーション装置。
10. 前記誤差情報は、前記誤差の発生要因の種類ごとの付加順を含み、
    前記仮想撮影画像生成部は、前記誤差情報に基づいて、前記光学再現画像に対して施す前記劣化処理の順序を、前記誤差の発生要因の種類ごとに決定することを特徴とする請求項８または９に記載のシミュレーション装置。
11. 光を計測対象物に投影する投影装置と、前記投影装置からの投影光が照射された前記計測対象物を含む撮影空間を撮影する撮像装置とを備える三次元計測装置の計測条件を示す計測条件情報を取得する計測条件取得部と、
    前記計測条件情報に基づいて、前記撮像装置が出力する撮影画像を再現した仮想撮影画像を生成する仮想撮影画像生成部と、
    前記仮想撮影画像を用いて前記計測対象物の表面の三次元位置を計測する三次元計測処理を実行し、計測値を得る三次元計測演算部と、
    前記計測値を含むシミュレーション結果を出力する出力部と、
    を備え、
    前記仮想撮影画像生成部は、前記計測条件情報に基づいて前記光の進行経路を算出し、前記投影光が第１の面で反射し、反射光が第２の面に入射する場合、前記第２の面における前記反射光の入射点を含む画素の輝度を前記反射光の影響を考慮しない第１の輝度よりも増加させることを特徴とするシミュレーション装置。
12. 前記仮想撮影画像生成部は、輝度を増加させる前記画素の輝度の増加量を、前記第１の面の表面特性、前記第２の面の表面特性、および、前記第１の面の前記第２の面に対する姿勢に基づき決定することを特徴とする請求項１１に記載のシミュレーション装置。
13. 光を計測対象物に投影する投影装置と、前記投影装置からの投影光が照射された前記計測対象物を含む撮影空間を撮影する撮像装置とを備える三次元計測装置の計測条件を示す計測条件情報を取得する計測条件取得部と、
    前記計測条件情報に基づいて、前記撮像装置が出力する撮影画像を再現した仮想撮影画像を生成する仮想撮影画像生成部と、
    前記仮想撮影画像を用いて前記計測対象物の表面の三次元位置を計測する三次元計測処理を実行し、計測値を得る三次元計測演算部と、
    前記計測値を含むシミュレーション結果を出力する出力部と、
    を備え、
    前記仮想撮影画像生成部は、前記計測条件情報に基づいて、前記投影光が照射される領域である第１の領域と、前記投影光が照射されない領域である第２の領域とを算出し、前記第１の領域と前記第２の領域との境界から予め定められた距離以内の画素の輝度を、前記画素と前記境界との距離に基づいて決定することを特徴とするシミュレーション装置。
14. 光を計測対象物に投影する投影装置と、前記投影装置からの投影光が照射された前記計測対象物を含む撮影空間を撮影する撮像装置とを備える三次元計測装置の計測条件を示す計測条件情報を取得する計測条件取得部と、
    前記計測条件情報に基づいて、前記撮像装置が出力する撮影画像を再現した仮想撮影画像を生成する仮想撮影画像生成部と、
    前記仮想撮影画像を用いて前記計測対象物の表面の三次元位置を計測する三次元計測処理を実行し、計測値を得る三次元計測演算部と、
    前記計測値を含むシミュレーション結果を出力する出力部と、
    を備え、
    前記仮想撮影画像生成部は、
    前記計測条件情報を用いて、前記撮像装置から見える前記撮影空間を示す第１画像と、前記撮像装置および前記投影装置のそれぞれから前記撮影空間内の物体までの距離データとを含むセンサ視点データを生成するセンサ視点データ生成部と、
    前記計測条件情報に基づいて、前記第１画像において前記投影光が照射される領域と、前記投影光が照射されない領域とを異なる数値で示すマップである照射マップを生成するマップ生成部と、
    を有し、
    前記照射マップおよび前記第１画像に基づいて、前記仮想撮影画像を生成することを特徴とするシミュレーション装置。
15. 前記第１画像は、前記投影光が照射されたときの明るさで前記撮影空間の全体が表現された明画像と、前記撮影空間に前記投影光が照射されていない暗画像とを含み、
    前記仮想撮影画像生成部は、前記照射マップの値に基づいて、画素ごとに前記明画像と前記暗画像とを合成して前記仮想撮影画像を生成することを特徴とする請求項１４に記載のシミュレーション装置。
16. 前記マップ生成部は、
    前記計測条件情報および前記センサ視点データを用いて、前記投影光が照射された点の三次元位置と、前記第１画像上の座標とを対応づけて、前記第１画像中で前記投影光が照射される領域である照射領域を算出する照射領域算出部と、
    前記照射領域と前記計測条件情報とを用いて、前記投影光が示す投影パターンごとに前記照射マップを生成する照射マップ生成部と、
    を有することを特徴とする請求項１５に記載のシミュレーション装置。
17. 前記マップ生成部は、
    前記光の陰影境界のボケの度合に応じて前記照射マップの値を調整することで前記光のボケを再現する光ボケ再現部をさらに有し、
    調整後の前記照射マップの値に基づいて、前記明画像および前記暗画像の輝度のそれぞれを重みづけし、重みづけした輝度を合計して前記仮想撮影画像の各画素の輝度を決定することを特徴とする請求項１６に記載のシミュレーション装置。
18. 前記マップ生成部は、
    前記計測条件情報および前記センサ視点データを用いて、前記投影装置から照射された光線が前記撮影空間内の物体に反射して光線の強度および方向が変化した光線である反射光線が照射される点の三次元位置と、前記第１画像上の座標とを対応づけることによって、前記第１画像中で前記反射光線が照射される領域である反射領域を算出する反射領域算出部と、
    前記反射領域と前記計測条件情報とを用いて、前記投影光が示す投影パターンごとに、前記反射領域と前記反射光線が照射されない領域とを異なる数値で示すマップである反射マップを生成する反射マップ生成部と、
    を有し、
    前記反射マップ、前記照射マップ、および前記第１画像を用いて、前記仮想撮影画像を生成することを特徴とする請求項１５から１７のいずれか１項に記載のシミュレーション装置。
19. 前記マップ生成部は、前記反射光線の強度および前記投影光の陰影境界のボケの度合に応じて前記反射マップの値を調整し、調整後の前記反射マップおよび前記照射マップの値に基づいて、前記明画像および前記暗画像の輝度のそれぞれを重みづけし、重みづけした輝度を合計して前記仮想撮影画像の各画素の輝度を決定することを特徴とする請求項１８に記載のシミュレーション装置。
20. 光を計測対象物に投影する投影装置と、前記投影装置からの投影光が照射された前記計測対象物を含む撮影空間を撮影する撮像装置とを備える三次元計測装置の計測条件を示す計測条件情報を取得する計測条件取得部と、
    前記計測条件情報に基づいて、前記撮像装置が出力する撮影画像を再現した仮想撮影画像を生成する仮想撮影画像生成部と、
    前記仮想撮影画像を用いて前記計測対象物の表面の三次元位置を計測する三次元計測処理を実行し、計測値を得る三次元計測演算部と、
    前記計測値を含むシミュレーション結果を出力する出力部と、
    を備え、
    前記計測条件情報を用いて、前記シミュレーション結果の評価基準である評価基準データを生成する評価基準データ生成部と、
    前記シミュレーション結果および前記評価基準データを用いて、前記シミュレーション結果を評価する計測評価部と、
    をさらに備え、
    前記出力部は、前記シミュレーション結果に加えて、評価結果を出力することを特徴とするシミュレーション装置。
21. 光を計測対象物に投影する投影装置と、前記投影装置からの投影光が照射された前記計測対象物を含む撮影空間を撮影する撮像装置とを備える三次元計測装置の計測条件を示す計測条件情報を取得する計測条件取得部と、
    前記計測条件情報に基づいて、前記撮像装置が出力する撮影画像を再現した仮想撮影画像を生成する仮想撮影画像生成部と、
    前記仮想撮影画像を用いて前記計測対象物の表面の三次元位置を計測する三次元計測処理を実行し、計測値を得る三次元計測演算部と、
    前記計測値を含むシミュレーション結果を出力する出力部と、
    を備え、
    前記シミュレーション結果に基づいて、前記撮影空間内の物体の位置姿勢と前記物体を把持可能な位置である把持位置とのうち少なくとも１つを認識結果として取得する物体認識処理部と、
    前記認識結果と前記計測条件情報とを用いて、前記位置姿勢の推定精度と前記把持位置の推定精度とのうち少なくとも１つを含む認識評価結果を取得する認識評価部と、
    をさらに備え、
    前記出力部は、前記認識評価結果をさらに出力することを特徴とするシミュレーション装置。
22. 前記計測条件情報と前記認識結果とを用いて、前記撮影空間内の物体の把持成功確率を評価する物体把持評価部、
    をさらに備えることを特徴とする請求項２１に記載のシミュレーション装置。
23. 光を計測対象物に投影する投影装置と、前記投影装置からの投影光が照射された前記計測対象物を含む撮影空間を撮影する撮像装置とを備える三次元計測装置の三次元計測処理をシミュレーションするシミュレーション装置が、
    前記三次元計測装置の計測条件を示す計測条件情報を取得するステップと、
    前記計測条件情報に基づいて、前記撮像装置が出力する撮影画像を再現した仮想撮影画像を生成するステップと、
    前記仮想撮影画像を用いて前記計測対象物の表面の三次元位置を計測する三次元計測処理を実行し、計測値を得るステップと、
    前記計測値を含むシミュレーション結果を出力するステップと、
    を含み、
    前記仮想撮影画像を生成するステップは、前記計測条件情報に基づいて、前記撮影画像における前記投影光によって生じる陰影の境界を示す位置に含まれる誤差を画素値で再現した前記仮想撮影画像を生成することを特徴とするシミュレーション方法。

Images