JP2011185872A - 情報処理装置、その処理方法及びプログラム - Google Patents

Abstract

【課題】
被写体の三次元計測時に用いる投影パターンをより高い密度で投影できるようにした技術を提供する。
【解決手段】
情報処理装置は、複数の計測線パターンと、当該複数の計測線パターンに対して複数の交点を有するとともに交点間の形状が特徴付けられる基準線パターンとを含むパターンデータを生成し、当該生成されたパターンデータに基づく投影パターン光が投影された被写体を撮像した撮像画像を入力し、当該撮像画像から交点を抽出し、撮像画像における基準線パターン上の交点間に特徴付けられた形状の一次元的又は二次元的な配置を示す情報を同定情報として取得し、当該同定情報に基づいてパターンデータにおける基準線パターンと撮像画像における基準線パターンとを対応付け、当該対応付け結果に基づいてパターンデータにおける計測線パターンと撮像画像における計測線パターンとを対応付ける。
【選択図】 図１

Description

本発明は、情報処理装置、その処理方法及びプログラムに関する。

物体の三次元形状を計測する計測装置が知られている。計測装置は、産業分野における部品検査や、医学分野における生体の形状の計測等、幅広く使用されている。特に、非接触による計測方法を用いる計測装置は、対象物体が接触によって変形、破損する恐れのある場合に有効である。

三次元形状を非接触で計測する際には、撮像装置により撮像された画像を用いて三角測量を行なう方式が広く使用されている。例えば、特許文献１には、投影装置において、基準線パターンを付加したマルチスリット光を被写体に投影し、撮像装置において、その反射光を撮像する。これにより、三次元形状の計測を行なっている。具体的には、細い線を平行に配置したマルチスリット光を計測用パターンとして投影するとともに、マルチスリット光の間に太さを変化させて特徴を付加した基準線パターンを投影する。そして、この基準線パターンの特徴を利用して、投影パターン上の二次元位置と撮像画像における二次元位置とを対応付ける。二次元位置の対応付け結果に基づいてマルチスリット光を構成する各線を対応付けし、光切断法による三角測量を用いて三次元形状を計測する。

特開２００８−２７６７４３号公報

上述した技術では、マルチスリット光の間に付加している基準線パターンが、比較的小面積のピクセル列によって生成されている。このような小面積のパターンは、ＳＮ比が良好でない撮像画像においてはノイズとの識別が非常に困難となる。

このような技術では、ある程度の面積を基準線パターンに確保する必要があるため、マルチスリット光の高密度化が困難であり、三次元計測を精度良く行なえない。

そこで、本発明は、上記課題に鑑みてなされたものであり、被写体の三次元計測時に用いる投影パターンをより高い密度で投影できるようにした技術を提供することを目的とする。

上記課題を解決するため、本発明の一態様による情報処理装置は、複数の計測線パターンと、該複数の計測線パターンに対して複数の交点を有するとともに該交点間の形状が特徴付けられる基準線パターンとを含むパターンデータを生成する生成手段と、前記生成手段により生成された前記パターンデータに基づく投影パターン光が投影された被写体を撮像した撮像画像を入力する入力手段と、前記入力手段により入力された前記撮像画像から前記交点を抽出する交点抽出手段と、前記撮像画像における前記基準線パターン上の交点間に特徴付けられた形状の一次元的又は二次元的な配置を示す情報を同定情報として取得する取得手段と、前記取得手段により取得された同定情報に基づいて前記パターンデータにおける基準線パターンと前記撮像画像における基準線パターンとを対応付け、当該対応付け結果に基づいて前記パターンデータにおける計測線パターンと前記撮像画像における計測線パターンとを対応付ける対応付け手段とを具備することを特徴とする。

本発明によれば、被写体の三次元計測時に用いる投影パターンをより高い密度で投影できる。

本発明の一実施の形態に係わる情報処理装置の構成の一例を示す図。 図１に示す情報処理装置１０の動作の流れの一例を示すフローチャート。 パターンデータの一例を示す図。 撮像画像の一例を示す図。 パターン抽出部１４による抽出処理の概要の一例を示す図。 交点抽出部１５による交点の抽出処理の概要の一例を示す図。 情報取得部１６による処理の流れの一例を示すフローチャート。 基準線パターンにおける変位の一例を示す図。 パターン対応付け部１７による処理の流れの一例を示すフローチャート。 パターン対応付け部１７による対応付け処理の概要の一例を示す図。 パターン対応付け部１７による対応付け処理の概要の一例を示す図。 三次元形状算出部１８による三次元形状の算出処理の概要の一例を示す図。 投影部１１と撮像部１３との位置関係の一例を示す図。 パターンデータの一例を示す図。 パターンデータの一例を示す図。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。

図１は、本発明の一実施の形態に係わる情報処理装置の構成の一例を示す図である。なお、情報処理装置１０には、コンピュータが内蔵されている。コンピュータには、ＣＰＵ等の主制御手段、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)、ＨＤＤ（Hard Disk Drive）等の記憶手段が具備される。また、コンピュータにはその他、ボタンやディスプレイ又はタッチパネル等の入出力手段、ネットワークカード等の通信手段等も具備されていても良い。なお、これら各構成部は、バス等により接続され、主制御手段が記憶手段に記憶されたプログラムを実行することで制御される。

ここで、情報処理装置１０は、投影部１１と、パターン生成部１２と、撮像部１３と、パターン抽出部１４と、交点抽出部１５と、情報取得部１６と、パターン対応付け部１７と、三次元形状算出部１８とを具備して構成される。なお、これら構成要素の一部又は全ては、ＣＰＵがＲＯＭに記憶されたプログラムを実行することで実現されてもよいし、また、専用のハードウェアを用いて実現されてもよい。

パターン生成部１２は、投影パターン光のパターンデータを生成する。パターンデータは、（縦線の）基準線パターンと、（横線の）計測線パターンとを含んで構成される。基準線パターンには、計測線パターンの各々を同定するため、その形状が特徴付けられている。

投影部１１は、例えば、プロジェクタ等で実現され、パターン生成部１２により生成されたパターンデータに基づく投影パターン光を計測対象となる物体（被写体２０）に投影する。投影パターン光は、パターンデータに基づく投影光であるため、投影基準線パターン（投影された基準線パターン）と、投影計測線パターン（投影された計測線パターン）とが含まれる。投影計測線パターンは、被写体２０の形状の計測に使用するマルチスリット光として機能する。

撮像部１３は、例えば、カメラ等で実現され、投影パターン光が投影された状態の被写体２０を撮像する。パターン抽出部１４は、撮像部１３により撮像された撮像画像に対して画像処理を実施し、被写体２０上で投影パターン光に照射された撮像領域（撮像パターン）を取得する。そして、撮像基準線パターン（撮像された基準線パターン）と撮像計測線パターン（撮像された計測線パターン）とを分離して抽出する。

交点抽出部１５は、パターン抽出部１４により抽出された撮像計測線パターンと撮像基準線パターンとが交差する交点を抽出する。

情報取得部１６は、パターン抽出部１４により抽出された撮像基準線パターンと、交点抽出部１５により抽出された交点とに基づいて撮像基準線パターンの各部の変位の有無やその変位の方向を検出する。そして、検出した変位とその一次元的又は二次元的な位置とを保持した情報を取得する。この情報は、撮像計測線パターンを同定するための情報（以下、同定情報と呼ぶ）となる。

パターン対応付け部１７は、情報取得部１６により取得された同定情報に基づいて投影計測線パターンと撮像計測線パターンとの対応付けを行なう。具体的には、パターン対応付け部１７は、まず、同定情報を含む情報に基づいて投影基準線パターンと撮像基準線パターンとを対応付ける。そして、その対応付け結果に基づいて投影計測線パターンと撮像計測線パターンとを対応付ける。

三次元形状算出部１８は、投影部１１及び撮像部１３の位置関係とパターン対応付け部１７により対応付けられた計測線パターンの対応関係とに基づいて、撮像部１３と被写体２０との間の奥行き、すなわち、被写体２０の三次元形状を算出する。

以上が、情報処理装置１０における機能的な構成の一例についての説明であるが、情報処理装置１０の構成はあくまで一例であり、これに限られない。例えば、投影部１１や撮像部１３は、必ずしも、情報処理装置１０の一部として設けられる必要はない。すなわち、情報処理装置１０は、投影部１１に対してパターンデータを出力し、また、撮像部１３により撮像された撮像画像を入力する構成であっても良い。

次に、図２を用いて、図１に示す情報処理装置１０における動作の流れの一例について説明する。

[Ｓ１０１]
情報処理装置１０は、パターン生成部１２において、投影パターン光に用いるパターンデータを生成する。パターンデータは、例えば、図３（ａ）に示すように、複数の計測線パターン３１と、１又は複数の基準線パターン３２とが交差する格子状のパターンで構成される。この場合、計測線パターン３１は、横線に相当し、基準線パターン３２は、縦線に相当する。

計測線パターン３１には、各線分を一意に識別する識別番号が投影ＩＤ番号（Ｋ＝０，１，２．．．Ｋ_ｍａｘ）として図中上側から順番に付与されている。基準線パターン３２には、各線分を一意に識別する識別番号が投影ＩＤ番号（Ｌ＝０，１，２．．．Ｌ_ｍａｘ）として図中左側から順番に付与されている。

基準線パターン３２は、図３（ｂ）に示すように、隣接する２本の計測線パターン３１との間で形成される基準線パターン上の交点間（交点４１、交点４２）で区切られた領域毎に、直線又は折れ線状に左右へ変位を有している。交点４１及び交点４２を結ぶ直線４３に対して、変位のない直線を「０」、左に変位した折れ線を「１」、右に変位した折れ線を「２」とし、これら３通りの単位符号が基準線パターン３２に付加されている。

図３（ｂ）の場合、投影符号情報Ｈは、左に変位しているため、「１」の情報を有する。投影符号情報Ｈは、隣接する２つの交点で囲まれた領域毎に存在する。投影符号情報Ｈは、基準線パターン３２の各パターン（ｌ＝０，１．２…Ｌ_ｍａｘ）と、当該各パターンに交差する計測線パターン３１の数Ｋ_ｍａｘ−１と含む配列で表される。この配列（投影符号列）は、投影符号情報Ｈ_ｌａ（ａ＝０，１，２．．．Ｋ_ｍａｘ−１）となる。投影符号列を用いて、複数の基準線パターン３１を一意に識別する必要があるため、使用する投影符号列は、自己相関のピークが鋭く、自身の符号列以外との相互相関性が低いという特性を持つのが望ましい。

本実施形態においては、このような特性を持つ投影符号列として、「０」〜「２」の範囲で値を持つ自然乱数列を使用する場合を例に挙げる。基準線パターン３１と計測線パターン３２との分離抽出を容易にするため、それぞれのパターンは、例えば、異なる色成分で構成される。本実施形態においては、基準線パターン３１は赤色成分で構成され、計測線パターン３２は青色成分で構成される場合を例に挙げる。

[Ｓ１０２、Ｓ１０３]
次に、情報処理装置１０は、投影部１１において、Ｓ１０１の処理で生成されたパターンデータを用いて被写体２０に向けて投影パターン光を投影する。そして、撮像部１３において、投影パターン光が投影されている被写体２０を撮像する。これにより、図４（ａ）に示す撮像画像５１が得られる。

[Ｓ１０４]
情報処理装置１０は、パターン抽出部１４において、投影パターンと被写体２０とを含む撮像パターンを撮像画像５１から抽出する。具体的には、図４（ｂ）に示すように、投影パターン光が照射された被写体２０の領域を撮像パターン５２として、Ｓ１０３の処理で得られた撮像画像５１から抽出する。

この抽出処理では、図５（ａ）に示すように、まず、基準線パターン（赤色成分）の撮像パターン５３のみを選択し、それに対して二値化処理を行なう。これにより、撮像基準線パターン５４を抽出する。また同様に、図５（ｂ）に示すように、計測線パターン（青色成分）の撮像パターン５５のみを選択し、それに対して二値化処理を行なう。これにより、撮像計測線パターン５６を抽出する。次に、これらの分離抽出した各撮像計測線パターン５６及び各撮像基準線パターン５４に対して連続した領域でラベリングする。このラベリングにより、撮像計測線パターン５６には、各領域で一意となる撮像ＩＤ番号（ｍ＝０，１，２．．．Ｍ_ｍａｘ）が付与される。また、撮像基準線パターン５４にも、各領域で一意となる撮像ＩＤ番号（ｎ＝０，１，２．．．Ｎ_ｍａｘ）が付与される。

[Ｓ１０５]
次に、情報処理装置１０は、交点抽出部１５において、撮像計測線パターンと、撮像基準線パターンとが交差している領域を交点として抽出する。撮像計測線パターン５６及び撮像基準線パターン５４は、図６に示すように、それぞれ幅を有している。そのため、これらの交差領域６１は面積を有している。交点抽出部１５においては、この交差領域６１の重心位置を計算し、それを交点６２として抽出する。

[Ｓ１０６]
交点６２の抽出が済むと、情報処理装置１０は、情報取得部１６において、Ｓ１０４の処理で抽出した撮像基準線パターンと、Ｓ１０５の処理で抽出した交点とを用いて、撮像基準線パターンに付加されている撮像符号情報Ｉを取得する。ここで、図７を用いて、撮像符号情報Ｉを取得する際の処理の流れの一例について説明する。

[Ｓ２０１、Ｓ２０２]
情報取得部１６は、まず、処理対象となる撮像ＩＤ番号を示すｎを初期値（この場合、０）に設定する。そして、撮像ＩＤ番号がｎ番目である撮像基準線パターンを選択し、撮像計測線パターンとの交点毎に当該ｎ番目の撮像基準線パターンを分割する。これにより、ｎ番目の撮像基準線パターンは、複数の線分Ｓ_ｎｂ（ｂ＝０，１，２…Ｍ_ｍａｘ−１）に分割される。なお、Ｍ_ｍａｘは、撮像計測線パターンの数を示す。

[Ｓ２０３]
次に、情報取得部１６は、線分Ｓ_ｎｂにおける各領域の変位Ｗ_ｎｂを計算する。図８は、ある撮像基準線パターンの線分Ｓ_ｎｂと、その周辺領域との一例を示している。

撮像基準線パターンにおける線分Ｓ_ｎｂの両端の点、すなわち、（隣接する）撮像計測線パターン８１及び８２との交点の位置をそれぞれ交点Ｐ_ｎｂ１、交点Ｐ_ｎｂ２とする。そして、交点間の中点をＱ_ｎｂとし、Ｘ軸と平行であり且つ中点Ｑ_ｎｂを通過する直線を平行線８３とする。また、この平行線８３と、撮像基準線パターンにおける線分Ｓ_ｎｂとの交点をＲ_ｎｂとする。この場合、平行線８３上におけるＱ_ｎｂとＲ_ｎｂとの位置の差が線分Ｓ_ｎｂにおける変位Ｗ_ｎｂとなる。この変位Ｗ_ｎｂは、線分Ｓ_ｎｂにおける各領域（すなわち、ｂ（ｂ＝０，１，２．．．Ｍ_ｍａｘ−１））全てに対して算出する。

[Ｓ２０４]
各領域の変位Ｗ_ｎｂが得られると、情報取得部１６は、式（１）を用いて線分Ｓ_ｎｂにおける各領域（すなわち、ｂ（ｂ＝０，１，２．．．Ｍ_ｍａｘ−１））全てに対して撮像符号情報Ｉ_ｎｂを算出する。

ここで、Ｔｈｒｅｓｈｏｌｄは、撮像符号情報Ｉ_ｎｂを判定するための判定基準となる閾値である。この閾値に基づいて各変位Ｗ_ｎｂの値（本実施形態においては、「０」〜「２」）が求められる。

[Ｓ２０５、Ｓ２０６]
情報取得部１６は、ｎに１加算した後、ｎと、撮像基準線パターンの撮像ＩＤ番号の最大値（Ｎ_ｍａｘ）とを比較する。ｎ≧Ｎ_ｍａｘであれば、この処理は終了するが、そうでなければ、再度、Ｓ２０２の処理に戻る。なお、各領域の撮像符号情報Ｉ_ｎｂ（ｂ＝０，１，２．．．Ｍ_ｍａｘ−１ ｎ＝０，１，２．．．Ｎ_ｍａｘ）は、撮像計測線パターンの同定情報として用いられる。

[Ｓ１０７]
図２の説明に戻り、情報処理装置１０は、パターン対応付け部１７において、撮像基準線パターンと投影基準線パターンとを対応付ける。具体的には、図５（ａ）に示す撮像基準線パターン５４の撮像ＩＤ番号と、図３（ａ）に示す基準線パターン３２の投影ＩＤ番号とを対応付ける。この対応付けは、パターン抽出部１４により抽出された撮像基準線パターンと、情報取得部１６により取得された撮像符号情報Ｉ_ｎｂと、パターンデータに使用されている投影符号情報Ｈ_ｌａとに基づいて行なわれる。ここで、図９を用いて、基準線パターンの対応付け処理の流れの一例について説明する。ここでは、（投影）基準線パターンに対応する撮像基準線パターンの撮像ＩＤ番号のＮ_ｒｅｆを探索することにより対応付けを行なう場合について説明する。

[Ｓ３０１、Ｓ３０２]
パターン対応付け部１７は、処理対象となる撮像ＩＤ番号を示す変数ｎを初期値（この場合、０）に設定するとともに、最大相関値を示すＣ_ｍａｘを初期値（この場合、０）に設定する。

[Ｓ３０３]
次に、パターン対応付け部１７は、式（２）を用いて、図２に示すＳ１０６の処理で計算された撮像符号情報Ｉ_ｎｂと、投影符号情報Ｈ_ｒｅｆｂ（ｂ＝０，１，２．．．Ｍ_ｍａｘ−１）との相関係数Ｃ_ｎを計算する。

投影符号情報Ｈ_ｒｅｆａ（ａ＝０，１，２．．．Ｋ_ｍａｘ−１）と、撮像符号情報Ｉ_ｎｂ（ｂ＝０，１，２．．．Ｍ_ｍａｘ−１）とは、実際には、ａ及びｂの要素数が等しくなるとは限らない。ここでは、説明の便宜上、ｂ＝ａと仮定して相関係数を計算する場合を例に挙げる。

[Ｓ３０４、Ｓ３０５、Ｓ３０６]
ここで、パターン対応付け部１７は、Ｃ_ｎとＣ_ｍａｘとを比較する。Ｃ_ｎ＞＞Ｃ_ｍａｘであれば、Ｓ３０５及びＳ３０６の処理に進み、Ｃ_ｍａｘにＣ_ｎを代入し、Ｎ_ｒｅｆにｎを代入する。そうでなければ、Ｓ３０７の処理に進む。

[Ｓ３０７、Ｓ３０８]
パターン対応付け部１７は、ｎに１加算した後、ｎと、撮像基準線パターンの撮像ＩＤ番号の最大値（Ｎ_ｍａｘ）とを比較する。ｎ≧Ｎ_ｍａｘであれば、この処理を終了するが、そうでなければ、再度、Ｓ３０３の処理に戻る。上述した処理の繰り返しにより、投影符号情報Ｈ_ｒｅｆが付加された基準線パターンに対応する撮像基準線パターンの撮像ＩＤ番号Ｎ_ｒｅｆが検出される。

[Ｓ１０８]
図２の説明に戻り、情報処理装置１０は、パターン対応付け部１７において、撮像計測線パターンと投影計測線パターンとを対応付ける。具体的には、図５（ｂ）に示す撮像計測線パターン５６の撮像ＩＤ番号と、図３（ａ）に示す投影計測線パターン３１の投影ＩＤ番号とを対応付ける。

Ｓ１０７の処理で（投影）基準線パターンに対して撮像ＩＤ番号Ｎ_ｒｅｆが対応付けられている。そこで、この処理では、撮像計測線パターンと、対応付け済み撮像基準線パターンとの交点がなす位相幾何学的な位置関係に基づいて撮像計測線パターンの対応付けを行なう。

なお、撮像基準線パターンは、上述した通り、複数の線分Ｓ_ｎｂに分割されているため（図７のＳ２０２参照）、交差する撮像計測線パターンの投影ＩＤ番号を一意に決定できる。例えば、図１０に示すように、撮像基準線パターン９１における任意の線分Ｓ_ｎｂと交差する撮像計測線パターン９２（図中上側の計測線パターン）の投影ＩＤ番号はｂとなる。また、同じく交差する撮像計測線パターン９３の投影ＩＤ番号（図中下側の計測線パターン）はｂ＋１となる。

また更に、図１１に示すように、対応付け済み撮像基準線パターン１０１における任意の線分Ｓ_ｎｂの図中上側の点を基準位置１０２とする。そして、当該基準位置１０２から線分上の交点を辿っていけば、撮像パターンがノイズや段差などで途切れていたとしても、任意の撮像計測線パターンに到達できる。このとき、縦方向及び横方向への線単位の移動量をカウントする。

ここで、撮像基準線パターン１０１は、対応付け済みのパターンであり、撮像基準線パターン１０３は、未対応付けパターンであるとする。この場合、撮像基準線パターン１０３は、線分Ｓ_ｎｂにおける図中上側の点１０２（基準位置）から経路１０４を辿ると、対応付け済み撮像基準線パターン１０１から横方向に＋２移動した位置にあることが分かる。また、未対応付けの撮像計測線パターン１０５は、点１０２（基準位置）から経路１０６を辿ると、点１０２（基準位置）から縦方向＋２の位置にあることが分かる。

対応付け済み基準線パターン１０１の投影ＩＤ番号がＮ＝２であり、線分Ｓ_ｎｂがｂ＝３であるとする。この場合、基準線パターンに関するこれら情報と当該基準線パターンからの移動量とに基づいて、撮像基準線パターン１０３の投影ＩＤ番号がＮ＝４であり、撮像計測線パターン１０５の投影ＩＤ番号がＭ＝５であると求められる。

このようにして未対応付け撮像計測線パターンを対応付けると同時に、図２のＳ１０７の処理で対応付けられなかった撮像基準線パターンの対応付けも行なう。これにより、基準位置として使用できる点を増やすことができる。この処理を全ての未対応付け撮像基準線パターン及び未対応付け撮像計測線パターンに対して実施する。これにより、全ての撮像計測線パターンの撮像ＩＤ番号に対して、投影ＩＤ番号を対応付ける。

[Ｓ１０９]
情報処理装置１０は、三次元形状算出部１８において、対応付け済み撮像計測線パターンに基づいて、被写体２０の形状を算出（計測）する。図１２を用いて、三次元形状の算出処理の概要の一例について説明する。ここでは、撮像部１３の主点位置１２１を原点Ｏ（０，０）とする撮像部１３の座標系１２２を用いて、対応付け済み撮像計測線パターン１２３上における任意の計測点１２４の位置を計測する場合について例を挙げる。

投影部１１により投影される投影計測線パターンを直線とした場合、対応付け済み撮像計測線パターン１２３は、投影計測線パターンがなす平面と被写体２０との交線となる。ここで、投影計測線パターンがなす光切断平面１２５は、撮像部１３の座標系を用いて、式（３）で予め校正されているものとする。
ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０・・・（３）

また、対応付け済み撮像計測線パターン１２３の点は、撮像部１３により撮像された撮像画像１２６上の投影点１２７の位置Ｐ（Ｐ_Ｘ，Ｐ_Ｙ，−ｆ）を用いて、式（４）で表される直線１２８上に存在する。ここで、撮像画像１２６は、撮像部１３をピンホールカメラと仮定した場合の撮像素子上における投影像と等しい実寸法としている。また、撮像画像１２６は、撮像部１３の座標系におけるＸＹ平面に対して平行で且つ、画像の中心が原点位置からＺ軸方向に焦点距離の−ｆだけ離れた位置に配置されているものとする。

ｔは、任意の実数をとるパラメータである。

式（３）で示した光切断平面１２５と、式（４）で示した直線１２８の交点とが計測点１２４となる。そのため、計測点１２４の位置Ｃ（Ｃｘ，Ｃｙ，Ｃｚ）は、撮像部１３の座標系において式（５）で表される。

以上の計算を全ての対応付け済み撮像計測線パターン１２３に対して実施する。これにより得られる計測点１２４の集合により、被写体２０の形状が求められる。このような手順を行なうことにより、従来手法に比して、より高い密度で格子パターンを投影できる。

以上説明したように本実施形態によれば、被写体の三次元計測時に用いる投影パターンをより高い密度で投影できるため、三次元形状の計測精度を向上させられる。

以上が本発明の代表的な実施形態の例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。

例えば、パターン生成部１２によるパターンデータの生成では（図２のＳ１０１）、必ずしも毎回新たなパターンデータを生成する必要はない。一度生成したパターンデータを、記憶手段を用いて格納しておき、次に必要になった場合には、記憶手段から読み出すようにしても良い。この構成により、例えば、撮像する被写体が限定されており、最適なパターンデータが事前に決定しているような場合には、処理の高速化を図れる。

また、図７のＳ２０３の処理で行なっている線分Ｓ_ｎｂにおける変位Ｗ_ｎｂの計算は、線分Ｓ_ｎｂと、隣接する交点Ｐ_ｎｂ１及びＰ_ｎｂ２とが同一の平面上に存在することを仮定している。この仮定により、対象となる被写体は、ある程度の平面性や連続性を持つ物に限定される。この限定を軽減するためには、投影基準線パターンは、撮像部１３及び投影部１１の双方の主点がなす直線と同一平面内、若しくは同一平面に近い配置で投影し、投影基準線パターンにおける変位を可能な限り変化させずに撮像することが望ましい。

特に、図１３に示すように、投影部１１と撮像部１３とにおける光軸が平行に配置され、投影部１１の主点１３１、撮像部１３の主点１３２、投影基準線パターン１３３と投影計測線パターン１３４との交点１３５が同一平面内に存在する配置が望ましい。このような配置の場合、線分Ｓ_ｎｂにおける変位Ｗ_ｎｂは、被写体の傾斜や奥行きに依存せず、常に一定の大きさを持つ。上述した説明では、投影基準線パターンに対して変位無し、左に変位、右に変位、の３通りで符号情報を付加しているが、このような配置の場合、Ｗ_ｎｂが常に一定の大きさを持つため、変位の有無のみでなく、変位量（所定量の変位）をも符号情報として取り扱うことができる。変位量を符号情報として用いる場合には、投影部や撮像部の配置や解像度などの条件から、誤検出を生じない程度で離散化することが望ましい。

また、本実施形態においては、図３（ａ）に示すように、一定の太さの折れ線で基準線パターンが構成されているため、被写体への投影時に輝度のムラが生じにくく検出し易いという利点を持つが、基準線パターンは、これに限られない。例えば、符号情報の付加を優先する場合には、図１４に示すように、太さが一定でない投影パターン光を用いても良い。図１４の場合、基準線パターン１４１は、Ｗ_ｎｂに相当する変位を、パターンの右側エッジ１４２、左側エッジ１４３の双方に与えている。この場合、交点１４４と交点１４５とを結ぶ直線に対して、右側エッジ１４２、左側エッジ１４３の変位はそれぞれ、１．右・右、２．右・無、３．無・無、４．無・左、５．左・左（右：右方向に変位、左：左方向に変位、無：変位無しを示す）の５通りとなる。そのため、上述した実施形態の場合（３通り）よりも、より多くの符号情報を付加できる。より多くの符号情報を付加する場合、パターンデータには、より自己相関性のピークが鋭く、自身の符号列との相互相関性が低い符号列を使用することができるため、基準線パターンの対応付け能力を向上させられる。

また、図１４の場合、太さが一定である必要が無いため、図１５に示すような基準線パターン１５１としてもよい。このように左右のエッジの変位をなだらかにすることで、図２のＳ１０４の処理における撮像パターン光の抽出を、切れ目無く、より確実に行なえる。

上述した通り、パターンデータの投影符号情報Ｈ_ｌａ（ａ＝０，１，２．．．Ｋ_ｍａｘ−１）で用いる符号列は、撮像基準線パターンの対応付けの性能に大きく影響している。より多くの投影符号情報を付加する以外にも、より適切な符号列の使用によって性能を向上させることもできる。パターンデータには、その符号列に自然乱数列を使用しているが、これを擬似ランダム性のあるＭ系列やｄｅ Ｂｒｕｉｊｎ系列などに置き換えても良い。これらの擬似ランダム性の系列は、自己相関・相互相関の特性が完全に既知という特性を持つ。これらの系列を用いる場合、十分な長さの符号列が使用できる、又は撮像する奥行き範囲を限定して、図９における対応付けの候補ｎ（０，１，２．．．Ｎ_ｍａｘ）を削減できる条件下では、より良好且つ確実に撮像基準線パターンの対応付けを行なえる。

また、上記実施形態においては、パターンデータの投影符号情報Ｈ_ｌａ（ａ＝０，１，２．．．Ｋ_ｍａｘ−１）で用いる符号列は、計測線パターンの各ＩＤで異なる符号列を有しており、二次元的な位置情報が得られるようになっている。しかし、これに限られず、計測線パターン同士の上下の位置関係を示す一次元の位置情報だけでよい場合には、これを単純化して全ての計測線パターンで同じ符号列を用いても良い。このような単純化により、計算を高速化することができる。

また、図９のＳ３０３の処理では、投影符号情報Ｈ_ｒｅｆａ（ａ＝０，１，２…Ｋ_ｍａｘ−１）と撮像符号情報Ｉ_ｎｂ（ｂ＝０，１，２…Ｍ_ｍａｘ−１）との要素数をｂ＝ａと仮定している。しかし、実際の撮像計測線パターンの数Ｍ_ｍａｘは、投影計測線パターンの数Ｋ_ｍａｘに等しいとは限らない。ノイズや被写体の凹凸による遮蔽等の撮像時の影響により、Ｍ_ｍａｘ≠Ｋ_ｍａｘとなる場合がある。この場合、式（２）による相関係数の計算が正しく行なわれず、対応付けに失敗する可能性がある。これに対処するため、式（２）の代わりに、要素数が異なる配列同士で計算が行える動的計画法などによるマッチングを行なうようにしても良い。

なお、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施態様を採ることもできる。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (9)

1. 複数の計測線パターンと、該複数の計測線パターンに対して複数の交点を有するとともに該交点間の形状が特徴付けられる基準線パターンとを含むパターンデータを生成する生成手段と、
   前記生成手段により生成された前記パターンデータに基づく投影パターン光が投影された被写体を撮像した撮像画像を入力する入力手段と、
   前記入力手段により入力された前記撮像画像から前記交点を抽出する交点抽出手段と、
   前記撮像画像における前記基準線パターン上の交点間に特徴付けられた形状の一次元的又は二次元的な配置を示す情報を同定情報として取得する取得手段と、
   前記取得手段により取得された同定情報に基づいて前記パターンデータにおける基準線パターンと前記撮像画像における基準線パターンとを対応付け、当該対応付け結果に基づいて前記パターンデータにおける計測線パターンと前記撮像画像における計測線パターンとを対応付ける対応付け手段と
   を具備することを特徴とする情報処理装置。
2. 前記投影パターン光を投影する投影手段及び前記投影パターン光が投影された被写体を撮像する撮像手段の位置関係と前記対応付け手段により対応付けられた計測線パターンの対応関係とに基づいて、前記被写体の三次元形状を算出する算出手段
   を更に具備することを特徴とする請求項１記載の情報処理装置。
3. 前記計測線パターン及び基準線パターンは、
   それぞれ異なる色成分により構成されており、
   前記交点抽出手段は、
   前記色成分に基づいて前記撮像画像から前記計測線パターンと前記基準線パターンとを分離して抽出した後、該抽出したパターンに基づいて前記交点を抽出する
   ことを特徴とする請求項１記載の情報処理装置。
4. 前記基準線パターンは、
   前記交点間を結ぶ直線に対していずれかの方向に変位を持つ又は該変位を持たないことにより前記特徴付けられた形状を有しており、
   前記取得手段は、
   前記撮像画像における前記基準線パターン上の交点間を結ぶ直線に対する変位の有無及び変位の方向に基づいて前記同定情報を取得する
   ことを特徴とする請求項１記載の情報処理装置。
5. 前記基準線パターンの交点間における前記変位は、折れ線状で構成される
   ことを特徴とする請求項４記載の情報処理装置。
6. 前記基準線パターンは、
   前記交点間を結ぶ直線に対していずれかの方向に所定量の変位を持つ又は該変位を持たないことにより前記特徴付けられた形状を有しており、
   前記取得手段は、
   前記撮像画像における前記基準線パターン上の交点間を結ぶ直線に対する変位の有無、変位の方向及び変位量に基づいて前記同定情報を取得する
   ことを特徴とする請求項１記載の情報処理装置。
7. 複数の計測線パターンと、該複数の計測線パターンに対して複数の交点を有するとともに該交点間の形状が特徴付けられる基準線パターンとを含むパターンデータに基づく投影パターン光を投影する投影手段と、
   前記投影パターン光が投影された被写体を撮像する撮像手段と、
   前記撮像画像から前記交点を抽出する交点抽出手段と、
   前記撮像画像における前記基準線パターン上の交点間に特徴付けられた形状の一次元的又は二次元的な配置を示す情報を同定情報として取得する取得手段と、
   前記取得手段により取得された同定情報に基づいて前記パターンデータにおける基準線パターンと前記撮像画像における基準線パターンとを対応付け、当該対応付け結果に基づいて前記パターンデータにおける計測線パターンと前記撮像画像における計測線パターンとを対応付ける対応付け手段と
   を具備することを特徴とする情報処理装置。
8. 情報処理装置の処理方法であって、
   生成手段が、複数の計測線パターンと、該複数の計測線パターンに対して複数の交点を有するとともに該交点間の形状が特徴付けられる基準線パターンとを含むパターンデータを生成する工程と、
   入力手段が、前記生成手段により生成された前記パターンデータに基づく投影パターン光が投影された被写体を撮像した撮像画像を入力する工程と、
   交点抽出手段が、前記入力手段により入力された前記撮像画像から前記交点を抽出する工程と、
   取得手段が、前記撮像画像における前記基準線パターン上の交点間に特徴付けられた形状の一次元的又は二次元的な配置を示す情報を同定情報として取得する工程と、
   対応付け手段が、前記取得手段により取得された同定情報に基づいて前記パターンデータにおける基準線パターンと前記撮像画像における基準線パターンとを対応付け、当該対応付け結果に基づいて前記パターンデータにおける計測線パターンと前記撮像画像における計測線パターンとを対応付ける工程と
   を含むことを特徴とする処理方法。
9. コンピュータを、
   複数の計測線パターンと、該複数の計測線パターンに対して複数の交点を有するとともに該交点間の形状が特徴付けられる基準線パターンとを含むパターンデータを生成する生成手段、
   前記生成手段により生成された前記パターンデータに基づく投影パターン光が投影された被写体を撮像した撮像画像を入力する入力手段、
   前記入力手段により入力された前記撮像画像から前記交点を抽出する交点抽出手段、
   前記撮像画像における前記基準線パターン上の交点間に特徴付けられた形状の一次元的又は二次元的な配置を示す情報を同定情報として取得する取得手段、
   前記取得手段により取得された同定情報に基づいて前記パターンデータにおける基準線パターンと前記撮像画像における基準線パターンとを対応付け、当該対応付け結果に基づいて前記パターンデータにおける計測線パターンと前記撮像画像における計測線パターンとを対応付ける対応付け手段
   として機能させるためのプログラム。

Images