JP5917116B2 - 情報処理装置、情報処理装置の制御方法、およびプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理装置の制御方法、およびプログラムに関する。

物体の形状を計測する方法には、例えばパターン投影法がある。これは、複数のパターンを切り換えながら対象物に投影し、その反射光を撮像した画像を解析することで距離情報を計測し、物体の形状を取得する方法である。このとき、各パターンについて高速に撮像を行うためには、投影パターンの切り換えタイミングと、撮像タイミングとを正確に同期させる必要がある。

特許文献１では、投影する順番に予めパターンをメモリに格納しておき、当該格納されているパターンを計測時に連続して対象物へ投影する方法が開示されている。

一方、投影パターンの切り換え・生成を行う制御装置としては、アプリケーション開発環境が充実しており、導入が容易であるＷｉｎｄｏｗｓ（登録商標）などのＯＳを搭載したＰＣを使用することで、開発効率を上げることが期待できる。

特許第０４３９１１３７号公報

しかしながら、ＷｉｎｄｏｗｓなどのＯＳは、非リアルタイムＯＳであるため、投影パターンの作成や切り換え処理が間に合わずに、連続して同じパターンが出力されてしまうことがあり、その場合には、撮像データが重複してしまうことになる。

図１５を参照して、この撮像データの重複について説明する。図１５の例では、システム側で生成した投影パターンはパターン１からパターン４までの４種類であり、それぞれを１フレームずつ切り換えて投影して撮像するように制御している。しかし、パターン３の生成が１フレーム期間に間に合わなかったために、実際にはパターン２が２フレーム続けて投影されてしまい、パターン２が重複して撮像データとして取得されてしまう。また、重複の発生頻度や重複するパターンの連続数は不規則であるため、システム側で撮像データの中から同じパターンであることを識別して、重複を排除する処理が必要となり、画像解析時の負担が増大するという課題がある。

特許文献１に記載の方法では、投影パターン数分のメモリを実装しておく必要がある。また、パターンを変更するのにメモリを書き換える必要があり、パターンを追加するためにはハードウェアの変更が必要になる。また、特許文献１では、その都度パターンを生成する方法も記載されているが、１フレーム単位でパターンを切り換えるような高速処理をする場合には、撮像データが重複する可能性がある。

上記の課題に鑑み、本発明は、高フレームレートで投影パターンを切り換えながら生成し、撮像を行っても、撮像データの重複を防止することを目的とする。

上記の目的を達成する本発明に係る情報処理装置は、
投影パターンを順次生成するとともに、前記投影パターンと同期させて撮像の有効または無効を示す撮像信号を生成するデータ生成手段と、
前記投影パターンをフレームごとに対象物へ投影する投影手段と、
前記撮像信号が撮像の有効を示す場合であって、且つ、前記対象物へ投影される現フレームの投影パターンが前フレームの投影パターンとは異なる場合にトリガ信号を生成するトリガ信号生成手段と、
前記投影パターンが投影された前記対象物を前記トリガ信号に応じて撮像する撮像手段と、
を備えることを特徴とする。

本発明によれば、高フレームレートで投影パターンを切り換えながら生成し、撮像を行っても、撮像データの重複を防止することができる。

第１実施形態に係る三次元形状計測装置の構成を示すブロック図。 第１実施形態に係る動作を説明するためのタイミングチャート。 第２実施形態に係る三次元形状計測装置の構成を示すブロック図。 第２実施形態に係る動作を説明するためのタイミングチャート。 第３実施形態に係る三次元形状計測装置の構成を示すブロック図。 第４実施形態に係る三次元形状計測装置の構成を示すブロック図。 第５実施形態に係るパターン識別信号の埋め込み例を説明する図。 第６実施形態に係る２フレーム単位で制御を行った場合の動作を説明するためのタイミングチャート。 第７実施形態に係る三次元形状計測装置の構成を示すブロック図。 第７実施形態に係る動作を説明するためのタイミングチャート。 第８実施形態に係る三次元形状計測装置の構成を示すブロック図。 第９実施形態に係る三次元形状計測装置の構成を示すブロック図。 第１０実施形態に係る三次元形状計測装置の構成を示すブロック図。 第１１実施形態に係る２フレーム単位で制御を行った場合の動作を説明するためのタイミングチャート。 撮像データの重複を説明するためのタイミングチャート。

（第１実施形態）
図１は、第１実施形態に係る三次元形状計測装置（情報処理装置）の構成を示すブロック図である。第１実施形態では、投影パターンの変化を検出し、撮像部に入力するシャッター信号の出力を制御することを特徴としている。

本実施形態における三次元形状計測装置は、投影部１０１と、撮像部１０２と、データ生成部１０３と、画像解析部１０４と、トリガ信号生成部１０５と、シャッター信号生成部１０６とを備える。

投影部１０１は、データ生成部１０３により順次生成された投影パターンが入力されると、当該投影パターンを不図示の測定対象物上へ投影する。撮像部１０２は、シャッター信号生成部１０６により生成されたシャッター信号が入力されると、予め設定された露光期間、パターンが投影された測定対象物上を撮像する。データ生成部１０３は、投影タイミングに合わせて、投影部１０１が投影するための投影パターンを順次生成して、当該投影パターンを投影部１０１およびトリガ信号生成部１０５へそれぞれ出力する。

画像解析部１０４は、撮像部１０２により撮像された画像データを解析して、三次元形状を取得する。トリガ信号生成部１０５は、データ生成部１０３から入力された投影パターンが前フレームから変化したことを検出すると、シャッター信号生成部１０６へトリガ信号を出力する。シャッター信号生成部１０６は、シャッター信号生成部１０６からトリガ信号が入力されると、当該トリガ信号を基準にして、予め設定されたタイミングとパルス幅とを有するシャッター信号を生成し、撮像部１０２へ出力する。

次に、図２（ａ）を参照して、パターン投影法を用いた三次元形状計測方法を例に挙げ、全体の動作について説明する。空間符号化法と呼ばれるパターン投影法の場合、例えばＷｉｎｄｏｗｓ ＯＳを搭載したＰＣ内に構成されたデータ生成部１０３は、ネガ・ポジそれぞれのグレイコードパターンを表示するように投影パターンを順次生成する（図２（ａ）の２段目、パターン１からパターン４）。

ここで、高速に三次元形状計測を行うためには、データ生成部１０３は、投影部１０１のフレームレートに合わせて、投影パターンを連続して順次生成し、投影部１０１へ出力する必要がある。例えば、投影部１０１がＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｉｓｔａｌ Ｄｉｓｐｌａｙ）やＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｒｒｏｒ Ｄｅｖｉｃｅ）等の表示素子で構成される標準のプロジェクタであり、フレームレートが６０ｆｐｓである場合、データ生成部１０３は、パターン１からパターン４までの投影パターンを、１／６０秒の間隔で１フレームずつ連続して生成し、投影部１０１へ出力する必要がある。しかし、この例では、パターン３の生成が１／６０秒では間に合わず、実際には投影パターンとしてパターン２を２フレーム重複して出力している（図２（ａ）の３段目）。

この場合、投影パターンの１フレーム目、２フレーム目、４フレーム目では、それぞれ前のフレームからパターンが変化しているため、トリガ信号生成部１０５はトリガ信号を生成する。しかし、次の３フレーム目では再度パターン２が出力されており、パターンの変化が無いため、トリガ信号を生成しない（図２（ａ）の４段目）。つまり、投影部１０１は、投影パターンを測定対象物上へ投影するが、１、２、４フレーム目ではトリガ信号に応じてシャッター信号生成部１０６によりシャッター信号が生成され、３フレーム目ではシャッター信号が生成されない。したがって、１、２、４フレーム目で投影されたグレイコードパターンの反射光のみが、撮像部１０２により撮像される（図２（ａ）の６段目）。そして、撮像データは、データ生成部１０３を搭載したＰＣ、または画像解析用に用意した別のＰＣ等で構成される、画像解析部１０４へ入力される。画像解析部１０４は、撮像データを解析して、ネガ・ポジ画像の境界位置から、三角測量の原理により三次元形状を計測する。

また、この例では、パターンが変化した全てのフレームでトリガ信号を生成しているため、撮像終了時には、データ生成部１０３において、最後に投影したパターンを固定しておき、次に撮像を開始する時まで、前回の撮像終了時のパターンを記憶しておく必要がある。なぜなら、例えばパターン４までを用いて撮像が終了した場合、次の撮像の際にパターン５を用いると仮定すると、パターン４の情報がないとパターン５についてパターンが変化したか否かを判定できなくなってしまうからである。

そこで、図２（ｂ）に示すように、撮像しないフレームに特別なパターンを割り当てて、これをＮＯＰ（ＮＯ Ｏｐｅｒａｔｉｏｎ）フレームとし、トリガ信号生成部１０５においてＮＯＰパターンを無効なパターンとして識別する構成にしてもよい。つまり、トリガ信号生成部１０５に、撮像信号が有効な場合であり、且つ、投影パターンが変化したときにトリガ信号を生成するという機能を持たせればよい。

また、この例では、シャッター信号生成部１０６は、トリガ信号を基準にタイミング調整したシャッター信号を生成しているが、撮像部１０２がタイミング調整機能を有する場合には、撮像部１０２に直接トリガ信号を入力する構成としてもよい。以上説明したように、本実施形態によれば、高フレームレートで投影パターンを切り換えながら順次生成し、撮像を行っても、撮像データの重複を防止することができる。

（第２実施形態）
図３は、第２実施形態に係る三次元形状計測装置の構成を示すブロック図である。第２実施形態では、投影パターンの変化を検出し、撮像部に出力されるシャッター信号だけでなく、投影部の光源の点灯を制御する点灯信号の投影部への出力も制御することを特徴としている。

第１実施形態との相違点は、三次元形状計測装置が、投影部３０１の光源の点灯を制御する点灯信号を生成する点灯信号生成部３０７をさらに備え、点灯信号生成部３０７が生成した点灯信号を投影部３０１へ出力している点である。点灯信号生成部３０７は、トリガ信号生成部１０５からトリガ信号が入力されると、トリガ信号を基準にして予め設定されたタイミングで点灯信号を生成する。投影部３０１は、点灯信号により制御される期間のみ光源を点灯し、データ生成部１０３から入力された投影パターンを不図示の測定対象物上へ投影する。その他の構成については、第１実施形態と同様のため説明を省略する。

次に、第１実施形態との動作の相違点について、図４を参照して説明する。第１実施形態との相違点は、点灯信号生成部３０７が、投影部３０１の光源を点灯制御している点である（図４の５段目）。第１実施形態では、図２（ａ）に示されるように投影部３０１の光源は常時点灯させ、撮像タイミングのみを制御していた。しかし、投影パターンを点灯させておく期間は、露光している期間のみでよいため、撮像部１０２の露光期間に合わせて投影光源を点灯するように、点灯信号生成部３０７がトリガ信号を基準にした点灯信号を生成する。このような構成により、例えばＬＥＤのように高速な点灯制御が可能な光源であれば、消費電力や発熱を抑えることができる。

（第３実施形態）
図５（ａ）は、第３実施形態に係る三次元形状計測装置の構成を示すブロック図である。第３実施形態では、撮像を行うか否かを選択するための撮像信号を、撮像対象となる投影パターンに合わせて変化させることにより、トリガ信号の出力を制御することを特徴としている。

第１実施形態で説明したように、これまでの例では、パターンが変化したフレーム全てでトリガ信号を生成しているため、撮像終了時には、データ生成部１０３において、最後に投影したパターンを固定しておき、次に撮像を開始する時まで、前回の撮像最終時のパターンを記憶しておく必要がある。そこで、本実施形態では、撮像を行うか否かを選択するための撮像信号を投影パターンに合わせて生成している。これまでの例との相違点は、データ生成部５０３が、撮像する投影パターンに同期して撮像信号を変化させて、トリガ信号生成部５０５へ出力している点である。トリガ信号生成部５０５は、撮像信号が有効な場合であり、且つ、投影パターンが変化したフレームでトリガ信号を生成する。

図５（ｂ）を参照して、撮像信号と投影パターンとの関係を示した動作例を説明する。この例では、撮像したいパターンをパターン２とし、パターン１は撮像しないダミーパターンとしている。また、撮像信号がＨｉｇｈのときに撮像を有効とし、Ｌｏｗのときに撮像を無効とする。ここで本来であれば、撮像信号は３フレーム目のみを有効としてもよいが、投影パターンが重複することにより、撮像信号を変化させたフレームがずれる可能性があるため、前後に数フレームの余裕をもって撮像信号を変化させている。

図５（ｂ）の例では、３フレーム目だけでなく２フレーム目および４フレーム目も撮像信号が有効になっている。すなわち、トリガ信号生成部５０５は、撮像信号が有効であり、且つ、投影パターンが変化したフレームである、３フレーム目においてトリガ信号を生成する。このような構成により、撮像を行わない場合の状態を一意に固定できるため、次の撮像開始時までの間、前回の投影パターンを保持する必要がなくなり、制御を簡素化できる。

（第４実施形態）
図６は、第４実施形態に係る三次元形状計測装置の構成を示すブロック図である。第４実施形態では、撮像を行うか否かを選択するための撮像信号を、撮像対象となる投影パターンに埋め込み、投影パターンと撮像信号とを完全に同期させることで、トリガ信号の出力を制御することを特徴としている。

本実施形態では、三次元形状計測装置は、データ埋め込み部６０８およびデコード部６０９をさらに備えている。この構成の具体例としては、データ生成部５０３とデータ埋め込み部６０８とがＷｉｎｄｏｗｓ ＯＳを搭載したＰＣ内に構成され、撮像信号が埋め込まれた投影パターンを、例えばＤＶＩ信号のようなデジタル映像信号としてグラフィックボードから出力する場合である。データ生成部５０３は、投影パターンを生成すると同時に、撮像対象となる投影パターンに同期して変化する撮像信号を生成する。撮像信号としては、例えば撮像を行う場合は投影パターンを出力するフレーム期間中Ｈｉｇｈを出力し、撮像しない場合はＬｏｗを出力することにより、有効または無効を切り替える。

データ埋め込み部６０８は、撮像を行う投影パターンに撮像信号を埋め込み、映像信号としてデコード部６０９へ送信する。撮像信号の埋め込み方法については、対応する投影パターンの特定の場所にフラグ信号を埋め込んでもよいし、任意の場所に特別なパターンを埋め込んでもよい。デコード部６０９は、データ埋め込み部６０８から受信した映像信号から撮像信号を検出し、映像信号を投影パターンと撮像信号とに分離する。他の構成は第３実施形態と同じであるため、説明を省略する。

また、撮像信号は、投影パターンの一部として埋め込まれているため、連続する２つのフレームで投影パターンが重複した場合でも、撮像信号も同時に重複することになる。そのため、第３実施形態のように撮像したいパターンの前後に数フレームの余裕を持たせる必要がなくなり、撮像開始と終了とをより高速に制御することができる。

（第５実施形態）
これまでの実施形態では、投影パターンの変化をパターン全体で比較して判別していた。第５実施形態では、投影パターンの変化を容易に検出するために、投影パターンの変化に合わせて変化するパターン識別信号を投影パターンに埋め込んでおくことを特徴としている。パターン識別信号の埋め込み例を、図７（ａ）、図７（ｂ）に示す。図７（ａ）では、投影パターンが変化したことのみを検出するために、１フレーム毎に反転するようなパターン識別信号を埋め込んだ例である。図７（ａ）の例では、パターン１およびパターン３に対してパターン識別信号１が埋め込まれており、一方、パターン２およびパターン４に対してパターン識別信号０が埋め込まれている。このようにして投影パターンの変化を検出することで、パターン変化の検出が容易になり、処理負荷を軽減することができる。図７（ｂ）では、投影パターンの投影順序に対応したパターン識別信号を埋め込み、同じ識別信号が連続したことを判別すると、トリガ信号を生成しない。図７（ｂ）の例では、パターン識別信号が１から４まで割り当てられており、パターン識別信号が２であるパターン２が重複している。そのため、３フレーム目ではトリガ信号は生成されない。

（第６実施形態）
図８は、６０ｆｐｓで動作する投影部３０１を使用して１フレーム以上の露光期間を確保するために、２フレーム単位で制御を行った場合の動作例である。この時の動作について、第２実施形態で使用した図３の構成を例にして説明する。

これまでの実施形態では、１フレーム単位で投影パターンの切り換えを行っていたが、本実施形態では、データ生成部１０３が２フレーム単位に投影パターンを切り換えて生成している（図８の２段目）。すなわち、１フレーム目と２フレーム目では、パターン１が生成され、３フレーム目と４フレーム目では、パターン２が生成され、５フレーム目と不図示の６フレーム目では、パターン３が生成される。撮像部１０２には、予め必要な露光時間を設定しておくが、本実施形態では最大２フレーム分の期間まで長くすることができる。また、点灯信号生成部３０７は、露光時間に対応する期間だけ投影部３０１が点灯するように、予め点灯信号の点灯期間を設定しておく。また、本実施形態では、２フレームの固定周期で投影パターンを変化させているが、周期は２フレームに固定でなくてもよく、任意のフレーム数分の固定周期であってもよい。このような構成により、パターンに同期して露光時間を任意に拡張することができるため、６０ｆｐｓまたは５０ｆｐｓのフレームレートで表示する汎用のプロジェクタを使用した安価なシステムを構成できる。

（第７実施形態）
図９は、第７実施形態に係る三次元形状計測装置の構成を示すブロック図である。第７実施形態では、撮像部１０２に入力されるべきシャッター信号の出力は、投影パターンの変化のみで制御され、および、投影部３０１に入力されるべき点灯信号の出力は、投影パターンの変化だけでなく、さらに、投影パターンを連続して投影するフレーム数の指定により制御されることを特徴としている。本実施形態に係る三次元形状計測装置は、点灯トリガ生成部９１０を備えている点が異なる。また、図９において、図１、図３に示す部分と同一ブロックには同一符号を付けてあり、その詳細な説明は省略する。

データ生成部９０３は、投影パターンと、連続して投影可能な投影パターンのフレームの許容数を示す連続フレーム数設定信号と、を出力する。点灯トリガ生成部９１０は、投影パターンが前フレームから変化したことを検出した場合、または、投影パターンが前フレームから変化しないフレーム数（対象物へ投影される現フレームの投影パターンが前フレームの投影パターンと同じであるフレームの連続数）が、連続フレーム数設定信号により示されるフレームの許容数以下である場合には、点灯信号生成部３０７へ点灯トリガ信号を出力する。しかし、投影パターンが前フレームから変化しないフレーム数が、連続フレーム数設定信号で指定した許容数を超えたフレームでは、点灯信号生成部３０７へ点灯トリガ信号を出力しない。

図１０を参照して、１フレーム単位で投影、撮像制御を行う場合の動作例を説明する。まず、１フレーム単位で投影、撮像制御を行うため、連続フレーム数設定信号は「１」に設定する。次に、点灯トリガ生成部９１０は、投影パターンが変化しなかったフレーム数を連続数としてカウントし、連続フレーム数設定信号で指定された値「１」と比較している。この例では、パターン３の生成が間に合わず、２フレーム目と３フレーム目とでパターン２を連続して出力している（図１０の３段目）。そのため、３フレーム目では連続数が「２」となり、連続フレーム数設定値「１」を超えるため、点灯トリガ信号は生成されない（図１０の５段目）。したがって、投影部３０１の光源は３フレーム目では点灯しない。また、第１および第２実施形態と同様に、トリガ信号生成部１０５は投影パターンが前フレームから変化したフレームでのみトリガ信号を生成するため、３フレーム目では撮像部１０２を制御するシャッター信号は生成されない。したがって、３フレーム目では撮像は行われない。本実施形態によれば、高フレームレートで投影パターンを切り換えながら生成し、撮像を行っても、撮像データの重複を防止することができる。

（第８実施形態）
図１１は、第８実施形態に係る三次元形状計測装置の構成を示すブロック図である。第８実施形態では、第７実施形態の構成において、撮像を行うか否かを選択する撮像信号を撮像対象となるパターンに合わせて変化させることにより、トリガ信号の出力を制御することを特徴としている。また、図１１において、図５に示す部分と同一ブロックには同一符号を付けてあり、その詳細な説明は省略する。

第７実施形態では、パターンが変化したフレーム全てでトリガ信号を生成していたため、撮像終了時には、データ生成部９０３において最後に投影したパターンを固定しておき、次に撮像開始する時まで、前回の撮像最終時のパターンを記憶しておく必要がある。そこで、本実施形態では、データ生成部９０３が、撮像の有効または無効を示す撮像信号を投影パターンに合わせて生成している。

第７実施形態との相違点は、データ生成部１１０３が、撮像する投影パターンに同期して変化する撮像信号を、トリガ信号生成部５０５および点灯トリガ生成部１１１０へ出力している点である。トリガ信号生成部５０５は、撮像信号が撮像の有効を示す場合であって、且つ、対象物へ投影される現フレームの投影パターンが前フレームの投影パターンとは異なる場合に、トリガ信号を生成する。点灯トリガ生成部１１１０は、「撮像信号が有効な場合であり、且つ、投影パターンが変化したフレームである場合」または「撮像信号が撮像の有効を示す場合であって、且つ、投影パターンが変化しないフレーム数が連続フレーム数設定信号で指定した値以下である場合」に、点灯トリガ信号を生成する。また、撮像信号と投影パターンとの関係については、第３実施形態と同様であるため説明を省略する。本実施形態によれば、高フレームレートで投影パターンを切り換えながら生成し、撮像を行っても、撮像データの重複を防止することができる。

（第９実施形態）
図１２は、第９実施形態に係る三次元形状計測装置の構成を示すブロック図である。第９実施形態では、第８実施形態の構成において、撮像を行うか否かを選択する撮像信号を撮像対象となる投影パターンに埋め込み、投影パターンと撮像信号とを完全に同期させることにより、トリガ信号の出力を制御することを特徴としている。図１２において、図１１に示す部分と同一ブロックには同一符号を付けてあり、その詳細な説明は省略する。

第８実施形態との相違点は、三次元形状計測装置が、データ埋め込み部１２０８およびデコード部１２０９を備えている点である。この構成の具体例としては、データ生成部１１０３とデータ埋め込み部１２０８とがＷｉｎｄｏｗｓ ＯＳを搭載したＰＣ内に構成され、撮像信号が埋め込まれた投影パターンを、例えばＤＶＩ信号のようなデジタル映像信号としてグラフィックボードから出力する場合である。

データ埋め込み部１２０８は、撮像を行う投影パターンに、撮像信号と連続フレーム数設定信号とを埋め込み、映像信号として送信する。撮像信号の埋め込み方法については、対応する投影パターンの特定の場所にフラグ信号を埋め込んでもよいし、任意の場所に特別なパターンを埋め込んでもよい。連続フレーム数設定信号の埋め込み方法についても同様であるが、投影パターンに同期して変化させる必要はないため、映像ブランキング期間などの投影パターン以外の期間を利用して予め設定しておいてもよい。デコード部１２０９は、受信した映像信号から撮像信号と連続フレーム設定信号とを検出し、投影パターン、撮像信号、連続フレーム数設定信号に分離する。

トリガ信号生成部５０５は、撮像信号が撮像の有効を示す場合であって、且つ、デコード部１２０９により分離された投影パターンが前フレームの投影パターンとは異なる場合に、トリガ信号を生成する。点灯トリガ生成部１１１０は、撮像信号が撮像の有効を示す場合であって、且つ、デコード部１２０９により分離された投影パターンが前フレームの投影パターンと同じであるフレームの連続数が、連続フレーム数設定信号により示されるフレームの許容数以下である場合に、点灯トリガ信号を生成する。他の構成は第８実施形態と同じである。本実施形態によれば、高フレームレートで投影パターンを切り換えながら生成し、撮像を行っても、撮像データの重複を防止することができる。

（第１０実施形態）
図１３は、第１０実施形態に係る三次元形状計測装置の構成を示すブロック図である。第１０実施形態では、第９実施形態の構成において、投影パターンの変化を容易に検出するために、投影パターンの変化に合わせて変化するパターン識別信号を投影パターンに埋め込んでおくことを特徴としている。図１３において、図１２に示す部分と同一ブロックには同一符号を付けてあり、その詳細な説明は省略する。

第７乃至第９実施形態では、投影パターンの変化をパターン全体で比較して判別していた。本実施形態では、投影パターンの変化を容易に検出するために、投影パターンの変化に合わせて変化するパターン識別信号を投影パターンに埋め込んでおく。

第９実施形態との相違点は、パターン識別信号の生成機能を追加した点と、投影パターンの変化検出機能をパターン識別信号の変化検出機能へ変更した点である。具体的には、データ生成部１３０３は、投影パターン、撮像信号、連続フレーム数設定信号に加えて、パターン識別信号をさらに生成する。

データ埋め込み部１３０８は、投影パターンへ、撮像信号、連続フレーム数設定信号に加えて、パターン識別信号をさらに埋め込み、映像信号として送信する。デコード部１３０９は、受信した映像信号からパターン識別信号と撮像信号と連続フレーム数設定信号とを検出し、投影パターン、パターン識別信号、撮像信号、連続フレーム数設定信号にそれぞれ分離する。点灯トリガ生成部１３１０とトリガ信号生成部１３０５とでは、投影パターンが前フレームから変化したかどうかをパターン識別信号の変化により検出している。すなわち、トリガ信号生成部１３０５は、撮像信号が撮像の有効を示す場合であって、且つ、対象物へ投影される現フレームの投影パターンのパターン識別信号が前フレームの投影パターンのパターン識別信号とは異なる場合にトリガ信号を生成する。また、点灯トリガ生成部１３１０は、撮像信号が撮像の有効を示す場合であって、且つ、デコード部により分離された投影パターンのパターン識別信号が前フレームの投影パターンのパターン識別信号と同じであるフレームの連続数が、連続フレーム数設定信号により示されるフレームの許容数以下である場合に、点灯トリガ信号を生成する。本実施形態によれば、高フレームレートで投影パターンを切り換えながら生成し、撮像を行っても、撮像データの重複を防止することができる。

（第１１実施形態）
図１４は、６０ｆｐｓで動作する投影部３０１を使用して１フレーム以上の露光期間を確保するために、２フレーム単位で制御を行った場合の動作例である。この時の動作について、第７実施形態で使用した図９の構成を例にして説明する。

第７実施形態では、１フレーム単位で投影パターンの切り換えを行っていたが、本実施形態では、データ生成部９０３は２フレーム単位に投影パターンを切り換えて生成している（図１４の２段目）。すなわち、１フレーム目と２フレーム目では、パターン１が生成され、３フレーム目と４フレーム目では、パターン２が生成され、５フレーム目と不図示の６フレーム目では、パターン３が生成される。

撮像部１０２は、予め必要な露光期間を設定しておくが、本実施形態では最大２フレーム分の期間まで長くすることができる。また、点灯信号生成部３０７は、露光期間に対応する期間だけ投影部３０１が点灯するように、予め点灯信号の点灯期間を設定しておく。

２フレーム単位で投影、撮像制御を行うため、連続フレーム数設定信号は「２」に設定する。次に、点灯トリガ生成部９１０は、投影パターンが変化しなかったフレーム数を連続数としてカウントし、連続フレーム数設定信号で指定された値「２」と比較している。この例では、５フレーム目のパターン３の生成が間に合わず、４フレーム目と５フレーム目とでパターン２を連続して出力している（図１４の３段目）。

そのため、５フレーム目では連続数が「３」となり、連続フレーム数設定値「２」を超えるため、点灯トリガ信号は生成されない（図１４の５段目）。したがって、投影部３０１の光源は５フレーム目では点灯しない。また、第１および第２実施形態と同様に、投影パターンが前フレームから変化したフレームでのみトリガ信号を生成するため、５フレーム目では撮像部１０２を制御するシャッター信号は生成されない。したがって、５フレーム目では撮像は行われない。また、本実施形態では、２フレームの固定周期で投影パターンを変化させているが、周期は固定でなくてもよい。

このような構成により、投影部の光源制御と撮像部のシャッター制御とを独立に行うことができるため、一度の露光期間中に複数回の光源のオンとオフとが可能となる。なお、図１４の例では、投影部３０１のブランキング期間中に入力したパターンとは異なるパターンが表示されるデバイスを用いた例を想定しているため、ブランキング期間中は光源をオフにして不要なパターンが露光されないようにする。よって、ブランキング期間中に表示されるパターンが同じであれば、点灯信号生成部３０７に、予め点灯信号の点灯期間を１フレームに設定しておくことで、連続して点灯することもできる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (14)

1. 投影パターンを順次生成するとともに、前記投影パターンと同期させて撮像の有効または無効を示す撮像信号を生成するデータ生成手段と、
   前記投影パターンをフレームごとに対象物へ投影する投影手段と、
   前記撮像信号が撮像の有効を示す場合であって、且つ、前記対象物へ投影される現フレームの投影パターンが前フレームの投影パターンとは異なる場合にトリガ信号を生成するトリガ信号生成手段と、
   前記投影パターンが投影された前記対象物を前記トリガ信号に応じて撮像する撮像手段と、
   を備えることを特徴とする情報処理装置。
2. 前記トリガ信号生成手段により生成された前記トリガ信号に応じて、シャッター信号を予め設定されたタイミングで前記撮像手段へ出力するシャッター信号生成手段をさらに備え、
   前記撮像手段は、前記シャッター信号に応じて、前記投影パターンが投影された前記対象物を撮像することを特徴とする請求項１に記載の情報処理装置。
3. 前記トリガ信号生成手段により生成された前記トリガ信号に応じて、点灯信号を予め設定されたタイミングで前記投影手段が有する光源へ出力する点灯信号生成手段をさらに備え、
   前記投影手段は、前記点灯信号により制御された期間のみ前記光源を点灯して前記投影パターンを前記対象物へ投影することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記投影パターンに前記撮像信号を埋め込んで映像信号として送信するデータ埋め込み手段と、
   前記データ埋め込み手段から受信した前記映像信号を前記投影パターンと前記撮像信号とに分離するデコード手段と、をさらに備え、
   前記トリガ信号生成手段は、前記撮像信号が撮像の有効を示す場合であって、且つ、前記デコード手段により分離された投影パターンが前フレームの投影パターンとは異なる場合に、前記トリガ信号を生成することを特徴とする請求項１に記載の情報処理装置。
5. 前記データ生成手段は、前記投影パターンごとに当該投影パターンを識別するパターン識別信号をさらに生成し、
   前記トリガ信号生成手段は、前記対象物へ投影される現フレームの投影パターンのパターン識別信号が前フレームの投影パターンのパターン識別信号とは異なる場合に前記トリガ信号を生成することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
6. 前記データ生成手段は、前記投影パターンごとに当該投影パターンを識別するパターン識別信号をさらに生成し、
   前記トリガ信号生成手段は、前記撮像信号が撮像の有効を示す場合であって、且つ、前記対象物へ投影される現フレームの投影パターンのパターン識別信号が前フレームの投影パターンのパターン識別信号とは異なる場合に、前記トリガ信号を生成することを特徴とする請求項１または４に記載の情報処理装置。
7. 前記データ生成手段は、連続して投影可能な投影パターンのフレームの許容数を示す連続フレーム数設定信号をさらに生成し、
   前記情報処理装置は、
   前記対象物へ投影される現フレームの投影パターンが前フレームの投影パターンと同じであるフレームの連続数が、前記連続フレーム数設定信号により示されるフレームの許容数以下である場合に、点灯トリガ信号を生成する点灯トリガ生成手段と、
   前記点灯トリガ生成手段により生成された前記点灯トリガ信号に応じて、点灯信号を予め設定されたタイミングで前記投影手段が有する光源へ出力する点灯信号生成手段と、をさらに備え、
   前記投影手段は、前記点灯信号により制御された期間のみ前記光源を点灯して前記投影パターンを前記対象物へ投影することを特徴とする請求項１または２に記載の情報処理装置。
8. 前記データ生成手段は、撮像の有効または無効を示す撮像信号をさらに生成し、
   前記トリガ信号生成手段は、前記撮像信号が撮像の有効を示す場合であって、且つ、前記対象物へ投影される現フレームの投影パターンが前フレームの投影パターンとは異なる場合に、前記トリガ信号を生成し、
   前記点灯トリガ生成手段は、前記撮像信号が撮像の有効を示す場合であって、且つ、前記対象物へ投影される現フレームの投影パターンが前フレームの投影パターンと同じであるフレームの連続数が、前記連続フレーム数設定信号により示されるフレームの許容数以下である場合に、前記点灯トリガ信号を生成することを特徴とする請求項７に記載の情報処理装置。
9. 前記投影パターンに前記撮像信号と前記連続フレーム数設定信号とを埋め込んで映像信号として送信するデータ埋め込み手段と、
   前記データ埋め込み手段から受信した前記映像信号を前記投影パターンと前記撮像信号と前記連続フレーム数設定信号とに分離するデコード手段と、をさらに備え、
   前記トリガ信号生成手段は、前記撮像信号が撮像の有効を示す場合であって、且つ、前記デコード手段により分離された投影パターンが前フレームの投影パターンとは異なる場合に、前記トリガ信号を生成し、
   前記点灯トリガ生成手段は、前記撮像信号が撮像の有効を示す場合であって、且つ、前記デコード手段により分離された投影パターンが前フレームの投影パターンと同じであるフレームの連続数が、前記連続フレーム数設定信号により示されるフレームの許容数以下である場合に、前記点灯トリガ信号を生成することを特徴とする請求項８に記載の情報処理装置。
10. 前記データ生成手段は、前記投影パターンごとに当該投影パターンを識別するパターン識別信号をさらに生成し、
    前記トリガ信号生成手段は、前記対象物へ投影される現フレームの投影パターンのパターン識別信号が前フレームの投影パターンのパターン識別信号とは異なる場合に、前記トリガ信号を生成し、
    前記点灯トリガ生成手段は、前記対象物へ投影される現フレームの投影パターンのパターン識別信号が前フレームの投影パターンのパターン識別信号と同じであるフレームの連続数が、前記連続フレーム数設定信号により示されるフレームの許容数以下である場合に、前記点灯トリガ信号を生成することを特徴とする請求項７に記載の情報処理装置。
11. 前記データ生成手段は、前記投影パターンごとに当該投影パターンを識別するパターン識別信号をさらに生成し、
    前記トリガ信号生成手段は、前記撮像信号が撮像の有効を示す場合であって、且つ、前記対象物へ投影される現フレームの投影パターンのパターン識別信号が前フレームの投影パターンのパターン識別信号とは異なる場合に前記トリガ信号を生成し、
    前記点灯トリガ生成手段は、前記撮像信号が撮像の有効を示す場合であって、且つ、前記対象物へ投影される現フレームの投影パターンのパターン識別信号が前フレームの投影パターンのパターン識別信号と同じであるフレームの連続数が、前記連続フレーム数設定信号により示されるフレームの許容数以下である場合に、前記点灯トリガ信号を生成することを特徴とする請求項８に記載の情報処理装置。
12. 前記データ生成手段は、前記投影パターンごとに当該投影パターンを識別するパターン識別信号をさらに生成し、
    前記データ埋め込み手段は、前記投影パターンに前記撮像信号と前記連続フレーム数設定信号と前記パターン識別信号とを埋め込んで映像信号として送信し、
    前記デコード手段は、前記データ埋め込み手段から受信した前記映像信号を前記投影パターンと前記撮像信号と前記連続フレーム数設定信号と前記パターン識別信号とに分離し、
    前記トリガ信号生成手段は、前記撮像信号が撮像の有効を示す場合であって、且つ、前記デコード手段により分離された投影パターンのパターン識別信号が前フレームの投影パターンのパターン識別信号とは異なる場合に前記トリガ信号を生成し、
    前記点灯トリガ生成手段は、前記撮像信号が撮像の有効を示す場合であって、且つ、前記デコード手段により分離された投影パターンのパターン識別信号が前フレームの投影パターンのパターン識別信号と同じであるフレームの連続数が、前記連続フレーム数設定信号により示されるフレームの許容数以下である場合に、前記点灯トリガ信号を生成することを特徴とする請求項９に記載の情報処理装置。
13. データ生成手段と、投影手段と、トリガ信号生成手段と、撮像手段とを備える情報処理装置の制御方法であって、
    前記データ生成手段が、投影パターンを順次生成するとともに、前記投影パターンと同期させて撮像の有効または無効を示す撮像信号を生成するデータ生成工程と、
    前記投影手段が、前記投影パターンをフレームごとに対象物へ投影する投影工程と、
    前記トリガ信号生成手段が、前記撮像信号が撮像の有効を示す場合であって、且つ、前記対象物へ投影される現フレームの投影パターンが前フレームの投影パターンとは異なる場合にトリガ信号を生成するトリガ信号生成工程と、
    前記撮像手段が、前記投影パターンが投影された前記対象物を前記トリガ信号に応じて撮像する撮像工程と、
    を有することを特徴とする情報処理装置の制御方法。
14. 請求項１３に記載の情報処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。

Images