JP7376839B2 - ３次元情報推定方法、３次元情報推定装置およびプログラム - Google Patents

Description

本発明は、３次元情報推定方法、３次元情報推定装置およびプログラムの技術に関する。

各画素の輝度変化を非同期で検出し、輝度値が変化した画素についてのみ、その座標、時間、及び変化量の符号をイベントデータとして出力するイベントベースビジョンセンサがある。以下では通常のイメージセンサを備えるカメラをフレームカメラ、イベントベースビジョンセンサを備えるカメラをイベントカメラと表現することがある。

フレームカメラは、各画素に積算された輝度値をフレームごとに出力する。フレームカメラにおいて、積算時間すなわち露光時間と信号のダイナミックレンジは全ての画素で同じである。そのため、非常に明るい画素と暗い画素が混在している場合、白飛び、黒つぶれや量子化誤差等が生じる。また、照明の影響などでシーンの明度が激しく変化する場合、露光時間の調整ができずに白飛びや黒つぶれが生じることもある。

一方、イベントカメラは、各画素の輝度変化が一定のしきい値を超える度に非同期でイベントデータを出力するため、白飛び、黒つぶれ、量子化誤差等の問題が生じない。また、イベントカメラから出力されるイベントデータはフレームカメラから出力される画像に比べて非常に疎なデータである。そのためイベントデータを記憶するメモリや、イベントデータを伝送するための伝送帯域が少なく済み、非常に高い時間分解能を達成することができる。同様の理由により、撮影やデータ処理に要する演算量や消費電力量は、フレームカメラと比較して非常に低く抑えることができる。

以上より、イベントカメラを用いることで、光量が少ない状況や照明の変化が激しい状況において安定的に、低電力で、また非常に高い時間分解能でマシンビジョンを行うことができる。

イベントカメラを用いた３次元位置推定方法として、ＳＬＡＭ（Simultaneous Localization and Mapping）法がある（非特許文献１参照）。ＳＬＡＭ法では、カメラを動かしながら静止した被写体を撮影し、各フレームで求めた局所特徴点についてフレーム間での対応関係を求めることで、カメラの移動量と特徴点の３次元位置を推定する。

フレームカメラを用いてＳＬＡＭ法を行う場合、画像の各画素について特徴量を抽出し、全ての特徴量についてフレーム間対応の推定をするため、非常に高い演算コストがかかる。また、対応関係の誤推定が多く生じることから、これを考慮して３次元位置の推定を行うために、多くの演算が必要となる。

イベントカメラを用いてＳＬＡＭ法を行う場合、処理対象のデータ数を少なく、また時間分解能が高いことで対応点探索を行う範囲を非常に狭くできる。よって、イベントカメラを用いてＳＬＡＭ法を行う場合には、フレームカメラを用いてＳＬＡＭ法を行う場合と比較して、高速で安定した３次元情報を推定できる。

フリー百科事典「ウィキペディア（Wikipedia）」、"ＳＬＡＭ"［令和２年１２月２日検索］、インターネット（URL: https://ja.wikipedia.org/wiki/SLAM）

しかしながら、ＳＬＡＭ法では動物体に対して３次元情報を推定できない。動物体に対して３次元情報を推定する場合は、ステレオ法を用いることが考えられる。イベントカメラはシャッター機能を持たないため、異なるイベントカメラ同士で同期を行うことは難しい。またイベントビジョンセンサにはイベント出力後一定期間その画素での測定を行うことができない休眠期間が設けられている。そのため、異なるイベントカメラ同士で測定開始タイミングが同時でない場合は、イベントデータのパターンが異なる。この場合、パターンの対応関係を求めることは難しい。

このように、イベントカメラを用いて動物体の３次元情報を推定することは困難であるという課題があった。

上記事情に鑑み、本発明は、動物体の３次元情報を推定する技術の提供を目的としている。

本発明の一態様は、被写体表面上の１点から発せられた光線をイベントベースビジョンセンサ上の複数の位置に集光させる３次元情報推定装置における３次元情報推定方法であって、前記イベントベースビジョンセンサの画素のうち、輝度値の変化量が一定値を超えた場合に、輝度値の変化量が一定値を超えた画素の位置と、輝度値の変化量が一定値を超えた時刻とを含むイベント情報を取得するイベント情報取得ステップと、前記イベント情報取得ステップにより取得された複数の前記イベント情報のうち、前記イベント情報に含まれる時刻に基づいて２つの前記イベント情報を対応付ける対応ステップと、前記対応ステップにより対応付けられた２つの前記イベント情報のそれぞれに含まれる画素の位置に基づき、被写体までの距離を推定する推定ステップと、を備えた３次元情報推定方法である。

本発明の一態様は、被写体表面上の１点から発せられた光線をイベントベースビジョンセンサ上の複数の位置に集光させる３次元情報推定装置であって、前記イベントベースビジョンセンサの画素のうち、輝度値の変化量が一定値を超えた場合に、輝度値の変化量が一定値を超えた画素の位置と、輝度値の変化量が一定値を超えた時刻とを含むイベント情報を取得するイベント情報取得部と、前記イベント情報取得部により取得された複数の前記イベント情報のうち、前記イベント情報に含まれる時刻に基づいて２つの前記イベント情報を対応付ける対応部と、前記対応部により対応付けられた２つの前記イベント情報のそれぞれに含まれる画素の位置に基づき、被写体までの距離を推定する推定部と、を備えた３次元情報推定装置である。

本発明の一態様は、３次元情報推定方法をコンピュータに実行させるためのプログラムである。

本発明により、動物体の３次元情報を推定することが可能となる。

３次元情報推定装置の構成を示すブロック図である。 撮像部の概略構成を示す図である マスク部を光軸方向から見た図である。 ３次元情報推定処理の流れを示すフローチャートである。 ３次元情報推定処理の流れを示すフローチャートである。

本発明の実施形態について、図面を参照して詳細に説明する。

図１は、実施形態における３次元情報推定装置１００の構成を示すブロック図である。３次元情報推定装置１００は、撮像部１１０、およびイベント処理部１２０で構成される。撮像部１１０は、イベントが発生した時に、イベントデータをイベント処理部１２０に出力する。ここで、イベントとは、イベントベースビジョンセンサ（以下、「イベントセンサ」という）の画素の輝度値の変化量が一定値を超えたことを示す。本実施形態では、変化量として、所定時間当たりの変化量を用いている。

またイベントデータは、イベントが発生した画素の位置、輝度値の変化量が一定値を超えた時刻（以下、「タイムスタンプ」ともいう）、および輝度値の増減を示す符号情報を含む。輝度値の増減を示す符号情報は、輝度値が増加した場合にはプラスを示し、減少した場合にマイナスを示す。一般的な被写体では、イベントは各画素で同期することなく発生するため、イベントデータもその都度出力される。

イベント処理部１２０は、イベント情報取得部１２１、対応部１２２、推定部１２３、およびイベント情報記憶部１２４で構成される。イベント情報取得部１２１は、撮像部１１０から出力されたイベント情報を取得する。イベント情報取得部１２１は、取得したイベント情報をイベント情報記憶部１２４に記憶する。なお、イベント情報取得部１２１は、任意のフィルタ処理を行ってノイズ除去を行ってもよい。

対応部１２２は、イベント情報取得部１２１によりイベント情報記憶部１２４に記憶されたイベント情報のうち、タイムスタンプに基づいて２つのイベント情報を対応付ける。対応付けられたイベント情報をイベントセットとも表現する。対応付けの方法については後述する。

推定部１２３は、対応付けられた２つのイベント情報のそれぞれに含まれる画素の位置に基づき、３次元情報推定装置１００から被写体までの距離を推定する。この推定された距離により、被写体の３次元情報を推定できる。３次元情報推定装置１００は、推定した距離を、例えばＰＣ（Personal Computer）などの上位装置に出力してもよい。

図２は、撮像部１１０の概略構成を示す図である。撮像部１１０は、レンズ１１１、マスク部１１２、およびイベントセンサ１１３で構成される。また、図２には、被写体１１５、および合焦面１１６が示されている。なお、図２では、説明を分かりやすくするためにレンズ１１１とマスク部１１２とが離して描かれているが、実際のレンズ１１１とマスク部１１２との距離は、ほぼ零である。また、図２に記載されているＤ、Ｄ'、Ｃ、Ｌ、Ｌ'、Ｒについては、後の説明で用いられる。

マスク部１１２には、複数（図２では２つ）の開口部１１２Ａ、１１２Ｂが設けられている。図３は、マスク部１１２を光軸方向から見た図である。図３には、マスク部１１２と、開口部１１２Ａ、１１２Ｂが示されている。なお、開口部１１２Ａ、１１２Ｂは実際の大きさよりも大きく描かれている。すなわち、実際には、マスク部１１２の直径に対する開口部１１２Ａ、１１２Ｂの直径は、図３に示されている場合よりもはるかに小さい。

図２において、被写体１１５の表面における反射光は、レンズ１１１、開口部１１２Ａ、１１２Ｂを通過してイベントセンサ１１３に集光される。このように、開口部１１２Ａ、１１２Ｂにより、撮像部１１０は、被写体表面上の１点から発せられた光線をイベントセンサ１１３上の複数の位置に集光させる。なお、被写体表面上の１点から発せられた光線とは、被写体自らが発する光線の他に、被写体表面に反射した光線も含む。イベント情報に含まれる画素の位置は、イベントセンサ１１３を２次元座標とみなしたＸＹ座標で表現される。例えば、原点に対応する画素から右方向に５画素、上方向に３画素に位置する画素の座標は（５、３）となる。画素のピッチｐが与えられると、原点（０、０）から例えば（７、０）の距離は、７ｐとなる。

ここで、対応部１２２の対応付けの方法について説明する。図２に示されるように、被写体のある１点から出た光線は、開口部１１２Ａ、１１２Ｂのいずれかを通過してイベントセンサ１１３上の２点に到達する。このとき到達したイベントセンサ１１３上の２点に対応する画素において、輝度値の変化量が一定値を超えた場合、同時刻またはほぼ同時刻にイベントが発生することとなる。対応部１２２は、このような２つのイベント情報を対応付ける。イベント情報を対応付けるタイミングは、イベント情報記憶部１２４に新たなイベント情報が記憶されたタイミングでもよいし、一定時間ごとに到来するタイミングであっても良い。

対応部１２２は、イベント情報から、ある時刻ｔに発生したイベント情報のうち、同一の符号情報を含むイベント情報をグループ化し、これらからイベント情報を対応付けるマッチングを行う。符号情報は２つあるので、プラスとマイナスの２つにグループ化されることもある。このグループを候補イベント群とも表現する。

なお、時刻ｔに発生したイベント情報として、タイムスタンプが時刻ｔと完全一致するイベント情報だけとしてもよいし、タイムスタンプの差が所定範囲内のイベント情報だけとしてもよい。なお、タイムスタンプの差が所定範囲内として、例えば時刻ｔ周辺の適当な時間しきい値の範囲に収まることが挙げられる。この場合、時間しきい値を例えばＴの場合、時刻ｔ周辺は、時刻ｔ－Ｔから時刻ｔ＋Ｔまでであることから、タイムスタンプの差は２Ｔ以内となる。

イベントセンサ１１３の仕様によっては、センサ上の水平またや垂直のラインごとにイベント情報を出力する。そのため、異なるラインで発生したイベントの間でタイムスタンプにずれが生じることがある。これらのずれを考慮して時間しきい値を設けてもよいし、開口部を水平または垂直のライン上に配置することで、対応するイベントのイベント情報が同じタイミングで出力されるようにしてもよい。

このように、イベント情報は、当該イベント情報に含まれる時刻に関する条件（以下、「時刻条件」ともいう）を満たし、さらに符号情報に関する条件（以下、「符号条件」ともいう）によりグループ化される。したがって、時刻条件を満たすイベント情報が複数存在し、かつ符号条件によるグループ化によって同じグループに属するイベント情報が複数存在した場合に候補イベント群が得られる。

次に、対応部１２２は、候補イベント群の中でイベントセットを決定するために、マッチングを行う。各候補イベント群に対し、逐次イベントセットを決定しても良いし、全てのイベントセットを同時に決定するような最適化を行ってもよい。

マッチングの方法はどのような方法でも良い。最も単純なマッチングの方法は、候補イベント群の中から任意に２つのイベント情報を選択し、それらイベントセットとする方法である。また、例えば、候補イベント群を更に別の方法で絞り込んでもよい。絞り込む例として、あるイベント情報についてマッチングを行う際に開口部の配置に基づいてエピポーラ線を定義し、エピポーラ線上で発生したイベント情報のみを候補とする方法が上がられる。この場合、エピポーラ線上で発生したイベント情報のみに対して処理を行えばよいので、処理量を削減することができる。その他のマッチングの方法として、一般的な画像処理で行われるテンプレートマッチングや、相互相関法、ニューラルネットワークを使う方法などが考えられる。

なお、候補イベント群に属するイベント情報に含まれる位置と同じ位置またはその近傍の位置で、イベント情報に含まれるタイプスタンプの前後の時刻で発生したイベント情報をマッチングで使用してもよい。前後の時刻で発生したイベント情報を用いて決定されたイベントセットや既に推定された３次元情報に基づいて、マッチングに用いるイベント情報に拘束条件を与えてもよい。また、符号情報がプラスのイベントセットとマイナスのイベントセットの間に対応関係があるとして、プラスの候補イベント群とマイナスのイベント候補群の２つでマッチングを行ってもよい。例えば、タイムスタンプが一致する符号情報がプラスのイベント情報と符号情報がマイナスのイベント情報とを用いてマッチングを行ってもよい。

なお、被写体上の点Ａと点Ｂから出た光がイベントセンサ１１３に到達した際に、到達点のどちらかが重なる場合を考慮したマッチングを行うこともできる。重なった点をＸ、重なっていない方の点をＸ_Ａ、Ｘ_Ｂとする。Ｘでは２つの光の光量の合計に応じて輝度値が変化する。このため、Ｘ_Ａ、Ｘ_Ｂからイベント情報が出力するとは異なるタイミングでＸからイベント情報が出力されることもある。このとき、Ｘからイベント情報が出力されるタイミングから一定時間内に出力されるイベントデータの個数と、輝度値の変化パターンは、２つの光の変化パターンを合成したものと関係するものとみなす。これにより、前記関係が成立するＸ_Ａ、Ｘ_Ｂを対応付けることができる。Ａに対応する輝度値の変化とＢに対応する輝度値の変化において、符号情報が異なることもあり得るため、プラスの候補イベント群とマイナスのイベント候補群の２つを用いてマッチングを行ってもよい。

上述した図２を用いて、３次元情報推定装置１００から被写体までの距離の推定方法について説明する。まず、図２おいて、レンズ１１１と開口部１１２Ａとの距離を０とし、同様にレンズ１１１と開口部１１２Ｂとの距離を０とする。レンズ１１１の焦点距離をｆ、レンズ１１１とイベントセンサ１１３との距離をＬとする。レンズ１１１から合焦位置までの距離をＤとする。開口部１１２Ａと開口部１１２Ｂとの間の距離をＡとする。被写体１１５とレンズ１１１と距離をＤ'とする。

開口部１１２Ａと開口部１１２Ｂのそれぞれを通過した光線が交差する面とレンズとの距離をＬ'とし、それぞれの光線がイベントセンサ１１３に到達した点同士の距離をＣとする。なお、上述したように開口部１１２Ａ、１１２Ｂの大きさはごく小さいことから、イベントセンサ１１３上に到達した点のボケはごく小さく、互いに重ならないものとする。このときレンズの結像公式に基づくと下記（１）が成り立つ。

また、Ｒ、Ｃ、Ｌ'、Ｌの間には下記（２）が成り立つ。

上記（１）（２）から、下記（３）に示されるようにＤ'が求まる。

よっては、画素のピッチをｐとし、光線がイベントセンサ１１３に到達した点同士間の座標上での距離をΔｘとすると、上記（３）は、下記（４）となる。

この（４）に示した数式を用いて、３次元情報推定装置１００は、３次元情報推定装置１００から被写体までの距離を推定する。

以上説明した３次元情報推定装置１００により実行される処理の流れをフローチャートを用いて説明する。図４、図５は、３次元情報推定処理の流れを示すフローチャートである。なお、図４、図５に示されるフローチャートは、イベント情報を対応付けるタイミングを、イベント情報記憶部１２４に新たなイベント情報が記憶されたタイミングとした場合の処理の流れを示す。

図４において、イベント情報取得部１２１は、イベントが発生すると（ステップＳ１０１：ＹＥＳ）、撮像部１１０から出力されるイベント情報を取得する（ステップＳ１０２）。イベント情報取得部１２１は、取得したイベント情報をイベント情報記憶部１２４に記憶する（ステップＳ１０３）。イベント情報取得部１２１は、イベントが発生したことを示すイベント発生ＭＳＧ（メッセージ）を対応部１２２に送信し（ステップＳ１０４）、ステップＳ１０１の処理に戻る。

次に、図５のフローチャートについて説明する。なお、図５のフローチャートでは、上述した時刻条件を満たすイベント情報が複数存在することを、時刻条件満足情報が存在する、と表現する。また、符号条件によるグループ化によって同じグループに属するイベント情報が複数存在することを、符号条件満足情報が存在する、と表現する。

図５において、対応部１２２は、イベント情報取得部１２１からイベント発生ＭＳＧを受信すると（ステップＳ２０１：ＹＥＳ）、対応部１２２は、時刻条件満足情報が存在するか否かを判定する（ステップＳ２０２）。時刻条件満足情報が存在しない場合には（ステップＳ２０２：ＮＯ）、対応部１２２は、処理を終了する。

時刻条件満足情報が存在する場合には（ステップＳ２０２：ＹＥＳ）、対応部１２２は、符号条件満足情報が存在するか否かを判定する（ステップＳ２０３）。符号条件満足情報が存在しない場合には（ステップＳ２０３：ＮＯ）、対応部１２２は、処理を終了する。符号条件満足情報が存在する場合には（ステップＳ２０３：ＹＥＳ）、対応部１２２は、上述したマッチングを行う（ステップＳ２０４）。推定部１２３は、上記（４）を用いて３次元情報推定装置１００から被写体までの距離を推定し（ステップＳ２０５）、処理を終了する。

以上説明した３次元情報推定処理が、イベントが発生するたびに実行されることで、３次元情報推定装置１００から被写体までの距離が推定されることから、被写体の３次元情報を推定できる。

上述した実施形態において、開口部１１２Ａ、１１２Ｂを有するマスク部１１２は、レンズ１１１と被写体の間にあるものとしてもよい。また、レンズ１１１が複数のレンズで構成される場合、マスク部１１２は、レンズとレンズの間にあるものとしてもよい。さらに、被写体が合焦面より手前にあるものとしてもよい。

また、被写体に照射する照明としてレーザー走査式プロジェクタを用いてもよい。レーザー走査式プロジェクタではレーザーの照射位置を高速で動かすため、肉眼では広い範囲に照明があたっているように見える場合でも、実際は常に１点にしか照明があたっていない。したがっていずれの時刻ｔにおいても、イベント情報は高々２つしか存在しないため、それらがそのままイベントセットとして決定される。

また、任意のプロジェクタを利用して離散的なドットパターンの照明を被写体に照射してもよい。ドットの一つから開口部を通してイベントセンサ上に到達する点のセット同士の距離が、隣り合うドットとの距離よりも十分に小さくなるように、開口部の配置とドットパターンを設計することで、到達点が重なることを考慮せずにマッチングを行うことができる。また、このような照明を高速で切り替えることによってより多くのイベント情報が得られるため、より密な３次元情報を得ることができる。

また、本実施形態では、マスク部１１２は、２つの開口部１１２Ａ、１１２Ｂを有しているが、３つ以上の開口部を有するようにしてもよい。開口部の配置位置として、例えば開口部の中心が全て同一直線上となる位置が挙げられる。開口部が３つの場合には、開口部の配置位置として、三角形の頂点が挙げられる。

また、開口部に代えて、マイクロレンズアレイやその他の光学素子を使用して複数の像をイベントセンサ上に到達させるようにしてもよい。

なお、通常のイメージセンサを備えるカメラ（以下、「フレームカメラ」という）に、本実施形態と同様の開口部を設ける場合、イメージセンサにおいて２つの像が重畳して観測されるため、各開口部を互いに異なるカラーチャンネルに対応させて像を分離するなどしない限り３次元情報推定は不可能である。

一方、本実施形態の３次元情報推定装置１００と同様に、イベントセンサを備えるカメラ（以下、「イベントカメラ」という）は被写体、照明、イベントカメラが動いた際に発生する輝度の変化量を観測するため、限られた部分でしかイベントが発生しないことから２つの像に対応するイベントが重畳する可能性が低い。

また、フレームカメラの出力画像でマッチングを行う場合、基本的に一画素の輝度情報でのマッチングは困難であるため、空間的に隣接した画素の輝度情報も使用するブロックマッチングを行う。イベントカメラでは一画素について輝度の変化を非常に高い分解能で観測するため、その変化パターンである時系列データを使用することで隣接画素の情報を使用せずにマッチングを行うことができる。したがって、イベントセンサでは、２つの像に対応するイベントの発生位置がごく近くに位置などの理由でブロックマッチングが不可能であっても探索が容易である。

以上の理由により、イベントカメラに複数の開口部を設けることで、フレームカメラでの同様の構成では不可能な、単一のチャンネルで３次元情報を推定することができる。

イベント処理部１２０は、ＣＰＵ（Central Processing Unit）等のプロセッサーとメモリとを用いて構成されてもよい。この場合、イベント処理部１２０は、プロセッサーがプログラムを実行することによって、イベント処理部１２０として機能する。なお、イベント処理部１２０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ：Solid State Drive）等の可搬媒体、コンピュータシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、イベントベースビジョンセンサを備えた３次元情報推定装置に適用可能である。

１００…３次元情報推定装置、１１０…撮像部、１１１…レンズ、１１２…マスク部、１１２Ａ、１１２Ｂ…開口部、１１３…イベントセンサ、１１５…被写体、１１６…合焦面、１２０…イベント処理部、１２１…イベント情報取得部、１２２…対応部、１２３…推定部、１２４…イベント情報記憶部

Claims (6)

1. 被写体表面上の１点から発せられた光線をイベントベースビジョンセンサ上の複数の位置に集光させる３次元情報推定装置における３次元情報推定方法であって、
   前記イベントベースビジョンセンサの画素のうち、輝度値の変化量が一定値を超えた場合に、輝度値の変化量が一定値を超えた画素の位置と、輝度値の変化量が一定値を超えた時刻とを含むイベント情報を取得するイベント情報取得ステップと、
   前記イベント情報取得ステップにより取得された複数の前記イベント情報のうち、前記イベント情報に含まれる時刻に基づいて２つの前記イベント情報を対応付ける対応ステップと、
   前記対応ステップにより対応付けられた２つの前記イベント情報のそれぞれに含まれる画素の位置に基づき、被写体までの距離を推定する推定ステップと、
   を備えた３次元情報推定方法。
2. 前記イベント情報は、輝度値の増減を示す符号情報を含み、
   前記対応ステップは、同一の符号情報を含む前記イベント情報から２つの前記イベント情報を対応付ける請求項１に記載の３次元情報推定方法。
3. 前記対応ステップは、前記イベント情報に含まれる時刻が同じ時刻、または前記イベント情報に含まれる時刻の差が所定範囲内の２つの前記イベント情報を対応付ける請求項１または請求項２に記載の３次元情報推定方法。
4. 前記推定ステップは、２つの前記イベント情報のそれぞれに含まれる画素の位置の距離を用いて被写体までの距離を推定する請求項１から請求項３のいずれか１項に記載の３次元情報推定方法。
5. 被写体表面上の１点から発せられた光線をイベントベースビジョンセンサ上の複数の位置に集光させる３次元情報推定装置であって、
   前記イベントベースビジョンセンサの画素のうち、輝度値の変化量が一定値を超えた場合に、輝度値の変化量が一定値を超えた画素の位置と、輝度値の変化量が一定値を超えた時刻とを含むイベント情報を取得するイベント情報取得部と、
   前記イベント情報取得部により取得された複数の前記イベント情報のうち、前記イベント情報に含まれる時刻に基づいて２つの前記イベント情報を対応付ける対応部と、
   前記対応部により対応付けられた２つの前記イベント情報のそれぞれに含まれる画素の位置に基づき、被写体までの距離を推定する推定部と、
   を備えた３次元情報推定装置。
6. 請求項１から請求項４のいずれか１項に記載の３次元情報推定方法をコンピュータに実行させるためのプログラム。

Images