JP6942567B2 - 情報処理装置、情報処理方法及びコンピュータプログラム - Google Patents

Description

本発明は、距離センサーの計測の頻度とカメラの撮像の頻度とを同期させる情報処理装置、情報処理方法及びコンピュータプログラムに関する。

近年、現実空間に仮想空間の情報をリアルタイムに重ね合せて利用者に提示する複合現実感に関する研究が行われている。複合現実感では、ビデオカメラなどの撮像装置によって撮像された現実の映像の全域、または一部に、撮像装置の位置姿勢に応じた仮想空間の画像（ＣＧ）を重畳した合成画像を表示する。

現実空間内に存在する物体の位置姿勢を取得する方法として、撮像装置によって取得したステレオ映像から物体の位置を推定する方法、距離センサーを用いて直接デプス画像を測定する方法、あるいはステレオ映像とデプス画像を併用する方法などが存在する。特許文献１には、複数のカメラの視差に基づき、対象物体までの距離を測定する方法が開示されている。

特開２００９−１８０６６３号公報

距離センサーによる距離測定とカメラによる撮像を併用しているシステムにおいて、手のモデリングを行うなど、距離センサーの測定の頻度とカメラの撮像の頻度との同期が必要になることがある。しかしながら、一般的な距離センサーの測定の頻度は、一般的なカメラの撮像の頻度よりも少なく、距離センサーの測定の頻度とカメラの撮像の頻度との同期が困難になることがあった。

本発明は、上記課題を鑑みてなされたものであり、必要な場合に、距離センサーの測定の頻度とカメラの撮像の頻度とを同期させることを目的とする。

本発明は、現実物体を撮像するカメラからカメラ画像を取得する画像取得手段と、距離センサーの測定により前記現実物体までの距離を取得する距離取得手段と、前記カメラの撮像の頻度と前記距離センサーの測定の頻度との同期が必要な場合、前記距離センサーの測定範囲を変更して、前記カメラの撮像の頻度と前記距離センサーの測定の頻度とを同期させる制御手段と、を有することを特徴とする。

本発明によれば、必要な場合に、距離センサーの測定の頻度とカメラの撮像の頻度とを同期させることが出来る。

第１の実施形態におけるシステムの構成例を表すブロック図である。 第１の実施形態におけるシステムの機能構成を表すブロック図である。 第１の実施形態におけるデプス取得時の動作を表すフローチャートである。 第１の実施形態における距離センサーの距離取得範囲を表すイメージ図である。 第１の実施形態におけるカメラと距離センサーの同期範囲を表すイメージ図である。 第２の実施形態における距離センサーの距離取得範囲を表すイメージ図である。 第２の実施形態におけるデプス取得時の動作を表すフローチャートである。

以下、添付図面を参照して本発明の好適な実施形態について詳細に説明する。

（第１の実施形態）
図１は、本実施形態におけるシステム構成を表す図である。

システムはＨＭＤ１０１（頭部装着型の表示装置）と仮想現実提示装置１０４から構成されている。仮想現実提示装置１０４は独立したＰＣであって、インターフェースケーブルや無線ネットワークによってＨＭＤ１０１と接続されているとしてもよい。また、ＨＭＤ１０１に内蔵されたコンピュータ装置であってもよい。いずれにしても、コンピュータプログラムによって動作する一般的なパーソナルコンピュータ（情報処理装置）で代替可能である。ＨＭＤ１０１はカメラ１０２と距離センサー１０３を備えている。これらはＨＭＤ１０１に内蔵されるとしてもよいし、ＨＭＤ１０１とは独立した装置としてもよい。

図２は、本実施形態におけるシステムの機能構成を表す機能ブロック図である。各機能の一部または全ては、仮想現実提示装置１０４によって制御される。

撮像部２０１は、カメラ１０２によって現実空間を撮像し、カメラ映像を得る機能を有する。デプス取得部２０２は、距離センサー１０３によって現実空間を測定し、デプス画像を得る機能を有する距離取得手段である。一般的に距離センサーは同一範囲をカメラで撮影する場合と比較して測定処理に時間を要するため、連続的にデプス画像を取得した場合の取得頻度が低い。したがって、撮像部２０１とデプス取得部２０２を同時に稼働した場合、画像の取得頻度が異なるため時刻の同期したカメラ映像とデプス画像を得ることは難しい。

デプス取得頻度増加部２０３は、デプス取得部２０２が取得するデプス画像の測定範囲を縮小することによって、測定処理にかかる時間を短縮し、連続的にデプス画像を取得した場合の取得頻度を増加させる機能を有する。デプス取得頻度増加部２０３によるデプス画像取得範囲の縮小に関しては、図４を用いて説明する。

４０１は、距離センサーで取得可能な範囲全面に渡って距離を取得する場合のイメージ、４０２は距離センサーの特定部分だけを使用して距離を取得する場合のイメージである。距離センサーによってデプス画像を取得する際には、一般的に取得に使用するセンサーの量に比例した処理時間が必要である。よって、４０２のようにセンサーの一部分だけを利用してデプス画像の取得を行うことにより、取得にかかる時間を短縮することが可能である。

同期期間検出部２０４は、撮像部２０１とデプス取得部２０２が同期している必要があることを検出する機能を有する。具体的には、本実施形態を適用するＭＲシステムにおいて、ＨＭＤの前に装着者の手をかざし、手の３次元形状を詳細にモデリングする状況を考える。ＨＭＤの視界内に手が存在しない場合、撮像部２０１およびデプス取得部２０２は視界内に存在する静止物体や部屋の壁などの現実物体を計測し、ＨＭＤの位置姿勢を推定する。この場合、撮像部２０１およびデプス取得部２０２はセンサーの特性に応じてそれぞれ別個の対象を測定する、あるいはどちらかが視界内の物体全てを計測すれば良く、同一の物体に対して時刻の同期したカメラ映像、デプス画像の両方が必要になることはない。一方で、ＨＭＤの視界内にかざされた使用者の手をモデル化する状況においては、ＭＲシステム内で手の詳細な３次元形状が必要になるため、カメラ映像、デプス画像の両方の情報を用いて正確な形状推定を行う。この場合は、当該カメラ映像とデプス画像が計測された時刻が異なっていては正確な推定ができず、これらの画像の測定は同期している必要がある。同期期間検出部２０４は、前記の手のモデリング時など、カメラ映像とデプス画像の同期が必要な状況であるかどうかの判定を行う。本実施例では手のモデリングを例に挙げたが、ＭＲシステムが同期を必要とする他の処理であってもよい。同期範囲検出部２０５は、同期期間検出部２０４が検出した同期期間中において、カメラ映像とデプス画像の同期が必要な範囲を検出する。例えば手のモデリング処理においては、視界内に存在する手を内包できる範囲に限って、カメラ映像とデプス画像が同期していればよい。同期範囲検出部２０５による同期範囲の検出に関しては、図５を用いて説明する。

５０１は、カメラおよび距離センサーが計測できる視界の範囲のイメージである。５０１内には、ＨＭＤ装着者の手が映っているとする。同期期間検出部２０４によって手のモデリング処理が同期期間として検出されている場合は、前述の手の３次元形状を検出するためにカメラ映像とデプス画像の同期が必要である。従って、例えば５０２で示された範囲に限って同期した映像が得られれば良く、視界５０１に比較して狭い範囲でのみ同期が必要なことがわかる。同期範囲検出部２０５は、この５０２の範囲を同期範囲として検出する。

データ取得頻度同期部２０６は、デプス取得頻度増加部２０３の機能によって、デプス取得部２０２が取得するデプス画像の取得頻度を向上させ、撮像部２０１が取得するカメラ映像との同期を行う機能を有する。具体的には、デプス取得頻度増加部２０３によって単位時間あたりに取得するデータの数を同数としたうえで、最初にデータを取得するタイミングを同期させる処理を行う。このデータの同期は特定の方法に限定されるものではなく、赤外線を発するＬＥＤを一定のタイミングでさせてカメラと距離センサー双方で撮影する方法、カメラと距離センサー内蔵の時計を予め精密に時刻合わせしておく方法などであってもよい。

図３は、本実施形態において、同期期間検出部２０４がカメラ映像とデプス画像の同期が必要と検出した際のシステムの振る舞いを表現したフローチャートである。まず、システムの動作が開始されると（ステップ３０１）、距離センサーはフル解像度、つまりセンサーが取得可能な範囲全面に渡って距離を取得する（ステップ３０２）。これは図４における４０１の取得状況に相当する。本ステップでは、デプス取得部２０２によるデプス画像取得は撮像部２０１によるカメラ映像取得よりも取得頻度が低いため、デプス画像とカメラ映像は同期していない。

システム動作中には同期期間検出部２０４は、カメラ映像とデプス画像の同期が必要な期間かどうかの判定を行う（ステップ３０３）。同期が必要ないと判断された場合は、ステップ３０２に戻り、距離センサーは引き続きフル解像度でのデプスの取得を続行する。

同期期間検出部２０４により同期が必要な期間と判定されたら、データ取得頻度同期部２０６はカメラ映像とデプス画像の同期を開始する（ステップ３０４）。画像の同期中は、画像取得の間隔毎にステップ３０５とステップ３０６を繰り返す。

まず、同期範囲検出部２０５は、距離センサーの視界中から同期範囲となる範囲を検出する（ステップ３０５）。次に、デプス取得頻度増加部２０３は距離センサーの計測頻度を増加させ、カメラ画像と同期可能な頻度に調整したうえでデプス画像を取得する（ステップ３０６）。この際、デプス取得頻度増加部２０３はステップ３０５で検出された範囲に対してのみデプス画像を取得するように距離センサーを操作する。図５で解説の通り、同期範囲検出部２０５で検出された範囲は視界全体の一部分であるため、距離センサーの計測範囲を縮小することによってデプス画像の取得頻度を増加させることが可能である。

デプス画像の取得が終了したら、同期期間検出部２０４は再び同期が必要な期間かどうかの判定を行うステップ３０３の処理に戻り、同一のフローを繰り返す。

以上の処理により、ＭＲシステムは同期が必要な期間においてのみ、同期が必要な範囲に限定して、同期されたカメラ映像とデプス画像を得ることができる。

（第２の実施形態）
図７は、本実施形態において、同期期間検出部２０４がカメラ映像とデプス画像の同期が必要と検出した際のシステムの振る舞いを表現したフローチャートである。

まず、システムの動作が開始されると（ステップ７０１）、データ取得同期部２０６はカメラ映像とデプス画像の同期を開始する（ステップ７０２）。ここではデプス取得頻度増加部２０３は、距離センサーの視界全体に渡ってデプス画像の計測密度を小さくし、疎にデータを取得することでデプス画像の取得頻度を増加させる（ステップ７０３）。ここで図６は、本実施形態における距離の取得方法イメージを表している。

６０１は、距離センサーで取得可能な範囲全面に渡って距離を取得する場合のイメージ、６０２は距離センサーの視界全体に渡って、疎に距離を取得する場合のイメージである。距離センサーによってデプス画像を取得する際には、一般的に取得に使用するセンサーの量に比例した処理時間が必要である。よって、６０２のように測定範囲の一部分だけを利用するようにデプス画像の取得を変更することにより、取得にかかる時間を短縮することが可能である。

システム動作中には同期期間検出部２０４は、カメラ映像とデプス画像の同期が必要な期間かどうかの判定を行う（ステップ７０４）。同期が必要ないと判断された場合は、ステップ７０３に戻り、距離センサーは引き続き疎密度でのデプスの取得を続行する。

同期期間検出部２０４により同期が必要な期間と判定されたら、同期範囲検出部２０５は、距離センサーの視界中から同期範囲となる範囲を検出する（ステップ７０５）。次に、デプス取得頻度増加部２０３はステップ７０５で検出された範囲に対してのみデプス画像を取得するように距離センサーを操作する。図４、図６で解説の通り、同期範囲検出部２０５で検出された範囲、およびステップ７０３で取得に使用しているセンサーは視界全体の一部分である。視界全体に渡ってフル解像度で距離を取得した場合と比較して、共に計測に要する時間は短い。また、ステップ７０２において同期させたカメラ映像とデプス画像の同期を維持したまま、同期範囲検出部２０５が検出した同期範囲に対してのみ高密度でデプス画像を取得することが可能である。

デプス画像の取得が終了したら、同期期間検出部２０４は再び同期が必要な期間かどうかの判定を行うステップ７０４の処理に戻り、同一のフローを繰り返す。

以上の処理により、ＭＲシステムは同期が必要な期間においてのみ、同期が必要な範囲に限定して、同期されたカメラ映像とデプス画像を得ることができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (9)

1. 現実物体を撮像するカメラからカメラ画像を取得する画像取得手段と、
   距離センサーの測定により前記現実物体までの距離を取得する距離取得手段と、
   前記カメラの撮像の頻度と前記距離センサーの測定の頻度との同期が必要な場合、前記距離センサーの測定範囲を変更して、前記カメラの撮像の頻度と前記距離センサーの測定の頻度とを同期させる制御手段と、を有することを特徴とする情報処理装置。
2. 前記制御手段は、前記カメラの撮像の頻度と前記距離センサーの測定の頻度との同期が必要な場合、前記距離センサーの測定範囲を縮小させて、前記カメラの撮像の頻度と前記距離センサーの測定の頻度とを同期させることを特徴とする請求項１に記載の情報処理装置。
3. 前記制御手段は、前記カメラの撮像の頻度と前記距離センサーの測定の頻度との同期が必要でない場合は、前記距離センサーに第一の範囲を粗に測定させ、
   前記カメラの撮像の頻度と前記距離センサーの測定の頻度との同期が必要な場合は、前記距離センサーの測定範囲に前記第一の範囲よりも狭い第二の範囲を密に測定させることを特徴とする請求項１もしくは請求項２のいずれか１項に記載の情報処理装置。
4. 前記カメラ画像と前記距離とに基づく画像を、使用者に対して表示する表示手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記使用者の手のモデル化を行い、当該手のモデルを前記表示手段で表示する場合に、前記制御手段は、前記使用者の手のモデル化を行う期間は、前記カメラの撮像の頻度と
   前記距離センサーの測定の頻度とを同期させることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記制御手段は、前記使用者の手のモデル化を行う期間は、前記使用者の手が存在する範囲を前記距離センサーの測定範囲にすることを特徴とする請求項５に記載の情報処理装置。
7. 前記表示手段は、頭部装着型の表示装置であることを特徴とする請求項４に記載の情報処理装置。
8. 画像取得手段が、現実物体を撮像するカメラからカメラ画像を取得する画像取得工程と、
   距離取得手段が、距離センサーの測定により前記現実物体までの距離を取得する距離取得工程と、
   制御手段が、前記カメラの撮像の頻度と前記距離センサーの測定の頻度との同期が必要な場合、前記距離センサーの測定範囲を変更して、前記カメラの撮像の頻度と前記距離センサーの測定の頻度とを同期させる制御工程と、を有することを特徴とする情報処理方法。
9. コンピュータを、
   現実物体を撮像するカメラからカメラ画像を取得する画像取得手段と、
   距離センサーの測定により前記現実物体までの距離を取得する距離取得手段と、
   前記カメラの撮像の頻度と前記距離センサーの測定の頻度との同期が必要な場合、前記距離センサーの測定範囲を変更して、前記カメラの撮像の頻度と前記距離センサーの測定の頻度とを同期させる制御手段と、を有することを特徴とする情報処理装置として機能させるためのコンピュータプログラム。

Images