JP7488906B2 - ヘッドマウントディスプレイおよび位置情報取得方法 - Google Patents

Description

本発明は、実空間において物体の位置情報を取得する位置情報取得装置、ヘッドマウントディスプレイ、および位置情報取得方法に関する。

実物体の位置や動きを取得し、それに応じて情報処理を行ったり警告をしたりする技術は、電子コンテンツ、ロボット、車、監視カメラ、無人航空機（ドローン）、ＩｏＴ(Internet of Things)など幅広い分野で利用されている。例えば電子コンテンツの分野では、ヘッドマウントディスプレイを装着したユーザの動きを検出し、それに対応するようにゲームを進捗させ、表示中の仮想世界に反映させることにより、没入感のある仮想体験を実現できる。

実物体の位置情報を取得する技術のひとつに、ＬｉＤＡＲ(Light Detection and Ranging)がある。ＬｉＤＡＲは、実物体に光を照射し、その反射光を観測することにより実物体までの距離を導出する技術である。ＬｉＤＡＲとして、パルス状の光の照射から反射光の観測までの時間差に基づき距離を求めるｄＴｏＦ(direct Time of Flight)と、周期変化させた光の位相差に基づき距離を求めるｉＴｏＦ(indirect Time of Flight)が実用化されている（例えば特許文献１および２、非特許文献１参照）。

特開２０１９－１５２６１６号公報 特開２０１２－４９５４７号公報

Dr. David Horsley、"World’s first MEMS ultrasonic time-of-flight sensors、[online]、TDK Technologies & Products Press Conference 2018、[令和２年７月８日検索]、インターネット<URL:https://www.tdk-electronics.tdk.com/download/2431644/f7219af118484fa9afc46dc1699bacca/02-presentation-summary.pdf>

今後、実空間に存在する物体の位置や動きの情報を利用する場面は、さらに多様化していくと考えられる。そのため、物体の材質や位置関係によらず多様な環境で多くの情報を容易に得られる技術が求められている。

本発明はこうした課題に鑑みてなされたものであり、その目的は、様々な環境で物体の位置情報を容易に取得できる技術を提供することにある。

本発明のある態様は位置情報取得装置に関する。この位置情報取得装置は、パルス状の照射光が物体に反射してなる光子の度数の時間変化を取得する度数観測部と、度数の時間変化における極大点を検出し、当該極大点が生じた時刻に基づき物体までの距離を取得する距離取得部と、距離に係る情報を出力するデータ出力部と、を備えたことを特徴とする。

本発明の別の態様はヘッドマウントディスプレイに関する。このヘッドマウントディスプレイは、上記位置情報取得装置と、データ出力部から、ユーザの顔の向きに対応する視野で物体までの距離に係る情報を取得し、それに基づき、当該視野で重なり合う透過性物体および非透過性物体のそれぞれについて独立した処理を実行した結果を表示する表示パネルと、を備えたことを特徴とする。

本発明のさらに別の態様は位置情報取得方法に関する。この位置情報取得方法は、パルス状の照射光が物体に反射してなる光子の度数の時間変化を取得するステップと、度数の時間変化における極大点を検出し、当該極大点が生じた時刻に基づき物体までの距離を取得するステップと、距離に係る情報を出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、様々な環境で物体の位置情報を容易に取得できる。

第１実施形態のＴＯＦセンサが対象物の距離を取得する環境を例示する図である。 第１実施形態において透過性を有する物体の距離を計測する原理を説明するための図である。 第１実施形態のＴＯＦセンサの機能ブロックの構成を示す図である。 第１実施形態のＴＯＦセンサの出力データの例を説明するための図である。 第１実施形態のＴＯＦセンサの出力データの例を説明するための図である。 第１実施形態におけるヘッドマウントディスプレイの外観形状の例を示す図である。 第１実施形態におけるヘッドマウントディスプレイの内部構成を例示す図である。 第１実施形態のＴＯＦセンサを適用できるヘッドマウントディスプレイの制御部の機能ブロックの構成を示す図である。 第１実施形態のＴＯＦセンサを搭載したヘッドマウントディスプレイを利用できる環境の一例を示す図である。 第１実施形態のＴＯＦセンサをヘッドマウントディスプレイに搭載した場合に、周囲の物体を検出する手法の例を説明するための図である。 第２実施形態の位置取得手法の基本的な原理を説明するための図である。 第２実施形態におけるハーフミラーの形状のバリエーションを断面図で示す図である。 第２実施形態においてハーフミラーを導入した位置情報取得システムの実装例を示す図である。 第２実施形態において複数方向にある物体の位置情報を並行して取得する位置情報取得システムの機能ブロックの構成を示す図である。 第２実施形態において、ハーフミラーの透過率と反射率に所定値以上の差を設けることにより、光子の度数の極大点を識別する原理を説明するための図である。 第２実施形態において、ハーフミラーの透過率と反射率を時間変化させることにより、光子の度数の極大点を識別する手法を説明するための図である。 第２実施形態において、調光ミラーの状態を時間変化させることにより、光子の度数の極大点を識別する手法を説明するための図である。 第２実施形態において、複数方向にある物体の位置情報を並行して取得する位置情報取得システムの機能ブロック構成の別の例を示す図である。 第２実施形態において、カラー画像を用いて経路長を見積もることにより、光子の度数の極大点を識別する手法を説明するための図である。

（第１実施形態）
本実施の形態は、ｄＴＯＦにより物体の距離を取得する技術に関する。したがって本実施の形態を実現する位置情報取得装置は、ＴＯＦセンサと、その出力データを用いて物体の距離を取得する装置によって構成される。あるいは後者のみを位置情報取得装置としてもよいし、双方を一体的に備えた位置情報取得装置をＴＯＦセンサとしてもよい。また、２次元の受光素子アレイにより反射光を観測することにより、観測面での位置と距離が対応づけられ、ひいては３次元実空間での物体の位置が画素ごとに得られる。そのため以後説明する測距処理は、物体の３次元空間での位置取得と捉えることもできる。

図１は、本実施の形態のＴＯＦセンサが対象物の距離を取得する環境を例示している。（ａ）に示すようにＴＯＦセンサ１０は、所定波長の光Ｅを照射し、物体１２での反射光Ｒを検出することにより、物体１２上の位置１４までの距離を導出する。詳細にはＴＯＦセンサ１０は、例えば１００ピコ秒～数ナノ秒のパルス幅の近赤外光を照射する発光部と、その反射光を検出する受光素子を含む受光部により構成される。発光部がパルス状の光を照射することにより、その反射光もおよそパルス状となる。

したがって典型的には受光部において、単位時間あたりに所定値以上の光子が観測されたタイミングを、反射光の到達時刻として検出する。受光素子としてアバランシェダイオードを用いることにより、光子の数に対し出力される電荷の値を増幅させ、検出感度を上げることができる。

光を照射してから反射光を検出するまでの時間をｔ、光速をｃとすると、ＴＯＦセンサ１０から、物体１２表面の位置１４までの距離Ｄは、原理的には次のように求められる。
Ｄ＝ｃ＊ｔ／２ （１）
受光素子を２次元配列とし、それぞれにおいて反射光の到達時刻を取得することにより、物体１２の表面までの距離を２次元の情報として得ることができ、ひいては物体１２の３次元位置座標が求められる。この手法はｄＴＯＦとして広く知られている。

一方、本実施の形態のＴＯＦセンサ１０は、（ｂ）に示すように、物体１２の手前にあり、照射光を透過させる物体１６の存在や距離も検出する。この場合も、照射光Ｅのうちある割合の光は物体１６を透過して物体１２に到達する。したがって（ａ）と同様に、その反射光Ｒを観測することにより、表面上の位置１４の距離を求められる。一方、透過性の高い物体であっても、照射光の光子の一部は物体１６で反射する。ＴＯＦセンサ１０はその反射光Ｒ’も観測し、その到達時刻を特定することにより、物体１６上の位置１８までの距離を導出する。

図２は、透過性を有する物体の距離を計測する原理を説明するための図である。上段の（ａ）は、横軸をＴＯＦセンサ１０からの距離として、透過性を有する物体１６と、透過性のない物体１２の位置関係を示している。発光部２０から強度Ｅ_０で出射したパルス状の光は、物体１６で反射して強度Ｒ_１で受光部２２に到達する光と、物体１６を透過して強度Ｅ_１で物体１２に到達する光とに分けられる。そのうち後者は、物体１２において強度Ｒ_２で反射し、そのうち物体１６を透過した光が強度Ｒ_３で受光部２２に到達する。

（ｂ）は、（ａ）に示した環境において、受光部２２が実際に観測した光子の度数を、観測された時刻に基づく距離を横軸として表している。なお受光素子の種類によって、入射する光子の数と出力される電荷の値の関係は様々であるため、ここでは光子の数を表す指標を「度数」としている。すなわち度数は、光子の数が大きいほど大きくなるパラメータであり、例えば電荷の値で表現される。図示するように光子の度数変化において、物体１６と物体１２の表面の位置において、明確な極大点が表れる。したがって、パルス状の光を照射してから所定時間、反射光を観測しつづけ、図示するような光子の度数の変化を取得することにより、ＴＯＦセンサ１０の視点から見て重なっている２つの物体の双方の距離を特定できる。

なお照射光および反射光が透過すれば、透過性を有する物体１６の数や透過率は限定されない。透過性を有する面がＮ個あり、その背後に透過性のない物体があれば、度数の極大点はＮ＋１個観測される。また透過率によって、極大値の相対関係は様々となる。以後、光の透過率が０でない物体を透過性物体、透過率が０の物体を非透過性物体と呼ぶ。

なお本実施の形態において距離を取得する対象は、透過性物体と非透過性物体の組み合わせに限らない。例えば図２において、非透過性物体１２がないとしても、透過性物体１６に対応する光子の度数の極大点は同様に観測される。あるいは非透過性物体１２の代わりに透過性物体があったとしても、極大点は同じ位置で観測される。ただしこの場合、極大値の大きさは変化する。いずれにしろ、光子の度数に極大点が観測される時刻を取得することにより、透過率によらず物体の距離を取得できる。

図３は、本実施の形態のＴＯＦセンサ１０の機能ブロックの構成を示している。ＴＯＦセンサ１０は、上述した発光部２０および受光部２２のほか、制御部２４を備える。制御部２４は、ハードウェア的にはＣＰＵ、マイクロプロセッサや各種回路で実現され、ソフトウェア的にはメモリに格納されＣＰＵを動作させるプログラムにより実現される。制御部２４は、発光部２０および受光部２２の動作を制御するとともに、反射光の光子の度数を観測する度数観測部２６、度数に基づき物体の距離を取得する距離取得部２８、および距離を表すデータを出力するデータ出力部３０を含む。

なお度数観測部２６、距離取得部２８、およびデータ出力部３０の機能の少なくとも一部は、ＴＯＦセンサ１０と接続した別の装置に設けてもよい。また筐体の数によらず、図示する機能をまとめて位置情報取得装置と言い換えることができる。制御部２４の度数観測部２６は、受光部２２において光電変換され出力された電荷の時間変化を画素ごとに取得する。各受光素子すなわち各画素に入射する光子の数の大小は当該電荷の値の大小に対応する。また透過性物体の存在によって、電荷の時間変化も複数の極大点を持ち得る。

距離取得部２８は、光子の度数の時間変化において極大点が生じた時刻を検出することにより、反射が生じた物体までの距離を画素ごとに取得する。ここで距離取得部２８は、度数の時間変化の代わりに、度数の距離に対する変化を取得してもよい。すなわち式１により観測時刻を物体までの距離に換算することにより、図２の（ｂ）に示すような度数の変化が得られる。

いずれにしろ距離取得部２８は極大点の検出において、偽の極大点を所定のフィルタリング規則により除外する。例えば距離取得部２８は、極大点のうち最大の値を基準として、その所定割合未満の極大点を、偽の極大点として距離取得対象から除外する。あるいは距離取得部２８は、定数として設定されているしきい値未満の極大点を全て除外してもよい。さらに距離取得部２８は、パルス状の入射光を検出するため、光子の度数の増減時の変化の割合がしきい値以上の極大点のみを抽出してもよい。

なお本実施の形態は、発光部２０による照射から所定時間において反射光を観測しつづけ、光子の観測量が一時的に増えた（極大点が生じた）時刻を回数によらず取得できればよく、その限りにおいて根拠とするデータの形式は特に限定されない。また時間または距離に対し光子の度数の極大点が得られれば、ヒストグラムを表すことは必須ではない。

データ出力部３０は、距離取得部２８が画素ごとに取得した、物体の距離を表すデータを所定の形式で出力する。例えばデータ出力部３０は、画像平面の画素値として距離値を格納したデプス画像のデータを出力する。複数の距離が取得された画素については、画素値が複数の値により構成されることになる。ただし出力データの形式をこれに限る主旨ではない。またデータの出力先は、得られた位置情報を用いて情報処理を行う情報処理装置など外部の装置でもよいし、ＴＯＦセンサ１０内部あるいは外部の記憶装置などでもよい。

図４、５は、ＴＯＦセンサ１０の出力データの例を説明するための図である。この例でＴＯＦセンサ１０は、図４に示すように、ガラス窓３８のある壁を視野に入れて、物体の距離を取得する。壁の手前には、ガラス瓶など透過性物体３６が置かれている。このときＴＯＦセンサ１０は例えば、図５に示すようなデプス画像４０のデータを出力する。この例でデプス画像４０は、距離が近いほど高い輝度値を有するグレースケールで表されている。

これまで述べたように、本実施の形態では反射光の光子の度数の極大点を検出することにより、ＴＯＦセンサ１０から見て重なり合っている複数の物体を検出可能にする。図５には、画素Ａ、Ｂ、Ｃにおいて観測された、光子の度数の変化も示している。例えば透過性物体３６の表面を表す画素Ａでは、度数グラフ４２Ａに示すように、距離Ｄ_０、Ｄ_１、Ｄ_２で極大点が生じており、それぞれ透過性物体３６の表側の面、裏側の面、背後の壁面の位置に対応する。透過性物体３６の透過率が高いほど、その表面上での度数の極大値は小さくなる。

ＴＯＦセンサ１０の距離取得部２８はまず、上述のとおり、最も大きい極大値を基準として、その所定割合に達する極大値を有する極大点のみを抽出することにより、誤検出の可能性を抑える。図示する例では、距離Ｄ_２の極大値を基準とし、２０％の度数にしきい値を設定することにより、それ以上の極大値を有する、距離Ｄ_０、Ｄ_１にある２つの極大点を検出できる。なお透過性物体３６の透過率があらかじめ判明しているなど所定の状況においては、距離取得部２８は、所定値以上の極大値を持つ極大点を、非透過性物体に対応するものとして特定してもよい。

図示する例では距離取得部２８は、度数の極大値がしきい値Ｐｔｈ以上である距離Ｄ２に非透過性物体があることを認識する。この場合、当該極大点を、その他の極大点の検出における基準にできるとともに、距離Ｄ２より離れた位置に極大点が検出されてもノイズとして除去できる。結果としてＴＯＦセンサ１０のデータ出力部３０は、デプス画像４０のうち画素Ａに対し、Ｄ_０、Ｄ_１、Ｄ_２の３つの画素値を格納する。

このように有効な距離が複数得られるということは、最長距離にある物体以外、透過性を有する物体であることを意味している。したがってデータ出力部３０は、距離Ｄ_０、Ｄ_１に透過性物体があり、距離Ｄ_２に非透過性物体がある、というように、距離と物性を対応づけて出力してもよい。また透過性物体の透過率が大きいほど、そこで反射してなる光子の度数が小さくなる。そこでデータ出力部３０はさらに、距離取得部２８から光子の度数の極大値を取得し、その大きさに応じて推定される透過率を、距離に対応づけて出力してもよい。光子の度数の極大値と透過率の関係は、あらかじめ実験などにより求めておく。

一方、壁面を表す画素Ｂでは、度数グラフ４２Ｂに示すように、距離Ｄ_２のみで極大点が生じているため、壁までの距離が判明する。さらにガラス窓３８を表す画素Ｃでも、度数グラフ４２Ｃが示すように、距離Ｄ_２のみで極大点が生じている。ガラス窓３８の外側に物がなければ、このような単一の極大点となる。この場合、度数グラフ４２Ｃは、壁面の画素Ｂにおける度数グラフ４２Ｂと比較して極大値が小さく、また画素Ａにおける度数グラフ４２Ａのように基準となる極大点が存在しない。そこで距離取得部２８は、空間方向に基準となる極大点を求めてもよい。

すなわち距離取得部２８は、略同じ距離（または時刻）に極大点を有し、その極大値が所定値以上である別の画素を、デプス画像４０の平面上で探索する。例えば線分ＢＣ上では、窓枠と窓の境界４４において、度数グラフ４２Ｂと度数グラフ４２Ｃのような変化が生じる。そこで距離取得部２８は例えば、画素Ｃから左方向に探索していくことにより、度数グラフ４２Ｂのように有効な極大点が得られている画素を検出する。図示する例では、極大値がしきい値Ｐｔｈ以上となる画素を検出することを示している。

そして距離取得部２８は、検出した画素における極大点を基準とし、元の画素Ｃにおける極大点が、基準値の所定割合未満であれば、距離取得対象から除外する。この場合、当該距離には何も存在しないと結論づけられる。図示する例では、基準とする極大値の２０％の度数にしきい値が設定され、画素Ｃにおける極大点がそれ以上であるため、当該距離に物体が存在することが判定される。これにより距離取得部２８は、画素Ｃの画素値として距離Ｄ_２を出力データに含めることができる。距離取得部２８はまた、極大点の小ささに基づき、距離Ｄ_２に存在する物が透過性物体であることを出力データに示してもよい。

なお基準とする極大点を空間方向に探索する際の、探索方向や具体的な処理手順は特に限定されない。例えば距離取得部２８がラスタ順に距離を取得する場合、度数グラフ４２Ｂから度数グラフ４２Ｃに変化した時点、すなわち同じ距離（または時刻）での極大値が所定値以上減少した時点で、減少前の極大値を基準として設定し、以後の画素で得られる極大点の真偽を判定してもよい。

あるいはＴＯＦセンサ１０の視野にある物の透過率がおよそ判明しているなど所定の状況においては、度数の極大値に対し、透過率が高い物に合わせたしきい値を定数で設定しておいてもよい。この場合、距離取得部２８は、しきい値以上の極大値を有する極大点を全て抽出する。このようにすると、例えばＴＯＦセンサ１０がガラス窓３８に近づいて、画像全体で度数グラフ４２Ｃのような観測結果となっても、基準を探索せずに距離Ｄ_２に窓があることを認識できる。ＴＯＦセンサ１０のデータ出力部３０は、デプス画像４０のうち画素Ｂ、Ｃに対しては、距離Ｄ_２のみを画素値として格納する。

これまで述べたＴＯＦセンサ１０の用途は様々に考えられるが、以後その一例として、ヘッドマウントディスプレイに実装する態様を説明する。図６は、本実施の形態におけるヘッドマウントディスプレイの外観形状の例を示している。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。装着バンド１０６は各ユーザの頭囲に合わせて長さの調節が可能な素材または構造とする。例えばゴムなどの弾性体としてもよいし、バックルや歯車などを利用してもよい。

出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどで実現する。筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する一対のレンズを備える。またヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。

ヘッドマウントディスプレイ１００は、出力機構部１０２の前面に、ステレオカメラ１１０とＴＯＦセンサ１０を備える。ステレオカメラ１１０は既知の間隔を有する２つのカメラを左右に配置した構成を有し、それぞれがＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備える。ステレオカメラ１１０は、ヘッドマウントディスプレイ１００を装着したユーザの顔の向きに対応する視野で、実空間を所定のフレームレートで撮影する。

ステレオカメラ１１０が撮影した映像をヘッドマウントディスプレイ１００にそのまま表示させれば、ユーザは目の前の実空間を直接見ているのと同じ状態となる。また、ステレオカメラ１１０による撮影画像から、ｖ－ＳＬＡＭ(Visual Simultaneous Localization And Mapping)などの一般的な技術によりユーザの頭部の位置や姿勢を取得できる。ＴＯＦセンサ１０は、ヘッドマウントディスプレイ１００を装着したユーザの顔の向きに対応する視野で物体の距離を取得する。

ＴＯＦセンサ１０により、ヘッドマウントディスプレイ１００と実物体との相対的な位置や姿勢の情報が得られれば、ステレオカメラ１１０による撮影画像の解析を省略することができる。なおユーザの頭部の位置や姿勢は、ヘッドマウントディスプレイ１００に内蔵したモーションセンサによる計測値に基づき求めてもよいし、ＴＯＦセンサ１０による距離計測の結果と統合して精度を高めてもよい。ただし表示の内容によっては、ステレオカメラ１１０やモーションセンサの一部の機能や実装を省略してもよい。

外光を遮蔽する形式のヘッドマウントディスプレイ１００によりＶＲ（Virtual Reality：仮想現実）を実現する場合、ユーザは周囲の実世界の状況を把握しづらい。そのため、歩き回るうちに障害物と接触したり、思わぬ方向へ移動していたりして、正常な表示が妨げられたり、危険が生じたりすることがあり得る。例えばガラスなど透過性の高い物体は、ステレオカメラ１１０などの可視光カメラでは認識しづらい。上述したガラス窓や瓶のほか、空きのペットボトル、ガラス張りのテーブルや壁など、一般的な居室において透過性物体は多く存在し得る。

本実施の形態のＴＯＦセンサ１０によれば、そのような透過性物体を検出できるため、ユーザに精度よく警告を与えることができる。またステレオカメラ１１０が撮影した映像を表示させるとともに、ＴＯＦセンサ１０によって位置情報が得られた物体とインタラクションするように仮想オブジェクトの像を重畳表示させ、ＡＲ（Augmented Reality：拡張現実）やＭＲ（Mixed Reality：複合現実）を実現することもできる。この場合も、ガラスのテーブルなど透過性物体の存在を無視することなく、高品質なユーザ体験を提供できる。

図７は、ヘッドマウントディスプレイ１００の内部構成を例示している。制御部５０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。ステレオカメラ１１０は、撮影画像のデータを所定のレートで制御部５０に供給する。ＴＯＦセンサ１０は、上述の手法により物体の位置情報を所定のレートで取得し、デプス画像などの形式で制御部５０に供給する。表示パネル５２は液晶や有機ＥＬなどの発光パネルとその制御機構で構成され、制御部５０から画像信号を受け取り表示する。

通信制御部５４は、図示しないネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部５０から入力されるデータを外部に送信する。通信制御部５４はまた、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、外部からデータを受信し、制御部５０に出力する。記憶部６０は、制御部５０が処理するデータやパラメータ、操作信号などを一時的に記憶する。

モーションセンサ６２は、ヘッドマウントディスプレイ１００の回転角や傾きなどの姿勢情報を計測し、制御部５０に逐次供給する。外部入出力端子インタフェース６４は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ６６は、フラッシュメモリなどの外部メモリである。制御部５０は、画像や音声データを表示パネル５２や図示しないヘッドホンに供給して出力させたり、通信制御部５４に供給して外部に送信させたりすることができる。

図８は、本実施の形態のＴＯＦセンサ１０を適用できるヘッドマウントディスプレイの制御部５０の機能ブロックの構成を示している。ここで示す機能ブロックは、ハードウェア的には、ＣＰＵ、ＧＰＵ、通信機器、メモリなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

制御部５０は、撮影画像取得部７０、位置姿勢取得部７２、表示画像取得部７４、警告制御部７６、および出力部７８を備える。撮影画像取得部７０は、ステレオカメラ１１０が撮影する実空間の動画像のフレームデータを順次取得する。位置姿勢取得部７２は、ＴＯＦセンサ１０から、実空間に存在する物体までの距離に係る情報を所定のレートで取得する。ＴＯＦセンサ１０がデプス画像を出力する場合、図５に示すように２次元の像の画素値として距離値が格納されるため、３次元空間に逆射影すれば、撮像面を基準として物体表面の３次元位置座標が得られる。

位置姿勢取得部７２はまた、モーションセンサ６２が計測した加速度や角速度などの値を所定のレートで取得する。位置姿勢取得部７２は、取得した情報を用いて、ユーザの前方にある物体の位置やヘッドマウントディスプレイの姿勢を、所定のレートで取得する。表示画像取得部７４は、撮影画像取得部７０が取得した撮影画像、位置姿勢取得部７２が取得した、物体やヘッドマウントディスプレイ１００自体の位置姿勢の情報を用いて、表示画像を所定のレートで取得する。

例えば表示画像取得部７４は、撮影画像に仮想オブジェクトを重畳表示させた画像を生成する。あるいは表示画像取得部７４は、電子ゲームなどの仮想世界を表す３次元空間を構築し、ヘッドマウントディスプレイ１００の位置や姿勢に対応する視野で当該空間を表した表示画像を生成する。表示対象は仮想世界に限らず、実世界のパノラマ映像などでもよい。あるいは表示画像取得部７４は、撮影画像をそのまま表示画像としてもよい。このように表示画像取得部７４が取得する表示画像は様々に考えられ、それに依存して、利用するデータも様々となる。

仮想オブジェクトを重畳表示させてＡＲやＭＲを実現する場合は特に、ＴＯＦセンサ１０から得た透過性物体の位置や姿勢に係る情報を利用することにより、仮想オブジェクトがガラスを突き抜けるなど不自然な状況が生じるのを回避し、精度のよい表示を行える。なお表示画像取得部７４は、自らが全ての表示画像を生成するのに限らず、外部の情報処理装置などから表示画像の少なくとも一部を取得してもよい。この場合、表示画像取得部７４は、表示画像の生成に用いるデータを、当該外部の情報処理装置などに送信してもよい。

警告制御部７６は、位置姿勢取得部７２が取得した物体の位置情報に基づき、ユーザに警告を与えるべき状況の発生を判定する。警告を与えるべき状況として設定された所定の条件を満たしたとき、警告制御部７６は、ユーザへの警告を表す画像が表示されるように制御する。警告制御部７６は例えば、ユーザが周囲の物に衝突したり床に落ちている物を踏んだりするなどの危険が予測されたときに警告を表示させる。本実施の形態のＴＯＦセンサ１０から得た透過性物体の位置情報を利用することにより、ガラスやペットボトルなど、撮影画像からは認識しづらい物体でも精度よく接近を検知できる。

この場合、警告制御部７６にはあらかじめ、ユーザと周囲の物との距離に対ししきい値を設定しておく。そして警告制御部７６は、実際の距離がしきい値以下となったら警告を表示させる。物の種類、材質（透過性物体か非透過性物体か）、存在する場所などに応じてしきい値を異ならせてもよい。警告制御部７６にはさらに、それらのパラメータに対応づけて、どのような内容の警告を与えるかを設定しておく。

例えば警告制御部７６は、ユーザが窓に近づきすぎているとき、「窓に近づいています」といった文字情報を表示させる。またゲームなどコンテンツの表示開始前に、ヘッドマウントディスプレイ１００を装着したユーザに周囲を見渡すように指示を与え、近傍にペットボトルなどの物体が落ちていることを検知したら、警告制御部７６は、「床に落ちている物を片付けて下さい」といった文字情報を表示させてもよい。これにより、以降のコンテンツ鑑賞を安全に行える。

出力部７８は、表示画像取得部７４が生成あるいは取得した表示画像を表示パネル５２に表示させる。出力部７８はまた、警告制御部７６からの要求に従い、警告を与えるべきタイミングにおいて、その内容を表す文字情報などの画像を表示パネル５２に表示させる。警告を表す画像は、元から表示されていた画像に重畳させてもよいし、それのみを表示するように切り替えてもよい。

図９は、ＴＯＦセンサ１０を搭載したヘッドマウントディスプレイ１００を利用できる環境の一例を示している。この例でユーザ８０は、ヘッドマウントディスプレイ１００を装着して、ショーケース８２に収められている展示物８４ａ、８４ｂを見ている。ショーケース８２は当然、ガラスや樹脂など透過性の高い材料で形成されている。ヘッドマウントディスプレイ１００は、ステレオカメラ１１０が撮影した画像を表示することで、ユーザ８０の視線に対応する視野で実世界を見せる。

そのうえヘッドマウントディスプレイ１００は例えば、ユーザ８０が見ている展示物８４ａ、８４ｂの説明を表した仮想オブジェクト８６ａ、８６ｂを、各展示物の上方に表示させる。図では仮想オブジェクト８６ａ、８６ｂが実物体ではないことを、点線で表している。このとき表示画像取得部７４は、実空間に対応する３次元空間の所定の位置に仮想オブジェクト８６ａ、８６ｂを配置し、それをヘッドマウントディスプレイ１００のスクリーン座標に射影した像を描画する。

ユーザ８０の動きに応じてスクリーン座標が任意に変化し得るため、表示画像取得部７４は、展示物８４ａ、８４ｂと、ヘッドマウントディスプレイ１００の前面との相対的な位置や姿勢を、位置姿勢取得部７２から取得する。この情報は、ＴＯＦセンサ１０の出力データに基づき生成することができる。ステレオカメラ１１０による撮影画像に仮想オブジェクト８６ａ、８６ｂの像を重畳表示することにより、ユーザ８０には、説明を記したオブジェクトが展示物８４ａ、８４ｂの上方に浮いているように見える。例えば展示物８４ａが透過性物体であっても、表示画像取得部７４はその位置に基づき正確に仮想オブジェクト８６ａを配置できる。

一方、ショーケース８２が展示物８４ａ、８４ｂに比して大きかったり、背丈が高かったりすると、ヘッドマウントディスプレイ１００に表示させた画像ではその存在が見づらく、展示物８４ａ、８４ｂに近づいたユーザ８０がショーケース８２に衝突してしまう危険がある。そこで警告制御部７６は、ユーザ８０とショーケース８２との距離がしきい値以下となったことを検出し、それ以上近づかないよう警告する画像を表示させる。本実施の形態のＴＯＦセンサ１０によれば、ショーケース８２などの透過性物体と、その奥にある物体とを並列に検出できるため、一方でＡＲを実現し、他方を警告の根拠に用いるなどの独立した処理が可能となる。

なおＴＯＦセンサ１０によって得られる位置情報は、必ずしも表示画像の生成と警告の双方で用いなくてよい。例えば表示画像としてはステレオカメラ１１０による撮影画像をそのまま表示し、ＴＯＦセンサ１０による物体の位置情報は警告のみに用いてもよい。あるいはＴＯＦセンサ１０による物体の位置情報を表示画像の生成のみに用いてもよい。またＴＯＦセンサ１０による物体の位置情報が、表示画像の生成や警告表示以外の様々な用途で用いることができることは、当業者には理解されるところである。

図１０は、ＴＯＦセンサ１０をヘッドマウントディスプレイ１００に搭載した場合に、周囲の物体を検出する手法の例を説明するための図である。図５で説明したように、非透過性物体に対応する光子の度数の極大点を基準とすると、その手前に存在する透過性物体をより精度よく検出できる。一方、ヘッドマウントディスプレイ１００を装着して室内でコンテンツを楽しむ場合、非透過性物体である床や壁の距離はおよそ予測できる。例えば図１０の（ａ）に示すような状況において、透過性物体であるガラスのテーブル８８の距離を取得するとする。

ここでＴＯＦセンサ１０から照射された光は、一点鎖線矢印のように進み、距離Ｄ_ｔにあるテーブル８８の天板を透過して、距離Ｄ_ｆにある床に到達する。ユーザ８０の身長をＨ、この状態におけるヘッドマウントディスプレイ１００の姿勢として、鉛直下向きからの正面方向の角度をθとすると、床までの距離Ｄｆは次のように算出できる。
Ｄ_ｆ＝Ｈ／ｃｏｓθ （式２）
このように床までの距離を見積もれば、そこに表れる光子の極大点を基準にして、テーブル８８の天板の位置を精度よく取得できる。

この場合、ヘッドマウントディスプレイ１００の制御部５０における位置姿勢取得部７２にはあらかじめ、ユーザ８０の身長Ｔを登録しておく。また角度θは、ヘッドマウントディスプレイ１００のモーションセンサ６２から逐次取得する。そして位置姿勢取得部７２は式２により、まず床までの距離Ｄ_ｆを概算する。この概算値をＴＯＦセンサ１０に通知することにより、ＴＯＦセンサ１０の距離取得部２８は、（ｂ）に示すような光子の度数グラフにおいて、距離Ｄ_ｆにあると見なせる極大点を、床からの反射光由来と同定する。

そして距離取得部２８は、距離Ｄ_ｆより近い距離にある極大点を検出することにより、テーブル８８の天板の距離Ｄ_ｔを取得する。この場合も、床に対応する極大点の極大値に対し所定割合（図では２０％）に達する極大点を抽出することにより誤検出を防止できる。なお室内においてユーザ８０が移動する範囲がある程度限定される場合、壁までのおよその距離を登録しておくことにより、床と同様に壁を基準とすることもできる。

なおそのような登録情報とヘッドマウントディスプレイ１００の姿勢に基づき透過性物体の距離を求める処理は、ＴＯＦセンサ１０に代わり、ヘッドマウントディスプレイ１００において制御部５０の位置姿勢取得部７２が行ってもよい。この場合、ＴＯＦセンサ１０は、（ｂ）に示すような度数グラフを制御部５０に供給すればよい。また同様の処理はヘッドマウントディスプレイ１００に限らず、携帯端末、高機能電話機、ゲーム装置などでも可能である。

以上述べた本実施の形態によれば、所定波長のパルス光を照射しその反射光を観測するまでの時間に基づき物体の距離を計測するｄＴＯＦのセンサにおいて、照射後の所定時間における光子の度数の変化を取得する。そして反射光とみなせる所定基準を上回る度数が観測された時刻に基づき、物体の距離を算出する。例えば光子の度数に極大点が生じた時刻を検出することで、対応する距離を算出する。光子の度数の時間変化を観測することにより、光子の度数の絶対値が小さくても反射光として検出できる。

結果として、可視光カメラによる撮影画像での検出やユーザによる視認がしづらい、透過性の高い物体を精度よく検出できる。また、そのような透過性の高い物体を透過した光の反射も同時に検出できるため、奥にある物体の距離も並行して取得できる。ｄＴＯＦにより透過性の高い物体の距離を取得する手段としては、照射光に超音波を用いる技術が提案されている。しかしながら手前にある物体の存在は透過率によらず超音波の直進性を妨げるため、照射方向で奥にある物体を同時に検出することは難しい。本実施の形態のＴＯＦセンサによれば、透過性物体の検出と、複数の物体の同時検出を両立できる。結果として、多様な環境において様々な物体の位置情報を容易に取得でき、ＴＯＦセンサの用途を格段に広げられる。

（第２実施形態）
第１実施形態では、透過性物体による光の透過と反射を利用し、同一方向にある複数の物体の距離を取得する手法について説明した。本実施形態では、照射光を複数の方向に分配することにより、複数方向にある物体の位置を取得する。図１１は、本実施の形態の位置取得手法の基本的な原理を説明するための図である。（ａ）の上面図に示すように、本実施の形態の位置情報取得システムは、ＴＯＦセンサ１０ａと、その照射光の経路に配置するハーフミラー（半透過鏡）２０２により構成される。ＴＯＦセンサ１０ａの構成は、図３で示したものと同様でよい。

ハーフミラー２０２は、入射光のうち所定の割合を透過させ、残りを反射させる一般的なものでよい。図示するように、ＴＯＦセンサ１０ａのうち発光部２０および受光部２２を備える面に対し、ハーフミラー２０２の面を４５°の傾斜で設置すると、実線矢印で示すように反射光Ｒの経路は、直進する透過光Ｔに対して９０°の角度をなす。結果として、透過光ＴはＴＯＦセンサ１０ａの正面にある物体Ａに、反射光ＲはＴＯＦセンサ１０ａの斜め前（図では左斜め前）にある物体Ｂに到達する。

図１１において、各物体での反射光の経路を破線矢印で示している。すなわち物体Ａで反射した光は、再びハーフミラー２０２を透過してＴＯＦセンサ１０ａに入射する。物体Ｂで反射した光は、ハーフミラー２０２で再び曲がり、ＴＯＦセンサ１０ａに入射する。なお物体Ａでの反射光の一部はハーフミラー２０２で反射し、物体Ｂでの反射光の一部はハーフミラー２０２を透過する。これらはＴＯＦセンサ１０ａにおける観測には寄与しないが、図ではそれらの光も一点鎖線で示している。

このような状態で光子の度数の変化を取得すると、例えば（ｂ）に示すように、光が行き来した経路の長さに対応する極大点が現れる。図示する例では、物体Ａまでの経路長Ｄ_Ａと、物体Ｂまでの経路長Ｄ_Ｂにおいて極大点が得られている。結果として、ＴＯＦセンサ１０ａとハーフミラー２０２の間の距離と姿勢（傾斜）を既知とすれば、ＴＯＦセンサ１０ａに対する物体Ａ、Ｂの位置が判明する。

例えば光の経路において、ＴＯＦセンサ１０ａからハーフミラー２０２までの距離が１ｍ、観測結果に基づく経路長Ｄ_Ａが１．３ｍ、経路長Ｄ_Ｂが１．５ｍであったとすると、ハーフミラー２０２から物体Ａまでの距離は０．３ｍ、物体Ｂまでの距離は０．５ｍである。すなわち各物体は、ハーフミラー２０２における透過光および反射光の経路上で、それらの距離にあることがわかる。このようにハーフミラー２０２をＴＯＦセンサ１０ａと組み合わせることにより、ＴＯＦセンサ１０ａの正面にある物体以外、様々な方向にある物体の位置を同時に取得できる。

図１２は、ハーフミラー２０２の形状のバリエーションを断面図で示している。また各形状によって生じる光の透過および反射の方向を矢印で示している。（ａ）は、所定角度をなす複数の平面で構成されるハーフミラー２０２ａを示している。図のハーフミラー２０２ａは一例として、９０°の角度をなす２平面で構成されている。ＴＯＦセンサ１０ａの前面に対し、２平面が４５°の傾斜となるようにハーフミラー２０２ａを設置すると、ハーフミラー２０２ａにおける透過光および反射光により、ＴＯＦセンサ１０ａの正面および左右の、３方向にある物体の位置を取得できる。

なお左右の物体については、ＴＯＦセンサ１０ａの撮像面を左右に分割してなる領域において、それぞれの位置情報が得られることになる。（ｂ）は、半球面のハーフミラー２０２ｂを示している。この場合、ハーフミラー２０２ｂを透過する光により、正面の物体の位置を取得できるとともに、反射光により、画素ごとに異なる方向の物体の位置を取得できる。対象となる角度の範囲は、ＴＯＦセンサ１０ａの撮像面に対するハーフミラー２０２ｂの大きさに依存する。

（ｃ）は、球面のハーフミラー２０２ｃを示している。この場合も、ハーフミラー２０２ｃの前面および背面における透過光により、正面の物体の位置を取得できるとともに、反射光により、画素ごとに異なる方向の物体の位置を取得できる。またハーフミラー２０２ｃの外面における反射と内面における反射が生じることにより、画素ごとに３方向にある物体の位置を取得できる。本実施の形態におけるハーフミラーの形状は図示するものに限らず、３つ以上の平面で構成してもよいし、円筒面、放物曲面、円錐面など任意の曲面であってもよい。また、照射光の方向に複数のハーフミラーを配置してもよい。

図１３は、ハーフミラー２０２を導入した位置情報取得システムの実装例を示している。（ａ）は、ＴＯＦセンサ１０ａとハーフミラー２０２を１つの筐体に搭載した位置情報取得装置２０４を示している。図では半球面のハーフミラー２０２を示しているが、それに限る主旨ではない。筐体表面のうち、ハーフミラー２０２における透過光および反射光の経路に含まれる面２０６は、ガラスやアクリル樹脂など透過性の高い材料で構成する。

位置情報取得装置２０４は、ユーザが把持して用いるコントローラであってもよいし、ヘッドマウントディスプレイの一部としてもよい。あるいは車の後方や側面に取り付けることにより、死角にある物体に照射光が到達するようにしてもよい。いずれにしろ位置情報取得装置２０４の内部において、ＴＯＦセンサ１０ａとハーフミラー２０２の位置関係や姿勢が固定されるため、各画素が観測する光の経路をあらかじめ取得しておくことができる。これにより、光子の度数の極大点に基づき得られた光の経路長から、その元となる物体の位置を特定できる。

（ｂ）は、ハーフミラー２０２をＴＯＦセンサ１０ａと分離した位置情報取得システム２０８を示している。この場合、ハーフミラー２０２はプローブの役割を担う。すなわちＴＯＦセンサ１０ａとの間に障害物がなく、照射光や反射光が遮蔽されない限り、ハーフミラー２０２を任意の場所に設置したり動かしたりできる。（ａ）のようにＴＯＦセンサ１０ａと一体化させるより軽量になるため、ハーフミラー２０２のみをドローンやヘッドマウントディスプレイに搭載するなどの使い方が考えられる。

ハーフミラー２０２の位置や姿勢を可変とする場合、ＴＯＦセンサ１０ａはまず、ハーフミラー２０２を検出する。例えば拡散反射成分の大きいつや消し材料でハーフミラー２０２を形成することにより、照射光によらずその色の像をＴＯＦセンサ１０ａで捉えることができる。そのためＴＯＦセンサ１０ａとして、３原色のカラーフィルタを備えたイメージセンサを用いる。そしてＴＯＦセンサ１０ａは、ハーフミラー２０２の像を取得し、その大きさや画像平面での位置に基づき、ハーフミラー２０２自体の位置や姿勢の情報を取得する。

ハーフミラー２０２の位置や姿勢が判明すれば、ＴＯＦセンサ１０ａにおける各画素が観測する光の経路が判明し、光子の度数の極大点に基づき得られた光の経路長から、その元となる物体の位置を特定できる。なお図１３をはじめ本実施の形態においてＴＯＦセンサ１０ａと組み合わせる部材はハーフミラーに限定されない。すなわちＴＯＦセンサ１０ａからの照射光を複数方向に分配し、各方向において物体で反射した光をＴＯＦセンサ１０ａの受光部に集光させられる部材であれば、ハーフミラーに限らず同様の情報が得られる。

このときハーフミラーのように、照射光を同時に複数方向へ分配してもよいし、後述する調光ミラーのように、所定周期で分配されるように照射方向を時間的に変化させてもよい。例えば一般的な鏡やレンズなどを用い、その面の向きや屈折率を周期的に変化させてもよい。以後、そのような照射光分配部材の代表的な例として、ハーフミラーおよび調光ミラーについて説明するが、それらは適宜、他の部材に置き換えることができる。

図１４は、複数方向にある物体の位置情報を並行して取得する位置情報取得システムの機能ブロックの構成を示している。位置情報取得システム１１８は、ＴＯＦセンサ１０ａと位置情報取得装置１２０を備える。ここで位置情報取得装置１２０は、ＴＯＦセンサ１０ａと通信接続するとともに、後述するようにある態様においては、ハーフミラー２０２とも接続し印加電圧を制御する。位置情報取得装置１２０は、図７で示したヘッドマウントディスプレイ１００の制御部５０に含まれていてもよいし、その他、ゲーム装置など各種情報処理装置の一部であってもよい。あるいは位置情報取得装置１２０の少なくとも一部は、ＴＯＦセンサ１０ａの内部に設けてもよい。

ＴＯＦセンサ１０ａの発光部２０、受光部２２、度数観測部２６は、図３で示したものと同様の機能を有する。制御部２４ａのデータ出力部３０ａは、画素ごとに観測された光子の度数の変化を表すデータを位置情報取得装置１２０に出力する。上述のとおり、ハーフミラーを導入することにより、各画素で観測された光子の度数の極大点に基づき、複数方向の物体までの経路長が求められる。ただし図１１で示したように、極大点が生じる経路長のみでは、それぞれがどの方向の物体（例えば物体Ａ、物体Ｂ）に対応しているかがわからない。

したがって位置情報取得装置１２０は、それらを識別することにより、複数の方向に存在する物体と、その経路長との対応を特定する。位置情報取得装置１２０は、データ取得部１２２、特性管理部１２４、経路長識別部１２６、および位置情報生成部１２８を備える。データ取得部１２２は、ＴＯＦセンサ１０ａから、光子の度数の変化を表すデータを画素ごとに取得する。あるいは度数の極大点が生じている経路長の値自体を取得してもよい。このデータは例えば図１１の（ｂ）に示した経路長Ｄ_Ａ、Ｄ_Ｂなどであるが、この時点ではどちらの物体の経路長かは不明である。

特性管理部１２４は、ハーフミラー２０２の透過率および反射率を管理する。ハーフミラー２０２の透過率をｔ（０＜ｔ＜１）としたとき、反射率ｒは（１－ｔ）となる。ここでハーフミラー２０２の透過率と反射率に所定値以上の差を設けると、透過光と反射光で強度に差が生じ、ひいては光子の度数の極大値に明確な差をつけることができる。この場合、特性管理部１２４は、あらかじめそのように形成されたハーフミラー２０２の透過率および反射率を記憶する役割を持つ。

あるいは後述するように、ハーフミラー２０２の透過率および反射率を時間変化させてもよい。この場合、特性管理部１２４は、ハーフミラー２０２に対する印加電圧を制御することにより透過率や反射率を変化させる。なおハーフミラー２０２の代わりに調光ミラーを用いる場合、特性管理部１２４は透過率ｔ＝１（反射率ｒ＝０）の透明な状態と、透過率ｔ＝０（反射率ｒ＝１）の鏡の状態を、電圧印加によって切り替える。

経路長識別部１２６は、ハーフミラーの透過率および反射率の差、あるいはそれらの時間変化に基づき、光子の度数の極大点が透過光と反射光のどちらを表すか、ひいてはどの方向にある物体に対応するかを特定する。位置情報生成部１２８は、識別された透過光および反射光の経路と、光子の度数の極大点から得られた物体までの光の経路長と、に基づき、物体の位置情報のデータを生成し出力する。位置情報生成部１２８は例えば、図１１の環境において物体Ａの方向のデプス画像と、物体Ｂの方向のデプス画像を生成する。データの出力先は、それを用いて情報処理を行うモジュールとしてもよいし、記憶装置などでもよい。

図１５は、ハーフミラー２０２の透過率ｔと反射率ｒに所定値以上の差を設けることにより、光子の度数の極大点を識別する原理を説明するための図である。照射光の強度をＥ、ハーフミラー２０２の透過率をｔ、反射率をｒ（＝１－ｔ）とすると、物体Ａでの反射光はハーフミラー２０２における二度の透過を、物体Ｂでの反射光はハーフミラー２０２における二度の反射を経るため、ＴＯＦセンサ１０ａに入射する、それぞれの光の強度Ｒ_Ａ、Ｒ_Ｂは次のようになる。
Ｒ_Ａ＝Ｅ＊ｔ^２
Ｒ_Ｂ＝Ｅ＊ｒ^２

したがって透過率ｔと反射率ｒを適切に設定することにより、強度Ｒ_Ａ、Ｒ_Ｂに意図的に差をつけることができる。図示する例では、反射率ｒが透過率ｔより所定値以上大きいハーフミラー２０２を用いていることを、光の経路を表す矢印の太さで示している。この場合、（ｂ）に示すように、透過光が到達する物体Ａからの光子と比較し、反射光が到達する物体Ｂからの光子の度数が顕著に大きくなる。

したがって経路長識別部１２６は、大きい方の極大点が生じる経路長を、反射光が到達する物体Ｂに対応づけ、小さい方の極大点が生じる経路長を、透過光が到達する物体Ａに対応づける。透過率と反射率の大小関係を逆にすれば、当然、極大値の大小関係も逆になる。なお極大点が１つの場合、経路長識別部１２６は、物体Ａと物体Ｂが同じ経路長にあると判定する。またこの例では、二度の透過を経る光と二度の反射を経る光、という２種類の光による極大点を識別しているが、図１２の（ｃ）のように、光の経路において透過と反射の双方が含まれ得るような形状のハーフミラーによれば、３種類以上の光の極大点を識別することができる。

図１６は、ハーフミラー２０２の透過率と反射率を時間変化させることにより、光子の度数の極大点を識別する手法を説明するための図である。例えば特性管理部１２４は、（ａ）の上段に示すようにハーフミラー２０２の透過率が０でない状態と、（ｂ）の上段に示すように透過率が０の状態とを交互に発現させる。電圧を印加すると透過率が変化する調光フィルムは、窓や仕切り壁などで実用化されている（例えば特開２０１９－２８３８７号公報参照）。本実施の形態では例えば、ハーフミラー２０２の裏面（ＴＯＦセンサ１０ａと逆の面）に調光フィルムを貼り付け、特性管理部１２４が周期的に電圧を印加することにより透過率を変化させる。

（ａ）の状態はこれまで述べたのと同様であり、図の下段に示すように光子の度数には、透過光が到達する物体Ａと、反射光が到達する物体Ｂに対応する極大点がそれぞれ観測される。一方、（ｂ）の状態では、下段に示すように、反射光が到達する物体Ｂに対応する極大点のみが観測される。特性管理部１２４は、少なくとも照射光が測定上限の経路長を経てＴＯＦセンサ１０ａに入射するまでの時間、一方の状態を維持したあと、他方の状態に切り替える。切り替え周期はあらかじめ設定しておく。

経路長識別部１２６は、特性管理部１２４による状態の切り替えに同期するように極大点の変化を取得し、極大点が消滅するか否かを確認する。そして消滅する方の極大点が生じる経路長を、透過光が到達する物体Ａに対応づける。当然、消滅せずに常時表れる極大点は、反射光が到達する物体Ｂに対応づける。

ＴＯＦセンサ１０ａから直接、極大点が生じる経路長のデータを取得する場合は、経路長識別部１２６は、データが得られないタイミングがある方を、透過光が到達する物体Ａまでの経路長と判定する。なお特性管理部１２４は、印加電圧を制御するなどして、ハーフミラー２０２の透過率を複数段階で変化させてもよい。この場合、経路長識別部１２６は、透過率の減少に応じて光子の度数の極大値が減少する方を、透過光が到達する物体Ａまでの経路長と判定する。

図１７は、調光ミラーの状態を時間変化させることにより、光子の度数の極大点を識別する手法を説明するための図である。調光ミラーは上述のとおり、透明な状態と鏡の状態を切り替え可能な部材である（例えば特開２００９－１０３９３６号公報参照）特性管理部１２４は調光ミラー２１０の印加電圧を制御することにより、（ａ）の上段に示すような透明な状態と、（ｂ）の上段に示すような鏡の状態とを交互に発現させる。

ここで「透明な状態」とは、透過率が１から所定範囲内にあるなど、透明とみなせる所定条件を満たす状態（第１の状態）であればよい。また「鏡の状態」とは、反射率が１から所定範囲にあるなど、鏡反射が実現されているとみなせる所定条件を満たす状態（第２の状態）であればよい。（ａ）の状態では、下段に示す光子の度数には、透過光が到達する物体Ａに対応する極大点のみが観測される。（ｂ）の状態では、反射光が到達する物体Ｂに対応する極大点のみが観測される。

特性管理部１２４は、少なくとも照射光が測定上限の経路長を経てＴＯＦセンサ１０ａに入射するまでの時間、一方の状態を維持したあと、他方の状態に切り替える。切り替え周期はあらかじめ設定しておく。経路長識別部１２６は、特性管理部１２４による状態の切り替えに同期するように極大点の変化を取得することにより、各状態で出現する極大点を、照射光が到達する方向の物体までの経路長を表すものと判定する。

この態様では、極大点は常に１つのみのため、ＴＯＦセンサ１０ａはｄＴＯＦセンサに限らず、照射光と反射光の位相差に基づき距離を導出するｉＴＯＦセンサでもよいし、可視光のステレオカメラでもよい。ステレオカメラが左右の異なる視点から撮影した画像の対応点を抽出することにより、そのずれ量から三角測量の原理により対象物の距離を求める手法は広く知られている。これらの手段を用いても、調光ミラー２１０の状態の時間変化により、複数の方向にある物体の位置情報を取得できる。

図１８は、複数方向にある物体の位置情報を並行して取得する位置情報取得システムの機能ブロック構成の別の例を示している。位置情報取得システム１１８ａは、ＴＯＦセンサ１０ｂと位置情報取得装置１２０ａを備える。位置情報取得装置１２０ａの基本的な役割は、図１４の位置情報取得装置１２０と同様である。一方、位置情報取得装置１２０ａは、これまで述べたｄＴＯＦ以外の手段で、複数方向にある物体までの経路長をおよそ見積り、その大小関係に基づき、光子の度数の極大点から得られる結果を識別する。

このためＴＯＦセンサ１０ｂは、照射光が物体で反射した光を観測する機能とともに、一般的なカラー画像あるいはカラー偏光画像を撮影する撮像部２２２を備える。近赤外線画像とカラー画像をともに取得できるイメージセンサや、カラーフィルタの上層に偏光子層を設けることによりカラー偏光画像を撮影できる偏向カメラは広く知られている。同図では受光部２２と撮像部２２２を別に示しているが、両者は同じ受光素子であってもよい。あるいはＴＯＦセンサにおける受光素子アレイの画角および位置との対応関係が判明していれば、ＴＯＦセンサ１０ｂとは別に、一般的なＲＧＢカメラや偏光カメラを導入してもよい。

ＴＯＦセンサ１０ｂの発光部２０、受光部２２、度数観測部２６は、図３で示したものと同様の機能を有する。制御部２４ｂのデータ出力部３０ｂは、画素ごとに観測された光子の度数の変化を表すデータ、あるいは極大点が生じている経路長の値を、位置情報取得装置１２０ａに出力する。データ出力部３０ｂはまた、撮像部２２２が撮影したカラー画像または偏光カラー画像のデータも位置情報取得装置１２０ａに出力する。

位置情報取得装置１２０ａのデータ取得部１２２、および位置情報生成部１２８は、図１４で示したものと同じ機能を有する。経路長推定部１３０は、撮影されたカラー画像または偏光カラー画像を用いて、被写体までの経路長を推定する。具体的には経路長推定部１３０は、ハーフミラー２０２を透過した光による像と反射した光による像を分離したうえで、それぞれの被写体までの「距離」を推定する。ハーフミラー２０２で反射してなる像から得られる「距離」は厳密には、これまで述べたように光の経路長であるが、処理としては一般的な距離取得技術を適用できる。ここでは、深層学習（ディープラーニング）の分野における画像認識の技術として知られるＣＮＮ（Convolution Neural Network）を利用する。

経路長識別部１２６ａは、経路長推定部１３０が推定した経路長の大小関係に基づき、光子の度数に極大点が生じる経路長がどの方向の値を表すかを識別する。すなわち経路長推定部１３０が推定する経路長は、光子の度数に基づく経路長を識別するのに用いるため、少なくとも大小関係がわかれば、推定値にある程度の誤差が含まれていても構わない。そのため経路長推定部１３０は、ＣＮＮによりおよその経路長を見積もればよい。

図１９は、カラー画像を用いて経路長を見積もることにより、光子の度数の極大点を識別する手法を説明するための図である。ここでＴＯＦセンサ１０ｂの撮像部２２２は、カラー画像２２０を撮影する。この例でカラー画像２２０には、ハーフミラー２０２を透過した物体Ａの像と、ハーフミラー２０２で反射した物体Ｂの像が重なって写っている。そこで経路長推定部１３０はまず、カラー画像２２０を透過光の画像２２２ａと反射光の画像２２２ｂに分離する（Ｓ１０）。

ＣＮＮに関する研究において、窓ガラスなどを介して撮影した画像を透過光の像と反射光の像に分離する様々な手法が提案されており、本実施の形態ではそのいずれを採用してもよい（例えば、Qingnan Fan, et. al., "A Generic Deep Architecture for Single Image Reflection Removal and Image Smoothing", Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2017, pp. 3238-3247 参照）。経路長推定部１３０はさらに、分離した各画像からデプス画像を取得する（Ｓ１２）。この処理も、ＣＮＮにより撮影画像からデプス画像を生成する従来手法を利用できる（例えば、Ravi Garg, et. al., "Unsupervised CNN for Single View Depth Estimation: Geometry to the Rescue", Proceedings of Computer vision - ECCV 2016, 2016, pp. 740-756 参照）。

経路長識別部１２６ａは、透過光および反射光のデプス画像を比較し、推定された距離（経路長）の大小関係を画素ごとに取得する。そして対応する画素に対し得られている、光子の度数の極大点あるいはそれが表す経路長Ｄ、Ｄ’を、その大小関係に基づき識別する（Ｓ１４）。例えば透過光のデプス画像が表す物体Ａまでの経路長が、反射光のデプス画像が表す物体Ｂまでの経路長より小さければ、図示するように、小さい方の経路長Ｄを物体Ａに、大きい方の経路長Ｄ’を物体Ｂに対応づける。このように光子の度数に基づき最終的な経路長を導出することにより、ＣＮＮによる推定より高い精度で、複数方向の物体の位置情報を得ることができる。

上述のとおりＴＯＦセンサ１０ｂの撮像部２２２は、カラー偏光画像を撮影してもよい。例えば微細なワイヤグリッドからなる偏光子を０°、４５°、９０°、１３５°の主軸角度で撮像素子の上層に設け、偏光子およびカラーフィルタを透過した光を電荷に変換して読み出すことにより、４種類の方位の偏光画像をカラー画像として得ることができる（例えば特開２０１２－８００６５号公報参照）。この場合、カラー画像２２０が、４方位の偏光画像として得られる。

一般に、偏光の輝度は偏光子の角度に対し正弦波の形状で変化し、最小値の輝度は拡散反射成分を表す。そこで経路長推定部１３０は、カラー偏光画像の偏光方位に対する輝度変化を画素ごとに取得し、その最小値を画素値とすることで、拡散反射成分の画像を生成する。このように偏光画像を用いて鏡面反射成分を除去した画像を生成する手法は従来知られている（例えば、国際公開第２０１６／１３６０８５号参照）。この画像はすなわち、透過光の画像２２２ａに対応する。

さらに経路長推定部１３０は、４方位の偏光画像を足し合わせた非偏光のカラー画像２２０から、透過光の画像２２２ａを減算することにより、反射光の画像２２２ｂを取得する。その後の処理は、上述したカラー画像を用いた場合と同様でよい。このように偏光画像を利用しても、光子の度数の極大点がどの方向の物体までの経路長を表すかを識別できる。

以上述べた本実施の形態によれば、ＴＯＦセンサからの照射光、あるいは物体からの光を透過および反射させられる部材を導入することにより、複数の方向にある物体の位置を並行して取得する。例えばｄＴＯＦセンサとハーフミラーを組み合わせ、照射光をハーフミラーにおいて透過光と反射光に分離する。そして両者が到達した異なる方向の物体からの反射光を、所定時間における光子の度数の変化として観測する。当該度数の極大点が生じた時刻を検出することで、異なる方向の物体までの光の経路長、ひいては当該物体の位置を同時に取得できる。ここでハーフミラーの透過率および反射率を制御することにより、光子の極大点がどの方向の物体に対応するかを特定できる。

また本実施の形態は、ハーフミラーなど光の経路を変化させる手段とＴＯＦセンサを一体的に備える装置として実現するほか、当該手段をＴＯＦセンサと独立させ、ＴＯＦセンサにおいて当該手段の位置や姿勢を検出したうえで、複数方向にある物体の位置情報を得ることもできる。さらに当該手段の形状によって、位置情報を取得できる方向を様々に設定できる。結果として、多様な環境において様々な物体の位置情報を容易に取得でき、ＴＯＦセンサの用途を格段に広げられる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０ ＴＯＦセンサ、 ２０ 発光部、 ２２ 受光部、 ２４ 制御部、 ２６ 度数観測部、 ２８ 距離取得部、 ３０ データ出力部、 ５０ 制御部、 ７０ 撮影画像取得部、 ７２ 位置姿勢取得部、 ７４ 表示画像取得部、 ７６ 警告制御部、 ７８ 出力部、 １００ ヘッドマウントディスプレイ、 １１０ ステレオカメラ、 １１８ 位置情報取得システム、 １２０ 位置情報取得装置、 １２２ データ取得部、 １２４ 特性管理部、 １２６ 経路長識別部、 １２８ 位置情報生成部、 １３０ 経路長推定部、 ２０２ ハーフミラー、 ２０４ 位置情報取得装置、 ２０８ 位置情報取得システム、 ２１０ 調光ミラー、 ２２２ 撮像部。

以上のように本発明は、ＴＯＦセンサ、位置情報取得装置、情報処理装置、ゲーム装置、コンテンツ処理装置、ヘッドマウントディスプレイなどの各種装置と、それを含むシステムなどに利用可能である。

Claims (8)

1. パルス状の照射光が物体に反射してなる光子の度数の時間変化を取得する度数観測部と、
   前記度数の時間変化における極大点を検出し、当該極大点が生じた時刻に基づき物体までの距離を取得する距離取得部と、
   前記距離に係る情報を出力するデータ出力部と、
   を備えた位置情報取得装置と、
   前記データ出力部から、ユーザの顔の向きに対応する視野で物体までの距離に係る情報を取得し、それに基づき、当該視野で重なり合う透過性物体および非透過性物体のそれぞれについて独立した処理を実行した結果を表示する表示パネルと、
   を備え、
   前記距離取得部は、前記度数の時間変化において検出した複数の極大点のうち最大の値を基準とし、その所定割合未満の極大点を、距離取得対象から除外することを特徴とするヘッドマウントディスプレイ。
2. 前記距離取得部は、前記度数の時間変化において複数の極大点を検出したとき、それぞれに対応する距離を取得し、
   前記データ出力部は、受光素子に対応する画素の値として、複数の距離値を対応づけて出力することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
3. 前記度数観測部は、２次元配列の受光素子ごとに前記度数の時間変化を取得し、
   前記距離取得部は、前記受光素子に対応する画素を有する画像平面において、ある画素の極大点の検出時に、前記度数の時間変化において略同じ時刻に極大点を有する別の画素の、当該極大点の値を基準とし、その所定割合未満の極大点を、距離取得対象から除外することを特徴とする請求項１または２に記載のヘッドマウントディスプレイ。
4. 前記データ出力部は、前記極大点の数または極大点の値に基づき、前記透過性物体の存在を示す情報を出力することを特徴とする請求項１から３のいずれかに記載のヘッドマウントディスプレイ。
5. 前記距離取得部は、あらかじめ登録された実空間の距離に係る情報に基づき、前記非透過性物体に対応する前記極大点を特定し、それを基準として、前記透過性物体に対応する前記極大点を検出することを特徴とする請求項１から４のいずれかに記載のヘッドマウントディスプレイ。
6. 前記距離取得部は、前記実空間の距離に係る情報として、前記ヘッドマウントディスプレイを装着するユーザの身長に基づき、床までの距離を見積り、それに対応する極大点を基準とすることを特徴とする請求項５に記載のヘッドマウントディスプレイ。
7. 前記透過性物体の接近を検出し、前記表示パネルに警告を表示させる制御部をさらに備えたことを特徴とする請求項１から６のいずれかに記載のヘッドマウントディスプレイ。
8. ヘッドマウントディスプレイが、
   パルス状の照射光が物体に反射してなる光子の度数の時間変化を取得するステップと、
   前記度数の時間変化における極大点を検出し、当該極大点が生じた時刻に基づき物体までの距離を取得するステップと、
   前記距離を取得するステップにより取得された、ユーザの顔の向きに対応する視野で物体までの距離に係る情報に基づき、当該視野で重なり合う透過性物体および非透過性物体のそれぞれについて独立した処理を実行した結果を表示するステップと、
   を含み、
   前記距離を取得するステップは、前記度数の時間変化において検出した複数の極大点のうち最大の値を基準とし、その所定割合未満の極大点を、距離取得対象から除外することを特徴とする位置情報取得方法。

Images