JP5212991B2 - 空中映像インタラクション装置及びそのプログラム - Google Patents

Description

本発明は、空中に投影された映像とユーザが双方向にアクセスできるようにする装置と、それに利用されるプログラムに関するものである。

空中に投影された映像（以下、「空中映像」と称する。２次元映像、３次元映像の何れをも含む）に対してユーザ（観察者）にアクセスを行わせ、それに対応して映像を動作させるという技術が開発され、また実用にも供されるようになってきている（例えば、特許文献１、非特許文献１参照）。空中映像に対するユーザのアクセスを検知する方法としては、３次元位置を検出するセンサをユーザの手やユーザが手に持ったアクセス用の指し棒等に取り付ける方法、赤外線の発光・センサ対を投影装置の一部に取り付けて赤外線が遮られることをセンサで検知する方法、投影装置やそれが設置される屋内の天井や壁等にカメラを取り付けて空中映像とアクセスするユーザの手等を上方から撮影し、撮影した映像を画像解析することによりそのアクセスを検知する方法などが考えられている。また、空中映像が投影可能な新規な結像光学系として、１つの平面において光線の屈曲が観察される光学系であって、光路が屈曲することとなる光線屈曲面に対して前後関係が反転する結像を特徴とする結像光学系が案出されている。このような結像光学系では、光学系を適切に設定すると、屈曲面に対する面対称位置へと結像可能、すなわち鏡映像を実像として結像可能であることが知られており、この場合、２次元像だけでなく、３次元像の結像を歪み無く行えるという特徴を持つ。

本発明者は鏡面による光の反射作用を利用する結像光学系を複数種提案しており、その一つは前記素子面に垂直もしくはそれに近い角度で配置された１つ以上の鏡面（マイクロミラー）による光の反射を行う単位光学素子を複数配置した結像光学素子である（特許文献２参照）。この結像光学素子は、その素子面の一方側に配置した被投影物（実体のある物体、映像を含む）から発せられる光を、単位光学素子内の鏡面でそれぞれ反射させつつ前記結像光学素子を透過させることで、素子面の他方側における空間に当該被投影物の実像を結像させるという、新規な結像様式を備えるものである。この結像光学系では、素子面を透過する際に鏡面反射によって光路が屈曲するため、この素子面が光線屈曲面として機能する。

さらに本発明者の提案による別の結像光学系は、再帰反射機能を備えたレトロリフレクタアレイとハーフミラーとを利用するものである（特許文献３参照）。この結像光学系は、被観察物から出てハーフミラーで反射した光をレトロリフレクタアレイにより再帰反射させ更にハーフミラーを透過させることにより、もしくは被観察物から出てハーフミラーを透過した光をレトロリフレクタアレイにより再帰反射させ更にハーフミラーで反射させることにより、ハーフミラー面を光線屈曲面として、被観察物の実像を鏡映像として面対称位置に鏡映像として歪み無く結像させるものであり、２面コーナーリフレクタアレイと同様に、２次元の被観察物であれば２次元の実像を、被観察物が３次元であれば３次元の実像を、ハーフミラー面に対して斜め方向から被観察物の実鏡映像の観察を可能とするものである。
特開２００５−１４１１０２号公報 ＷＯ２００７／１１６６３９国際公開公報 特願２００７−１６３３２３出願明細書 "３Ｄ ｆｌｏａｔｉｎｇ ｖｉｓｉｏｎ"、［ｏｎｌｉｎｅ］、パイオニアコミュニケーション株式会社、［平成１９年１月１２日検索］、インターネット＜ＵＲＬ：http://www.pioneer-pcc.jp/corp/haruka.html＞

上述した空中映像へのアクセスを検知する方法のうち、３次元位置検出用のセンサを用いる場合、ユーザの手等にセンサを取り付けたり、ユーザがセンサを手で持ったり、センサが取り付けられた指し棒等をユーザが手で持ったりする必要があり、例えば通りすがりの者などの斯かるセンサを付帯しないユーザによる空中映像へのアクセスを検知することができず、ユーザへのセンサの付帯が必須となるため、一定の不便さが生じる。また、赤外線・センサ対を用いる場合、空中映像を取り囲むように多くのセンサ群を配置する必要があるため、ユーザのアクセスを３次元的に検知することは事実上困難であるといえる。

これらの方法と比べて、カメラを用いる方法では上述のような問題は生じ難いため、ある程度実用的にも優れているといえる。しかしながら、ユーザの体や他の物体に遮られることなく空中映像を直接見通すことができる位置にカメラを配置する必要があるため、ユーザにカメラの存在が見えてしまっても構わない場合を除いて、カメラの配置場所に物理的な制約が生じる場合がある。また、これまでに提案されている空中映像の投影技術では、歪みの無い３次元像をテーブルのような平面上に浮遊させ、かつ上下左右の運動視差に対しても空中に定位させることは困難であった。

これらの問題に対しては、本発明者の提案による結像光学系（前述の特許文献２、特許文献３を参照）を利用することで解決可能である。特許文献２に開示した結像光学系（結像光学素子）は、当該結像光学素子における素子面の一方側に配置した被投影物（実体のある物体、映像を含む）から発せられる光を、前記２つの鏡面（以下、２面コーナーリフレクタ）でそれぞれ反射させつつ前記結像光学素子を透過させることで、素子面の他方側における空間に当該被投影物の歪みの少ない実像を結像させ、２次元の被投影物に対しては２次元像を、３次元の被投影物に対しては３次元像を得ることができるという、新規な結像様式を備えるものであり、２面コーナーリフレクタアレイと称している。この２面コーナーリフレクタアレイは、鏡面反射を利用しているため、素子面に対して斜め方向からの観察が可能であり、平面上に浮遊する空中映像を提示することができる。また、前記結像光学素子は、２面コーナーリフレクタとして動作した空中映像の結像のための好適な結像様式とは別に、反射を行わずに素子面を透過してしまう直接光モードあるいは、透過する際に１回だけ鏡面反射を行う１回反射モードなどの別動作モードが存在している（特願２００６−２７１１９１出願明細書参照）。また、特許文献３に開示した結像光学系も、２面コーナーリフレクタアレイにおける素子面と同様に、ハーフミラー面を被投影物と実像との光線屈曲面として機能させ、ハーフミラー面に対して斜め方向からの実像の観察を可能とするものである。また、光線屈曲面がハーフミラーであることから、光線屈曲面を直接透過する光線によって、光線屈曲面の反対側にある物体を直接観察することも可能となる。

そこで本発明は、以上のような問題に鑑みて、前記結像光学系を利用し、また空中映像の結像に利用される結像様式以外の動作モードをも利用することで、装置の簡素化を実現しつつ、映像に対するユーザのアクセスを的確に把握することができ、実像にアクセスするユーザの手等の物体を検出するための位置検出手段をユーザからは見えない位置に配置することが可能な、映像とユーザとの好適なインタラクションをもたらすことができる空中映像インタラクション装置とそれに用いられるコンピュータプログラムを提供するものである。

すなわち本発明の空中映像インタラクション装置は、光線の光路が屈曲することとなる１つの平面を構成する光線屈曲面と、光線を反射する複数の鏡面とを有する結像光学系であって、光線屈曲面の一方面側に配置される被投影物の実像を、被投影物から発せられる光線が光線屈曲面を透過し且つ複数の鏡面で合計２回以上反射することによってその光線屈曲面の反対面側に前後を反転させて結像する結像光学系と、この結像光学系により結像された実像に近接させた物体の位置、又は位置及び形状を特定する物体特定手段と、を具備してなることを特徴とするものである。

このような構成の空中映像インタラクション装置であれば、まず、結像光学系により、被投影物（光線屈曲面を挟んで一方に配置される物体又は表示装置の映写された映像からなる被投影物、２次元であっても３次元であってもよい）からの光が、複数の鏡面における２回以上の反射と光線屈曲面における光線の屈曲によって、光線屈曲面の反対側の空中に結像する。このような結像方式において、例えば前述したマイクロミラーを結像光学系に用いる場合には、光線屈曲面において急角度で光線を屈曲させることが可能なため、光線屈曲面に対して斜めからの実像の観察が可能となる。また、被投影物の実像の結像を行うことから、この実像は実体は無いが空中に視覚的にのみ存在する仮想的な物体として提示を行うことができ、その仮想的物体に対してユーザが手指や指し棒等の物体で触れ又はポインティングする行為が可能となる。そして、物体特定手段によって、ユーザの手等の物理的な実体のある物体の３次元的な位置、又は位置及び形状を正確に特定することが可能となり、実像とユーザ（物体）とのインタラクション（相互作用）を従前よりも容易に行うことができる。物体特定手段によって、ユーザの手等の物体の少なくとも位置を特定することが必要であるが、物体の位置と形状の両方が特定できることが好ましい。なお、本発明において物体特定手段は、前記物体と併せて実像の位置も特定するように構成することも可能である。その場合、物体特定手段によって、実像とそれに近接する物体の両方の位置関係を特定して、ユーザ（物体）と映像との相互作用に役立てることができる。ただし、通常は結像光学系の性質および、被投影物の位置を把握することによって、実像の位置を計算することが可能であり、実際に実像の位置を計測する必要は必ずしもない。

上述した本発明の空中映像インタラクション装置において、被投影物の実像である空中映像とユーザとのインタラクションを実現するためには、物体特定手段により特定された物体の位置、又は位置及び形状を利用して、実像を変化させる実像変化手段をさらに具備することが望ましい。すなわち、実像変化手段は、実像に対する物体の位置や形状に基づいて被投影物の位置や形状等の状態を追従させて変化させることによって、実像の状態を変化させるものである。例えば、物体が手指であり、実像を指で押すという動作を行った場合、指との相対位置を保存するように実像も動かすことで、実体の無い実像が指で押されている、あるいは指に実像が張り付いているという状態を表現することが可能となる。また、指によって実像をつまむ動作を行った場合には、その手指の位置および形状認識を行うことによって、以後指と実像の相対位置を保存させるように実像を動かすことによって、実像を実際につまんでいるかのような表現が可能となる。このように実像を変化させるには、実像変化手段を、被投影物が物理的実体のある物であればそれを動作させ、被投影物が画像であればその画像を変化させるものとすることが好適である。このために、被投影物が実体物である場合には、例えば物体特定手段により特定された情報により、その実体物を動作させるプログラムや動作機構によって、実像変化手段を構成することができる。また、被投影物が画像である場合には、例えば物体特定手段により特定された情報により、その画像を動作させるプログラムや、画像を表示しているディスプレイを動作させるプログラム及び動作機構によって、実像変化手段を構成することができる。特に被投影物が３次元画像であれば、その３次元画像を所定のプログラムに従って３次元的に動かすことが可能であるが、被投影物が２次元画像の場合、例えばディスプレイを３次元的に動作させることで、その実像を３次元的に動かすことができる。

また、物体の位置や形状に基づく実像の変化のみならず、空中映像である実像にアクセするユーザの手等の物体に対して、実像に触れているかのような反応が生じるようにしても、空中映像とユーザとのインタラクションを実現することができる。例えば、指もしくは、手指によって保持された物体が実像に接触した際に、反力を与えることができれば、実体がないにもかかわらず、高い実在感を感じさせることが可能である。また、正確な反力でなくとも、実像との接触時に何らかの触覚刺激を与えることで、その実在感を高めることが可能である。さらに、実像をなぞったときに、適切な振動刺激を与えることで、表面形状を感じさせることが可能となる。そのための構成として、本発明の空中映像インタラクション装置には、物体特定手段により特定された物体の位置、又は位置及び形状を利用して、物体に力を及ぼす対物体作用機構をさらに設けることが好適となる。すなわち、対物体作用機構は、実像の位置や形状に基づいて、その実像に近づくユーザの手等の物体に対して物理的作用を与えるものである。このために、対物体作用機構には、例えば物体特定手段により特定された情報に基づいて対物体作用機構を作動させるプログラムが必要となる。

ここで、対物体作用機構の一例としては、機械的なリンク機構を有するものを挙げることができる。このようなリンク機構としては、例えば物体特定手段により特定された物体の位置、又は位置及び形状を力覚情報として利用し、空中映像である実像に触れているかのように動作するもの（例えば、SensAble Technologies社製、商品名「PHANTOM」参考ＵＲＬ；http://www.sensable.com/products-haptic-devices.htm）を例示することができる。なお、リンク機構を利用した場合、リンク機構の各関節角を計測することで、リンク先端の位置計測を行うことが可能となる。

その他にも、対物体作用機構の一例としては、空気の流れを発生させる空気流発生機構を有するもの、例えば物体特定手段により特定された物体の位置、又は位置及び形状に応じて、ユーザの手指等に対して細いノズルから空気を噴射するエアジェットや、空気の渦輪を発生する空気砲等を例示することができる。

本発明に適用される結像光学系の具体的態様の一つは、光線屈曲面となる素子面に垂直もしくはそれに近い角度で配置された複数の鏡面による光の反射を行う単位光学素子を複数備え、これら複数の単位光学素子により素子面の一方面側に配置される被投影物の実像を素子面の反対面側に結像する結像光学素子である。

ここで各単位光学素子は、素子面を貫通する方向に想定される光学的な穴の内壁を鏡面として利用するものと考えればよい。ただし、このような単位光学素子は、概念的な物であり、必ずしも物理的な境界などにより決定される形状を反映している必要は無く、例えば前記光学的な穴は相互に独立させることなく連結させたものとすることができる。このような構成の空中映像インタラクション装置であれば、まず、結像光学素子により、被投影物からの光がその素子面を透過する際に各単位光学素子の鏡面で２回以上反射して、素子面の反対側の空中に結像する。このような結像方式においては、鏡面反射によって、素子面を透過する際に急角度で光線が屈曲されるため、素子面に対して斜めからの観察が可能となる。

この結像光学素子のさらに具体的に好ましいものとしては、単位光学素子が、直交する２つの鏡面によって構成され２面コーナーリフレクタとして機能する２面コーナーリフレクタアレイを挙げることができる。この場合、被投影物からの光は各２面コーナーリフレクタの２つの鏡面で１回ずつ反射させて素子面の反対側の空中における被投影物とは素子面に対して面対称位置に結像させることができる。このような２面コーナーリフレクタを利用した結像方式を採用すれば、２次元の被投影物は２次元の実像として、３次元の被投影物は３次元の実像として、いずれも歪みの無い実像を投影することができる。なお、被投影物が３次元の立体物である場合は、視線方向の奥行きが反転するものの、この奥行き反転に対しては、被投影物である３次元物体又は３次元映像をあらかじめ奥行き反転させるか、もしくはこの結像光学素子を２つ利用して被投影物からの光をこの２つの結像光学素子を順次透過させることで、奥行きが正常な空中像を表示させることもできる。

その他にも、本発明に適用される結像光学系の具体的態様の一つは、光線屈曲面となるハーフミラー面を有するハーフミラーと、該ハーフミラーからの透過光若しくは反射光を再帰反射させる位置に配置され複数の鏡面からなる単位再帰反射素子の集合であるレトロリフレクタアレイとを具備したものを挙げることができる。レトロリフレクタアレイは、ハーフミラー面に対して被投影物と同じ側に配置しても反対側に配置してもよく、その両方に配置しても構わない。レトロリフレクタアレイをハーフミラー面に対して被投影物と同じ側に配置する場合、被投影物から発してハーフミラー面で反射した光は、レトロリフレクタアレイが有する鏡面で複数回の反射を伴って再帰反射し、さらにハーフミラーを透過して結像する。他方、再帰反射素子をハーフミラー面に対して被投影物とは反対側に配置する場合、被投影物から発してハーフミラー面を透過した光は、再帰反射素子が有する鏡面で複数回の反射を伴って再帰反射し、さらにハーフミラーで反射して結像する。この結像光学系の場合、ハーフミラー面において光線が透過する際にその光線が屈曲されるわけではなく、実際の屈曲は反射の際に起きているが、結果的に光線が光線屈曲面を透過する際に屈曲する場合と等価な光線経路が再現される。そのため、この結像光学素子においてもハーフミラー面を光線屈曲面としている。この光線屈曲面において急角度で光線が屈曲するのと同様な光線が再現されるため、ハーフミラー面に対して斜めからの観察が可能となる。なお、レトロリフレクタアレイには、例えば立方体内角の１つの角を利用するコーナーキューブの集合であるコーナーキューブアレイや、キャッツアイレトロリフレクタ等を適用することができる。

このような空中映像インタラクション装置においては、物体特定手段を、光線屈曲面に対して固定された相対位置に配置することにより、予め結像光学系と物体特定手段との相対的な位置関係を与えることができ、物体の位置の特定が容易となる。なお、被投影物の位置をあらかじめ把握しておけば、実像位置は結像光学系の性質を利用することで計算可能であり、これによって実像と物体の相対位置を把握することができる。

特に、物体特定手段の具体的態様としては、前記物体を撮影する１台以上のカメラと、当該カメラで撮影された映像から前記物体の位置、又は位置及び形状を解析する画像解析装置とを具備して構成されるものを挙げることができる。なお、上述したとおり、カメラによって実像も撮影して、物体と実像の位置を画像解析装置で解析するように構成しても構わない。また、カメラに関しては、固定した最低限２台のカメラを配置すれば、画像解析装置において三角測量の手法を用いて物体各点の３次元位置を計測することができ、これによって物体の形状データを得ることもできる。実像も撮影した場合には、物体と実像の３次元位置及び形状を特定することができる。さらに３台以上のカメラを利用して、より精度の高い位置計測や形状計測を行うようにしてもよい。なお、カメラを利用する位置計測の方法は任意である。例えばカメラで撮影する映像の対応点による距離計測法としては、実像に接近するユーザの手指や物体のテクスチャを対応点として利用したり、マーカーを配置しておきそれを目印として対応点として利用する方法や、被投影物及びその実像とは別にグリッドや縞模様を投影して対応点として利用する方法を挙げることができる。その他にも、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）による距離画像計測方法も利用することができる。距離画像を取得した場合には、カメラ１台での３次元位置・形状計測が可能となる。物体の３次元位置および形状に関する計測データが得られると、形状認識手段によって物体形状の認識を行う。形状認識手段は、形状認識プログラムとそれを作動させるコンピュータにより実現できる。これにより、例えば物体が手指である場合には、手指の形状が認識され、親指と人差し指の接触（例えば、実像を仮想的につまんでいる状態）等が判別可能となる。次にこの形状認識結果が動作認識手段に入力され、時系列的に連続した形状変化によって動作認識が行われる。これにより、例えば親指と人差し指が接触していく過程によって、つまむという動作等の判別が可能となる。この認識結果を利用することによって、空中映像をつまんでいるというユーザの意図を検出することができ、つまんだ瞬間の実像と手指との相対位置を記録し、以後手指がつまんだ状態を維持したまま動いた場合には、その相対位置を保持するように実像を変化させることによって、ユーザが実像をつまんでいるかのような効果を表現することが可能となる。

このように、物体特定手段の一部として１台以上のカメラを用いる場合、これらのカメラを、結像光学系の光線屈曲面に対して前記被投影物と同じ側に配置すれば、ユーザから隠れた場所にカメラを配置することができるため、装置自体の小型化や外観の向上を図ることが可能である。

カメラによる物体の撮影は、直接的に光線屈曲面を透して行うことが可能である。特に、上述した複数の単位光学素子を備えた結像光学系や、その一態様である２面コーナーリフレクタアレイを適用する場合、光線屈曲面である素子面に対して被投影物と同じ側に配置される複数のカメラを、前記素子面を透して各単位光学素子の鏡面に１度も反射させることなく前記物体を撮影し得る位置に配置すれば、カメラにより実像に接近するユーザ（物体）を結像光学素子を経て直接撮影することが可能となる。このことは、結像光学素子においては、反射回数の違いによる複数の動作モードが存在することから可能となる。単位光学素子は、光学的な穴の内壁に鏡面要素が形成されているものであることから、観察方向によってはこの穴を無反射で透過する光を観察でき、これは単にたくさんの穴を通して物体を観察できることを示している。また、ハーフミラーとレトロリフレクタアレイとを備えた結像光学系の場合でも、ハーフミラーを直接透過する光線を利用することで、光線屈曲面であるハーフミラー面を透してカメラにより物体の撮影を行うことができる。

また、光線屈曲面と被投影物との間にハーフミラーを配置し、カメラを、このハーフミラーにより反射された物体に対する結像光学系による実像を撮影するように配置するように構成することも可能である。本発明に適用される結像光学系は、上述したとおり被投影物の実像を当該結像光学系の光線屈曲面に対して面対称となる位置に結像させるものであるが、その作用は光線屈曲面に対して対称的であるため、被投影物の実像に近づくユーザの手指等の物体の実像も、光線屈曲面に対する面対称位置に結像する。このとき、被投影物の実像のごく近くに物体を接近させると、被投影物のごく近くに物体の実像が結像することとなる。したがって、光線屈曲面と被投影物との間、より具体的には物体から発した光線の光線屈曲面で屈曲点と結像点との光路の間にハーフミラーを配置すれば、その光線は本来の結像点のハーフミラーに対する面対称位置に実像として結像するため、この物体の実像を被投影物から分離することができる。その結果、ハーフミラーで分離した物体の実像をカメラで撮影することで、物体を直接的に撮影しなくても、物体の位置や形状を正確に取得することができることとなる。

また、複数の単位光学素子を備えた結像光学系や、その一態様である２面コーナーリフレクタアレイを適用する場合には、各単位光学素子の鏡面に１回だけ反射して透過した光による結像があるため、この像を撮影することによって前記物体を撮影し得る位置に１台以上のカメラを配置することも可能である。

さらに、前記光線屈曲面を透すことなく直接に前記物体を撮影し得る位置にカメラを配置しても、同様にユーザ（物体）を撮影することもできる。具体的には、例えば光線屈曲面の周囲の一部に貫通孔を設けておき、その貫通孔を通じて被投影物と同じ側から実像に接近するユーザ（物体）をカメラで撮影するという態様を採用することができる。

以上のようなカメラの配置場所以外にも、結像光学系の光線屈曲面に対して前記実像と同じ側にカメラを配置しても、物体、又は物体と実像を撮影してそれらの位置計測をすることは十分に可能である。但し、カメラの存在をユーザに見せないように装置を構成する場合には、カメラの配置場所を十分に工夫する必要はある。

なお、物体特定手段としてカメラを用いる場合、カメラの少なくとも１台は、距離画像を取得できる距離測定カメラとすることが望ましい。この場合、物体までの距離および方位を１つのカメラで測定可能であることから、１台のカメラによる位置計測が可能となる。さらに２台以上の距離測定カメラを利用して、より精度の高い位置計測を行うようにしてもよい。

以上のような空中映像インタラクション装置において、空中に投影される実像とユーザ（物体）とのインタラクションを好適に実現させるために、本装置で利用される本発明のコンピュータプログラムは、前記物体特定手段により前記物体の位置、又は位置及び形状を計測し、その計測結果に基づいて当該物体の位置、又は位置及び形状を特定する物体特定工程と、前記物体特定工程で特定した前記物体の位置、又は位置及び形状に係る情報を、前記物体の位置、又は位置及び形状に対応して前記被投影物を制御する所定のインタラクションプログラムへ出力する物体情報出力工程とを備えていることを特徴とするプログラムである。物体特定工程では、上述したような物体特定手段により計測結果として得られた物体の３次元位置、もしくは当該物体各点の３次元位置に基づいて、物体の位置、又は形状の認識を行う。特に、物体の形状認識を行う場合には、例えば形状認識プログラムを物体特定工程を処理するプログラムとして含めておき、例えば物体が実像にアクセスする手指である場合には、手指の形状が認識され、親指と人差し指の接触（例えば、実像を仮想的につまんでいる状態）等が判別するようにするとよい。さらに、この形状認識結果に基づいて物体の動作まで特定する場合には、物体特定工程を処理するプログラムに動作認識プログラムを含めておき、形状認識プログラムによる出力を入力として、時系列的に連続した形状変化によって動作認識を行うようにするとよい。これにより、例えば親指と人差し指が接触していく過程によって、つまむという動作等の判別が可能となる。この認識結果を利用することによって、空中映像をつまんでいるというユーザの意図を検出することができ、つまんだ瞬間の実像と手指との相対位置を記録し、以後手指がつまんだ状態を維持したまま動いた場合には、その相対位置を保持するように実像を変化させることによって、ユーザが実像をつまんでいるかのようなインタラクション効果を表現することが可能となる。

本発明の空中映像インタラクション装置は、前述した２面コーナーリフレクタ等の素子面とほぼ垂直な鏡面を有する単位光学素子を備えた結像光学素子や、ハーフミラーとレトロリフレクタアレイとを備えた結像光学系を利用して被投影物の実像（空中映像）を結像させることができるものであるため、被投影物が２次元又は３次元であるか、物体であるか映像であるかに拘らず、空中に２次元又は３次元の空中映像を投影することが可能であり、さらにその空中映像に近付くユーザの手等の物体の３次元位置を特定することが可能であるため、ユーザのアクセスにより空中映像を変化させるというようなユーザと空中映像とのインタラクション技術に大きなメリットをもたらすものである。特に、物体特定手段に複数のカメラを利用する場合、結像光学系に対するそれらカメラの配置態様如何により、空中映像インタラクション装置自体の小型化が容易となり、その設置や移動を容易なものとすることが可能である。

本発明の第１実施形態に係る空中映像インタラクション装置の基本構成を概略的に示す図。 同実施形態に適用される２面コーナーリフレクタアレイを示す平面図。 同２面コーナーリフレクタアレイの一部を拡大して示す斜視図。 同２面コーナーリフレクタアレイによる結像様式を模式的に示す平面図。 同２面コーナーリフレクタアレイによる結像様式を模式的に示す側面図。 同２面コーナーリフレクタアレイによる結像様式を模式的に示す斜視図。 同実施形態で用いるプログラムの動作手順の一例を示すフローチャート。 同実施形態の空中映像インタラクション装置の別の例を示す図。 同実施形態の空中映像インタラクション装置のさらに別の例を示す図。 同実施形態に適用可能な２面コーナーリフレクタアレイの他の例を示す斜視図。 本発明の第２実施形態に係る空中映像インタラクション装置の基本構成を概略的に示す図。 同実施形態に適用される結像光学系におけるレトロリフレクタアレイの一例を示す図。 同実施形態に適用される結像光学系におけるレトロリフレクタアレイの一例を示す図。 同実施形態に適用される結像光学系による結像様式を模式的に示す側面図。 ハーフミラーを用いてユーザの実像を撮影するための構成を有する本発明の一例を模式的に示す側面図。

以下、本発明の一実施形態を、図面を参照して説明する。

＜第１実施形態＞ 図１に示すこの実施形態は、空中映像インタラクション装置１の基本構成の一例を概略的に示したものである。この空中映像インタラクション装置１は、多数の２面コーナーリフレクタ２が形成された実鏡映像結像光学素子（以下、「２面コーナーリフレクタアレイ」という）３を備えた基盤３１を上蓋とする筐体４と、筐体４内に収容された２台のカメラ５１と、これらカメラ５１と接続された画像解析装置５２とによって構成される。２台のカメラ５１と画像解析装置５２は、物体特定手段５を構成するものである。筐体４内には、基盤１１の上方空間に投影される実像の元となる被投影物Ｏが収容される。なお、２面コーナーリフレクタ２は２面コーナーリフレクタアレイ３の全体と比べて非常に微小であるので、同図においては２面コーナーリフレクタ２の集合全体をグレーで表し、その内角の向きをＶ字形状で誇張して大きく表し、また実像Ｐの観察方向を矢印で表している。

被投影物Ｏは、例えば紙に描いた図形のような２次元（的な）物体、３次元形状のある物体、２次元又は３次元の映像の何れでも採用することができる。被投影物Ｏとして物体を採用する場合、その物体が自ら発光するものではない場合には、物体に対して投光する照明器具（図示省略）を筐体４内に配置することができる。また、被投影物Ｏとして映像を適用する場合には、筐体４内にスクリーンやディスプレイ（図示省略）を設置し、必要に応じて映像をスクリーンやディスプレイに映し出す映写装置やコンピュータを接続することができる。

２面コーナーリフレクタアレイ３は、図２に示すように、平板状の基盤３１に、平らな基盤表面に対して垂直に肉厚を貫通する穴３２を多数形成し、各穴３２の内壁面を２面コーナーリフレクタ２として利用するために、穴３２の内壁面うち直交する２つにそれぞれ鏡面要素２１，２２を形成したものである。

基盤３１は、厚み寸法が例えば５０〜２００μｍ、本実施形態では１００μｍの薄板状のものであり、本実施形態では、一辺がそれぞれ約５ｃｍの平面視正方形状のものを適用しているが、基盤３１の厚さや平面寸法はこれらに限られることなく適宜設定することができる。図２のＡ部を拡大して図３に示すように、各２面コーナーリフレクタ２は、光を透過させるために基盤３１に形成した物理的・光学的な穴３２を利用して形成したものである。本実施形態では、まず基盤３１に平面視ほぼ矩形状（具体的に本実施形態では正方形状）の穴３２を多数形成し、各穴３２のうち隣接して直交する２つの内壁面に平滑鏡面処理を施して鏡面要素２１，２２とし、これら鏡面要素２１，２２を反射面として機能する２面コーナーリフレクタ２としている。なお、穴３２の内壁面のうち２面コーナーリフレクタ２以外の部分には鏡面処理を施さず光が反射不能な面とするか、もしくは角度をつけるなどして多重反射光を抑制することが好ましい。各２面コーナーリフレクタ２は、基盤３１上において鏡面要素２１，２２がなす内角が全て同じ向きとなるように形成している。以下、この鏡面要素２１，２２の内角の向きを、２面コーナーリフレクタ１の向き（方向）と称することがある。鏡面要素２１，２２の形成にあたって本実施形態では、金属製の金型をまず作成し、鏡面要素２１，２２を形成すべき内壁面をナノスケールの切削加工処理をすることによって鏡面形成を行い、これらの面粗さを１０ｎｍ以下とし、可視光スペクトル域に対して一様に鏡面となるようにしている。

具体的に、各２面コーナーリフレクタ２を構成する鏡面要素２１，２２は、一辺が例えば５０〜２００μｍ、本実施形態では基盤３１の厚さに対応させた１００μｍであり、先に作成した金型を用いたプレス工法をナノスケールに応用したナノインプリント工法又は電鋳工法により、１つの基盤２１に所定ピッチで複数形成されている。本実施形態では、各２面コーナーリフレクタ２を有する２面コーナーリフレクタアレイ３の素子面３Ｓ上でＶ字形状をなす各辺を、基盤３１の巾方向又は奥行き方向に対して４５度傾斜させるとともに、全ての２面コーナーリフレクタ２が素子面３Ｓ上に想定される規則的な格子点上に整列されて同一方向を向くようにしている。なお、隣り合う２面コーナーリフレクタ２同士の離間寸法を極力小さく設定することで、透過率を向上させることができる。そして、前記基盤３１のうち、２面コーナーリフレクタ２を形成した部分以外の部位には遮光処理を施し、基盤３１の上面及び下面に図示しない薄板状をなす透明な補強材を設けている。本実施形態では、このような２面コーナーリフレクタ２を基盤３１に数万ないし数十万個設けた２面コーナーリフレクタアレイ３を採用している。

なお、電鋳工法によりアルミやニッケル等の金属で基盤３１を形成した場合、鏡面要素２１，２２は、金型の面粗さが十分小さければ、それによって自然に鏡面となる。また、ナノインプリント工法を用いて、基盤３１を樹脂製などとした場合には、鏡面要素２１，２２を作成するには、スパッタリング等によって、鏡面コーティングを施す必要がある。

このようにして基盤３１に形成した２面コーナーリフレクタ２は、基盤３１の下面側（又は上面側）から穴３２に入った光を一方の鏡面要素（２１又は２２）で反射させ、さらにその反射光を他方の鏡面要素（２２又は２１）で反射させて基盤３１の上面側（又は下面側）へと通過させる機能を有し、この光の経路を側方から見れば光の進入経路と射出経路とが基盤３１（素子面３Ｓ）を挟んで面対称をなすことから、上述のように基盤３１上に多数の２面コーナーリフレクタ２を形成することでは、２面コーナーリフレクタアレイ３として機能する。すなわち、斯かる２面コーナーリフレクタアレイ３の素子面３Ｓ（基盤３１の肉厚の中央部を通り各鏡面要素と直交する面を仮定し、図中に想像線で示す。）は、基盤３１の一方側にある被投影物Ｏの空中映像である実像Ｐ（図１参照）を他方側の面対称位置に結像させる面となる。本実施形態では、上述した２面コーナーリフレクタアレイ３の素子面３Ｓを、２面コーナーリフレクタアレイ３を透過する光線の光路が屈曲することとなる光線屈曲面として機能させている。

ここで、本実施形態で用いられる２面コーナーリフレクタアレイ３による結像様式を、被投影物Ｏから発せられた光の経路とともに説明する。図４に平面的な模式図で示し、図５に側面から見た模式図でそれぞれ示すように、被投影物Ｏ（同図では点で表す）から発せられる光（矢印方向、実線で示す。図４では３次元的には紙面奥側から紙面手前側へ進行する）は、２面コーナーリフレクタアレイ３の基盤３１に形成した穴３２を通過する際に、２面コーナーリフレクタ２を構成する一方の鏡面要素２１（又は２２）で反射して更に他方の鏡面要素２２（又は２１）で反射することで（透過光の光線を破線で示す）、２面コーナーリフレクタアレイ３の素子面３Ｓに対して被投影物Ｏの面対称位置に、実像Ｐとして結像する。この実像Ｐは、図６に模式的に示すように、当該２面コーナーリフレクタアレイ３における２面コーナーリフレクタ２の鏡面要素２１，２２が見える位置である基盤３１の斜め上方（図中、矢印方向）から観察することで視認可能となる。詳述すれば、相互に直交する鏡面要素２１，２２に対して光が２回反射すると、光の成分のうち、基盤３１の面方向に平行な成分（換言すれば素子面３Ｓと平行な成分）は入射方向に戻る一方、鏡面要素２１，２２の面方向に平行な成分（換言すれば素子面３Ｓに対して垂直な成分）はその成分を保存する。その結果、２面コーナーリフレクタアレイ３を透過した２回反射光は、素子面３Ｓに対して面対称な点を必ず通過することとなる。そして、光源である被投影物Ｏからはあらゆる方向の光の出ることから、それらの光が２面コーナーリフレクタアレイ３を透過する際に各２面コーナーリフレクタ２で２回反射し、全て同一点に集まって焦点を結ぶ。

このように、各２面コーナーリフレクタアレイ３を透過した２回反射光は面対称位置へ集束するため、深さ方向（素子面３Ｓに対して垂直な方向）に対して広い範囲で焦点を結ぶことが可能となる。なお、図４では入射光と反射光とが平行をなすように表されているが、これは同図では被投影物Ｏに対して２面コーナーリフレクタ２を誇張して大きく記載しているためであり、実際には各２面コーナーリフレクタ２は極めて微小なものであるため、同図のように２面コーナーリフレクタアレイ３を上方から見た場合には、入射光と反射光とは殆ど重なってみえる。すなわち、結局は被投影物Ｏの素子面３Ｓに対する面対称位置に透過光が集まり、図５においてＰの位置に実鏡映像として結像することになる。そして、基盤３１の下面側の空間に被投影物Ｏとして３次元物体又は３次元映像を配置する場合には、基盤３１の上面側に３次元の実像Ｐが浮かぶこととなる。ただし、その３次元実像Ｐは、凹凸が反転するので、この実像Ｐにおける凹凸の発生を防止するには、基盤３１の下面側の空間に配置する３次元の被投影物Ｏの凹凸を予め逆転するか、２面コーナーリフレクタアレイ３を２枚適当に離間して配置すればよい。

２台のカメラ５１には、例えばＣＣＤやＣＭＯＳ等の固体撮像素子を利用したデジタルビデオカメラ等を用いることができる。これらのカメラ５１は、本実施形態では筐体４内において実像Ｐを向けて、被投影物Ｏの周囲に固定して設置され、基盤３１に形成した穴３２を直接透過する光（直接光）により空中に投影される実像Ｐの周辺領域を撮影する。すなわち、実像Ｐにアクセスしてくるユーザ（物体）Ｕ（図１参照）がカメラ５１によって撮影されることになる。なお、実像Ｐは、下方より上方に向けて投影されているため、筐体４内に配置したカメラ５１では撮影されずに、ユーザ（物体）Ｕのみが撮影される。

そして、２台のカメラ５１で撮影した映像は画像解析装置５２へ送信される。画像解析装置５２では、画像解析及び物体特定プログラムが作動しており、２台のカメラ５１からの映像に基づいて、ユーザ（物体）Ｕの映像を特定し（図７に示すフローチャート、Ｓ１）、三角測量の要領でユーザ（物体）Ｕの各点における３次元位置を計測して求める（Ｓ２）。

なお、筐体４における２面コーナーリフレクタアレイ３の位置及び被投影物Ｏの位置が既知であれば、実像Ｐは素子面３Ｓに対して必ず被投影物Ｏの面対称位置に結像するという規則性を利用して、実像Ｐの３次元位置は算出することができる。

また、カメラ５１を適当に配置すると、ユーザ（物体）Ｕからの直接光ではなく、２面コーナーリフレクタ２の鏡面要素２１，２２の何れか一方で１回反射した光（１回反射光）による結像を利用してユーザ（物体）Ｕを観察することができる。この像は、面対称位置への結像ではないが、一定のルールに従って結像するためあらかじめ計算でき、これからユーザ（物体）Ｕの位置を同定することも可能である。直接光とは異なる方向からユーザ（物体）Ｕを観察することが可能となるため、被投影物Ｏの形状や位置によって、直接光での観察が困難な場合には有効である。

このようにして得られるユーザ（物体）Ｕの３次元位置情報（又はそれに加えて実像Ｐの３次元位置情報）は、前述した物体特定プログラムの一部に含まれる形状認識プログラムにより演算処理がなされ、ユーザ（物体）Ｕの形状認識が行われる（同図；Ｓ３）。さらに、ユーザ（物体）Ｕの動作（例えば、実像Ｐをつかむ、つまむ、なでる等）の認識を行い、それに対する実像の変化やユーザ（物体）Ｕへの応答といったフィードバックに用いる場合には、物体特定プログラムの一部に動作認識プログラムを含めておき、形状認識プログラムによる演算結果に基づく時系列的に連続した形状変化によってユーザ（物体）Ｕの動作を特定する（同図；Ｓ４）。なお、ユーザ（物体）Ｕの形状認識や動作認識を行わない場合には、同図のフローチャートにおける工程Ｓ２において、ユーザ（物体）Ｕの３次元位置計測のみを行い、工程Ｓ３の形状認識や工程Ｓ４の動作認識は行わなくてもよい。そして、例えば被投影物Ｏが所定の制御プログラムに従って動作する実体物又は映像である場合には、当該制御プログラムに対して出力される（Ｓ５）。このような制御プログラムは、例えばユーザ（物体）Ｕによる実像Ｐへのアクセスに応じた３次元的な相対位置に対応して、被投影物Ｏの形状や位置を変化させるものであり、例えば後述するような実像変化手段の一部を構成するプログラムや、対物体作用機構を動作させるプログラム等が該当する。特に被投影物Ｏが映像である場合には、制御プログラムは被投影物Ｏを別の映像に変化させるようなものであってもよい。なお、ユーザ（物体）Ｕの位置と形状の両方を利用する場合には、ステップＳ３においてユーザ（物体）Ｕの各点を含む３次元位置情報を出力し、その情報に基づいてユーザ（物体）Ｕの形状認識処理を行った後、制御プログラムへの出力を行えばよい。形状認識処理には、例えば一般的な形状認識プログラムを適用することができる。

以上の通り、本実施形態の空中映像インタラクション装置１を上述のように利用することで、素子面３Ｓの上方の空中に被投影物Ｏの実像Ｐを２次元的又は３次元的に投影することができる上に、その実像Ｐにアクセスするユーザ（物体）Ｕの３次元位置を容易に特定することが可能である。したがって、ユーザ（物体）Ｕの３次元位置情報を例えば被投影物Ｏの動作を制御する制御プログラムで処理することで、ユーザ（物体）Ｕの位置に応じて被投影物Ｏ及び実像Ｐを動作又は変化させることが容易となり、実像Ｐとユーザ（物体）Ｕとの仮想的なインタラクションを容易に実現ならしめることができる。また、本空中映像インタラクション装置１では、ユーザ（物体）Ｕにその３次元位置を特定するためのセンサを付帯させる必要がないため、例えば通りすがりに本空中映像インタラクション装置１を利用するユーザにも、何ら負担をかけることなく利用させることができる。また、空中映像インタラクション装置１の外部にユーザ（物体）Ｕの位置を特定する赤外線・センサ対を設置する必要がないため、空中映像インタラクション装置１自体を非常にコンパクトなものとして、設置場所や移動を比較的自由に設定することが可能である。

なお、本実施形態は上述した実施形態に限定されるものではない。例えば、上記実施形態で物体特定手段５として用いたカメラ５１の配置位置を次のように変更することができる。すなわち、例えば図８に空中映像インタラクション装置１’を示すように、基盤３１において２面コーナーリフレクタアレイ３の外側に２つの小孔３３を形成できるのであればこれを形成しておき、これら小孔３３を通じてカメラ５１でユーザ（物体）Ｕを撮影するように構成することができる。この場合、カメラ５１は実像Ｐの周辺領域を撮影できるように傾けた姿勢で配置すればよい。このようにすることで、カメラ５１ではユーザ（物体）Ｕを直接撮影することができるため、２面コーナーリフレクタアレイ３を透過することに伴う減光、ボケなどの影響を当初から排除することができる。また例えば図８に空中映像インタラクション装置１’’を示すように、基盤３１の上方空間にカメラ５１を配置する態様も採用することができる。図示例では、カメラ５１を実像Ｐの周辺領域を斜め上方から撮影するように、例えば図示しない支柱等を介して配置した態様を示しているが、その他にも、基盤３１の上面付近にカメラ５１を設置して斜め下方から実像Ｐの周辺領域を撮影するようにしてもよい。このようにした場合にも、カメラ５１ではユーザ（物体）Ｕを直接光のみで撮影することができるため、２面コーナーリフレクタアレイ３を透過することに伴う影響を当初から排除することができる。

また、例えば、２面コーナーリフレクタアレイ３を構成する２面コーナーリフレクタ２としては単に直交する２枚の反射面が存在すればよく、この反射面としては、光を反射する物質の鏡面精度の平坦度を持つ端面もしくは膜による反射および、屈折率の異なる透明な媒質同士の鏡面精度の平坦度を持つ境界における全反射などの現象を利用することができる。より具体的には、上述した実施形態では、２面コーナーリフレクタアレイ３において、光学的な穴として薄板状の基盤３１に正方形状の穴を形成し、その穴の内周壁のうち隣接する２つを鏡面２１，２２として２面コーナーリフレクタ２を形成した例を示したが、例えば、このような構成に変えて、図１０に示すように、基盤３１’の厚み方向に突出する透明な筒状体により単位光学素子２’を構成し、このような筒状体を碁盤目状に多数形成した２面コーナーリフレクタアレイ３’であっても構わない。この場合、各筒状体３２’の内壁面のうち、直交する第１内壁面及び第２内壁面を鏡面２１’，２２’として２面コーナーリフレクタ２’を構成することができる。この場合、前記実施形態と同様に、２面コーナーリフレクタ２’で２回反射する光が、基盤３１’の面方向すなわち素子面３Ｓ’に対して面対称な点を通過することにより、所定の空間に２次元像のみならず３次元像をも結像させることができる。なお、筒状体の鏡面２１’，２２’以外の壁面２３’，２４’を鏡面としないか、もしくは素子面３Ｓ’に対して垂直以外の角度をつけることにより、余分な反射をなくして、より鮮明な像を得ることができる。また、２面コーナーリフレクタ２’を構成する２つの鏡面２１’，２２’は全反射を利用することもできるし、反射膜による反射を利用することも可能である。特に、鏡面２１’，２２’の全反射を利用する場合、全反射には臨界角が存在するため、多重反射は起こりにくくなることが期待できる。さらに、鏡面を形成すべき筒状体の２つの面に金属反射膜を付け、筒状体同士を接着することも可能である。この場合、鏡面以外の面への非鏡面化等の多重反射対策は必要であるが、開口率が高くなり、透過率が高い２面コーナーリフレクタアレイを得ることができる。

その他、２面コーナーリフレクタを構成する２つの鏡面は、直交する２枚の反射面さえ形成できれば相互に接触させずに相互に間隙を空けて配置されていてもよく、さらに上述した穴や筒状体において２面コーナーリフレクタを構成する鏡面として機能する２つの面と他の面同士の角度については特に制約はない。単位光学素子として、平面形状が矩形状以外の多角形状のもの、三角形のもの、或いは２つの鏡面の反交点側の端部同士を接続する面が平面視ほぼ部分円弧状のものを適用しても構わない。なお、単位光学素子の平面形状を直角三角形とした場合には、単位光学素子として直角プリズムを利用することを意味する。

＜第２実施形態＞ 図１１に示すこの実施形態は、空中映像インタラクション装置１’’’の基本構成の一例を概略的に示したものである。この空中映像インタラクション装置１’’’は、第１実施形態における一変形例としての空中映像インタラクション装置１’と適用される結像光学系の構成のみが異なり、他の構成はほぼ同じであるため、共通の構成部材については第１実施形態と共通の符号を用いて説明するものとする。すなわち本実施形態では、結像光学系６として、ハーフミラー７と再帰反射素子（以下、「レトロリフレクタアレイ」と称する）８とを備えた実鏡映像結像光学系を利用しており、ハーフミラー７を嵌め込んだ上蓋７１を有する筐体４と、筐体４内に収容された２台のカメラ５１と、これらカメラ５１と接続された画像解析装置５２とによって構成される。上蓋７１におけるハーフミラー７１の外側には２つの小孔７２を形成しており、これら小孔７２を通じてカメラ５１でユーザ（物体）Ｕを撮影するように構成することができるようにしている。筐体４内には、ハーフミラー７の上方空間に投影される実像の元となる被投影物Ｏが収容される。

ハーフミラー７は、例えば透明樹脂やガラス等の透明薄板の一方の面に薄い反射膜をコーティングしたものを利用することができる。ハーフミラー７において光を透過し且つ反射する面であるハーフミラー面７Ｓが、本実施形態の空中映像インタラクション装置１’’’に適用される結像光学系６における光線屈曲面として機能している。

一方、レトロリフレクタアレイ８には、入射光を厳密に逆反射させるものであればあらゆる種類のものを適用することができ、素材表面への再帰反射膜や再帰反射塗料のコーティングなども考えられる。また、本実施形態ではレトロリフレクタアレイ８として平面的な形状のものを利用しているが、その形状は曲面としてもよい。例えば、図１２（ａ）に正面図の一部を拡大して示すレトロリフレクタアレイ８は、立方体内角の１つの角を利用するコーナーキューブの集合であるコーナーキューブアレイである。個々のレトロリフレクタ８Ａは、３つの同形同大の直角二等辺三角形をなす鏡面８Ａａ，８Ａｂ，８Ａｃを１点に集合させて正面視した場合に正三角形を形成するものであり、これら３つの鏡面８Ａａ，８Ａｂ，８Ａｃは互いに直交してコーナーキューブを構成している。また、図１３（ａ）に正面図の一部を拡大して示すレトロリフレクタアレイ８も、立方体内角の１つの角を利用するコーナーキューブの集合であるコーナーキューブアレイである。個々のレトロリフレクタ８Ｂは、３つの同形同大の正方形をなす鏡面８Ｂａ，８Ｂｂ，８Ｂｃを１点に集合させて正面視した場合に正六角形を形成するものであり、これら３つの鏡面８Ｂａ，８Ｂｂ，８Ｂｃは互いに直交している。このレトロリフレクタアレイ８は、図１２（ａ）のレトロリフレクタアレイ８とは形状が異なるだけで再帰反射の原理は同じである。図１２（ｂ）及び図１３（ｂ）に、図１２（ａ）及び図１３（ａ）にそれぞれ示したレトロリフレクタアレイ８を例にして説明すると、各レトロリフレクタ８Ａ，８Ｂの鏡面のうちの一つ（例えば８Ａａ，８Ｂａ）に入射した光は、他の鏡面（８Ａｂ，８Ｂｂ）、さらに他の鏡面（８Ａｃ，８Ｂｃ）で順次反射することで、レトロリフレクタ８Ａ，８Ｂへ光が入射してきた元の方向へ反射する。なおレトロリフレクタアレイ８に対する入射光と出射光の経路は、厳密には重ならず平行であるが、レトロリフレクタ８Ａ，８Ｂがレトロリフレクタアレイ８と比べて十分小さい場合には、入射光と出射光の経路が重なっているとみなしてもよい。これら２種類のコーナーキューブアレイの違いは、鏡面が二等辺三角形のものは比較的作成しやすいが反射率が若干低くなり、鏡面が正方形のものは二等辺三角形のものと比較して作成がやや難しい反面、反射率が高い、ということである。

図１４に、本実施形態に適用される結像光学系６の結像の原理図を、光線の反射・透過の状態を横方向から見た図で示す模式図として示す。この結像光学系６では、水平方向にハーフミラー７を配置し、このハーフミラー７の一端側（反観察側）においてハーフミラー面７Ｓの下面側、すなわち筐体４内に１枚のレトロリフレクタアレイ８を鉛直姿勢で配置することで、ハーフミラー７とレトロリフレクタアレイ８とがほぼ直交するようにしている。まず、被投影物Ｏ（図中、点光源として示す）から様々な方向に出た光がハーフミラー７のハーフミラー面７Ｓで反射し、レトロリフレクタアレイ８で反射して同じ方向へ再帰反射し、さらにハーフミラー面７Ｓを透過することによって、ハーフミラー７の上面の上方空間の一点で再び１点に集まる。すなわち、この集光は結像を意味する。この集光点は、被投影物Ｏのハーフミラー面７Ｓに対する面対称位置である。なお、本実施形態ではレトロリフレクタアレイ８が実像Ｐの観察の障害とならないように考慮して、レトロリフレクタアレイ８をハーフミラー７の下面側における筐体４内に収容しているが、実像Ｐの観察の障害とならない範囲であれば、レトロリフレクタアレイ８をハーフミラーの上面側に配置したり、ハーフミラー７の上下両面側に亘って配置することが可能である。すなわち、レトロリフレクタアレイ８をハーフミラー７の上面側に配置する場合には、被投影物Ｏから様々な方向に出た光がハーフミラー７を直線的に透過してレトロリフレクタアレイ８で同じ方向へ再帰反射し、さらにハーフミラー７で反射することによって、ハーフミラー７の上面の上方空間の一点で結像する。また、レトロリフレクタアレイ８をハーフミラー７の上下両面側に亘って配置する場合には、被投影物Ｏから出た光は上述した２つの光路を経て、共に被投影物Ｏのハーフミラー面７Ｓに対する面対称位置に結像する。すなわち、いずれの光路を通る光線も、被投影物Ｏのハーフミラー７（より詳細にはハーフミラー面７Ｓ）に対する面対称位置を通過するため、同じ位置に実像Ｐが共栄像として結像し、これを一定の視点から観察することができる。ここで、実像Ｐの被投影物Ｏに対する明るさ（光線の透過率）は、光路ごとに「ハーフミラー透過率」と「ハーフミラー反射率」と「コーナーキューブ反射率」の３つを乗じることによって得られる。仮に理想的な最大値として、「ハーフミラー透過率」及び「ハーフミラー反射率」を共に０．５、「コーナーキューブ反射率」をｒとすれば、何れか一方の光路を通った実像Ｐの透過率は共に０．２５ｒとなり、両光路Ｌ１、Ｌ２を合わせると実像Ｐ全体の透過率はその合計の０．５ｒとなる。

このように、本実施形態の空中映像インタラクション装置１’’’では、被投影物Ｏから出た光を、結像光学系６におけるハーフミラー７で斜め下方に反射させ、レトロリフレクタアレイ８で再帰反射させ、さらにハーフミラー７を直線的に透過させることにより、ハーフミラー面７Ｓを光線屈曲面として面対称位置に実鏡映像として結像させることで、実像Ｐをハーフミラー７の斜め上方から観察することができる。この実像Ｐの３次元位置は、第１実施形態の場合と同様に、筐体４におけるハーフミラー７の位置及び被投影物Ｏの位置を既知とすれば、実像Ｐはハーフミラー面７Ｓに対して必ず被投影物Ｏの面対称位置に結像するという規則性を利用して算出することができる。そして、実像Ｐにアクセスするユーザ（物体）Ｕは、筐体４の上蓋７１の小孔７２を通じて２台のカメラ５１によって直接撮影されることになる。２台のカメラ５１で撮影された映像が画像解析装置５２へ送信され、その映像情報に基づいて画像解析装置５２における画像解析及び位置特定プログラムによりユーザ（物体）Ｕの映像の特定及び３次元位置の計測が行われるのは、図７にフローチャートで示したとおり、第１実施形態の場合と同様である。さらに、得られたユーザ（物体）Ｕの３次元位置情報（又はそれに加えて実像Ｐの３次元位置情報）は、例えば被投影物Ｏが所定の制御プログラムに従って動作する物体又は映像である場合には、当該制御プログラムに対して出力されることについても第１実施形態で説明したとおりである。もちろん、被投影物Ｏが映像である場合には、制御プログラムは被投影物Ｏを別の映像に変化させるようなものであってもよいのも同様である。

以上の通り、本実施形態の空中映像インタラクション装置１’’’を上述のように利用することで、第１実施形態の場合と同様に、ハーフミラー面７Ｓの上方の空中に被投影物Ｏの実像Ｐを２次元的又は３次元的に投影することができる上に、その実像Ｐにアクセスするユーザ（物体）Ｕの３次元位置を容易に特定することが可能である。したがって、ユーザ（物体）Ｕの３次元位置情報を例えば被投影物Ｏの動作を制御する制御プログラムで処理することで、ユーザ（物体）Ｕの位置に応じて被投影物Ｏ及び実像Ｐを動作又は変化させることが容易となり、実像Ｐとユーザ（物体）Ｕとの仮想的なインタラクションを容易に実現ならしめることができる。また、本空中映像インタラクション装置１では、ユーザ（物体）Ｕにその３次元位置を特定するためのセンサを付帯させる必要がないため、例えば通りすがりに本空中映像インタラクション装置１を利用するユーザにも、何ら負担をかけることなく利用させることができる。また、空中映像インタラクション装置１’’’の外部にユーザ（物体）Ｕの位置を特定する赤外線・センサ対を設置する必要がないため、空中映像インタラクション装置１’’’自体を非常にコンパクトなものとして、設置場所や移動を比較的自由に設定することが可能である。

なお、ハーフミラー７及びレトロリフレクタアレイ８から構成される結像光学系６を備えた空中映像インタラクション装置１’’’の具体的構成は、上述した実施形態に限られるものではない。例えば第１実施形態の空中映像インタラクション装置１のように、カメラ５１によりハーフミラー７越しにユーザ（物体）Ｕの撮影を行うようにしてもよいし、その変形例である空中映像インタラクション装置１’’のように、カメラ５１をハーフミラー７の上方空間に配置してユーザ（物体）Ｕを直接撮影するようにしてもよいのはもちろんである。また、上述したように、レトロリフレクタアレイ８をハーフミラー７の上面側のみに配置したり、ハーフミラー７の上下両面側に亘って配置することも可能である。

また、本発明においては、カメラによりユーザ（物体）を撮影してその位置や形状を特定するのではなく、結像光学系により結像するユーザ（物体）の実像をハーフミラーにより被投影物とは分離して撮影することにより、そのユーザ（物体）の位置や形状を特定するように構成することも可能である。例えば図１５は、空中映像インタラクション装置１’’’’を側方から見た模式図であり、この例では、結像光学系として第１実施形態と同様の２面コーナーリフレクタアレイ３を適用している。同図に示されるように、被投影物Ｏからの光は、２面コーナーリフレクタアレイ３における各２面コーナーリフレクタ２で２回反射し、素子面３Ｓを屈曲しつつ透過することにより、素子面３Ｓに対する面対称位置に実像Ｐとして結像する。この２面コーナーリフレクタアレイ３による結像様式は、素子面３Ｓに対して対称的である。すなわち、実像Ｐに近づいてきたユーザ（物体）Ｕから出た光も、２面コーナーリフレクタアレイ３における各２面コーナーリフレクタ２で２回反射して、素子面３Ｓに対する面対称位置に実像Ｖとして結像する。ただし、ユーザ（物体）Ｕと実像Ｐとの位置関係によっては、実像Ｖが被投影物Ｏにより遮蔽されてしまい、部分的にしか、もしくは全く結像しないことがある。そこで本例では、素子面３Ｓと被投影物Ｏとの間、より詳細には、ユーザ（物体）Ｕから出て素子面３Ｓで屈曲した光線の、当該屈曲点から実像Ｖまでの光路の間にハーフミラー９を配置している。図示例では、ハーフミラー９を素子面３Ｓに対してほぼ垂直に配置した状態を示しているが、ハーフミラー９の素子面３Ｓに対する配置角度は適宜変更することができる。ハーフミラー９は、被投影物Ｏから出た光を直線的に透過させるため、実像Ｐの結像に問題は生じない。このように、ハーフミラー９を配置することで、ユーザ（物体）Ｕから出た光は、２面コーナーリフレクタアレイ３における各２面コーナーリフレクタ２で２回反射して素子面３Ｓを透過し、その透過光の一部は、ハーフミラー９で反射して、実像Ｖのハーフミラー９に対する面対称位置に実像Ｖ’として結像する。この実像Ｖ’をカメラ５１により撮影することで、ユーザ（物体）の位置や形状を特定することが可能となる。なお、ハーフミラー９の角度を調整することによって、カメラ５１から実像Ｖ’を観測したときに、その背景に被投影物Ｏが重ならないように配置することが可能となり、実像Ｖ’と被投影物Ｏとは分離した状態で、その位置や形状を特定することが可能となる。なお、本例では結像光学系として、２面コーナーリフレクタアレイ３を適用した例で説明したが、ハーフミラー７とレトロリフレクタアレイ８とを用いた結像光学系６や、他の結像光学系を適用することも可能である。

さらに本発明において、空中映像にアクセするユーザ（物体）の位置計測は、カメラを用いる方法のみならず、レーザースキャナによる位置計測、リンク機構における各間接の角度計測による位置計測、磁気センサ、超音波センサ、電波等による位置計測等の各方法を利用することができる。

また、実像Ｐとユーザ（物体）Ｕとの３次元位置が特定された場合、ユーザ（物体）Ｕと実像Ｐとが仮想的にインタラクションを行ったことへのフィードバックにより、実像Ｐを変化させる実像変化手段を空中映像インタラクション装置に設けることも考えられる。実像Ｐを容易に変化させるためには、上述したように被投影物Ｏを映像とすることが望ましく、その映像表示プログラムに被投影物Ｏの動的な変化を組み込む必要がある。具体的には、例えばユーザ（物体）Ｕの位置や形状に応じて実像を変化させる手法として、ユーザ（物体）Ｕの各点の位置計測を行うことでユーザ（物体）Ｕ３次元位置及び形状の測定を行い、計測した形状からユーザ（物体）Ｕの形状認識を行い、さらに認識した形状から動作認識を行うことで、例えば実像Ｐをつまむ、つかむ、なでる等のユーザ（物体）Ｕの動作を識別する。そして、計測された位置と実像の相対位置関係、及び形状・動作の情報から、被投影物Ｏに適切な変化を与えることで、実像Ｐに変化を生じさせ、ユーザ（物体）Ｕと実像Ｐとのインタラクションを実現することができる。

また、インタラクションによる他のフィードバックの手法としては、上述した実像変化手段と併せて又はそれとは別に、物体に力を及ぼす対物体作用機構を空中映像インタラクション装置に設けることも考えられる。対物体作用機構としては、例えば、ユーザが手指に前述のリンク機構の操作部を把持し、それを位置計測したうえで力覚情報を加味することにより、リンク機構からユーザの手指に反力を与えるというフォースフィードバックを利用する機能を例示することができる。この場合、リンク機構を構成する各リンクの長さは既知であり、さらに実像Ｐにアクセスしたユーザの手指につながる各リンクの角度情報を取得すれば、リンク機構の先端部（ユーザの手指）の座標を求めることができる。また、対物体作用機構の別の例としては、実像Ｐにアクセスするユーザの手指に空気流を与える空気流発生機構を利用することもできる。この場合、例えば上記実施形態における光線屈曲面の周囲（例えば上蓋３１，７１）に穴を形成し、その穴に渦輪もしくはエアジェットによる空気流を放出できるエアーノズルを配置しておき、ユーザの手指が実像を横切ったことを位置認識により特定した時点で空気流を放出することにより、ユーザに触覚を与えるようにすることができる。エアーノズルは、空気流の方向制御（方位角、仰角の２軸制御が可能なもの）機構を備え、位置を特定したユーザの手指に対して空気流を噴射できるようなものが望ましく、この場合、上述のリンク機構とは異なり、ユーザに装具の装着の必要がないという利点がある。その他、対物体作用機構には、実像Ｐにアクセスするユーザ（物体）Ｕに取り付けたワイヤによるフォースフィードバック、ユーザ（物体）Ｕに取り付けた振動モータによる触覚フィードバック等を利用することができる。

その他、各部の具体的構成についても上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で種々変形が可能である。

本発明の空中映像インタラクション装置は、空中映像とユーザとのインタラクションを可能とする映像機器、アトラクション装置、教育機器、医療機器等の分野に応用することが可能である。

Claims (18)

1. 光線の光路が屈曲することとなる１つの平面を構成する光線屈曲面と、前記光線を反射する複数の鏡面とを有する結像光学系であって、前記光線屈曲面の一方面側に配置される被投影物の実像を、前記被投影物から発せられる光線が前記光線屈曲面を透過し且つ前記複数の鏡面で合計２回以上反射することによって当該光線屈曲面の反対面側に前後を反転させて結像する結像光学系と、
   前記実像に近接させた物体の位置、又は位置及び形状を特定する物体特定手段と、を具備してなることを特徴とする空中映像インタラクション装置。
2. 前記物体特定手段により特定された前記物体の位置、又は位置及び形状を利用して、前記実像を変化させる実像変化手段をさらに具備している請求項１に記載の空中映像インタラクション装置。
3. 前記物体特定手段により特定された前記物体の位置、又は位置及び形状を利用して、前記物体に力を及ぼす対物体作用機構をさらに具備している請求項１又は２の何れかに記載の空中映像インタラクション装置。
4. 前記対物体作用機構は、機械的なリンク機構を有するものである請求項３に記載の空中映像インタラクション装置。
5. 前記対物体作用機構は、空気の流れを発生させる空気流発生機構を有するものである請求項３又は４の何れかに記載の空中映像インタラクション装置。
6. 前記結像光学系は、前記光線屈曲面となる素子面に垂直もしくはそれに近い角度で配置された前記複数の鏡面による光の反射を行う単位光学素子を複数備え、これら複数の単位光学素子により前記素子面の一方面側に配置される被投影物の実像を当該素子面の反対面側に結像する結像光学素子である請求項１乃至５の何れかに記載の空中映像インタラクション装置。
7. 前記結像光学素子は、前記単位光学素子が、直交する２つの鏡面によって構成され２面コーナーリフレクタとして機能する２面コーナーリフレクタアレイである請求項６に記載の空中映像インタラクション装置。
8. 前記結像光学系は、前記光線屈曲面となるハーフミラー面を有するハーフミラーと、該ハーフミラーからの透過光若しくは反射光を再帰反射させる位置に配置され前記複数の鏡面からなる単位再帰反射素子の集合であるレトロリフレクタアレイとを具備するものである請求項１乃至５の何れかに記載の空中映像インタラクション装置。
9. 前記物体特定手段を、前記光線屈曲面に対して固定された相対位置に配置している請求項１乃至８の何れかに記載の空中映像インタラクション装置。
10. 前記物体特定手段は、前記物体を撮影する１台以上のカメラと、当該カメラで撮影された映像から前記物体の位置、又は位置及び形状を解析する画像解析装置とを具備して構成される請求項１乃至９の何れかに記載の空中映像インタラクション装置。
11. 前記カメラを、前記光線屈曲面に対して前記被投影物と同じ側に配置している請求項１０に記載の空中映像インタラクション装置。
12. 前記カメラを、前記光線屈曲面を透して直接前記物体を撮影し得る位置に配置している請求項１１に記載の空中映像インタラクション装置。
13. 前記光線屈曲面と前記被投影物との間にハーフミラーを配置し、前記カメラを、前記ハーフミラーにより反射された前記物体に対する前記結像光学系による実像を撮影するように配置している請求項１１に記載の空中映像インタラクション装置。
14. 前記物体特定手段は、前記物体を撮影する１台以上のカメラと、当該カメラで撮影された映像から前記物体の位置を解析する画像解析装置とを具備して構成されるものであり、前記カメラを、前記各単位光学素子の鏡面に１度だけ反射させて前記物体を撮影し得る位置に配置している請求項６又は７の何れかに記載の空中映像インタラクション装置。
15. 前記カメラを、前記光線屈曲面を透すことなく直接に前記物体を撮影し得る位置に配置している請求項１０に記載の空中映像インタラクション装置。
16. 前記カメラを、前記光線屈曲面に対して前記実像と同じ側に配置している請求項１０に記載の空中映像インタラクション装置。
17. 前記カメラの少なくとも１台が、距離画像を取得できる距離測定カメラである請求項１０乃至１６の何れかに記載の空中映像インタラクション装置。
18. 請求項１乃至１２の何れかに記載の空中映像インタラクション装置において利用されるコンピュータプログラムであって、
    前記物体特定手段により前記物体の位置、又は位置及び形状を計測し、その計測結果に基づいて当該物体の位置、又は位置及び形状を特定する物体特定工程と、
    前記物体特定工程で特定した前記物体の位置、又は位置及び形状に係る情報を、前記物体の位置、又は位置及び形状に対応して前記被投影物を制御する所定のインタラクションプログラムへ出力する物体情報出力工程とを備えていることを特徴とするプログラム。

Images