JP4549213B2 - 多重シーン撮像用光学素子および視線検出入力装置 - Google Patents

Description

本発明は、異なる方向にある複数のシーン（光景）を同時に一つの撮像面に導くことができる多重シーン撮像用光学素子、およびそれを用いて構成される視線検出入力装置に関するものである。

前方にある二つの光景の光を観察者の眼へ同時に導くための光学系については、下記の特許文献１に記載がある。同文献１に示されたものは、たとえば図５のように構成されている。すなわち、隣接する二箇所にレンズ部分５１ａ・５１ｂをもつレンズ５１と、それらを通った光を反射等して経路変更させるホログラフィックプレート（ガラス板）５２とが、互いに接近した位置に配置されている。ホログラフィックプレート５２には、入力ホログラフィック光学素子５３と出力ホログラフィック光学素子５４とが取り付けられている。

光景Ａからの入射光は、レンズ部分５１ａから入力ホログラフィック光学素子５３を経てホログラフィックプレート５２に入り、反射を繰り返して出力ホログラフィック光学素子５４から観察者の眼５５に達する。一方、光景Ｂからの入射光は、レンズ部分５１ｂからホログラフィックプレート５２内にほぼ直角に入り、そのまま同じ観察者の眼５５に至る。こうして、光景ＡおよびＢの双方の光が観察者の眼５５に届くわけである。
特表２００１−５１４７６４号公報

また、眼の像を撮影することにより、視線の方向を把握して視線がとらえている対象を計測する眼鏡型の視線検出装置については、図６に示す構成のものが下記の特許文献２に記載されている。その視線検出装置は、透明板６４・６５を有するメガネフレーム６１上に、照明ユニット６２と撮像ユニット６３、および映像の表示ユニット６６が取り付けられたものである。

図６の装置では、照明ユニット６２によって使用者の眼ｅに照明を当てながら、撮像ユニット６３（およびそれに接続されたコントロールユニット（図示省略））によってその使用者の視線の方向を判定する。表示ユニット６６は、ホログラム光学素子（ディスプレイ）６７により、いくつかの選択肢を含む映像を使用者に表示している。そのため、この視線検出装置（のコントロールユニット）は、上記のように判定する視線の方向から、ディスプレイの映像中のどの選択肢を使用者が見ているかを把握し、その信号を各種機器の制御に利用する。
特開２００３−２３０５３９号公報

特許文献１に記載された光学系は、二つの光景からの光を同時に一つの撮像面に導くことができるものだが、レンズとホログラフィックプレートとを組み合わせるなど構成が複雑であるため、大きくて重いものになってしまう。そのため、メガネフレーム等に組み込んでメガネと同様に使用することは実際にはかなり難しいと予想される。また、複数の光学素子に光を通過させるほか何度も光を反射させるため、像にひずみが生じ、光学系に適切な調整を加える必要がある、といった不都合もあり得る。

一方、特許文献２に記載の視線検出装置は、視線の方向（黒目の位置）のみを検出しているものであり、視線がとらえている対象を計測するには別の手法を必要とする。特許文献２の例では、ディスプレイ上のどの選択肢を見ているかを計測するために、あらかじめディスプレイ上のサンプル点の位置を見ているときの黒目の位置を調べておき、その情報に基づいて計測を行う。しかしこのようにするには、使用する計測機器が増えるほか、相当に複雑な演算ないしキャリブレーションを行うことも不可欠になる。また、視線がとらえている対象について計測できる範囲をディスプレイ上の選択肢に限る場合、実空間にある任意の光景のうちから何に視線を向けているかを把握することは不可能で、装置の用途はかなり限定されたものにならざるを得ない。

本発明はこのような課題を解決することを目的としている。すなわち、簡単な構成の多重シーン撮像用光学素子を提供し、さらには、それを含めて構成され、視線がとらえている対象をより直接に検知できるうえ実空間における視線の方向をも知ることができる視線検出入力装置を提供するものである。

発明による多重シーン撮像用光学素子は、異なる方向にある複数のシーン（光景）を同時に一つの撮像面に導くためのもので、複数のシーンのそれぞれの光を上記一つの撮像面上に結像させるようにした単一のホログラフィック光学素子から構成したことを特徴とする。
ここにいう「ホログラフィック光学素子」とは、ホログラフィ技術による光学的機能を有する要素をさす。「単一のホログラフィック光学素子」は、レンズやミラー等を組み合わせることなく、一体の素子で構成されるものを意味する。また「入力面」および「撮像面」は、平面に限らず、任意の曲面であってよい。図１・図２等に示す光学素子１は、上記したホログラフィック光学素子であり、発明による多重シーン撮像用光学素子の一例である。

こうした多重シーン撮像用光学素子は、二つ以上のシーンを観察者の眼やカメラなどに同時に導きたい場合に広く利用できる。しかし従来のものとは違って単一のホログラフィック光学素子から構成したものであるため、コンパクト化および軽量化することができるうえ、光学的な調整を施さなくとも像のひずみが小さくなるという顕著な利点がある。このような利点は、前記した特許文献１（特表２００１−５１４７６４）に記載の光学系（図５を参照）にはないものである。

上記のホログラフィック光学素子としては、各シーンの光を上記一つの撮像面上に結像させるための屈折率分布を有する面状のホログラムであり、複数のシーンのそれぞれの光についての屈折率分布を集積されたものを使用するのがよい。そうすれば、上記した多重シーン撮像用光学素子を、格別な困難を伴うことなく製造し、具体化することができる。

上記のホログラフィック光学素子は、素子をはさむ両側にあるシーンを、一方の側にある一つの撮像面上に結像させるものとするのが好ましい。「素子をはさむ両側にあるシーンを、一方の側にある一つの撮像面上に結像させるもの」というのは、すなわち、透過型と反射型とを集積したホログラフィック光学素子をさす。
かかるホログラフィック光学素子を使用するなら、多重シーン撮像用光学素子により、１８０°程度離れた方向にある複数のシーンを一つの撮像面上に結像させるという、前記の特許文献１の光学系には含まれない機能を発揮させることが可能になる。

発明による視線検出入力装置は、
・ 上記したいずれかの多重シーン撮像用光学素子を、人の視野にある光景とその人の眼部の像とを同時に一つの撮像面上に結像させるよう配置し、
・ さらに、上記撮像面の位置に、人の視野にある光景とその人の眼部の像とを同時に取り込むように撮像素子を設けた
ことを特徴とする。図２・図３等において光学素子１および撮像素子ｃ等により構成した視線検出入力装置は、上記視線検出入力装置の一例である。

こうした視線検出入力装置によれば、一つの撮像素子により、眼部（黒目とその周辺）と視野にある光景との両方が撮像される。そのため、他の光学系機器は不要であり、シンプルかつ小型に装置を構成することができる。また、双方の像が別々の撮像素子に取り込まれるのではないため、計測機器を用いて特殊な演算やキャリブレーション等をしなくとも、視線が捉えている対象を正確かつ容易に把握することができる。
前記した特許文献２（特開２００３−２３０５３９）の技術が眼部のみを撮像したうえその視線がディスプレイ上の映像のどの部分に向けられているかを判断するのに対し、発明の装置は、眼部と実空間とを撮像し、実空間上のどこに視線が向けられているのかを検出する。つまり、検出できる視線の向きが特定のディスプレイ上に限定されない。しかも、眼部と実空間とを撮像するにもかかわらず、上記のとおり別々の撮像素子等が不要でありキャリブレーション等も必要もないわけである。

上記の視線検出入力装置においては、
・ ホログラフィック光学素子を、素子の前方にある光景と素子の後方にある眼部の像とを一つの撮像面上に結像させる面状のものとしてメガネフレームのレンズ部相当箇所に取り付け、
・ 上記の撮像素子も、同じメガネフレームに取り付ける------のが好ましい。

そのようにすれば、使用者がこの視線検出入力装置をメガネのように頭部に装着し、従来のパーソナルコンピュータ用マウス等に代わる、視線検出により信号を入力する装置として使用することができる。メガネフレーム上にホログラフィック光学素子と撮像素子とを取り付けるのであるから、ハンズフリーの新しい入力デバイスとなる。なお、前方の光景と後方の眼部とを、単一のホログラフィック光学素子が共通の撮像素子に結像させることから、コンパクトかつ軽量に構成することが可能である。

上記の視線検出入力装置には、
・ 上記のホログラフィック光学素子と上記の撮像素子、および撮像素子が発する視線検出情報を外部に伝える送信手段を取り付けるほか、
・ 外部から伝えられる情報を受け取る受信手段、および受信手段により受け取った情報を視覚的または聴覚的に表す情報提示手段をも付属させる------のがよい。
図４に示す視線検出入力装置２０は、送信手段２および受信手段８等を付属させたもので、ここにいう視線検出入力装置の一例である。

こうした視線検出入力装置は、まず、ホログラフィック光学素子と撮像素子、送信手段を備えるので、使用者が視線を向けている対象を検出し外部へ送信することができる。また、受信手段と情報提示手段とを有するので、使用者に対し、外部からの情報を視覚的または聴覚的に提供することができる。つまり使用者は、この視線検出入力装置を用いて双方向の情報伝達を行えることになる。

上記の送信手段および受信手段を、データベースまたは情報提供者もしくは作業指示者の端末装置に接続するなら、さらに好ましい。
そうすると、撮像素子からの情報をデータベースやエキスパート（情報提供者・作業指示者）に送信し、それらからの情報を情報提示手段に表示して使用者に提供することができる。つまり、この視線検出入力装置をウェアラブルの入出力端末として、ネットワーク等を介し、遠隔のデータベースやエキスパートとの間で双方向の情報伝達が可能になる。

上記視線検出入力装置においては、
・ 上記のホログラフィック光学素子を、素子の前方にある光景と素子の後方にある眼部の像とを一つの撮像面上に結像させる面状のものとしてメガネフレームのレンズ部相当箇所に取り付け、上記の撮像素子を、同じメガネフレームに取り付けるとともに、
・ 受信手段にて受信した情報を視覚的に表す情報提示手段を、同じメガネフレームにおけるレンズ部相当箇所に取り付ける------のがよい。
図４の視線検出入力装置２０は、そのような構成を例示したものでもある。
そのようにすれば、一般のメガネのように頭部に装着できる装置として視線検出入力装置を構成でき、ハンズフリーの使いやすい双方向情報伝達手段となる。

発明による多重シーン撮像用光学素子によれば、構成が簡単で軽量かつコンパクトでありながら、異なる方向にある複数のシーン（光景）を同時に一つの撮像面に導くことができ、しかも像のひずみが小さくなる。

発明による視線検出入力装置によれば、一つの撮像素子によって、眼部と、視野にある光景との両方が撮像される。そのため、キャリブレーションをしなくても、また特殊な演算をしなくても、視線が捉えている対象を正確かつ容易に把握することができる。特定のディスプレイ内の制限された光景に限らず、実空間におけるどの光景を見ているかを検知できるという利点もある。そしてこの装置は、従来のパーソナルコンピュータ用マウス等に代わる、視線検出により信号を入力する装置とすることが可能であるほか、双方向の情報伝達を行えるウェアラブルの入出力端末に構成することもできる。

図１（ａ）〜（ｃ）に、発明の実施形態としての多重シーン撮像用光学素子１とその作製手順を示す。

まず図１（ａ）は、透過型ホログラフィック光学素子（ホログラム）１ａの作製要領を示す図である。入力面１の位置Ｐ１にある光源Ｏ₁からの光と、光学素子１ａに対して入力面１の光源Ｏ₁からの光と同じ側から入射し、かつ観測面の位置Ｐ２に結像する光との干渉縞を、光学素子１ａに記録する。そうすると、光学素子１ａにおける干渉縞による光の干渉・回折作用によって、入力面１の位置Ｐ１の光景が上記の観測面の位置Ｐ２上に結像する。

図１（ｂ）は反射型ホログラフィック光学素子（ホログラム）１ｂの作製要領を示すもので、入力面２の位置Ｐ3にある光源Ｏ₃からの光と、光学素子１ｂに対して入力面の光源の反対側から入射し位置Ｐ4に結像する光との干渉縞を、位置Ｐ3と位置Ｐ4から同一の向きに離して置いた光学素子１ｂに記録する。こうした光学素子１ｂを用いると、入力面２の位置Ｐ3の光景が光学素子１ｂからみて同じ側にある観測面の位置Ｐ4上に結像する。

図１（ｃ）に示す多重シーン撮像用光学素子１は、図１（ａ）・（ｂ）によって形成される透過型および反射型のホログラフィック光学素子１ａ・１ｂを集積することにより作製する。光学素子１ａ・１ｂを集積することは、たとえば、干渉縞を記録する一つの感光体に図１（ａ）・（ｂ）に示す双方の露光を行ったうえ当該感光体を現像処理することにより行えるが、コンピュータシミュレーションによる干渉縞情報に基づく屈折率分布を電子ビーム描画等によって作製するのもよい。いずれの場合も、多重シーン撮像用光学素子１は、ホログラム等と呼ばれる単一のホログラフィック光学素子として構成される。

作製した光学素子１によると、入力面１の位置にある物ｍなどのシーンが上記観測面上に結像するとともに、入力面２の位置にある眼部ｅなどのシーンも同じ観測面上に結像する。つまり、この多重シーン撮像用光学素子１には、物ｍなどの光を観測面上に結像するレンズ機能と、眼部ｅなどの光を反射して観測面上に結像させるミラー機能およびレンズ機能とが備わっている。したがって、その観測面に撮像面ｓの位置を合わせて撮像素子ｃを配置するなら、その撮像素子ｃには、二つのシーン（物ｍおよび眼部ｅ）が一つの画像として結像することになる。なお、上記した集積の数を増やせば、３以上のシーンを同じ画像として結像させることも可能である。なお、上述した作製方法において、入力面および観測面は平面に限らず任意の曲面であっても可能である。

図２は、多重シーン撮像用光学素子を用いて人の視線検出入力を行う方法を概念的に示す図である。上述のようにして作製した図１（ｃ）の多重シーン撮像用光学素子１を、図２（ａ）のとおり使用者の眼部ｅの前に置き、その使用者の頭の横などにＣＣＤカメラ等の撮像素子ｃを配置する。そうすると、撮像素子ｃには、図２（ｂ）に示すように、使用者の前方にある物ｍの画像ｍ’とともに使用者の眼部ｅの画像ｅ’とが１枚の画像として撮り込まれる（画像の重なり方は任意に設定できる）。その画像には、前方に見えるシーンが映るとともに、使用者の黒目の位置が表示されるため、その使用者が視線をどこに向けて何をとらえているかをその画像から容易に知ることができる。

そのような原理にしたがい、コンピュータ用のウェアラブルなメガネ型の視線検出入力装置として、図３に示す装置１０を構成することができる。図示の視線検出入力装置１０は、メガネフレーム１１の左右のレンズ部相当箇所に多重シーン撮像用光学素子１を取り付け、同じフレーム１１のうち耳かけに近い左右の部分に撮像素子ｃを取り付けている。

こうした視線検出入力装置１０は、使用者がメガネと同じように頭部に装着したうえ、マウス等に代わるコンピュータ用入力装置として使用することができる。つまり、見ようとしているシーンが視野に入るように顔を向けて視線検出入力装置１０の向きを定めるとともに、その視野のうちの特定のシーン（物ｍなど）に視線を向ければ、撮像素子ｃの１画像中に撮り込まれる当該物ｍなどの画像ｍ’と使用者の眼部ｅの画像ｅ’とから、視線による使用者の意図を検知できる。一定時間以上凝視したことや特定回数の瞬きをしたこと等をその意図の確定信号として定めれば、マウス等と同様の入力機能を全くのハンズフリーで実現できることになる。使用者が動いても視線検出に支障がないことは言うまでもない。
左右のレンズ部相当箇所に多重シーン撮像用光学素子１を取り付ければ、右目眼部の像と右目の視野を含む画像、および左目眼部の像と左目の視野を含む画像より、人の視野の３次元情報を取得できる。

図４には、メガネフレーム２１上に、上記した多重シーン撮像用光学素子１や撮像素子ｃとともにディスプレイ６（つまり使用者に対して視覚的に情報を伝える情報提示手段）を取り付けたメガネ型の視線検出入力装置２０などを示している。上記の光学素子１は右側（または左側）のレンズ部相当箇所に取り付け、それと反対の側のレンズ部相当箇所にディスプレイ６を取り付けている。撮像素子ｃは、光学素子１の後面に向けて耳かけ部の付近に取り付けた。また、撮像素子ｃには、その画像情報を外部に伝える送信手段２を接続し、ディスプレイ６には、外部からの画像情報をディスプレイ６に取り込むための受信手段８を接続している。

この視線検出入力装置２０によると、多重シーン撮像用光学素子１と撮像素子ｃおよび送信手段２の作用により、使用者の視線による入力情報を外部へ送信することができるばかりでなく、受信手段８とディスプレイ６とを有することから、外部からの情報を使用者へ視覚的に提供することができる。つまり、この視線検出入力装置２０を用いれば、使用者は外部との間で双方向の情報伝達を行える。ディスプレイ６に代えて、またはディスプレイ６とともに、イヤフォン７のような聴覚的な情報提示手段を設けることも可能で、そうした場合にも同様の双方向情報伝達が可能である。

視線検出入力装置２０は、図４のようにネット（情報伝達網）３０に接続し、同様にネット３０に接続されたデータベース４１等との間で情報の送受信システムを形成するのもよい。視線検出入力装置２０の使用者は、送信手段２から送る信号（視線による入力情報）によってデータベース４１中の特定の情報にアクセスし、受信手段８を介して当該データベース４１中の情報につき提示を受ける。その場合、ディスプレイ６に表示される情報のうち何を見ているかについても、使用者の黒目の動きを撮像素子ｃで認識することにより視線検出入力装置２０が検知してデータベース４１へ送信することとすれば、情報の選択や収集がとくに容易に行える。

上記した送受信システムにおいて、視線検出入力装置２０が、エキスパート（特定の作業の熟練者であって作業指示や情報提供をなし得る者）の使用する端末機器４２に接続される場合にもメリットがある。たとえば、
1) 視線検出入力装置２０の使用者が見ているシーンとその使用者の視線がとらえている対象とを、遠隔地にいるエキスパートの端末機器４２に伝え、その画面に表示する、
2) そのエキスパートは、端末機器４２の画面を見て使用者の作業状況等を知り、作業対象部分や注目すべき箇所を教えたり必要なデータやマニュアルを提示したりするなど、ディスプレイ６やイヤフォン７などの情報提示手段を介して使用者に作業指示を出す
------といった使い方をすることも可能だからである。
同様にして、手術中の医師に対する情報提供システムや、遭遇状況に合ったルートを指示するなどの誘導ナビゲーションシステム、さらには、読んでいる箇所の外国語を翻訳する辞書システムなどとして送受信システムを構成し、好ましい使用をすることも可能である。用途によっては、情報提示手段を有しない視線検出入力装置（たとえば図３の装置１０など）を、図４の装置２０に代えて使用できる場合もある。

図１（ａ）〜（ｃ）は、発明の実施形態としての多重シーン撮像用光学素子１とその作製手順を示す図である。 図２（ａ）・（ｂ）は、多重シーン撮像用光学素子を用いて人の視線検出入力を行う方法を概念的に示す図である。 多重シーン撮像用光学素子１を使用して構成したメガネ型の視線検出入力装置１０を示す斜視図である。 メガネ型の視線検出入力装置２０と、それを含む送受信システムを示す概念図である。 前方にある二つの光景の光を観察者の眼へ同時に導くための従来の光学系を示す要部断面図である。 従来の眼鏡型の視線検出装置を示す斜視図である。

符号の説明

１ 多重シーン撮像用光学素子
ｃ 撮像素子
ｍ 物
ｅ 眼部
２ 送信手段
６ ディスプレイ（情報提示手段）
７ イヤフォン（情報提示手段）
８ 受信手段
１０・２０ 視線検出入力装置
３０ ネット
４１ データベース

Claims (5)

1. 単一のホログラフィック光学素子からなり、当該素子をはさむ両側にあるシーンを一方の側にある一つの撮像面上に結像させるよう構成された多重シーン撮像用光学素子が、人の視野にある光景とその人の眼部の像とを同時に一つの撮像面上に結像させるようメガネフレームのレンズ部相当箇所に取り付けられ、
   上記撮像面の位置に、人の視野にある光景とその人の眼部の像とを同時に取り込むように撮像素子が設けられて同じメガネフレームに取り付けられている
   ことを特徴とする視線検出入力装置。
2. 上記のホログラフィック光学素子と上記の撮像素子、および撮像素子が発する視線検出情報を外部に伝える送信手段のほか、
   外部から伝えられる情報を受け取る受信手段、および受信手段により受け取った情報を視覚的または聴覚的に表す情報提示手段を備える
   ことを特徴とする請求項１に記載の視線検出入力装置。
3. 上記の送信手段および受信手段が、データベースまたは情報提供者もしくは作業指示者の端末装置に接続されていることを特徴とする請求項２に記載の視線検出入力装置。
4. 受信手段にて受信した情報を視覚的に表す情報提示手段が、同じメガネフレームにおける、上記多重シーン撮像用光学素子が取り付けられた側とは別のレンズ部相当箇所に取り付けられている
   ことを特徴とする請求項２または３に記載の視線検出入力装置。
5. 請求項３または４に記載の視線検出入力装置を含む送受信システムであって、
   上記の撮像素子が上記送信手段を介して上記視線検出情報を上記端末機器に伝えるのに対し、上記の端末機器が、当該視線検出情報を受けて、それに応じた必要な指示または情報を上記受信手段を介して上記情報提示手段に提供するものであること
   を特徴とする視線検出入力装置を含む送受信システム。

Images