JP4444091B2 - 観察システムおよび観察方法 - Google Patents

Description

本発明は、観察者にとって、観察されるべき物体が、その上にスーパーインポーズされた追加のイメージ情報を有することができる、観察システムおよび観察方法に関する。

そのような重ね合わせは、例えば、カメラによって、観察されるべき物体を記録することによって、電子的に行うことができる。カメラによって生成されたイメージデータは、スーパーインポーズされるべきイメージデータとコンピュータ内で混合されたのち、ディスプレイを介して観察者に提供される。しかしながら、このことは、直接観察が観察者にとってもはや可能ではなくなるという欠点がある。観察者はもはや自分自身で直接自分の環境を視認することができず、このことは明確に観察者の方針に不利な影響を及ぼす。

また、光混合が公知である。この光混合においては、一方では観察されるべき物体が、他方ではディスプレイ装置からのスーパーインポーズされるべきイメージ情報（付加部分）が、スプリッタミラーまたはスプリッタキューブによってそれぞれスーパーインポーズされる。このことは通常、スーパーインポーズされるべきイメージの両方が瞳孔平面内に置かれるように行われる。それ故、実際の物体に対する付加部分の位相幾何学的関係がない。また、イメージ表面全体に渡って観察者に対する（それぞれ、スプリッタキューブまたはスプリッタミラーによる）光透過性があるために、重ね合わせが行われる。従って、付加部分の全領域が実シーンの上にスーパーインポーズされ、透過性は、（ディスプレイの輝度を変えることによって）付加部分の輝度を変えるのみならず、（例えば、絞りによって）実物体の輝度を変えることによって、間接的にのみ調節することができる。

そこで、本発明の目的は、視認可能な実物体の上に、更なるイメージ情報をスーパーインポーズする可能性が改善され一層柔軟になった観察システム、および、それを用いた観察方法を提供することにある。

本発明によれば、前記目的は、複数のピクセルによって形成された二次元モジュレータ領域を備えたモジュレータと、前記モジュレータに接続され、前記ピクセルが互いに別々に第１状態と第２状態を有することを可能にする制御装置と、観察されるべき物体を前記二次元モジュレータ領域に投影する中間結像光学部品とを備え、前記中間結像光学部品による投影により前記ピクセルに当たる放射線のうち第１状態にあるピクセルに当たる放射線だけが光学観察通路へ進むことを特徴とする観察システムによって達成される。このことにより、前記物体のうちの正確に規定された部分を、前記光学観察通路へ、従って、観察者の目へ提供することができる。他の領域のイメージ内容は観察者に提供されず、従って、「パンチアウト」されたようになる。パンチアウト領域は、もちろん、そういうものとしてイメージ情報を表すので、観察者には、その上にスーパーインポーズされたパンチアウト領域のイメージ情報を有する観察されるべき物体が見える。

従って、モジュレータは、第１状態にあるピクセルに投影される物体のその部分だけが、光学観察通路を介して観察者に見えるように、具体化され配置される。
より詳細には、前記制御装置は、所望のイメージ情報を前記二次元モジュレータ領域の平面内に共に表示するピクセルを、第２状態に切り換えるように、具体化される。この情報は、矢印、点、十字形、または他の簡単な図形などのマークであってもよい。所望の輪
郭または表面を表示することも可能である。ピクセルの数とサイズによる制限があるだけである。

モジュレータとしては、傾斜ミラーマトリックスまたは反射ＬＣＤモジュールなどの反射モジュレータか、透過ＬＣＤモジュールなどの透過モジュレータを使用することができる。

また、前記観察システムは、照明放射線を二次元モジュレータ領域へ向けて、第２状態にあるピクセルに当たる照明放射線だけが光学観察通路へ進むようにする照明装置を備えることができる。従って、「パンチアウト」イメージ領域をカラーで観察者に示すことができる。そのため、例えば矢印を、どんな所望の色ででも表示することができる。

本発明による観察システムの最適な実施態様は、ディスプレイとディスプレイ光学部品からなるディスプレイ装置を備え、前記ディスプレイ光学部品は、前記ディスプレイが生成したイメージを前記二次元モジュレータ領域に投影し、前記ディスプレイ装置は、前記ディスプレイ光学部品による投影によりピクセルに当たる放射線のうち第２状態にあるピクセルに当たる放射線だけが前記光学観察通路へ進むように、配置され具体化されている。従って、パンチアウトイメージ領域を何らかの他のイメージ情報で埋めることができる。そのため、このことは、観察者に対する更なるイメージ情報を、観察されるべき実際の物体の上に望み通りにスーパーインポーズすることができるという効果がある。

また、前記制御装置は、それが、単位時間当たりの第１状態と第２状態における各ピクセルの停止時間が所定値に相当するように、各ピクセルを制御するように、設けることができる。これにより、パンチアウト領域を、観察者に対し、半透明形態で示すことができる。従って、観察者は、パンチアウトされていない観察されるべき物体の部分と比べて低減された輝度を有するパンチアウト部分を見る。このことは、もちろん、低減された輝度を有する観察されるべき物体全体を表示するためにも使用することができる。前記制御はまた、観察されるべき物体を基準として、パンチアウトイメージ部分へ反射されるイメージの輝度を自由に調節するができる。

前記観察システムは、光学観察通路を観察者が直接点検できるように、あるいは、光学観察通路がその中に設けられた観察光学部品を有し、それを通して、ユーザが、モジュレータを介して調節されたスーパーインポーズされたイメージを見ることができるように、設けることができる。このように、所定の条件に従って所望の観察システムを設けることが可能である。

例えば、前記観察システムは、ユーザのヘッドに装着される装置として設けることができる。そのような装置は、しばしば、ＨＭＤ装置（ヘッドマウンテッドディスプレイ装置）とも呼ばれる。一方、前記観察システムは、中間結像が行われるどんな従来の観察システムにおいても実現することができる。モジュレータは、基本的には、中間イメージ平面内に適切に配置されなければならない。従って、前記観察システムは、特に、顕微鏡として設けることができる。例えば、そのような顕微鏡によって行われる操作において、目に見えない血管および骨または同類のものといった、外科医に対する更なるイメージ内容を、外科医が見えるイメージの中に挿入することが可能となる。

前記観察システムの中間結像光学部品はまた、焦点機能付き光学部品または自動焦点機能付き光学部品として設けることができる。前記観察システムがＨＭＤ装置として設けられる場合は、ユーザのヘッドの位置を感知すると共に、制御装置にこれらのデータを送信し、その結果、制御装置が前記データに基づいてピクセルを適宜制御できるようにする、更なる装置を設けることが、更に可能である。

前記目的はまた、各ピクセルがそれぞれが別々に第１状態と第２状態に切り換えられることができる複数のピクセルによって形成されたモジュレータの二次元モジュレータ領域へ、観察されるべき物体を投影するステップと、所望のイメージ情報を前記二次元モジュレータ領域の平面内に共に表示するピクセルを第２状態に切り換えるステップと、前記投影によりピクセルに当たる放射線のうち第１状態にあるピクセルに当たる放射線だけを光学観察通路に向けて、第２状態にあるピクセルに投影された物体の部分が観察者によって見えないようにするステップとを備えた観察方法によって達成される。

この方法は、生成されるべきイメージの所望の重ね合わせを容易に可能にする。
前記方法によれば、照明放射線を更に前記二次元モジュレータ領域へ向けて、第２状態にあるピクセルに当たる照明放射線だけが前記光学観察通路へ進むようにすることができる。これにより、所望のイメージ情報をユーザに対してカラーで表示することができる。

本発明による観察方法の特に好適な実施態様においては、第２イメージを前記二次元モジュレータ領域に投影して、前記第２イメージの投影によりピクセルに当たる放射線のうち第２状態にあるピクセルに当たる放射線だけが前記光学観察通路に向かうようにする。この方法を用いて、観察されるべき物体は、重ね合わせによって、ユーザに対するどんな所望のイメージ情報とでも、最も簡単な方法で表示することができる。

また、本発明による観察方法においては、単位時間当たりの第１状態と第２状態における各ピクセルの停止時間が所定値に相当するように各ピクセルを制御することができる。これにより、観察されるべき物体の所望の縮尺または透明度をそれぞれ設定することができる。

本発明の更なる利点と実施態様は、図を参照した実施態様の以下の説明から明らかである。
図１は、本発明による観察システムの第１実施態様を示す図である。この実施態様において、観察システムは、モジュレータ１を備え、このモジュレータ１は、二次元モジュレータ領域を形成する複数のピクセル２，３，４を含んでいる。この場合、モジュレータは傾斜ミラーマトリックスであり、この傾斜ミラーマトリックスは、それぞれ二つの異なる傾斜位置に切り換えられることができる行と列に配列された複数の傾斜ミラーからなっている。表現を簡単にするために、三つの傾斜ミラー２，３，４だけが図１に示されている。

観察システムは更に中間結像光学部品５を備えており、この中間結像光学部品５は、二次元モジュレータ領域に対して、観察されるべき物体６を二次元モジュレータ領域に投影するように配置されている。言い換えれば、二次元モジュレータ領域は中間結像光学部品５の焦点面に置かれている。

中間結像光学部品５とモジュレータ１の間に、中間結像光学部品５の光軸に対して４５°傾いたビームスプリッタ７が配置されている。観察システムは更に、第１および第２光線トラップ８，９を備えており、観察システムの光学観察通路Ｂに配置された観察光学部品１０をオプションとして含むことができる。この場合、光学観察通路Ｂは、モジュレータ１からビームスプリッタ７を経由して観察者の図式的に示された目Ａまで延びている。

更に制御装置１１が設けられており、この制御装置１１によって、個々のピクセル２，３，４を、それぞれ別々に第１および第２状態（即ち、この場合は、第１および第２傾斜位置）に切り換えることができる。

観察システムの機能を説明するために、観察システム内の光線通路は、観察されるべき物体６の３点Ｐ１，Ｐ２，Ｐ３に対して示されている。これらの光線通路から分かるように、物体６（即ち、点Ｐ１，Ｐ２，Ｐ３）は、二次元モジュレータ領域に投影される。

ピクセル２から４のうち、ピクセル３と４は第１状態にあり、ピクセル２は第２状態にある。第１状態における傾斜位置は、対応する物体点Ｐ２とＰ３の光がその位置において後方に（即ち、再びビームスプリッタ６へ向かって）反射され、それからビームスプリッタ６によって観察者の目Ａへ（少なくとも部分的に）反射されるようになっている。従って、ピクセル３と４に当たった光は光学観察通路Ｂに結合される。それとは逆に、第２傾斜位置にあるピクセル２に当たった光は、第１光線トラップ８に向かって（図１における）上方へ屈折し、もはや光学観察通路Ｂへ進まない。従って、ピクセル２についてのイメージ情報は観察者には見えず、イメージのこの部分は「パンチアウト」されたようなものである。現在述べられている実施態様においては、この領域は暗く見える。

いま、モジュレータは、所望のイメージ情報は、好適には第２状態にあるピクセルによって生成されるように、制御装置１１によって制御される。従って、例えば、矢印を、第２状態にあるピクセルによって、イメージ情報として表示することができる。このように、第２状態にあるピクセルを用いて、第２イメージ情報が二次元モジュレータ領域内で生成されるので、その上に投影されたイメージの中で、前記第２イメージ情報が、その領域内の投影された物体６のイメージ情報と完全に取って代わる。

観察システムは、例えば、ＨＭＤ装置（ヘッドマウンテッドディスプレイ装置）として、即ち、ユーザのヘッドに装着されるディスプレイ装置として、設けることができる。この場合、第２状態にあるピクセルによって表されるイメージ情報は、ＨＭＤ装置を装着しているユーザに対してある構成要素を印で表すのに役立つことができる。一つの可能な応用は、例えば、機械の保守である。交換または保守されるべき部品が、例えば、機械を見ているユーザに対して、矢印で示される。

しかしながら、観察システムはＨＭＤ応用に限定されない。むしろ、物体を中間イメージを介して見るすべての技術的応用においてそれを採用することができる。その一例は顕微鏡である。そのような顕微鏡は、モジュレータ１が中間イメージ平面内に適切に配置されるように、改造する必要がある。顕微鏡設計においては、観察光学部品１０はそのとき顕微鏡の接眼レンズとなる。

図２は、本発明による観察システムの第２実施態様を示し、図１と同じ要素は同じ参照数字で示されており、その説明については前記説明が参照される。図２に示す実施態様は、透過モジュレータ１’が反射モジュレータ１の代わりに使用されており、そのため、透過モジュレータ１’が結像光学部品５の焦点面に配置されている点において、図１に示す実施態様と異なっている。この場合、透過モジュレータ１’は、例えば、行と列に配列された複数のピクセルからなるＬＣＤモジュールとして設けられており、例としてそのうちの三つのピクセル２，３，４だけがここでも示されている。第１状態において、ピクセルはそれに入射した光を伝達し、第２状態において、ピクセルはそれに入射した光を反射または吸収する。従って、第１状態にあるピクセルから来る光だけが光学観察通路Ｂへ進む。ここで図示された例においては、このことはピクセル３と４、従って、物体点Ｐ２とＰ３に適用される。ピクセル２は第２状態にあるので、物体点Ｐ１は観察者には見えない。

二つの前記実施態様においては、物体６のイメージ情報が所望の場所（ここではピクセル２）において完全には表示されないようにすることも、もちろん可能である。従って、ピクセル２（またはそれぞれ対応するピクセル）を、制御装置１１によって第１状態と第
２状態との間で切り換えることができる。そうする場合、第２状態にあるピクセル２の停止時間に対する第１状態にあるピクセル２の停止時間（単位時間当たり）は、第２ピクセルについてのイメージ情報が、第１状態にある他のピクセルについてのイメージ情報に対してどれだけ大きく減少するかを決定する。従って、観察されるべき物体の領域を、観察者に対し輝度を減らして選択的に表示することができる。

図３は、図１に示す実施態様の更なる実施態様を示し、図１と同じ部品は同じ参照数字によって示し、その説明は繰り返さない。図３の実施態様は、光源１２が第１光線トラップ８の代わりに設けられ、その光源１２は所定色の光を発するという点において、図１の実施態様と異なる。光源１２として、例えば、発光ダイオードを用いることができる。光源１２は、光モジュレータ１に対して、二次元モジュレータ領域を照らすように配置される。しかしながら、第２状態にあるピクセル２によって反射された光だけは、一部が破線で示された光線通路によって示されるように、光学観察通路Ｂに結合される。従って、第２状態にあるピクセルの領域は、観察者に対して、暗く表されず、カラーで表される。もし矢印が、第２状態にあるピクセルによって表示され、光源１２が赤色光を発するならば、その矢印は観察者に対して赤である。

照明光学部品（図示せず）を、光源１２と光モジュレータ１との間に配置することができる。照明光学部品は好適には、その射出瞳が二次元モジュレータ領域の情報にあるように設ける。従って、光モジュレータ１への光源１２の投影は、顕微鏡におけるケーラー照明に相当する。このことは、二次元モジュレータ領域に光源１２の構造を投影するだけでなく、必要な輝度成分だけが二次元モジュレータ領域の各場所において均一に得られるという有利な効果がある。もちろん、特に、ＯＬＥＤ（有機発光ダイオード）などの二次元光源が用いられる場合は、結像光学部品を省略することもできる。そのような光源は、二次元発光体として機能するので、やや拡散した照明をそれだけで生じることができる。特に、ＯＬＥＤは、ランプ内の渦巻型フィラメントなどの見分けられる構造を持っていない。

図４は、図１に示す実施態様の更なる実施態様を示し、図１と同じ要素は同じ参照数字によって示される。図４の実施態様は、ディスプレイ１４とディスプレイ光学部品１５とで構成されたディスプレイ装置１３が、第１光線トラップ８の代わりに設けられている点において、図１の実施態様と異なる。ディスプレイ１４は、例えば、発光ディスプレイまたは照明ディスプレイとすることができる。ディスプレイ１４はまた、好適には、制御装置１１によって制御され、同時に、ディスプレイ１４は二次元ディスプレイである。ディスプレイ１４は、ディスプレイ光学部品１５によって二次元モジュレータ領域に投影される。ディスプレイ装置１３はそのように設けられ、ディスプレイ１４からきてピクセルに当たり、第２状態にあるピクセルによって反射される光だけが光学観察通路Ｂに結合されるように、モジュレータに対して配置される。従って、図４の実施態様においては、観察されるべき物体６の部分を選択的に切り取り、同時に、観察者に対して、その切り取った部分に（ディスプレイ装置１３から）他のイメージ情報を挿入することが可能である。それ故、観察者は、観察されるべき物体の上にスーパーインポーズされた更なるイメージ情報を見、その物体はその更なるイメージ情報の領域において全く表示されない。言い換えれば、第２状態にあるピクセルによって「パンチアウト」された物体６のイメージ情報は、他のイメージ情報で埋められる。

もちろん、図３および図４の実施態様において、物体６のイメージ情報を完全に「パンチアウト」せずに、輝度を減らして表示することもできる。このことは、ピクセルの適切な制御と、第１状態と第２状態におけるその停止時間の適切な制御とによって、可能である。このことがモジュレータのすべてのピクセルに適用される場合、観察されるべき物体上の別のイメージの重ね合わせを調節して、観察される物体６とスーパーインポーズされ
るイメージとの間に常に所望の輝度比があるようにすることができる。物体６の輝度が時間と共に変化する場合は、物体の輝度の測定と、制御装置１０を介しての対応するフィードバックとによって、物体の実際の輝度とは別に、所望の輝度比が（相対的に）保たれるようにすることさえもできる。このことはもちろん本発明のすべての実施態様において可能である。

また、第２状態にあるピクセルによって、観察されるべき物体から所定の領域をパンチアウトして、その領域内にディスプレイ装置１３からの更なるイメージ情報を表示することも可能である。この場合、表示されるイメージ情報の解像度は、モジュレータのピクセルによって与えられる解像度よりも高くすることができる。このため、例えば、ディスプレイ１４は、モジュレータ１のピクセルサイズよりも大きい解像度を有することができるか、あるいは、ディスプレイ１４は、ディスプレイ光学部品１５によって、モジュレータ表面Ｆ上に縮小サイズで投影される。

前記実施態様において、中間結像光学部品は更に、自動焦点機能付きであるのが好適な焦点機能付き光学部品として、設けることができる。このため、既知の自動焦点方法を使用することができる。観察システムがＨＭＤ装置として設けられる場合、そのような焦点システムを同様に使用することができる。また、ＨＭＤを装着したユーザのヘッドの位置を連続的に感知し、それを考慮に入れて、モジュレータ１、場合によってはディスプレイ装置１３を制御することもできる。

本発明においては、中間結像光学部品５およびオプションとして設けられる観察光学部品１０は、好適には環境の１：１結像がユーザに対して行われるように設ける。従って、ユーザは、中間結像光学部品５と観察光学部品１０なしで環境を視認することと同様に、中間結像光学部品および任意に設けられる観察光学部品１０を介して環境を視認する。

本観察システムは、側面外方向への光屈折を行い、そのため、最も極端な場合は、アイベースを拡大し、従って、やや誇張されたステレオ表示を行うことができるが、そうでなければ、自然な視覚印象に制限を生じないように、具体化することができる。

本発明の更なる特に有効な実施態様は、前記実施態様がＨＭＤ装置において両方の目に対して別々に提示されるものである。これによってシステムがステレオ結像に適したものとなり、その中で、付加されるべき物体（パンチアウト領域）が、パンチアウト領域の立体表示を生じるように、（左右の目に対し）それぞれの二次元モジュレータ領域において調節される。

従って、例えば、ＨＭＤ装置内、あるいはまた、顕微鏡内に存在するその種の立体光学通路に、付加されるべき物体と混ざった真正空間イメージを得ることができる。
本発明の前記実施態様においては、モジュレータが備えられ、このモジュレータは、電気的に制御可能であり、イメージ上の光学的二次元効果を有し、更に、このモジュレータのピクセルによって決定される解像度で二次元的に二つのイメージを結びつけることができる。それ故、これは、入力イメージを空間モジュレータ上の中間イメージに投影するシステムであって、ピクセル量子化によってのみ制限されるのが好適な何らかの所望の形を有する第２イメージによる中間イメージの変調またはその第２イメージとの中間イメージの混合を、それぞれ二次元的に行うことができるシステムである。

第１実施態様による観察システムを示すブロック図。 第２実施態様による観察システムを示すブロック図。 第３実施態様による観察システムを示すブロック図。 第４実施態様による観察システムを示すブロック図。

Claims (13)

1. 複数のピクセル（２，３，４）によって形成された二次元モジュレータ領域を備えたモジュレータ（１）と、前記モジュレータ（１）に接続され、前記ピクセル（２〜４）をそれぞれ別々に第１状態と第２状態に切り換えることができる制御装置（１１）と、観察されるべき物体（６）を前記二次元モジュレータ領域に投影する中間結像光学部品（５）とを備え、前記中間結像光学部品（５）による投影により前記ピクセルに入射する放射線のうち第１状態にあるピクセルに当たる放射線のみを光学観察通路（Ｂ）へ通過させる、観察システム。
2. 前記制御装置（１１）は、前記ピクセル（２〜４）のうち、前記二次元モジュレータ領域の平面内に所望のイメージ情報を協働して表示する複数のピクセル（２）を、第２状態に切り換えることを特徴とする請求項１に記載の観察システム。
3. 前記第２状態にあるピクセルに当たる照明放射線のみを前記光学観察通路（Ｂ）へ通過させるべく、照明放射線を前記二次元モジュレータ領域へと指向させる照明装置（１２）を備えたことを特徴とする請求項１または２に記載の観察システム。
4. ディスプレイ（１４）とディスプレイ光学部品（１５）とからなるディスプレイ装置（１３）を備え、前記ディスプレイ光学部品（１５）は、前記ディスプレイ（１４）が生成したイメージを前記二次元モジュレータ領域に投影し、前記ディスプレイ装置（１３）は、前記ディスプレイ光学部品（１５）による投影によりピクセルに当たる放射線のうち第２状態にあるピクセルに当たる放射線のみを前記光学観察通路（Ｂ）へ通過させるように、配置されている、請求項１または２に記載の観察システム。
5. 前記制御装置（１１）は、単位時間当たりの第１状態と第２状態にある各ピクセルの停止時間が所定値に相当するように、各ピクセル（２〜４）を制御可能である、請求項１〜４のいずれか１項に記載の観察システム。
6. 前記光学観察通路（Ｂ）はユーザが直接に視認できる、請求項１〜５のいずれか１項に記載の観察システム。
7. ユーザのための観察光学部品（９）を前記光学観察通路（Ｂ）内に配置している請求項１〜５のいずれか１項に記載の観察システム。
8. 前記モジュレータ（１）は反射モジュレータとして設けられている、請求項１〜７のいずれか１項に記載の観察システム。
9. 各ピクセルのそれぞれが別々に第１状態と第２状態に切り換えられることができる複数のピクセル（２，３，４）によって形成されたモジュレータ（１）の二次元モジュレータ領域へ、観察されるべき物体（６）を投影するステップと、所望のイメージ情報を前記二次元モジュレータ領域の平面内に共に表示するピクセルを第２状態に切り換えるステップと、前記投影によりピクセルに当たる放射線のうち第１状態にあるピクセルに当たる放射線のみを光学観察通路（Ｂ）に指向して、第２状態にあるピクセルに投影された物体の部分が観察者によって視認不能にするステップとを備える観察方法。
10. 照明放射線を前記二次元モジュレータ領域へ向けて、第２状態にあるピクセルに当たる照明放射線のみを前記光学観察通路に結合させる、請求項９に記載の方法。
11. 第２イメージを前記二次元モジュレータ領域に投影して、前記第２イメージの投影により
    ピクセルに当たる放射線のうち第２状態にあるピクセルに当たる放射線のみを前記光学観察通路に結合させる、請求項９に記載の方法。
12. 単位時間当たりの第１状態と第２状態における各ピクセルの停止時間が所定値に相当するように各ピクセルを制御する、請求項９〜１１のいずれか１項に記載の方法。
13. 前記光学観察通路（Ｂ）に向けた放射線を、対応するピクセルによって反射する、請求項９〜１２のいずれか１項に記載の方法。

Images