JP4860636B2 - 自動立体表示 - Google Patents

Description

本発明は、一般に自動立体表示システムに関し、より詳細には、画像誘導介入の間、医療イメージングにおいて使用する自動立体表示システムに関する。

自動立体画像表示システムが、様々な実施形態で知られており、それらは、観測者が表示補助器具を装着する必要なく、３次元表示又は画像の２つの異なる透視図を人間の両目で認識されるものとして再現することを目的とする。再現点(point of recreation)と視点又は観測位置とを動的に揃えるため、例えば、国際特許出願第WO 03/013153号に記載されるような視点トラッカー(viewpoint tracker)が使用される。３次元表示の２つの異なる透視図は、画像の立体ペアとも呼ばれ、あるシーンにおける様々な対象物への距離を脳が評価すること、及び３次元表示の印象を脳が提供することを可能にする。

例えば超音波誘導介入といった医療介入の間、外科医は、少なくとも２つの表示用にレンダリングされる３次元超音波データを見ていることになる。上述した再現点、つまり２つ(又はそれ以上)の表示が交差するような平面を、外科医の目が焦点を結ぶ平面と整列させることが有利である。医療介入の間、これは、器具の操作に注力される状態をもたらすであろう。

そこで、本発明の目的は、表示画像の再現点を規定するよう画像の立体ペアが交差する平面が、画像化される対象物に対して操作される器具の位置に一致するよう動的に位置揃えされる自動立体表示システムを提供することにある。

本発明によれば、見る者の左目及び右目にそれぞれ第１及び第２の画像を提供する手段を有する自動立体表示システムが提供される。その第１及び第２の画像は、表示される３次元シーンの第１及び第２の透視図を有する。その第１及び第２の画像は、３次元シーンの平面における再現点で交差する。そのシステムは、移動する対象物の３次元シーン内で３次元位置を決定するトラッキング手段と、その移動する対象物の３次元シーン内でその３次元位置に一致するよう、第１及び第２の画像が交差する平面を調整する手段とを更に有する。

こうして、見る者に与えられる画像の再現点は、そのシーンにおける平面にて生じ、そのシーンは、見る者の目が焦点を結ぶことになる移動対象物(例えば外科医の器具)のシーン内における３次元位置に対応する。

有利なことに、周辺画像が表示されるその焦点又は表示平面は、第１及び第２の画像が交差する平面(例えば収束平面)に一致するよう調整される。

移動する対象物の位置を追跡するトラッキング手段は、例えば、３次元物体認識(three-dimension object recognition)を用いて、又はその対象物上の知られた位置で超音波信号を生成する１つ又は複数の超音波トランスデューサを提供することにより、３次元超音波データからその位置を抽出することができる。３次元シーンは有利なことに超音波データを有する。しかしながら、本発明は、外科的介入といった処理に使用されるリアルタイム３次元データを提供することができる他のモダリティにも適用できることを理解されたい。現時点においては、これらのモダリティとしては、超音波の他、立体X線表示システム及びMRIを含むことができる。

第１及び第２の画像が交差する平面(又は見る者により見られることになる、結果として得られた再構成画像での知覚深度)は、有利なことにシーン内で移動する対象物の追跡された位置に一致するよう、好ましくは、第１及び第２の画像間でx軸距離を調整することにより、動的に調整される。手術器具を用いる誘導イントラベンション(intravention)の間に使用する３次元シーンが表示されることができる。対象物の生体構造の一部の表示３次元シーン内で手術器具の３次元位置が追跡され、第１及び第２の画像が交差する平面は、それに従って動的に調整される。

本発明は、手術器具を用いる介入的な処理の間３次元シーンを表示する方法にまで拡張される。その方法は、見る者の左目及び右目それぞれに第１及び第２の画像を与えるステップを有する。その第１及び第２の画像は、表示される３次元シーンの第１及び第２の透視図を有し、その第１及び第２の画像は、その３次元シーンの平面上の再現点で交差する。その方法は、その手術器具の３次元シーン内で３次元位置を追跡するステップと、その手術器具の３次元シーン内で３次元位置に一致するよう上記第１及び第２の画像が交差する平面を調整するステップとを更に有する。

本発明のこれら及び他の側面が、以下の実施形態を参照して明らかとなり、及び説明されることになる。

本発明は、対応する図面を参照し、例示を介して、以下により詳細に説明されることになる。

ダイレクトビュー(自動立体)タイプの表示装置の例が、図２及び図３を参照して説明されることになる。だが、この装置のより詳細な説明は、欧州特許出願公開第EP-A-0791847号に与えられる。図２及び図３は、単に概略であって、実際の大きさ通りに描かれているものではないことを理解されたい。説明を分かりやすくするため、特定の寸法が実際より大きく描かれ、一方、他の寸法は小さく描かれている場合がある。

図２を参照すると、その表示装置は、空間光変調器として使用される従来の液晶ディスプレイパネル１０を含む。それは、互いに垂直に整列された行及び列で配置される個々にアドレス付け可能な同じ様なサイズのディスプレイ要素１２の平面アレイを有する。斯かるパネルは、よく知られており、従って本書では詳細に説明されることはない。

表示要素１２は、形状においてはほぼ矩形であり、互いに一定の間隔を空けて配置される。つまり、２つの隣接する列における表示要素は、列(垂直)方向に延びる隙間により隔てられ、２つの隣接する行における表示要素は、行(水平)方向に延びる隙間により隔てられる。パネル１０は、アクティブマトリクスタイプであり、各表示要素がスイッチング要素に関連付けられ、例えば、その表示要素に隣接して配置されるTFT又は薄膜ダイオードを有する。

ディスプレイパネル１０は、この例では、表示要素アレイの領域より大きく広がる平面バックライトを有する光源１４により照らされる。光源１４からの光は、表示要素アレイに対応し、こうして生産されるディスプレイを構成するよう、適切な駆動電圧の適用により、駆動される個別の表示要素付きのパネルを通るように方向付けられる。各表示要素は、個別の表示ピクセルを提供する。

光源に面する反対側で、パネル１０の出力側をまたぐように、細長い、平行なレンチクル(lenticule)１６又はレンズ要素のアレイを有するレンズ状シート１５の形態で、画像偏向手段が配置される。その画像偏向手段は、見る者の目に分離した画像を提供する光学ダイレクタ(optical director)手段として機能し、パネル１０から離れてシート１５の側面に面する見る者に立体表示を提供する。従来の形態であるシート１５のレンチクルは、凸状の円筒型レンチクル１６又は円筒型の段階的屈折率レンズを有する。これらのレンズは、当業者には知られているように、3Dモードだけでなく従来の2Dモード間で表示が切り替えられることを可能にする液晶物質から実現されることもできる。マトリクス・ディスプレイ・パネルと共に、斯かるレンズ状シートを用いる自動立体表示装置は、従来技術で良く知られている。しかしながら、斯かる装置における従来の構成とは異なり、(表示要素列に対応する)表示ピクセル列に平行に延びるレンチクルを用いて、図２の装置におけるレンチクルが、表示ピクセルの列に関して傾斜して配置される。つまり、そのメインの長手軸は、表示要素アレイの列方向に対して角度を成す位置にある。この構成は、欧州特許出願公開第EP-A-0791847号に記載されるように、分解能損失の低減及び表示要素間の黒領域の拡張マスキングという観点から、多数の利点を提供することがわかった。

レンチクル１６のピッチは、以下に説明されるように、必要な表示数に基づき、水平方向にある表示要素のピッチに対して選択される。表示要素アレイの側にあるものとは別に、各レンチクルは、表示要素アレイのトップからボトムへ延在する。図３は、表示パネルの典型的な部分に対して、表示パネルと組み合わせたレンチクルの例示的な配置を示す。レンチクルの長手軸Lは、列方向Cに対して角度をなすよう傾斜される。この例において、６表示システムを提供するため、平行なレンチクルの長手軸間のスペーシング(spacing:間隔配置)は、行における表示要素のピッチに関して斯かる幅を持ち、表示要素の列に関して斯かる角度で傾斜される。表示要素１２は、それらが属する表示番号に基づき番号(1-6)が振られる。

レンチクルシート１５の個別の実質的に同一のレンチクルがここでは１６として参照され、それぞれが、行において３つの隣接する表示要素(サブピース)におよそ対応する幅を持つ。つまり、３つの表示要素と３つの中間の隙間との幅である。従って、６表示の表示要素は、各行において３つの要素を備える、２つの隣接する行からの表示要素を有するグループで配置される。

個別に動作可能な表示要素は、2D画像の狭いスライスがレンチクルの下の選択された表示要素により表示されるという態様で、表示情報を適用することにより駆動される。パネルにより生成される表示は、個別の表示要素からの出力により構成される６つのインターリーブされた2Dサブ画像を有する。各レンチクル１６は、表示番号１〜６が振られた目下の表示要素からの６つの出力ビームをそれぞれ提供する。その光学軸は相互に異なった方向にあり、レンチクルの長手軸の周りに角度をなすように広がる。表示要素に適用される適切な2D画像情報と、出力ビームの異なったもの(onesd)を受信するよう適切な距離が置かれる見る者の目とを用いて、3D画像が知覚される。見る者の頭が水平(行)方向に移動するにつれ、多数の立体画像が連続して表示されることができる。こうして、見る者の２つの目は、それぞれ、例えばすべての表示要素「１」から構成される画像と、すべての表示要素「２」から構成される画像とを見ることになる。見る者の頭が移動すると、すべての表示要素「２」から構成される画像と、すべての表示要素「３」から構成される画像とが、それぞれの目により見られることになり、次は、すべての表示要素「３」から構成される画像及びすべての表示要素「４」から構成される画像等と続く。

立体表示の例示的な実施形態が、以上に詳細に述べられたが、多くの異なるタイプの立体表示が知られており、本発明はこの点を限定するものではないことを理解されたい。

図３を参照して、上述されたように、超音波誘導介入といった医療介入の間、外科医は、見る者の左目及び右目１０４ａ、１０４ｂに異なる画像を提供することにより、深度感覚を与える立体表示パネル１０１上の少なくとも２つの表示のためにレンダリングされる３次元超音波データ１０２を見ていることになる。そうした画像の上述の再現点、つまり、２つ(又はそれ以上)の表示が交差する平面を、外科医の目が焦点を結ぶ平面に揃えることが有利である。医療介入の間、これは、操作される器具１０３が配置される平面に一致する傾向が強いであろう。

こうして、本発明の目的は、外科医により使用される器具１０３の位置に正確に一致するよう左画像L及び右画像Rが交差する平面を調整することにより、見る者に提供される画像の知覚深度を制御することで達成されることができる。画像の知覚深度は、２つの画像L、Rのx軸における距離量によって制御される。画像L、Rのx軸距離が大きくなればなるほど、結果として生じる立体画像における深度がより深くなる。

器具１０３の３次元位置は、１つ又は複数の知られた技術を用いて３次元超音波データから抽出されることができる。例えば、３次元物体認識を用いたり、ツール１０３における知られた位置で超音波信号を放つ１つ又は複数の超音波トランスデューサを備える器具又はツール１０３を提供することにより行われる。米国特許第6,246,898号によれば、器具を追跡し、画像化する複数の超音波トランスデューサを備える手術器具が記載される。しかしながら、器具１０３の３次元位置を追跡するための多くの異なる追跡技術が想定される。本発明は、この点について限定されることを意図するものではない。

従って、ツールの位置が追跡されるにつれ、２つの画像L、R間のx軸距離を調整することにより、見る者に与えられる立体画像ペアL、Rの交差平面が、ツール位置に正確に一致するよう動的に調整される。

図３を参照して説明される例において、器具１０３が位置する平面に一致する収束平面は、表示平面１０１に一致する。図４に示されるように、(画像L、Rが交差する)収束平面が表示平面１０１に一致しない場合、多数の不都合点が存在する。図５を参照して、(画像L、Rが交差する)収束平面１１０が(表示平面１０１に対応する)焦点平面に一致しない場合、見る者は頭痛に代表されるような眼精疲労を経験する場合がある。更に、表示平面１０１の最もとがった所にピクセルがあり、そこで、もし(見る者の目の焦点が結ばれる)収束平面１１０と表示平面１０１とが一致しない場合、画像のシャープネスが最適化される。こうして、例えば、器具１０３が見る者に向かって(３次元内で)移動する場合、表示平面１０１は好ましくは後退的に移動する。その逆も成り立つ。

上述した実施形態は、本発明を説明するものであって限定するものではなく、当業者は、添付された請求項により規定される本発明の範囲から逸脱することなく多くの変形実施形態をデザインすることができることに留意されたい。請求項において、括弧の中に置かれる如何なる参照符合も請求項を限定するものとして解釈されるべきではない。単語「comprising(有する)」及び「comprises(有する)」等は、任意の請求項又は明細書全体に記載された構成要素又はステップ以外の構成要素又はステップの存在を排除するものではない。要素の単数形での参照は、斯かる要素が複数あることの指示を排除するものではないし、その逆も真である。本発明は、いくつかの個別の要素を有するハードウェアを用いて、及び適切にプログラムされたコンピュータを用いて実現されることができる。複数の手段を列挙するデバイスクレームにおいて、これらの手段の幾つかが、１つの同じハードウェアアイテムで実現されることができる。特定の手段が相互に異なる従属項で列挙されるという単なる事実は、これらの手段の組み合わせが利益をもたらすよう使用されることができないということを示すものではない。

自動立体表示装置の概略的な斜視図である。 図１の表示パネルの表示要素アレイの一部の概略的な平面図であり、６つの表示出力を与える図である。 本発明の例示的な実施形態による、自動立体表示システムの原理の概略図である。 手術器具の３次元位置が表示平面に一致しないような自動立体表示システムの概略図である。 自動立体表示システムにおける収束平面と焦点平面とが一致しないときの効果を概略的に示す図である。

Claims (7)

1. 見る者の左目及び右目に第１及び第２の画像をそれぞれ提供する手段を有する裸眼立体方式の自動立体表示システムであって、前記第１及び第２の画像が、表示される３次元シーンの第１及び第２の透視図を有し、前記第１及び第２の画像は、前記３次元シーンの平面上の点で交差しており、
   前記システムが、移動する対象物の前記３次元シーン内での３次元位置を決定するトラッキング手段と、前記移動する対象物の前記３次元シーン内での前記３次元位置に一致するよう前記第１及び第２の画像が交差する平面を調整する手段とを更に有し、
   前記第１及び第２の画像間の距離を調整することにより、前記第１及び第２の画像が交差する平面が、前記シーン内で前記移動する対象物の追跡された位置に一致するよう動的に調整される、自動立体表示システム。
2. 周辺画像の表示される平面が、前記第１及び第２の画像が交差する平面に一致するよう調整される、請求項１に記載の自動立体表示システム。
3. 画像化される対象物を放射線で照射すること、及び前記対象物を通り送信された前記放射線の強度分布を検出することにより生成される３次元画像データから、前記トラッキング手段が、前記移動する対象物の前記位置を表すデータを抽出するよう構成される、請求項１に記載の自動立体表示システム。
4. ３次元物体認識を用いて、又は前記移動する対象物の所定の位置で超音波信号を生成する１つ若しくは複数の超音波トランスデューサを提供することにより、前記トラッキング手段が、前記移動する対象物の前記位置を表すデータを前記３次元画像データから抽出するよう構成される、請求項３に記載の自動立体表示システム。
5. 前記画像データが、超音波画像データを有する、請求項３に記載の自動立体表示システム。
6. 手術器具を用いる誘導介入の間に用いるために、前記３次元シーンが表示され、前記対象物の生体構造の一部の表示３次元シーン内の前記手術器具の前記３次元位置が追跡され、前記第１及び第２の画像が交差する平面が、前記追跡に従って動的に調整される、請求項１に記載の自動立体表示システム。
7. 手術器具を用いる介入的処置の間３次元シーンを裸眼立体方式で表示する方法において、
   見る者の左目及び右目に第１及び第２の画像をそれぞれ提供するステップであって、前記第１及び第２の画像が、表示されることになる３次元シーンの第１及び第２の透視図を有し、前記第１及び第２の画像は、前記３次元シーンの平面上の点で交差する、ステップと、
   前記手術器具の前記３次元シーン内での３次元位置を追跡するステップと、
   前記手術器具の前記３次元シーン内での前記３次元位置に一致するよう、前記第１及び第２の画像が交差する前記平面を調整するステップとを有し、
   前記第１及び第２の画像間の距離を調整することにより、前記第１及び第２の画像が交差する平面が、前記シーン内で前記手術器具の追跡された位置に一致するよう動的に調整される、方法。

Images