JP2018028541A - 観察対象物の視覚強化のための観察装置および方法 - Google Patents

Abstract

【課題】観察対象物の視覚強化のための観察装置および対象物の観察を視覚強化する方法を提供する。【解決手段】観察装置は、アウトプットカラーイメージをインプットカラーイメージから導き、アウトプットカラーイメージをリアルタイムで投影する。インプットスペクトル帯域は、アウトプットスペクトル帯域と異なり、アウトプットカラーイメージは、カメラシステムのオペレーションに影響を与えることなく任意にアウトプットカラーイメージから逸脱するために観察装置によって処理可能である。これによって、アウトプットカラーイメージがカメラシステムによって捕捉される同じ対象領域で直接的に対象物上に投影されるが、このアウトプットカラーイメージにおいて、あらゆる蛍光インプットスペクトル帯域を疑似色によって置き換えること、色を変えること、記号および文字を加えること、コントラストおよび輝度を変えることが可能になる。【選択図】図１

Description

本発明は、観察対象物の視覚強化のための観察装置および方法、特に医療用の観察装置および方法に関する。

直接的に患者にイメージを投影することによって、患者の体の静脈を視覚強化するために投影器を使用するイメージングデバイスが知られている。これらのデバイスは、医療的な補助のため、例えば注射器のセッティングを容易にするために、静脈の視認性を向上するために使用される。動作原理はＮＩＲカメラに基づいており、このＮＩＲカメラはＮＩＲスペクトルを使用して組織を画像化する。ここでこのＮＩＲスペクトルにおいて静脈は、可視光範囲におけるよりも、周囲の組織に対してより高いコントラストを示す。可視光範囲は、約３９０から７００ｎｍまでの波長を有する電磁放射を表す。ＮＩＲイメージのコントラストは強化され、投影器によって皮膚上に可視光範囲におけるイメージとして表示される。このイメージの静脈は体の静脈上に投影されるので、これらはより視認しやすくなる。

このような明視化方法によって、容易かつ直接的な、患者の目視検査が可能になるが、これは幾つかの欠点を有している。

第１に、この技術はＮＩＲカメラの使用に基づいている。ＮＩＲカメラは、患者の上に投影されるイメージの可視光範囲において感光性を有していない。したがって、カメラインプットは、ＮＩＲカメラによって観察される領域上への可視光イメージの投影によって影響されない。この技術を、可視光範囲において捉えられる必要があるフィーチャの視認性を強化するために発展させることはできない。

別の欠点は、非可視光範囲におけるイメージに基づいた、投影されたイメージが、必ずしも、静脈の実際の見た目を反映しているわけではない、ということである。非可視光範囲における静脈の広がりおよび境界は、可視光範囲における広がりおよび境界と一致していないことがある。

最後に、患者の上に投影されるイメージのコントラストは、環境光の状況に依存する。周囲が極めて明るい場合、投影器の明るさが、患者の上に高いコントラストを生成するのに十分でない場合がある。さらに、投影されたイメージの視認性は、イメージが投影される表面の反射率に依存する。例えば濡れた表面、例えば血まみれになった表面または軟膏が塗られた表面は、投影されたイメージを不明瞭にしてしまうことがある。

本発明の課題は、上述した欠点を有しておらず、したがって、より広範囲のイメージングアプリケーション、例えば腫瘍、リンパ節の直接的な視覚化に使用可能であり、したがって蛍光組織マーカーと組み合わせて使用可能な、観察対象物の視覚強化のための観察装置および方法を提供することである。

本発明ではこの課題は、観察対象物の視覚強化のための観察装置を提供することによって解決される。この観察装置は、アウトプットカラーイメージのタイムシーケンスを、対象物の投影領域上に投影するためのアウトプットカラーイメージ投影器を含んでおり、このアウトプットカラーイメージ投影器は、少なくとも可視光範囲において、アウトプットスペクトル帯域のセットから成るアウトプットスペクトルを有している。この観察装置はさらに、少なくとも２つのインプットスペクトル帯域において、投影領域から、インプットカラーイメージのタイムシーケンスを捕捉するためのマルチスペクトルカメラシステムを含んでいる。少なくとも可視光範囲において、インプットスペクトル帯域は、アウトプットスペクトル帯域と異なっている。ここでこの観察装置は、インプットカラーイメージに基づいて、アウトプットカラーイメージを計算し、このアウトプットカラーイメージを、リアルタイムで、投影領域上に投影するように構成されている。

さらに、上述した課題は、対象物の観察の視覚強化ための方法によって解決される。この方法は、少なくとも可視光範囲において、インプットスペクトル帯域のインプットスペクトルを伴う対象物上の観察領域から、インプットカラーイメージを捕捉するステップを含んでおり、ここで、インプットカラーイメージをベースにしてアウトプットカラーイメージを計算することと、インプットスペクトル帯域とは異なるアウトプットスペクトル帯域のアウトプットスペクトルを用いて、少なくとも可視光範囲において、観察領域上にアウトプットカラーイメージを投影することは両方とも、リアルタイムで行われる。

本発明に相応するこの装置および方法は、フィーチャが観察される対象物上に、対象物のこれらのフィーチャを正確に明視化することを可能にする。インプットマルチスペクトルカメラは、少なくとも２つのスペクトル帯域の第１のセットを使用して、インプットカラーイメージを記録する。したがってインプットカラーイメージは、対象物で観察者が見るであろうものに相当する。アウトプットカラーイメージ投影器は、可視光範囲にあるが、スペクトル帯域の異なるセットを使用して、投影領域上にアウトプットカラーイメージを投影する。アウトプットカラーイメージの投影は、インプットカラーイメージの捕捉に影響を与えない。なぜなら、これら２つは、干渉し合わない異なるスペクトル帯域から成るからである。観察者は、アウトプットカラーイメージと投影領域上の環境光からの反射との重ね合わせを見るが、インプットカメラシステムは、アウトプットカラーイメージからの反射を捕捉しない。

インプットカラーイメージにおいて装置によって認識された特定のパターンへの、アウトプットカラーイメージにおける色、コントラストまたは輝度の修正および／またはこれらの変更の制限によって、観察者に対する視認性の向上または特定のフィーチャの容易な視認のために、対象物の特定のフィーチャは対象物上で正しく視覚強化可能である。さらに、アウトプットカラーイメージの質が、ノイズ低減または空間デコンボリューションアルゴリズムを実行することによって改善可能である。

インプットカメラシステムが、ＮＩＲまたはＩＲ範囲におけるインプットスペクトル帯域に対しても感光性を有している場合には、アウトプットカラーイメージは、可視光範囲におけるＩＲまたはＮＩＲイメージを再現するために使用されてよい。これによって例えば、異なる温度および／または領域の、蛍光組織マーカーによってマークされる領域を、インプットカラーイメージの捕捉に害を与えることなく、可視光範囲において対象物上に直接的に表示することが可能になる。

本発明に相応する上述した解決方法は、相互に依存せずに組み合わせ可能な以下のフィーチャによって改善可能である。

本発明の１つの態様では、アウトプットスペクトル帯域は、異なる色の見え方を有している。アウトプットスペクトル帯域は、あらかじめ定められた狭帯域のスペクトル帯域を含んでいてよく、これは例えば異なる色のレーザーによって生成される。特に、あるアウトプットスペクトル帯域はあるアウトプットスペクトル帯域よりも狭い、かつ／または数が少なくてよい。したがって、カメラシステムに対しては、より多くの、かつ／またはより幅の広いスペクトル帯域が利用可能であり、これによって、対象物のフィーチャのより幅の広い多様性を捕捉することができる。これは、唯一のスペクトル帯域において存在していてよい。

アウトプットスペクトル帯域を用いて全ての色を表示することを可能にするために、有利には、アウトプットスペクトル帯域は、加色空間を形成する。特に、トライバンドアウトプットスペクトル、例えばＲＧＢスペクトルが使用可能である。このアプローチは、３つのスペクトル帯域をインプットスペクトルから除外するだけであり、したがって、インプットイメージにおける、対象物から集められた情報の大部分を、カメラシステムによって捕捉することが可能になる。

インプットカラーイメージとアウトプットカラーイメージとは投影領域において空間的に一致すべきであり、同じ方向であるべきである。これによって、投影されたアウトプットカラーイメージにおけるフィーチャが一致し、対象物の対応するフィーチャとアライメントされる、または対象物の対応するフィーチャの上に同様にマッピングされることが保証される。

さらに有利には、アウトプットカラーイメージ投影器の投影領域は、カメラシステムの視野または観察領域と一致する。したがって、アウトプットカラーイメージは、カメラシステムによって観察された全てのものをカバーする。

有利には、インプットスペクトル帯域と、アウトプットスペクトル帯域とはオーバラップしていない。これによって、確実に、アウトプットカラーイメージは、カメラシステムによって捕捉可能ではない。

特定のスペクトル帯域に制限されていない投影器および／またはカメラが使用される場合には、アウトプットカラーイメージ投影器がインプットスペクトル帯域をブロックするバンドパスアウトプットフィルターシステムを含んでいる場合、かつ／またはカメラシステムがアウトプットスペクトル帯域をブロックするバンドパスインプットフィルターシステムを含んでいる場合、アウトプットカラーイメージからのインプットカラーイメージのスペクトル分離が実現される。

投影器が、狭帯域および特に１つまたは複数の異なる色のレーザーによって生成される離散したアウトプットスペクトル帯域を使用する場合には、シンプルなノッチフィルターが、アウトプットスペクトル帯域をブロックするために使用されてよい。投影器は例えば、対象物上にカラーイメージを投影するために、青色、赤色および緑色のレーザーのうちの少なくとも１つを使用してよい。

本明細書のコンテキストでは、表現「スペクトル帯域をブロックする」は、スペクトル帯域を除去することも減衰させることも含んでいる。しかし、除去が有利である。

観察装置はさらに、インプットカラーイメージを受信するカメラシステムと接続され、さらに、アウトプットカラーイメージをアウトプットするアウトプットカラーイメージ投影器に接続されているイメージプロセッサを含んでいてよい。インプットカラーイメージはインプットピクセルを含んでいてよく、アウトプットカラーイメージはアウトプットピクセルを含んでいてよい。イメージプロセッサは、自身のハードウェアレイアウトによって特定のタスク、例えばイメージプロセッシング専用のハードウェアデバイスであってよい。イメージプロセッサは、付加的にまたは択一的に、イメージプロセッシングソフトウェアを実行するように構成されている汎用コンピューターを含んでいてよい。

イメージプロセッサは、インプットカラーイメージをベースにして自動的にアウトプットカラーイメージを計算するように構成されていてよい。この計算は、インプットカラーイメージのデータフォーマットとアウトプットカラーイメージのデータフォーマットとの変換を含んでいてよい。これは例えば、異なる色空間および／または色再現および／または空間分解能および／または色分解能の両方に関する分解能の間のイメージの変換である。アウトプットカラーイメージの計算はさらに、投影領域にわたる反射分布に関連していてよく、これによって、投影領域にわたる反射率の差を補償する。

さらに、イメージプロセッサは、自動的なパターン認識および／または自動的な画像補正を実現するように構成されていてよい。例えば、アウトプットカラーイメージの少なくとも１つの領域は、インプットイメージにおける少なくとも１つの空間的に対応する領域と比べて修正された色、輝度およびコントラストのうちの少なくとも１つを有していてよい。色修正のためには、インプットカラーイメージにおける色は疑似色によって置き換えられてよい。この疑似色は特に、自然には起こらない蛍光色である。イメージプロセッサは有利には、この色修正を計算するように構成されている。

イメージプロセッサの処理は、本発明の１つの態様では、有利にはリアルタイムで行われる。したがって、アウトプットカラーイメージは、タイムシーケンスにおける次のインプットカラーイメージがカメラシステムによって捕捉される前にインプットカラーイメージに基づいて、投影領域上に投影されてよい。

アウトプットカラーイメージのタイムシーケンスは、有利には、観察者に対する疲弊作用を低減させるために、かつ連続するインプットカラーイメージ間のスムースな移行を提供するために、閃光融合レートよりも高いフレームレートで投影される。カメラシステムが、連続するインプットカラーイメージを捕捉する捕捉レートは、有利には閃光融合レートよりも高い。アウトプットカラーイメージのフレームレートは、インプットカラーイメージの捕捉レートより低くてよい。特に、アウトプットカラーイメージは、連続するインプットイメージの数をベースにしてよい。例えば、連続するインプットイメージのサブピクセルシフトは、単独のアウトプットカラーイメージにおける空間分解能を増大させるために使用されてよい。アウトプットカラーイメージがインプットカラーイメージの数に基づくことが、増大するダイナミックレンジ、例えばＨＤＲイメージを有するアウトプットカラーイメージの計算にも使用されてよい。

本発明のさらなる態様では、この観察装置は光透過ビューアーを含んでいてよい。このビューアーは例えば、観察者による使用のために接眼レンズまたは観察スクリーンを含んでいてよい。このビューアーは投影領域上に向けられていてよく、かつアウトプットスペクトル帯域に対する光の透過を制限するビューイングバンドパスフィルターシステムを含んでいてよい。したがって、ビューイングバンドパスフィルターシステムは、アウトプットカラーイメージを構成するアウトプットスペクトル帯域のみを通過させる。他のスペクトル帯域での反射がブロックされ、したがってコントラストが増大され、これと同時に、アウトプットスペクトル帯域で対象物およびアウトプットカラーイメージを見ることを可能にする。

マルチスペクトルカメラが感光性を有するインプットスペクトル帯域は、少なくとも１つの原色を有していてよい。これは例えば赤、緑および青等である。これらのインプットスペクトル帯域は、重複していても離散していてもよい。離散しているアウトプットスペクトル帯域は、例えば、異なる色のレーザーによって生成されてよい。

有利には、マルチスペクトルカメラシステムの少なくとも２つのスペクトル帯域のうちの少なくとも１つは可視光範囲にある。マルチスペクトルカメラシステムは特に、ＲＧＢカメラであってよい。

別の有利な態様では、カメラシステムは、マルチスペクトルカメラであってよい。これは、４つよりも多くのインプットスペクトル帯域インプットスペクトルから成っていてよい。特にカメラシステムは、少なくとも１つのイメージングスペクトロメーターおよび／またはハイパースペクトルカメラを含んでいてよい。このカメラによって同時に、イメージデータを、多数のスペクトル帯域において捕捉することができる。イメージングスペクトロメーターは必ずしも、アウトプットスペクトル帯域をブロックするためにインプットフィルターシステムを必要とせず、その代わりに、インプットスペクトル帯域でのイメージデータのみがカメラシステムから読み出されてよく、またインプットスペクトル帯域でのデータは棄却される。択一的に、インプットスペクトルは、アウトプットスペクトルとオーバラップしないように選択されてよい。

対象物からの反射をさらに低減させるために、アウトプットカラーイメージ投影器と、ビューアーとのうちの少なくとも１つが偏光フィルターシステムを含んでいてよい。例えば、アウトプットカラーイメージ投影器は線形偏光フィルターを含んでいてよく、ビューアーは、調節可能な偏光フィルターシステムを含んでいてよく、これは例えば、１つの回転可能な線形偏光フィルターを含んでいる。これによって、観察者のニーズに従って、強度および反射の減衰を調整することができる。

本発明の別の態様では、照明システムが含まれていてよい。シンプルな照明システム、例えば、組織マーキング蛍光体における蛍光をシミュレートするスペクトル帯域を含み得る連続した照明スペクトルを有する光源が使用可能であるが、有利には、照明システムは照明カラーイメージ投影器を含んでいる。したがって、光源、例えばＬＥＤまたは電球アセンブリによって拡散照明を単に供給する代わりに、対象物上に照明カラーイメージを提供することによって照明が実施される。この結果、カメラシステムの投影領域または観察領域の照明は、投影される照明カラーイメージにおけるピクセルの精度にコントロール可能である。

特に、照明カラーイメージ投影器は、投影領域上に照明カラーイメージのタイムシーケンスを投影するために設けられていてよい。有利には、観察装置、特にそのイメージプロセッサは、インプットカラーイメージに基づいて、特にリアルタイムで、照明カラーイメージを計算し、これらを、特にリアルタイムで投影領域上に投影するように構成されている。インプットカラーイメージをベースにした照明カラーイメージの計算および投影は、有利には、次のインプットカラーイメージが捕捉される前に、イメージプロセッサによって実行される。

照明のための照明カラーイメージを使用することによって、照明を、投影領域または観察領域にわたる反射、吸光、蛍光発光および光の透過のうちの少なくとも１つの空間分布に合わせることができる。観察装置、有利には自身のイメージプロセッサは、有利には、投影領域にわたる対象物の反射の分布の計算に適合している。この分布は次に、最適なコントラストを得るためのアウトプットカラーイメージの計算のために使用されてよい。特に、照明スペクトル帯域のために得られる分布が、照明スペクトル帯域間のアウトプットスペクトル帯域をカバーするために、イメージプロセッサによってシンプルに補間されてよい。

特に、照明カラーイメージ投影器は、照明の強度を局部的に、スペクトル帯域に合わせるようにコントロールされてよい。ここでは、蛍光が、蛍光強度まで励起される。高い蛍光強度を有する領域が、低い蛍光強度を有する領域よりも、より低い強度で励起スペクトル帯域において照明されてよい。

照明カラーイメージとアウトプットカラーイメージとの間の干渉を回避するために、照明カラーイメージ投影器は、有利には、アウトプットスペクトル帯域が少なくとも部分的にブロックされている照明スペクトルを有している。このために、アウトプットスペクトル帯域に対するバンドストップフィルターを含む照明フィルターシステムが使用可能である。特に、照明スペクトルは、インプットスペクトルと一致していてよい。しかし、インプットスペクトルが、インプットスペクトル帯域として、例えば蛍光体が蛍光を放出する蛍光スペクトル帯域を含んでいる場合、有利には照明スペクトルは、蛍光帯域を含んでいない。これは、蛍光帯域のインプットカラーイメージにおけるコントラストの低減を回避する。

アウトプットカラーイメージのコントラストの低下を回避するために、特に、アウトプットカラーイメージが、ビューアーを通して、上述のように観察される場合には、照明スペクトルは、少なくとも可視光範囲において、アウトプットスペクトルとオーバラップしていない。

照明カラーイメージは、観察領域にわたる、対象物表面の光の反射、吸光、透過および／または蛍光発光特性を補償する。これによって、そうでなければ、カメラシステムのフルカラー分解能に対して暗くなりすぎるであろう特定の領域を明るくすることが可能になる。

カメラシステムの動的能力を完全に使用するために、照明カラーイメージは、少なくとも部分的、有利には全体で、インプットカラーイメージのネガティブカラーイメージであってよい。観察装置、特にそのイメージプロセッサは、リアルタイムでのインプットカラーイメージのネガティブカラーイメージとしての照明カラーイメージを計算するように構成されていてよい。

上述した実施形態の１つにおける照明システム、上述した実施形態の１つにおけるカメラシステム、上述した実施形態の１つにおけるアウトプットカラーイメージ投影器、および／または上述した実施形態の１つにおけるビューアーを含んでいる観察装置は、一般的に、２つの離散したイメージングシステムを使用する。これらは同じ領域で動作し、すなわち対象物上の観察領域または投影領域上で動作し、異なるインプットスペクトル帯域およびアウトプットスペクトル帯域を使用することによって機能的に相互に分離される。アウトプットカラーイメージは、画像補正プロセスの結果を見る、かつ表すために使用される。カメラシステムおよび照明システムは、インプットカラーイメージを最適化するために使用され、これは、画像補正プロセスおよびアウトプットカラーイメージのベースを形成する。機能的に分離することによって、これら両方は同じ投影領域を使用しているが、結果として生じる投影の、独立して捕捉されたインプットイメージを最適化することができる。

有利には、インプットカラーイメージおよびアウトプットカラーイメージおよび有利には照明カラーイメージも、空間的に一致しており、同じ配向を有している。これらのイメージの一致および配向は次のことを保証する。すなわち、アウトプットイメージが、カメラシステムによって観察され、対象物上に存在するもの正確な表現を提供することを保証する。

観察装置、特にそのイメージプロセッサは、有利には、インプットカラーイメージ、照明カラーイメージおよび／またはアウトプットカラーイメージを変換および修正するように構成されている。ここで有利には、アウトプットカラーイメージおよび／または照明カラーイメージを調整するためのベースとしてインプットカラーイメージを使用する。

本発明の別の態様では、共通の光学システムが、アウトプットカラーイメージ投影器、照明システムおよびカメラシステムのうちの少なくとも２つに提供される。共通の光学システムは、共通のレンズシステムを含んでいてよい。共通のレンズシステムは、アウトプットカラーイメージ投影器、照明システムおよびカメラシステムの光軸のアライメントを保証する。これは、カメラシステムの観察領域と、照明システムとアウトプットカラーイメージ投影器が自身のイメージを投影する投影領域との一致も保証する。この共通の光学システムは、カメラシステム、アウトプットカラーイメージ投影器、ビューアーおよび照明システムのうちの少なくとも１つが対象物から離れて位置する場合には、ファイバーオプティクスも含んでいてよい。

ビームスプリッターアレンジメントは、照明システムからの光を分離するために使用されてよく、かつ／または光学システム内へのアウトプットカラーイメージ投影器を、投影領域または観察領域からの光から分離するために使用されてよい。

本発明の方法はさらに、観察領域上に照明カラーイメージを投影することによって観察領域を照明するステップを含んでいることによって、および照明カラーイメージがインプットカラーイメージに基づくことによって、さらに改善可能である。

この方法はさらに、インプットスペクトル帯域から成る照明スペクトルによって、観察領域を照明するステップを含んでいてよい。

別の実施形態では、この方法は、インプットスペクトルをブロックすることによって、アウトプットスペクトルでの観察領域に対するビューアーを提供するステップを含んでいてよい。

この方法は、少なくとも可視光範囲での、観察領域にわたる、反射、蛍光発光、透過および吸光のうちの少なくとも１つにおける差を補償するために、照明カラーイメージを適合させるステップも含んでいてよい。

この方法はさらに、インプットカラーイメージのカラーネガとして、照明カラーイメージを計算するステップを含んでいてよい。

インプットカラーイメージに基づいてアウトプットカラーイメージを計算するステップは、少なくとも１つのコヒーレント領域において、インプットカラーイメージにおける色を、アウトプットカラーイメージにおける別の色、有利には疑似カラーによって置き変えるステップを含んでいてよい。

インプットカラーイメージに基づいてアウトプットカラーイメージを計算するステップは、インプットカラーイメージと比べて、アウトプットカラーイメージにおける色、強度およびコントラストのうちの少なくとも１つを変換するステップを含んでいてよい。

以下で本発明を、例示的な実施形態を用いて、図面を参照して詳細に説明する。

図面では、機能および／または構造に関して相互に対応する要素に同じ参照番号が付けられている。

さらに、上述したそれらの技術的な作用が、特定のアプリケーションに不要な場合には、添付図面の実施形態に例示的に示されている特徴の組み合わせ、１つまたは複数の特徴を省略することができる、ということを理解されたい。逆に、上述したそれらの技術的な作用が、発明の特定の用途に利点がある場合、１つまたは複数の図が、実施形態に加えられてよい。

本発明に従った観察装置の概略図 本発明に従った観察装置の使用時の概略図 図２に示された観察装置の概略図

図１に関連して、はじめに、観察対象物２の視覚強化のための観察装置１の構造および機能を説明する。観察対象物２は、特に、イメージ組織、例えば人間の体、動物および／または植物であってよい。

観察装置１は、カメラシステム４、照明システム６、アウトプットカラーイメージ投影器８、ビューアー１０、レンズシステム１２、イメージプロセッサ１３およびビームスプリッターシステム１４を含んでいる。

カメラシステム４の光路１６、照明システム６の光路１８およびアウトプットカラーイメージ投影器８の光路２０は全て、ビームスプリッターシステム１４を介して、光学システム１１を通って、対象物２上へ向けられている。光学システム１１は、光路１６、１８、２０をアライメントするためのレンズシステム１１を含んでいてよい。

カメラシステム４は、対象物２上の観察領域２４から、カラーインプットイメージ２２のタイムシーケンス２１を、フレームレートｆ_Ｉで捕捉するように構成されている。カメラシステムは、少なくとも１つのイメージングスペクトロスコープ２５、例えばスペクトルカメラまたはハイパースペクトルカメラを含んでいてよい。

照明システム６は、照明カラーイメージ投影器２６を含んでいてよく、これは、対象物２上の投影領域３０に照明カラーイメージ２８のタイムシーケンス２７をフレームレートｆ_Ｌで投影する。投影領域３０は有利には、空間的に、観察領域２４と一致する。択一的に、従来の照明デバイス（図示されていない）または環境照明が使用されてよい。

タイムシーケンス２１における照明カラーイメージ２８は、観察装置１によって、特に、観察装置１のイメージプロセッサ１３によって、インプットカラーイメージ２２に基づいて計算される。

タイムシーケンス２７における照明カラーイメージ２８は、有利には、観察領域２４上のカメラシステム４によって捕捉されたタイムシーケンス２１における相応するカラーインプットイメージ２２に一致し、同じ配向である。

アウトプットカラーイメージ投影器８は、アウトプットカラーイメージ３２のタイムシーケンス３１を、フレームレートｆ_ｏで、アウトプットカラーイメージ投影器８の投影領域３４上に投影する。フレームレートｆ_ｏは、カメラシステム４のフレームレートｆ_Ｉと無関係であってよい。この投影領域３４は有利には、投影領域３０および観察領域２４のうちの少なくとも１つと空間的に一致している。アウトプットカラーイメージ３２は、投影領域３４においてフィーチャ３６を有しており、このフィーチャ３６は、タイムシーケンスにおける各イメージに対する、照明カラーイメージ２８および／またはカラーインプットイメージ２２における、かつ／または対象物２上の、対応するフィーチャと空間的に一致し、同じ配向である。したがって、イメージ２８および３２は対象物２上で相互に一致し、かつ対象物２と一致する。

アウトプットカラーイメージ３２は、観察装置１によって、特にそのイメージプロセッサ１３によって、インプットカラーイメージ２２に基づいて計算される。共通の投影領域４０を見るために、ビューアー１０が観察者に提供されてよい。ここでこの共通の投影領域４０は、投影領域３４、３０および観察領域２４と一致する。

カメラシステム４および照明システム６は一方で、アウトプットカラーイメージ投影器８およびビューアー１０は他方で、観察装置１の２つの別個のイメージングサブアセンブリを形成する。２つのサブアセンブリは、対象物２の同じ部分で、すなわち投影領域４０で作用するが相互に分離される。これは、有利にはオーバラップしていないスペクトル帯域での異なるスペクトルオペレーティングを使用することによって、および観察装置１またはそのイメージプロセッサ１３によって実行されるイメージプロセッシングを通じて単独にリンクされることによって、それぞれ行われる。この分離の結果、カメラシステム４によるイメージ捕捉が害を被ることなく、対象物２の任意に選択可能なフィーチャの視覚強化が実現される。カメラシステム４と照明システム６とを含んでいるサブアセンブリは、最適な質を伴ってカラーインプットイメージ２２を提供するために使用される。アウトプットカラーイメージ投影器８とビューアー１０とを含んでいるサブアセンブリは、カラーアウトプットイメージ３２の形態における、処理されたカラーインプットイメージ２２を、直接的に対象物２上で見るためのものである。これを以下で説明する。

カメラシステム４は有利には、マルチスペクトルカメラシステムである。このマルチスペクトルカメラシステムは、複数の、例えば少なくとも２つの、有利には４つよりも多くのインプットスペクトル帯域４２での結像を実行する。有利には、少なくとも１つのインプットスペクトル帯域４２は、可視光範囲に配置されている。少なくとも１つのインプットスペクトル帯域が、ＮＩＲおよび／またはＩＲ範囲にも配置されていてよい。インプットスペクトル帯域４２が、蛍光スペクトル帯域４４を含んでいてよい。この蛍光スペクトル帯域４４は対象物２上または対象物２内の蛍光材料、例えば、蛍光組織マーカーまたは他の蛍光体の蛍光放出スペクトル帯域に対応する。

インプットスペクトル帯域４２の組み合わせは、カメラシステム４のインプットスペクトル４６を規定する。

照明システム６は、有利にはオーバラップしない照明スペクトル帯域５０から成る照明スペクトル４８を有している。照明スペクトル４８はインプットスペクトル４６に相当し、有利には、それが存在する場合には、あらゆる蛍光スペクトル帯域４４を排除する。したがって、各スペクトル帯域における対象物からの蛍光放射が無い場合には、照明スペクトル帯域５０はインプットスペクトル帯域４２に一致する。

照明カラーイメージ２８は、投影領域４０において対象物２上にオーバラップされ、投影領域４０にわたる反射の分布に応じて対象物２によって反射される。したがって、インプットカラーイメージ２２は直接的に、投影領域４０上に投影された照明カラーイメージ２８によって影響される。付加的に、照明スペクトル５０によってトリガされたあらゆる蛍光も、カメラシステム４によって捕捉される。

有利には、照明カラーイメージ２８は、タイムシーケンス２１、２７における各イメージに対して、各インプットカラーイメージ２２のカラーネガに計算される。これは、カメラシステム４のダイナミックレンジの利用を最大化する。この計算は、観察装置１によって、特に観察装置１のイメージプロセッサ１３によって、リアルタイムで実行される。

照明カラーイメージ２８が、他の作用を補償するように計算されてよい。例えば、蛍光励起スペクトル帯域における照明の強度が、この特有のスペクトル帯域によって励起される蛍光が低い領域において増大されてよく、その逆でもよい。

したがって、新たな照明カラーイメージ２８が計算され、投影領域４０上に、有利にはタイムシーケンス２１における連続するインプットカラーイメージ２２間の時間１／ｆ_ｌ内で投影される。

照明カラーイメージ投影器２６は、照明フィルターシステム５２を含んでいてよい。この照明フィルターシステム５２はバンドパス照明フィルターまたはバンドストップ照明フィルター５４を含んでいる。これは照明スペクトル帯域５０外の光をブロックする、すなわち減衰する、または有利には除去する。

カメラシステム４は、インプットフィルターシステム５６を含んでいてよい。これは、内部ビームスプリッター５８の一部であってよい。この内部ビームスプリッターは、光を、カメラシステム４を形成する種々のカメラに向けてよい。イメージングスペクトロスコープが使用される場合には、インプットフィルターシステム５６が必要とされなくてよい。この場合には、複数のインプットカラーイメージは、イメージングスペクトロスコープからのインプットスペクトル帯域４２外のあらゆるイメージデータを放棄することによって、シンプルにまとめられる。

アウトプットカラーイメージ投影器８は、アウトプットスペクトル帯域６２から成るアウトプットスペクトル６０を放出する。アウトプットスペクトル帯域６２は、インプットスペクトル帯域４２および照明スペクトル帯域５０から分離され、かつインプットスペクトル帯域４２および照明スペクトル帯域５０とオーバラップしない。人間の観察者の場合には、アウトプットスペクトル６０に対して、アウトプットスペクトル帯域６２を３つだけ含めば十分である。これらは共に、ＲＧＢ色空間等の色空間を形成し、オーバラップしてよい。アウトプットカラーイメージ投影器８は、アウトプットスペクトル６０をアウトプットスペクトル帯域６２に制限するアウトプットフィルターシステム６４を含んでいてよい。アウトプットフィルターシステム６４は、この目的に向かって、バンドパスまたはバンドストップアウトプットフィルター６６を含んでいてよい。これは、特に、インプットスペクトル帯域４２をブロックする。

択一的に、アウトプットカラーイメージ投影器８は、少なくとも１つのレーザー、有利には異なる色のレーザーセットを使用するレーザー投影器であってよい。これは、加法色系を形成してよい。カラーレーザーを使用することは、異なる色におけるスペクトル帯域がオーバラップせず、ノッチフィルターを使用して容易にブロックされてよいという利点を有する。

アウトプットスペクトル帯域６２はインプットスペクトル帯域４２とオーバラップしないので、カメラシステム４は、これらが共通の投影領域４０上に投影される場合であってもアウトプットカラーイメージ３２を検出することができない。さらに、投影領域４０上に投影されるアウトプットカラーイメージ３２は、照明カラーイメージ２８によって影響されない。なぜなら、これらは共通のスペクトル帯域を共有しないからである。アウトプットスペクトル帯域６２は、有利には、インプットスペクトル帯域４２よりも幅が狭い。アウトプットスペクトル帯域６２の数は有利には、インプットスペクトル帯域４２の数よりも多い。

ビューアー１０は、ビューアーフィルターシステム６８を含んでいる。このビューアーフィルターシステム６８は、照明スペクトル帯域５０を阻止し、有利にはアウトプットスペクトル帯域６２だけを通すように設計されている。ビューアーフィルターシステム６８は、そのバンドパスまたはバンドストップ特性において、アウトプットフィルターシステム６４に対応してよい。したがってビューアー１０を通して観察する観察者はアウトプットイメージ３２だけを観察し、照明カラーイメージ２８は観察しない。なぜならこれらは、ビューイングフィルターシステム６８によって阻止されたスペクトル帯域５０を用いて形成されているからである。これは、アウトプットカラーイメージ３２のコントラストを著しく強める。

イメージプロセッサ１３は、アウトプットカラーイメージ３２を形成するために、インプットカラーイメージ２２上であらゆる画像処理を行ってよく、これは例えばノイズの低減、対象物の光拡散作用を補償するための空間的なデコンボリューション、疑似色またはあらゆる自然発生色によるインプットカラーイメージ２２における色の置換、マーク、例えば記号および文字の挿入、および／またはコントラストおよび／または色および／または輝度分散の強化である。さらに、カラーアウトプットイメージ３２は、捕捉された蛍光イメージから計算されてよい。これは例えば、誤った色における蛍光強度の率を表示することによって行われる。インプットカラーイメージ２２のあらゆるこれらの修正を含んだアウトプットカラーイメージ３２は直接的に対象物２上に、視覚的に修正されたフィーチャが対象物２上に存在している位置に正確に投影される。

マルチスペクトル照明カラーイメージ投影器２６およびマルチスペクトルカメラシステム４を使用することによって、最適な質のイメージを捕捉することができる。なぜなら、照明が、ピクセルベースで、対象物２の反射および蛍光特性およびカメラシステム４の特性に合わせられるからである。例えばイメージプロセッサ１３によって行われる照明カラーイメージ３２とインプットカラーイメージとのリアルタイムの計算による比較は、アウトプットスペクトル４８における投影領域４０にわたる反射の分布を生じさせる。この分布は、アウトプットスペクトル６０のスペクトル帯域６２もカバーするため、さらにアウトプッカラーイメージ３２の比較のために、リアルタイムで、イメージプロセッサによって補間されてよい。

アウトプットスペクトル帯域６２における反射が、ビューアー１０を備えた偏光フィルターシステム７０を提供することによって低減されてよい。これは光路２０における自由選択的な偏光フィルター７２と組み合わせられてよい。偏光フィルター７２は、アウトプットカラーイメージ投影器８の一部であってよい。例えば、線形偏光が偏光フィルターシステム７０において使用されてよく、偏光フィルター７２および偏光フィルターシステム７０は、例えば回転可能な線形偏光フィルターを提供することによって調整可能でよい。

図１に示されているような観察装置１が簡素化されてよい。例えば、照明スペクトル帯域５０の代わりに、連続した照明スペクトル４８を提供する照明システムを使用することで十分であってよい、または対象物の照明のために環境光を使用することで十分であってよい。このような照明は結果として、インプットカラーイメージ２２の比較的低い質を生じさせる。しかし、インプットカラーイメージ２２に基づいてアウトプットカラーイメージ３２を計算し、アウトプットカラーイメージ３２がカメラシステム４によって捕捉されることなく、アウトプットカラーイメージ３２を投影領域４０上に投影することが依然として可能である。ただし、インプットスペクトル帯域４２とアウトプットスペクトル帯域６２とがオーバラップしない場合に限られる。

ビューアー１０は、観察装置１の一部である必要はない。アウトプットカラーイメージ３２を投影領域４０上に投影すれば十分である。したがって、観察者は、投影領域４０上でのアウトプットカラーイメージ３２と照明カラーイメージ２８との重ね合わせを観察することができる。

アウトプットスペクトル６０は、有利にはもっぱら可視光範囲においてアウトプットスペクトル帯域６２を含んでいる。

照明カラーイメージ投影器２６およびアウトプットカラーイメージ投影器８は、各々、デジタル光プロセッサ７４および回転フィルターホイール７５を含んでいるように示される。当然ながら、あらゆる他のタイプのカラーイメージ投影器が、あらゆる投影器８、２６に対して使用可能である。

図２は、観察装置１の例を示している。これは、対象物２としての患者７６上の観察領域４０を観察するために使用される。観察領域４０は、患者７６の皮膚の上にあってよい、または手術中の患者７６の一部であってよい。観察者７８、例えば外科医または医療助手は、ビューアー１０を通じて観察領域４０を検査してよい。これはこの場合には、有利にはビューアーフィルターシステム６８と自由選択的に偏光フィルターシステム７０も組み込む透明なスクリーン８０である。

図２の観察装置を再度、図３に示す。ここでは、ビューアーフィルターシステム６８と自由選択的に偏光フィルターシステム７０とが観察スクリーン８０に組み込まれている。ビューアーはハウジング８２によって保持され、このハウジング８２は調整可能なスタンド８４によってサポートされている。ハウジング８２内には、少なくとも光学システム１１が受容されている。ハウジング８２は、さらに、カメラシステム４、アウトプットカラーイメージ投影器８のうちの少なくとも１つも含んでいてよい。

択一的に、これらのデバイスは、ビューアー１０およびファイバーオプティクス８６から離れて配置されていてよい。なぜなら光学システム１１の一部が、光を、投影領域４０に搬送するため、および投影領域４０から搬送するために使用されるからである。ファイバーオプティクスは、スタンド８４内に受容されていてよい。

図１を参照して説明したように、観察装置１は、上述のように照明システム６を含んでいてもよい。この照明システムは、ハウジング８２内に受容されているかまたはファイバーオプティクス８６を介して接続されている。

１ 観察装置
２ 対象物
４ カメラシステム
６ 照明システム
８ アウトプットカラーイメージ投影器
１０ ビューアー
１１ 光学システム
１２ レンズシステム
１３ イメージプロセッサ
１４ ビームスプリッターシステム
１６ カメラシステムの光路
１８ 照明システムの光路
２０ 外部カラーイメージ投影器の光路
２１ カラーインプットイメージのタイムシーケンス
２２ カラーインプットイメージ
２４ カメラシステムの観察領域
２５ 照明スペクトロスコープ
２６ 照明カラーイメージ投影器
２７ 照明カラーイメージのタイムシーケンス
２８ 照明カラーイメージ
３０ 照明カラーイメージ投影器の投影領域
３１ アウトプットカラーイメージのタイムシーケンス
３２ アウトプットカラーイメージ
３４ アウトプットカラーイメージ投影器の投影領域
３６ アウトプットカラーイメージ内のフィーチャ
３８ 照明カラーイメージのフィーチャ
４０ 共通の投影領域および観察領域
４２ インプットスペクトル帯域
４４ 蛍光スペクトル帯域
４６ インプットスペクトル
４８ 照明スペクトル
５０ 照明スペクトル帯域
５２ 照明フィルターシステム
５４ 照明フィルター
５６ インプットフィルターシステム
５８ 内部ビームスプリッター
６０ アウトプットスペクトル
６２ アウトプットスペクトル帯域
６４ アウトプットフィルターシステム
６６ アウトプットフィルター
６８ ビューアーフィルターシステム
７０ ビューアーの偏光フィルターシステム
７２ アウトプットカラーイメージ投影器の偏光フィルター
７４ デジタル光プロセッサ
７５ 回転フィルターホイール
７６ 患者
７８ 観察者
８０ スクリーン
８２ ハウジング
８４ スタンド
８６ ファイバーオプティクス
ｆ_Ｉ カメラシステムのフレームレート
ｆ_Ｌ 照明カラーイメージ投影器のフレームレート
ｆ_Ｏ アウトプットカラーイメージ投影器のフレームレート

Claims (15)

1. 観察対象物（２）の視覚強化のための観察装置（１）であって、前記観察装置（１）は、
   アウトプットカラーイメージ（３２）のタイムシーケンス（３１）を前記観察対象物（２）上の投影領域（４０）上に投影するためのアウトプットカラーイメージ投影器（８）と、
   少なくとも２つのインプットスペクトル帯域（４２）において前記投影領域（４０）からインプットカラーイメージ（２２）のタイムシーケンス（２１）を捕捉するためのマルチスペクトルカメラシステム（４）と、
   を含んでおり、
   前記アウトプットカラーイメージ投影器（８）は、アウトプットスペクトル（６０）を有しており、
   前記アウトプットスペクトル（６０）は、少なくとも可視光範囲において、アウトプットスペクトル帯域（６２）から成り、
   前記インプットスペクトル帯域（４２）は、少なくとも可視光範囲において、前記アウトプットスペクトル帯域（６２）と異なっており、
   前記観察装置（１）は、前記インプットカラーイメージ（２２）に基づいて前記アウトプットカラーイメージ（３２）を計算するように構成されているとともに、リアルタイムで、前記投影領域（４０）上に前記アウトプットカラーイメージ（３２）を投影するように構成されている、
   観察装置（１）。
2. 観察者（７８）によって使用される可視光透過ビューアー（１０）を含んでおり、前記ビューアー（１０）は、前記投影領域（４０）に向けられており、かつ、前記アウトプットスペクトル帯域（６２）への光の透過を制限するビューアーフィルターシステム（６８）を含んでいる、
   請求項１記載の観察装置（１）。
3. 前記カメラシステム（４）のインプットスペクトル（４６）は、４つより多くのスペクトル帯域（４２）から成る、
   請求項１または２記載の観察装置（１）。
4. 前記アウトプットカラーイメージ投影器（８）および前記ビューアー（１０）は、それぞれ、偏光フィルター（７０，７２）を含んでいる、
   請求項１から３までのいずれか１項記載の観察装置（１）。
5. 前記観察装置（１）は、照明システム（６）を含んでおり、前記照明システム（６）は、照明カラーイメージ（２８）のタイムシーケンス（２７）を前記投影領域（４０）上に投影するためのカラーイメージ投影器（８）を含んでおり、
   前記観察装置（１）は、前記インプットカラーイメージ（２２）に基づいて前記照明カラーイメージ（２８）を計算するように構成されているとともに、リアルタイムで、前記投影領域（４０）上に前記照明カラーイメージを投影するように構成されている、
   請求項１から４までのいずれか１項記載の観察装置（１）。
6. 前記観察装置（１）は、前記アウトプットスペクトル（６０）とオーバラップしない照明スペクトル（４８）を有している照明システム（６）を含んでいる、
   請求項１から５までのいずれか１項記載の観察装置（１）。
7. 照明カラーイメージ（２８）の前記タイムシーケンス（２７）の少なくとも１つの照明カラーイメージ（２８）は、インプットカラーイメージ（２２）の前記タイムシーケンス（２１）の対応する前記インプットカラーイメージ（２２）のネガティブカラーイメージである、
   請求項５または６記載の観察装置（１）。
8. インプットカラーイメージ（２２）の前記タイムシーケンス（２１）のインプットカラーイメージ（２２）と、アウトプットカラーイメージ（３２）の前記タイムシーケンス（３１）の対応するアウトプットカラーイメージ（３２）と、は空間的に一致しており、かつ、同じ配向を有している、
   請求項１から７までのいずれか１項記載の観察装置（１）。
9. 前記アウトプットカラーイメージ投影器（８）と前記照明システム（６）と前記カメラシステム（４）とのうちの少なくとも２つに対して共通のレンズシステム（１２）が設けられている、
   請求項１から８までのいずれか１項記載の観察装置（１）。
10. 対象物（２）の観察を視覚強化する方法であって、
    少なくとも可視光範囲において、インプットスペクトル帯域（４２）のインプットスペクトル（４６）で、前記対象物（２）上の観察領域（４０）からインプットカラーイメージ（２２）を捕捉するステップと、
    リアルタイムで、前記インプットカラーイメージ（２２）に基づいてアウトプットカラーイメージ（３２）を計算するステップと、
    リアルタイムで、前記アウトプットカラーイメージ（３２）を、前記観察領域（４０）上に、可視光範囲におけるアウトプットスペクトル帯域（６２）のアウトプットスペクトル（６０）を用いて投影するステップと、
    を含んでおり、
    前記アウトプットスペクトル帯域（６２）は、前記インプットスペクトル帯域（４２）と異なっている、
    方法。
11. 前記インプットスペクトル（４６）を阻止することによって、前記アウトプットスペクトル（６０）で前記観察領域（４０）を観察するためのビューアー（１０）を提供するステップをさらに含んでいる、
    請求項１０記載の方法。
12. 少なくとも前記インプットスペクトル帯域（４８）のサブセットから成る照明スペクトル（４８）で前記観察領域（４０）を照明するステップをさらに含んでいる、
    請求項１０または１１記載の方法。
13. 前記観察領域（４０）上に照明カラーイメージ（２８）のタイムシーケンス（２７）を投影することによって、前記観察領域（４０）を照明するステップと、
    前記照明カラーイメージ（２８）を前記インプットカラーイメージ（２２）から導くステップと、
    をさらに含んでいる、
    請求項１０から１１までのいずれか１項記載の方法。
14. 前記観察領域（４０）にわたる、光の反射、蛍光発光、光の透過および吸光のうちの少なくとも１つにおける差を補償するために前記照明カラーイメージ（２２）を適合させるステップをさらに含んでいる、
    請求項１３記載の方法。
15. 前記インプットカラーイメージ（２２）のカラーネガとして前記照明カラーイメージ（２８）を計算するステップをさらに含んでいる、
    請求項１３または１４記載の方法。