JP4739242B2 - 埋込構造物の画像化 - Google Patents

Description

本発明は対象の埋込構造物の画像を取得する方法に関し、特に可視域および赤外域で組織画像から得られた情報を選択的に組み合わせることによる、生物組織における血管構造などの構造物の画像化に関する。

上記を説明する方法が、同発明者による国際出願ＷＯ０１１５５９７号に開示されている。十分に明瞭な画像を取得することは、様々な問題により困難であることが明らかになっている。１つの問題は、対象において埋め込まれた特により深い部分から発散される光は、多くの場合、対象の表面から直接反射される光に比べて非常に弱いことである。実際、このことは、下にある構造物を認識するために正反射光と対象のより深い部分から発せられた光を分離する必要があることを意味している。

例えば偏光を使用し、かつ正反射光が偏光方向を維持するという事実を利用する既知の方法によって、偏光フィルタでフィルタリングすることができるように、これらの２種類の光を分離する一方、対象のより深い部分から発生する光の大部分が失われ、したがって画像の輝度と解像度の損失が生じる。このことにより、２つの部分を分離するプロセスにおいてより深い部分からの十分な光を受け取るために、強力な光源の使用が求められる。しかし、特に生体対象の構造物を画像化する領域では、対象に放射することのできる光には最大限度量が存在する。

ＷＯ０１／５０９５５号は、正反射光が偏光器によってフィルタリングされる反射配置を示している。下にある構造物の画像が、単一の画像を表すように可視画像と組み合わせられる。しかし、これらの画像の直接的組合せでは、特に下にある構造物を確実に検出し特定するときに不都合なある種のアーチファクトが発生するために、問題を生じることが明らかになっている。

ＵＳ２００１／００３７８１１号は、指の円周を判定するためのプローブを示す。さらに、散乱分析によって関節炎を検査するために関節が透照される。この配置は、ヒトの眼に匹敵する自由度を備えた人体部分の可視的画像化のために使用することはできない。

本発明は、上述の問題点によって損なわれることがなく、下にある構造物の強調画像を提供することができる画像法を提供する目的を有する。さらに本発明は、１つの画像で可視情報と埋込対象物の情報を結び付けることを可能にする画像化強調法を提供する目的を有する。

これらおよび他の目的を達成するために、一態様では、本発明は請求項１の特徴による方法を提供する。別の態様では、本発明は請求項１４の特徴による方法を提供する。

特に、可視および赤外域画像を画像化するためのカメラを備えること、赤外光で対象の一部を照射するための光源束を備えること、光源束によって対象の一部を照射すること、埋込構造物を画像化（撮像）するようにカメラで対象の非照射領域を画像化すること、および埋込構造物画像を対象の可視画像と組み合わせることによって、直接反射から発生する画像の赤外光入射が、画像から空間的にフィルタリングされる。したがって残りの部分画像は正反射光の直接照明による飽和効果を受けない。好ましい実施形態では、続く部分画像との組合せで完全画像を提供するように、部分照射を時間内で変化させることによって完全画像が提供される。

他の好ましい実施形態では、対象上で光線を走査することによって部分画像が取得される。それに加えてまたはそれの代わりに、続いて対象を所定のパターンで照射することによって部分画像が取得される。１つの特定の好ましい実施形態は、所定の相補的パターンで対象を交互に照射することによって部分画像が取得されることを含む。例えば、そのパターンの実施形態では、マトリックス・パターン、ライン・パターン、ドット・パターン、同軸または環状パターンが可能である。

さらに、好ましくは、対象は離間された所定の位置のみで照射される。照射領域および光検出領域を離間することによって、埋込構造物のより深い部分を強調することができる。

対象を交互に照明することによって完全画像を提供することができ、対象の全領域が時間依存的に照射される。

本発明はさらに、ＣＭＯＳカメラは隣接するピクセル同士の高い非相関性を有することから、これらのカメラを使用して特定の利益を提供する。したがって、「ブルーミング」による効果が回避され、（除去される）直接反射領域とより深い層から発生する拡散光を受ける残りの領域の間のコントラストが高くなる。

さらに、本発明は好ましくは、赤外光源と可視光源を整合させること、赤外画像の第１のエッジ分析を提供すること、可視画像の第２のエッジ分析を提供すること、第１および第２のエッジ分析を比較すること、および第２の画像にも検出されるエッジを赤外画像で除去することとともに使用される。このことは、可視画像内部でシャドーイングまたはエイリアシング・アーチファクト（例えば、スカルペルまたは針からの影または反射）によって形成される偽のエッジを除去しながら、（赤外光を使用して検出される）下にある構造物を認識することによって強調される、（ヒトの眼で見える通りの）「通常の」可視画像を取得するという利益を提供する。例えば外科目的では、方法は例えば組織などを切開するために対象の最適な進入点を判断するための簡便な器具を提供する。

好ましくはエッジ検出は、第１の画像の勾配分析によって実施される。本発明は、画像が立体視的に提供されるとき簡便な実施形態を提供する。さらに、第１の画像をスペクトル分析することができ、スペクトル分析は第２の画像に投影される。さらに、スペクトル分析は脈動分析および／または心拍周波数分析および／または呼吸周波数分析を含むことができる。したがってそのような分析は、関心のある身体パラメータを測定するための簡便な非接触器具を提供する。「脈動分析」では関心対象の少なくとも脈動部分の判定が理解される。

本発明はさらに対象の埋込構造物の画像化を強調する方法に関連し、請求項１４の定義を含む。さらに本発明は、請求項１６で定義されるシステムに関連する。

他の特徴および利点は図から明らかとなろう。

図１は、上記の偏光フィルタリング方法の代替構成を示す。この方法は、交互にパターン化された画像部分を動的に相補的に照明／走査することを含む。この方法では偏光フィルタを使用する必要がない。この方法は生物組織に入射する光子が組織内部で強く散乱し、一部が後方散乱を生じるという事実に基づいている。

さらに視認領域は平行な線形領域に分けられ、これを「ライン部分」と呼ぶ。これらのライン部分はそれぞれ、均一なライン部分１および不均一なライン部分２に分けることができる。

次いで、優れた耐ブルーミング仕様を有し、自由に選択可能な矩形ピクセル領域の読み出しが可能なカメラを使用して、特別の配列で画像情報を取得することができる。

ある期間に、光源束がすべての均一なライン部分１を照明し、カメラがすべての不均一なライン部分２から画像情報を取得する。ここで束という用語は、照明された対象が、照明方向でもある視認方向において光源束が到達しない非照明領域も含むように、空間的に束にされた光を包含する。そのような束は一般に光源を焦点合わせし、視準し、または遮蔽することによって到達することができる。同様に、（例えばホログラフィ格子と組み合わせた）レーザー光、およびＬＥＤなど、様々な他の光源も光源束を生成することができる。次の期間で、不均一なライン部分２が照明され、カメラは均一なライン部分から画像情報を取得する。このことは、組織全体を走査するラインカメラ、または全ての均一なライン部分を、および次の期間で全ての不均一なライン部分を同時に走査する通常のカメラのどちらかで行うことができる。

図２では、組織内部で拡散される光を使用して対象のより深い部分を画像化できる方法が示されている。光はある位置１で対象に入射し、別の位置２で対象から出射する。図によれば、さらに遠い位置で入射する光は対象内部のより深い部分から情報を収集できることが明らかである。図３〜図５を参照して後述するが、様々な照明パターンを適用することによって、対象「内部」からの照明、したがって対象のより深い部分の画像化を実現することができる。

この目的のために、図３では、図１に示す均一および不均一な平行ラインの代わりに、空間的に交互にシフトさせた交差ライン・パターンを照明パターンとして使用することができ、画像取得をライン間の領域内部で行う。まずライン・パターン１の交差点の「均一な」ドット・パターンに投影し、次いでライン・パターン２の交差部分の「不均一な」ドット・パターンに投影することも可能である。また、図４では個別の同心円の環状領域を使用することができる。図４に開示されている環状の照射形状の簡単な試験によって、満足な結果が得られた。ピンク・フォーム（３Ｍエタフォーム）の６ｍｍ厚さのスライスを遮蔽管の上に置いた。このフォーム・スライスの上にプラスチックのオフィス・クランプを置き、その白色プラスチック・ペーパー保持スライスを上に置いた。最後に、ピンク・フォームの第２のスライスを最上部に置いた。カメラの視野外で、リングライトがフォーム表面に垂直に６６０ｎｍ、８１０ｎｍおよび９４０ｎｍの光子をフォーム内へと入射させた。

図５は、対象が離間した所定の位置でのみ照射されている、別の実施形態を示す。横線で示されている第１の領域３は第１の期間に照射され、縦線で示されている第２の領域４は第２の期間に照射される。このような離間構成によって、構造物のより深い部分を示すことが可能である。間隔を変化させることによって、対象のより浅い部分およびより深い部分を走査することができる。

図６は、ＳｐＯ２パルスオキシメータ、ＥＣＧ記録デバイス、および呼吸周波数モニタなど、既知のマーカーを使用して本発明の方法の実施形態を試験した試験配置を示す。図７に示すステップを使用して、信号を記録しサンプリングした。これにより、輝度の変動のピクセルごとの時間分析を行った。１００Ｈｚサンプル・レートでフレームをサンプリングし、記録された呼吸、ＥＣＧ、およびプレチスモグラフィ脈拍数を比較した。図８に、様々な波長の結果が示されている。カメラによる測定変動が、他のパルス信号と良く一致していることが明確に示されている。

付加価値を備えた特別の構成は、互いにある距離（例えば両眼間の距離）を置いて配置された２つのカメラ（例えば単色または多周波数のＣＣＤまたはＣＭＯＳ）、したがって同じ対象（例えば生物組織）を立体視的に見ることをもとにしており、二重チャンネル電子画像処理デバイスおよび２つの表示デバイスが両眼の前に置かれている。

各カメラおよび視認された対象の間に、（おそらく２つのチャンネルを組み合わせた）別の光学システム（例えば、二重チャンネル顕微鏡、内視鏡、膣鏡など）を置くことができる。デバイスを眼の前に装着し、または視野角度外に配置して通常の視野を可能にすることのいずれかが可能であるように、簡易バイザー様の構造５（図９参照）を組み込むことも可能である。

図１０は、図９の立体視的接眼部５の使用時の例を示す。接眼部には、全てのフィルタ・カラーのＮＩＲ領域で透過性が高いバイエル・カラー・フィルター・パターンのカラー・カメラを適用することができる。また、多層カメラ・チップ（Ｆｏｖｅｏｎ Ｉｎｃ．への特許第ＷＯ０２／２７８０４号、またはそれより以前のＣａｒｒへの第４，２３８，７６０号などの特許）、または同発明人の以前の特許ＷＯ ０１ １５５９７ Ａ１における手法を適用することもできる。好ましくは、両方のスペクトル域での画像はピクセル同士が一致する。

視認される生物組織領域６の表面は、２つの光源７によって２つの反対側から斜角で照射されている。これらの２つの側は接眼部５の左／右軸と位置合わせする必要はないが、連結されたカメラの中心軸に垂直な面の周りで旋回することができる。

光源７は、可視波長域（ＶＩＳ；４００〜７８０ｎｍ）の広帯域白色光または近赤外域（ＮＩＲ；例えば９２０ｎｍ）の狭帯域光、ならびに両方の光域（ＶＩＳおよびＮＩＲ）を独立に発生するように制御することができる。光源７は、ＶＩＳおよびＮＩＲの形状的ビームプロファイルが整合し、ＶＩＳおよびＮＩＲ画像に同一のシャドーイングが行われるように、注意深く作製される。代替として、外科用顕微鏡、または２つの側面ファイバ光ガイドを備えた、（立体視鏡ロボット手術で使用される）内視鏡二重チャンネルカメラを使用して、画像を収集することもできる。

図１１は、例えば図１０に図示された接眼部５を使用して収集された、ＶＩＳ（図１１Ａ）およびＮＩＲ（図１１Ｂ）画像の結果を示す。ＮＩＲおよびＶＩＳビームは一致するので、不規則形状によって組織表面（例えば皮膚構造物、皮膚のひだ、モールド）に生成された影もまた、両方の波長域が一致する。開示された実施形態では、ビームは組織領域６に関して小さい角度で方向付けられている。その結果、皮膚のひだなどは鋭角の影を生成する。（星印で示す）反射および／または飽和ピクセルを生成する光沢領域もまた、両方の波長域が一致する。角度が小さいために、組織表面６に近付けられた対象８（例えば針、スカルペル、プローブなど）によって２つの別個の影が生成される。これらの影は一般に対象が表面に接触すると合流し「Ｖ字形」パターン９を形成する。例えば針が表面を貫通すると、針先端１０はＶＩＳ画像（図１１Ａ）から急に消える。しかしＮＩＲ画像（図１１Ｂ）では、先端１０は組織６内部で依然として見ることができる（図参照）。

ＶＩＳ画像（図１１Ａ）では、特に血管の質感によって皮膚が変形している場合、非常に表層の血管だけしか見ることができない。しかしＮＩＲ画像では、血管が（皮下数ミリメートルの深さにある血管であっても）より良く見ることができる。皮膚色素（メラニン）は、ＮＩＲ域では吸光度が非常に低いので、この良好なＮＩＲ可視性は皮膚色の濃い人にも当てはまる（モールドもその暗色を失う）。

ステップ１１および１２でそれぞれＮＩＲおよびＶＩＳ画像を取得した後、図１２（図１６）（ステップ１３および１４）を参照して示すように、両方のスペクトル帯域に勾配エッジ強調ステップが適用される。画像ＶＩＳ−ＪおよびＮＩＲ−Ｊは、カメラ画像ＮＩＲおよびＶＩＳからノイズを除去するために平滑フィルタでフィルタリングすることによって取得される。現在の実施方法ではこれは平均化フィルタである。平滑化された各画像ＶＩＳ−ＪおよびＮＩＲ−Ｊから、勾配フィルタを使用して２つの方向差分画像ＩｘおよびＩｙが計算される。現在、これはＰｒｅｗｉｔｔフィルタで実施されている。

次にエッジ勾配画像ＶＩＳ−ＧおよびＮＩＲ−Ｇが、

によって形成される。次いでＶＩＳ−ＧおよびＮＩＲ−Ｇは、ＶＩＳ−Ｇ’およびＮＩＲ−Ｇ’を取得するためにクリップ処理され１に正規化される（ステップ１５および１６）。最後に画像は１−Ｇ’に補完される（ステップ１７および１８）。

所与の組織領域のＶＩＳ画像およびピクセル間一致ＮＩＲ画像が取得される。

両方のスペクトル帯域からの画像は、同一のエッジ強調アルゴリズム（上述参照）に従って、エッジが黒にコード化されるように（０＝黒および１＝白。これは通常のエッジ強調結果のネガであることに留意）、正規化されたＮＩＲエッジおよびＶＩＳエッジのグレースケール画像を生成する。

ここでＮＩＲおよびＶＩＳ画像の対応するエッジがピクセルごとの基準に従って決定される（ステップ１９）。
ＮＩＲ−エッジ−ピクセル＜ＮＩＲ＿閾値 ＡＮＤ ＶＩＳ−エッジ−ピクセル＜ＶＩＳ＿閾値 （閾値は両方ともソフトウェア設定可能）

両方のスペクトル域からの情報を組み合わせることによって、両方の要件に一致するピクセル座標は表面アーチファクトとして認識され、修正されたＮＩＲエッジ画像でピクセル値を１に設定することによって除去される（ステップ２０）。

正規化後に生ＮＩＲ画像で同じことを行うことによって（ステップ２１）（エッジ強調なし）、修正された正規化ＮＩＲ画像（ステップ２２）は飽和画像領域を除去することによって定義される。

この目的のために、生ＮＩＲ画像内部の全ての飽和ピクセルの位置（例えば８ビット画像では２５６）が認識される。飽和された第１のＮＩＲ−マスク内部の全てのピクセルまたは飽和されたピクセルに直接隣接するピクセルでは、ピクセル値を１に設定することによって（したがってエッジ情報を完全に無視する）、エッジが除去され、補充され、第２のＮＩＲ−マスクが生じる（ステップ２３）。

したがって飽和ピクセルから生じた偽のエッジが除去され、第２のＮＩＲ−マスクはここで皮下血管（および最終的に他の埋込コントラスト構造物）の境界を含む。

この方法は、第２、第３などの隣接するピクセルを含むことによって変化させることができる。

好ましい方法では、例えば、第２のＮＩＲ−マスクに第２の修正されたＮＩＲ画像を乗じることによって（ステップ２４）、「補充された」血管を形成するために生ＩＲ画像が使用される。ユーザが調整可能な指数Ｎとともに補充カラーの量を変化させることができる。
第２のＮＩＲ−マスク×（第１の修正されたＮＩＲ画像）^Ｎ＝最終的な強調マスク

最後に、ここでこの最終強調マスクに、ステップ２５で（好ましくはカラー画像である）生ＶＩＳ画像の輝度成分を乗じる。このように組織表面下から真に発生するコントラスト情報だけがＶＩＳ画像に投影される。組織に針が挿入された以前の画像を見る場合、これらの基準によって、埋め込まれた針先端だけがＶＩＳ画像に重ね合わされていることが明らかである。影、しわ、反射、およびモールドのエッジは強調されない。

したがって、可視域の全ての色を考慮する代わりに、ＶＩＳエッジ強調入力に青色のスペクトル域だけを使用すると純粋な表面アーチファクトの検出をさらに改善することができる。これは血管の可視性を除去するために行われる。青色光のこの効果は、可視域では血管の青色光への反射性が皮膚に最も近いためである（可視血管コントラストの最大限度は青色域外にある）。別のオプションのリファインとして、最終強調マスクは（すべての可視光色画像の輝度信号の代わりに）例えば可視画像の赤色および／または緑色部分のみなどを選択的に乗じることができる。

関心組織部分がスポットされると、ユーザは画像捕捉配列を変化させ、選択された関心領域（ＲＯＩ）内部で別の（第２の）ＮＩＲ画像の収集を可能にするモードに切り替えることができる。このＲＯＩは組織に接触するＬＥＤアレイ、あるいは遠くから組織上に投影されるレーザー・ドットまたはレーザー・ラインのパターンのいずれかを使用して、ちょうどＲＯＩ外部で光子入射によって実質的に照射される。この第２のＮＩＲ画像の取得中、ＶＩＳおよび第１のＮＩＲ照明はオフにされる。

このように同じ波長域の２種類の照明形状を使用して取得された情報を結び付けることができる。このことはまた、図１３を参照して後に示すが、ＶＩＳの使用および針先端の照明の点滅を使用または使用せずに行うことができる。

図１３では、ＮＩＲ−レーザーまたはＮＩＲ−ＬＥＤが針またはカテーテル８に固定されている。滅菌されたウインドウを経由して、針穴を通してまたはそれに沿って光が投影される。このように、針先端１０は、針が血管内にあるとき血管内壁２６を照明する（図１３Ｂ参照）。針が遠位側血管壁を穿刺する場合（図１３Ｃ参照）、照明に劇的な変化が見られる。針にクリップ止めされた光源は、カメラと同期させることができる。点滅する先端の照明を有利にすることができる。

上記では図面および説明を参照してさらに発明を図示してきたが、本発明はそれに限定されるものではなく、これらの実施形態は図示の目的で開示されているに過ぎないことは明らかであろう。本明細書の変形および改変は、添付の特許請求の範囲で定義されるように本発明の範囲内である。

本発明による対象の走査放射方法の概略図である。 拡散による生体組織中の光伝播の概略図である。 対象上で交差パターンを照明することによる照明方法を示す図である。 対象上で環状パターンを照明することによる照明方法を示す図である。 対象上で格子パターンを照明することによる照明方法を示す図である。 １つの可視波長および２つの赤外波長を使用して、本発明の装置を試験するための試験配置を示す図である。 図６の配置から取得されたデータの処理およびルーティングのための一連の分析ステップを示す図である。 ３つの異なる波長の光の画像の脈拍成分のスペクトル分析を示す図である。 本発明の装置を含む簡易バイザー様の構造を示す図である。 使用時の図９のバイザー様の構造を示す図である。 図９の接眼部によって収集されたＶＩＳおよびＮＩＲ画像を示す図である。 本発明の方法によるステップを示す図である。 赤外光を放出する穿刺器具を含む、本発明のシステムの他の実施形態を示す図である。

Claims (20)

1. 対象の埋込構造物の画像を取得する方法であって、
   可視および赤外画像を画像化するためのカメラを提供するステップと、
   赤外光源束を提供するステップと、
   前記光源束によって前記対象の一部を照射するステップと、
   前記埋込構造物を画像化するように前記カメラで前記対象の非照射領域を画像化するステップと、
   前記埋込構造物画像を前記対象の可視画像と組み合わせるステップと、
   前記赤外光源を可視光源と整合させるステップと、
   前記赤外画像の第１のエッジ分析を提供するステップと、
   前記可視画像の第２のエッジ分析を提供するステップと、
   前記第１および第２のエッジ分析を比較するステップと、
   前記可視画像でも検出されるエッジを前記赤外画像で除去するステップとを含む方法。
   を含む方法。
2. 前記照射を時間内で変化させて、続く部分画像との組合せによって完全画像を提供する請求項１に記載の方法。
3. 前記画像が前記対象上で光線を走査することによって取得される、請求項１または２に記載の方法。
4. 前記画像は、続いて前記対象を所定のパターンで照射することによって取得される、請求項１または２に記載の方法。
5. 前記部分画像が、前記所定の相補的パターンで前記対象を交互に照射することによって取得される、請求項４に記載の方法。
6. 前記パターンがマトリックス・パターン、ライン・パターン、ドット・パターン、または同軸パターンである、請求項４または５に記載の方法。
7. 前記対象は、離間された所定の位置のみで照射される、請求項４から６のいずれかに記載の方法。
8. 前記画像がＣＭＯＳカメラで取得される、請求項１から７のいずれかに記載の方法。
9. 飽和画像領域を除去するように前記赤外画像を修正するステップをさらに含む、請求項１に記載の方法。
10. 前記画像が立体視的に提供される、請求項１から９のいずれかに記載の方法。
11. 前記赤外画像がスペクトル分析され、前記スペクトル分析が前記可視画像に投影される、請求項１から１０のいずれかに記載の方法。
12. 前記スペクトル分析が脈動分析および／または心拍周波数分析および／または呼吸周波数分析を含む、請求項１１に記載の方法。
13. 対象の埋込構造物の画像化を強調する方法であって、
    前記埋込構造物を画像化する波長の第１の光を提供するための第１の光源を提供するステップと、
    前記第１の光源と整合された、前記対象を可視的に画像化する波長の第２の光を提供するステップと、
    前記対象に前記第１の光を照射することによって第１の画像を取得するステップと、
    前記埋込構造物のエッジを検出するために、前記第１の画像のエッジ分析を提供するステップと、
    前記対象に前記第２の光を照射することによって第２の画像を取得するステップと、
    前記第２の画像のエッジ分析を提供するステップと、
    前記第２の画像の前記エッジ分析を前記第１の画像の前記エッジ分析と比較するステップと、
    前記第２の画像にも検出されるエッジを前記第１の画像で除去するステップと、
    前記可視画像における前記埋込構造物のエッジを定義するために前記第１および第２の画像を組み合わせるステップとを含む方法。
14. 飽和画像領域を除去するように前記第１の画像を修正するステップをさらに含む、請求項１３に記載の方法。
15. 対象の埋込構造物の画像を取得するためのシステムであって、
    可視光源と整合させられた、光によって前記対象の一部を照射するための赤外光源束と、
    前記対象の非照射領域における第１の埋込構造物画像と、前記対象の第２の可視画像とを取得するためのカメラ・デバイスと、
    ・前記埋込構造物のエッジを検出するために、前記第１の埋込構造物画像の勾配分析を提供し、前記第２の可視画像の勾配分析を提供し、
    ・前記第２の可視画像の勾配分析を前記第１の埋込構造物画像の勾配分析と比較し、
    ・前記第２の可視画像にも検出されるエッジを前記第１の埋込構造物画像で除去し、
    ・前記可視画像における前記埋込構造物のエッジを定義するために前記第１および第２の画像を組み合わせる、
    処理デバイスと、
    を含むシステム。
16. ヒト組織を穿刺するための穿刺器具と、
    前記穿刺器具で提供されるＩＲ光源とをさらに含む、請求項１５に記載のシステム。
17. 前記ＩＲ光が前記穿通器具に沿って整合される、請求項１６に記載のシステム。
18. 前記ＩＲ光が前記穿通器具の先端に提供される、請求項１６または１７に記載のシステム。
19. 前記穿刺器具がＩＲ放射被覆を備える、請求項１６から１８のいずれかに記載のシステム。
20. 前記ＩＲ光源および前記光源束が交互に作動される、請求項１６から１９のいずれかに記載のシステム。

Images