JP2017534322A - 膀胱の診断的マッピング方法及びシステム - Google Patents

Abstract

内部体腔、例えば膀胱のような内臓の表面の視覚化を生成させるための方法及びシステムを提供する。このアプローチは、概して、内視鏡を内部体腔に挿入することと、該内部体腔を画定する組織表面のビデオを取得することと、ビデオフレームを一緒にステッチングして内部体腔を画定する組織表面のパノラママップを生成することと、該パノラママップを表示することとを含む。【選択図】図１

Description

関連出願の相互参照
本出願は、２０１４年９月１７日出願の米国仮出願第６２／０５１，８７９号の優先権の利益を主張するものであり、それは参照により本明細書に組み込まれる。

本開示は、概して、医用画像の分野に関し、より具体的には、内部体腔表面の画像診断の方法及びシステムに関する。

膀胱鏡を使用する膀胱の日常的に用いられる検査は、医師が間質性膀胱炎または膀胱癌のような状態の目に見える症状を検出することを可能にする。しかし、膀胱で観察される特徴に関連するデータは、膀胱内の寸法または色の基準がないため、本質的に定性的及び主観的である。膀胱表面の写真またはビデオを取得することができるが、観察の解釈はその医師の判断に委ねられ、個人によって異なる可能性がある。この変動の１つの結果は、複数のリーダーが臨床試験で使用されて、写真やビデオなどの視覚データに関する統一見解を作成することである。このことは、疾患の進行とその目に見える症状を追跡するプロセスを困難にする。

膀胱表面特徴の寸法（長さ、面積）または色などの定量的尺度の導入は、より客観的な観察を可能にする。次に、これらの措置は、疾患の進行の追跡を容易にすることができる。しかしながら、従来の膀胱鏡検査では、絶対的な測定は現在のところ不可能である。これは、膀胱鏡が通常膀胱壁からの距離に関係なく焦点を合わせた観察を可能にし、膀胱鏡のヘッドで装置を単純化するために、無限の焦点距離を有するからである。画像が撮影された膀胱壁からの距離を知らずに、画像内の内部基準がない特徴の寸法を推測することは不可能である。色に関しては、通常は、膀胱鏡処置の前にホワイトバランスが実行されるが、自動輝度設定による検査中の光源の明るさの変化は、結果を混乱させ得る。光源の手動調整は、膀胱内の光強度への必要性が変化するので、操作者による持続的な再調整が必要とされるため実用的ではない。

従来の手法では、膀胱は、固定長アーマチュアと、パノラマステッチングを支援する既知の焦点距離と予め画定された動きを有する画像センサの回転とを使用してマッピングされる。しかし、このプロセスは取得後に実行され、所与の領域またはフレームの画質が低い場合には、再挿入／再撮像が必要となる。さらに、このプロセスは、望ましくないことに画像化を実施するために特殊化されたセンサ及びハードウェア（例えば蛍光または電動膀胱鏡）の使用を必要とし、これらはすべての臨床現場に対して手頃でも実現可能でもない。加えて、例えば、そのようなハードウェアの失敗点に起因する再度の画像化は、痛みを伴う／敏感な膀胱病変を有する患者にとっては選択肢ではない。

したがって、膀胱を画像化し、その膀胱の定量的観察を行うための改良された方法及び／またはシステムが必要とされている。例えば、膀胱疾患の存在及び／または進行（または退行）を評価する際に、患者の膀胱表面に関する定量的観察を行うための改善された手段を提供することが望ましい。

第１の態様では、臓器腔をマッピングする方法を提供し、該方法は、臓器腔内に内視鏡を挿入することであって、該臓器腔が組織表面を有する挿入することと、該臓器腔を画定する該組織表面のビデオを取得することであって、前記ビデオは複数のビデオフレームを含む、取得することと、該ビデオフレームをリアルタイムで一緒にステッチングして、該臓器腔を画定する該組織表面のパノラママップを生成することと、パノラママップを表示することと、を含む。

別の態様では、患者の尿道を通して膀胱内に挿入された膀胱鏡を介して膀胱の取得されたビデオから患者の膀胱をマッピングする方法を提供し、該方法は該取得されたビデオからの複数のビデオフレームを一緒にステッチングして、膀胱を画定する組織表面のパノラママップを生成することと、該パノラママップを表示することと、を含む。

さらに別の態様では、患者内の疾患または状態の進行を追跡する方法を提供し、該方法は、初回に作成された第１のパノラママップと２回目に作成された第２のパノラママップとを比較することを含み、該マップは、本明細書で開示されたマップ生成方法のいずれかを使用して作成される。

さらに別の態様では、臓器腔をマッピングするためのシステムを提供し、該システムは、
内視鏡と；ビデオ取り込み装置と；照明装置と；コンピュータ実行可能命令を記憶するメモリであって、該コンピュータ実行可能命令は、（ｉ）該臓器腔を画定する組織表面のビデオを受信する命令であって、
該ビデオは、該内視鏡を介して該臓器腔に挿入された該ビデオ取り込み装置で得られる複数のビデオフレームを含み、該ビデオは該組織表面が該照明装置によって照明されている間に取得する、命令と、
（ｉｉ）該複数のビデオフレームをリアルタイムで一緒にステッチングして、該臓器腔を画定する該組織表面のパノラママップを生成する命令と、
（ｉｉｉ）該パノラママップを表示する命令と、を含む、メモリと、
該少なくとも１つのメモリにアクセスし、該コンピュータ実行可能命令を実行するように構成されたプロセッサと、
表示画面であって、該表示画面は、例えば該パノラママップをリアルタイムで表示するように構成される、表示画面と、を含む。

ここで、例示を意味するものでありかつ限定するものではない図面を参照するが、同様の要素には同様の番号が付されている。詳細な説明は、本開示の実施例を示す添付の図面を参照して説明され、同じ参照番号の使用は、類似または同一の項目を示す。本開示の特定の実施形態は、図面に例示された要素、構成要素、及び／または構成以外の構成要素を含むことができ、そして図面に示された要素、構成要素及び／または構成のいくつかは、特定の実施形態では存在しなくてもよい。

内部体腔表面の画像診断のためのシステムの概略図である。 内部体腔表面の画像診断方法のフローチャートである。 複数のビデオフレームを処理する方法のフローチャートである。 疾患の進行を診断または評価するための方法のフローチャートである。

内部体腔を画定する組織表面の非構造化されたパノラママッピングを提供するためのシステム及び方法が開発された。このシステム及び方法は、部分的には、寸法及び色の基準として実質的に全身の内部体腔表面全体を使用して相対的な測定値を得ることができるという発見に基づいている。このシステム及び方法は、とりわけ、病理学の長期評価に有用である。好ましい実施形態では、パノラママッピングは、リアルタイムまたはほぼリアルタイムで発生する。

本明細書中に開示される装置及び方法は、男性もしくは女性、成人もしくは子供を問わないヒトでの使用に、または獣医学もしくは家畜の用途のような動物での使用に適合させることができる。したがって、「患者」という用語は、ヒトまたは他の哺乳動物の被験体を指してもよい。

本出願に記載の方法及びシステムは、任意の内部体腔に適用することができるが、好ましい実施形態は、膀胱に関して説明する。従来の膀胱鏡検査は相対的測定値を得ることを困難にする方法で行われるので、膀胱は本システム及び方法に特に適している。本明細書に記載される方法及びシステムでの使用に適当な体腔の他の代表的な例は食道、胃、十二指腸、小腸、大腸（結腸）、胆管及び直腸のような胃腸管腔；鼻または下気道のような呼吸器腔；耳；尿路腔；ならびに子宮頸部、子宮及び卵管のような生殖器系腔が含まれるが、これらに限定されない。

図１は、患者１０４の内部体腔１０２の表面の画像診断のためのシステム１００の概略図である。図１に示すようにシステムは、内視鏡１０６を含む。内視鏡１０６は、膀胱鏡のように、内部体腔内を見るために使用される任意のデバイスとすることができる。

画像診断のためのシステム１００は、画像取り込み装置１０８も含む。画像取り込み装置１０８は、関心領域から１つ以上の画像、例えば、内部体腔１０２の表面を取得するために使用される。画像取り込み装置１０８は、カメラなどの１つ以上の画像を取り込むための任意の従来の装置とすることができる。該画像取り込み装置１０８は、内視鏡１０６の一部もしくは全部に一体化されていてもよいし、または内視鏡１０６の一部もしくは全部に結合されていてもよい。画像取り込み装置１０８はまた、内視鏡１０６と離れていてもよい。

画像診断のためのシステム１００はまた、照明装置１１０を含む。照明装置１１０は、関心領域，例えば内部体腔１０２の表面を照明するために使用される。照明装置１１０は、任意の従来の装置とすることができる。照明装置１１０は、内視鏡１０６の一部または全部に一体化されていてもよいし、または内視鏡１０６の一部または全部に結合されていてもよい。照明装置１１０は、内視鏡１０６と離れていてもよい。照明装置１１０は、関心領域を適切な電磁波波長で照明するための１つ以上の光源を含む。例示的な光源には、広帯域または狭帯域の近赤外光源、励起レーザ光源、可視光源、単色光源、他の狭帯域光源、及び紫外線光源等が含まれる。一実施形態では、照明装置１１０は、可視スペクトルをカバーする白色光源を含み、従来のカラー画像の取得を容易にする。

画像診断システム１００は、画像取り込み装置１０８がコンピュータ１１４と通信し、画像取り込み装置１０８の出力、例えば内部体腔表面の１つ以上の取得された画像をコンピュータ１１４によって受信できるように構成されている。画像取り込み装置１０８は、任意の従来の手段によってコンピュータ１１４と通信することができる。例えば、画像取り込み装置１０８は、光ファイバケーブルによって、無線で、または有線または無線のコンピュータネットワークを介してコンピュータ１１４と通信することができる。

コンピュータ１１４は、メモリ１１６及びプロセッサ１１８を有する。メモリ１１６は、コンピュータ実行可能命令を記憶することができる。プロセッサ１１８は、メモリ１１６に記憶されたコンピュータ実行可能命令にアクセスし実行するように構成される。コンピュータ実行可能命令は、とりわけ、１つ以上の受信画像を処理し、受信画像からマップを構築し、表示装置１２０に該マップを表示する。

画像診断システム１００は、コンピュータ１１４が表示装置１２０と通信し、コンピュータ１１４の出力、例えば１つ以上の画像から構築されたマップを表示装置１２０によって受信するのを可能にするように構成されている。コンピュータ１１４は、任意の従来の手段によって表示装置１２０と通信することができる。例えば、コンピュータ１１４は、ビデオケーブルによって、無線で、または有線または無線のコンピュータネットワークを介して表示装置１２０と通信することができる。

図２は、内部体腔表面の画像診断方法のフローチャートである。ステップ２０２は、画像診断手順のための患者を前処置する。この前処置は、患者を鎮静または麻酔する等の従来の前処置ステップを含むことができる。いくつかの実施形態では、患者に膀胱の表面の画像診断のため、患者の膀胱を完全に排液し、及び次いで滅菌生理食塩水または滅菌水などの滅菌溶液の既知容量で膀胱を再充填することにより前処置する。患者の膀胱を、当業者に知られている任意の他の手段によって排液しそして再充填してもよい。例えば、膀胱を患者の排尿または挿入されたカテーテルによって排液でき、及び膀胱を従来の膀胱洗浄技術を用いて再充填できる。いくつかの実施形態では、膀胱を排液した後、膀胱に既知容量の滅菌溶液を再充填し、そして膀胱を、画像診断手順の少なくとも一部の間、既知容量（例えば一定体積）に保つ。膀胱を一定の体積に保つことは、実質的に膀胱表面全体を寸法及び色の基準として使用して、相対的な膀胱測定値を得ることを有利に可能にする。

ステップ２０４では、内視鏡の少なくとも一部、画像取り込み装置の一部、及び照明装置の一部を内部体腔に挿入する。画像取り込み装置及び照明装置は、内視鏡の一部または全部に一体化されていてもよいし、内視鏡の一部または全部に結合されていてもよい。画像取り込み装置及び照明装置は、内視鏡と離れていてもよい。好ましい実施形態では、内視鏡は、デジタルビデオ画像取り込み及び白色照明を備える、手動でガイドする（ｍａｎｕａｌｌｙ−ｇｕｉｄｅｄ）従来の膀胱鏡である。

ステップ２０６では、画像取り込み装置は、内部体腔の実質的に全表面をカバーするビデオまたは１つ以上の画像を取得する。本明細書で使用する場合、内部体腔の「実質的に」全表面とは、内部体腔の全表面の約８０％超、８５％超、９０％超、９５％超、または９７．５％超を指す。

好ましい実施形態では、膀胱の半非構造化された（ｓｅｍｉ−ｕｎｓｔｒｕｃｔｕｒｅｄ）膀胱鏡評価中に、内部体腔の実質的に全表面のビデオが取得される。半非構造化された膀胱鏡評価は、少なくとも１の、但し全部ではない評価のパラメータが計画されている膀胱鏡評価である。例えば、半非構造化された膀胱鏡評価は、画像取り込み装置をパンするための定義済みの開始点及び定義済みの方向を有することができる。別の例では、半非構造化された膀胱鏡評価は、定義済みの開始点及び他のいくらかの定義済みの関心点を有することができる。この場合、医師は、開始点（例えば、第１の関心点）を位置決めし及び画像化し、その後、画像取り込み装置をパンするための定義済みの経路を使用せずに、他の関心点のビデオを取得しようとする。

別の実施形態では、膀胱の完全に非構造化された（ｆｕｌｌｙ ｕｎｓｔｒｕｃｔｕｒｅｄ）膀胱鏡評価中に、内部体腔の実質的に全表面のビデオが取得される。完全に非構造化された膀胱鏡評価は、評価のパラメータが計画されていない膀胱鏡評価である。例えば、完全に非構造化された膀胱鏡評価は、定義済みの開始点を有さず、定義済みの関心点もなく、画像取り込み装置をパンするための定義済みの経路も有さない。

別の実施形態では、膀胱の完全に構造化された（ｆｕｌｌｙ ｓｔｒｕｃｔｕｒｅｄ）膀胱鏡評価中に、内部体腔の実質的に全表面のビデオが取得される。完全に構造化された膀胱鏡評価は、評価のすべてのパラメータが計画されている膀胱鏡評価である。例えば、完全に構造化された膀胱鏡評価は、定義済みの開始点、定義済みの関心点、及び画像取り込み装置をパンするための定義済みの経路を有することができる

いくつかの実施形態では、医師は、膀胱鏡評価手順またはより具体的には、ビデオ取得段階２０６に関連する情報を有するディスプレイを提供される。例えば、ディスプレイは、定義済みの関心点または特徴を有する内部体腔のブランクマップを示し得る。前記定義済みの関心点または特徴は、内部体腔の膀胱鏡評価中の使用のための基準のフレームを提供することができ、及び内部体腔の画像取り込み装置をパンするための基準として使用して、内部体腔の実質的に全表面のビデオを取得することを確実にするのを助ける。例えば、ディスプレイは、膀胱及び対応する走査経路の表現を示すことができる。いくつかの実施形態では、関心点は、病理学のまたは表面形態（例えば、表面ランドマーク）の領域に対応する。ディスプレイは、他の関連情報も含むことができる。例えば、ディスプレイは、画像化手順に関して医師を助けるための例示的な画像またはビデオを含むことができる。ディスプレイはまた、膀胱鏡評価手順またはビデオ取得ステップ２０６のための有用な情報、例えば膀胱鏡、画像取り込み装置及び照明装置をパンするための方向または経路に関する、膀胱鏡、画像取り込み装置及び照明装置の動きの速度に関する、照明装置が出力する光の輝度及びコントラストレベルに関する等の、情報を含み得る。

いくつかの実施形態では、医師は内部体腔表面上の第１の関心点で画像を、内部体腔の残りの表面の画像またはビデオを取得する前に、位置づけし及び取得する。いくつかの実施形態では、医師は、内部体腔表面上の第１の関心点を見つけまたはロックし、次いで他の関心点のビデオをパンするまたは取り込む試みをしながら、内部体腔を介して画像取り込み装置をパンする。

ステップ２０８では、ステップ２０６で取得されたビデオまたは１つ以上の画像がコンピュータによって受信及び処理される。好ましい実施形態では、ステップ２０８は、ステップ２０６と同時に実行される。しかしながら、ステップ２０６及び２０８は、非同期的に実行されてもよい。処理ステップ２０８は、当業者に知られているビデオまたは画像を処理するために使用される多くの従来の方法を含むことができる。いくつかの態様では、処理ステップ２０８は、ステップ２０６で取得したビデオフレームまたは画像を組み合わせて、表示装置上に表示可能なマップを形成することを容易にする。いくつかの実施形態では、処理ステップ２０８は取得された各ビデオフレームまたは画像を、（１）既知の幾何学変換に基づいて各フレームまたは画像を歪み補正し（ｕｎｗａｒｐ）、（２）各フレームまたは画像から関連する特徴情報を抽出し、（３）各フレームまたは画像と他のフレームまたは画像との間の共通の特徴点を決定し、及び（４）各フレームまたは画像と他のフレームまたは画像との間のホモグラフィを計算する、アルゴリズムに送ることを含む。

いくつかの実施形態では、処理ステップ２０８は、取得された各ビデオフレームまたは画像をさまざまな画質メトリックについてテストすることを含む。１つ以上の品質メトリックを満たさない、各取得されたビデオフレームまたは画像は、不十分とみなされる。品質メトリックは、当業者に周知である。例示的な品質メトリックは、信号対雑音比、画像輝度、画像コントラスト、低画質、特徴検出／照合の失敗等を含むことができる。

好都合なことに、医師は、取得されたビデオフレームまたは画像が不十分であることを警告することができる。例えば、一実施形態では、不十分なビデオフレームまたは画像は破棄され、（表示装置に表示される）内部体腔表面のマップ上に空白のフレームとして示される。このようにして、マップを見ている医師は、マップ上の空白領域を見ることになり、置き換えビデオまたは画像を取得するためにマップ上の空白領域に対応する内部体腔の特定表面を再走査することが分かる。あるいは、医師は、取り込まれたすべてのビデオまたは画像を破棄して、画像取得手順を完全に再開始することができる。

ステップ２１０では、処理されたビデオフレームまたは画像を一緒にステッチングして内部体腔表面のマップを作成する。いくつかの実施形態では、ビデオフレームまたは画像を一緒にステッチングして、二次元マップ投影図を形成する。このようにして、寸法を内部体腔表面全体との関係で表すことができる。マップ投影図は、円柱投影図（すなわち、メルカトル投影図）のような任意の適切な投影図とすることができる。いくつかの実施形態では、ビデオフレームまたは画像を、一緒にステッチングして膀胱のパノラママップを作成する。ステッチングは、スケールと回転性には依存しない。さらに、ステッチングされたマップは、定義済みの内部体腔表面形態を組み込むことができる。好ましい実施形態では、ステップ２１０は、ステップ２０６及び２０８と同時に実行される。しかし、ステップ２１０は、ステップ２０６及び２０８と非同期的に実行されてもよい。

特定の実施形態では、各ビデオフレームまたは画像を、先行するビデオフレームまたは画像とのみステッチングする。第１のビデオフレームまたは画像を、その上に表示されている関心点または特徴（例えば、表面モルホロジー）を有する内部体腔表面のブランクマップとステッチングしてもしなくてもよい。しかし、いくつかの実施形態では、ビデオフレームまたは画像が先行するビデオフレームまたは画像だけでなく、他の存在するビデオフレームまたは画像と重なっている場合、該ビデオフレームまたは画像は重なっている全てのビデオフレームまたは画像とステッチングさせる。これにより、各ビデオフレームまたは画像を、他のすべての重なり合うビデオフレームまたは画像に関連して正確に配置することを確実にする。特定の実施形態では、処理ステップ２０８によって不十分とみなされる各ビデオフレームまたは画像は、マップ上のバンク領域として表示される。

ステップ２１２では、ステップ２１０からのステッチングされたマップを表示装置に表示する。好ましい実施形態では、ステップ２１２は、ステップ２０６、２０８、及び２１０と同時に実行される。しかしながら、ステップ２１２はまた、ステップ２０６、２０８、及び２１０から非同期的に実行されてもよい。ステップ２１２をビデオ取得ステップ２０６と同時に実行すると、処理ステップ２０８及びステッチングステップ２１０は、医師が、マップを見ることによってどのような内部体腔表面領域が画像化されたかを識別するだけでなく、先に走査されたが、不十分なビデオフレームまたは画像を生じてマップ上にブランク領域として表示される内部体腔表面領域を医師に再走査できるようにする。ステッチングされた結果及びそれを示すディスプレイが、新たに取得されたビデオフレームまたは画像により連続的かつ即時に更新される好ましい実施形態では、医師はビデオまたは画像取得の経路を単にたどり直すことによって空白領域を再走査することができる。

ステップ２１４では、医師は、表示された内部体腔表面のマップが許容可能であるかどうかを判定する。例えば、マップが実質的に完全で良質の画像またはビデオフレームで構成されている場合、医師はそのマップを受け入れることができ（すなわち、マップが完成する）、そして内部体腔表面の画像診断法が終了する（２１６）。あるいは、マップが実質的に完全ではなく及び／または良質の画像またはビデオフレームで構成されていないが、依然として診断用途に十分である場合、医師はマップを受け入れることができ（すなわち、マップが完成する）、そして内部体腔表面の画像診断法が終了する（２１６）。しかし、マップが実質的に完全ではなく、良質の画像またはビデオフレームで構成されていない場合、または不十分なビデオフレームまたは画像に対応するブランク領域を含む場合、医師はマップを許容できない。この場合、医師は次のステップに移る。

ステップ２１８では、画像取り込み装置は、置き換え用ビデオまたは１つ以上の画像を取得して、置き換えが必要であるいずれかのビデオフレームまたは画像と置き換える。ステップ２１８は、ステップ２１８が特定のビデオフレームまたは画像のみを置き換える必要があるという事実のため、内部体腔の実質的に全表面よりも少ない部分に画像取り込み装置をパンさせることのみを必要とできることを除けば、ステップ２０６と実質的に同じ方法で実施される。

ステップ２２０では、ステップ２１８で取得された置換ビデオまたは１つ以上の画像をコンピュータによって受信し、処理する。ステップ２２０は、ステップ２０８と実質的に同じ方法で実行される。

ステップ２２２では、ステップ２２０からの処理された置換ビデオフレームまたは画像を、互いに、及び以前にステッチされたフレームと共にステッチングして、該内部体腔表面の更新されたマップを生成する。ステップ２２２は、ステップ２１０と実質的に同じ方法で実行される。

ステップ２２４では、ステップ２２２からの更新されたマップを表示装置に表示する。ステップ２２４は、ステップ２１２と実質的に同じ方法で実行される。表示されるとすぐに、医師はステップ２１４に戻り、内部体腔表面の更新マップが許容可能であるかどうかを判定する。

図３は、複数のビデオフレームまたは画像を処理する方法のフローチャートである。ステップ３０２では、ビデオフレームまたは画像は、フレームまたは画像を歪み補正するアルゴリズムに送られる。ビデオフレームまたは画像は、当業者に知られている任意の手段を使用して歪み補正できる。

ステップ３０４では、ビデオフレームまたは画像は、ビデオフレームまたは画像から関連する特徴情報（例えば、血管）を抽出するアルゴリズムに送られる。関連する特徴情報は、当業者に知られている任意の手段を使用して抽出することができる。いくつかの実施形態では、スペクトルベースのフィルタを使用して、ビデオフレームまたは画像から関連する特徴情報を抽出する。

ステップ３０６では、ビデオフレームまたは画像は、現ビデオフレームまたは画像と、他の処理されたビデオフレームまたは画像との間の共通の特徴点を決定するアルゴリズムに送られる。現ビデオフレームまたは画像と他の処理されたビデオフレームまたは画像との間の共通の特徴点の決定は、当業者に知られている任意の手段を使用して行うことができる。いくつかの実施形態では、スケール不変特徴変換（ＳＩＦＴ）またはハリスコーナー検出器を使用して、現ビデオフレームまたは画像と他の処理されたビデオフレームまたは画像との間の共通の特徴点を決定する。

ステップ３０８では、ビデオフレームまたは画像は、現ビデオフレームまたは画像と他の処理されたビデオフレームまたは画像との間のホモグラフィを計算し、外れ値を除去し、ならびに現ビデオフレームまたは画像と他の処理されたビデオフレームまたは画像とをステッチングするための変換を生成するアルゴリズムに送られる。ホモグラフィを計算し、外れ値を除去し、画像ステッチングのための変換を生成することは、当業者に知られている任意の手段を使用して行うことができる。いくつかの実施形態では、現ビデオフレームまたは画像と他の処理されたビデオフレームまたは画像との間のホモグラフィは、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）アルゴリズムを使用して計算され、ＳＩＦＴ記述子の数を減らす。

ステップ３１０では、アルゴリズムは、全ての取得したビデオフレームまたは画像が処理されたかどうかを判定する。答えが「はい」である場合、複数のビデオフレームまたは画像を処理する方法が終了する（３１２）。答えが「いいえ」である場合、新しいビデオフレームまたは画像が選択され（３１４）、ステップ３０２に供給される。

図４は、疾患の進行を診断または評価する方法のフローチャートである。ステップ４０２では、本明細書で開示される方法またはシステムのいずれかを使用して、内部体腔の実質的に全表面の１つ以上のマップが取得される。いくつかの実施形態では、１つ以上のマップが患者について登録される。このようにして、内部体腔の実質的に全表面のマップが特定の患者に関連付けられる。特定の患者に関連する２つ以上のマップがある場合、マップを比較して分析することができる。

いくつかの実施形態では、内部体腔のマッピングは、毎週、隔週で、毎月、毎年等、定期的に実行される。疾病が、例えば治療薬（例えば、薬物）で治療されるいくつかの実施形態では、治療薬による治療前、治療処置中、及び治療処置の終了後に、内部体腔のマッピングを実施することができる。

ステップ４０４では、１つ以上のマップを使用して、疾患の進行を診断し、評価し、または追跡する。いくつかの実施形態では、単一のマップを使用して疾患の進行を診断しまたは評価する。好ましい実施形態では、２つ以上のマップを互いに比較して疾患の進行を診断し、評価し、または追跡する。２つ以上のマップは、任意の適切な手段によって互いに比較することができる。例えば、医師は、各マップ上の特定の領域または関心領域（例えば、病理領域）を位置決めし、２つ以上のマップ上の該領域または関心領域間で観察されたいずれかの差異を評価することができる。マップ比較プロセスは、とりわけ、膀胱などの内部体腔表面の特定の領域における病理学の長期的な／一時的な評価を利用して、治療的介入に対する応答を評価しまたは疾患の進行を監視することができる。

マップ比較は、例えば、尿路上皮の観察可能な特徴を含むマップ内の領域のサイズ及び／または数を比較することを含むことができる。例えば、観察可能な特徴は、病変、炎症等であってよい。

コンピュータは、疾患の進行を診断し、評価し、及び追跡すること、または当業者に容易に認識されるいずれかの数の手段を用いて互いにマップを比較することを支援することができる。例えば、コンピュータアルゴリズムは、病理領域または表面形態（例えば表面ランドマーク）のような関心点を使用して２つ以上のマップを整列または重ね合わせることができる。コンピュータアルゴリズムを使用して、医師の入力により一旦検証された２つ以上のマップを整列または重ね合わせることは、人間の操作に関連するいくつかの主観性を排除することによって、診断、評価及び追跡プロセスに一貫性を提供する。同様に、コンピュータアルゴリズムは、関心点における変化、例えば大きさ、着色等を検出でき、それはまたマップの人間による読み取りに関連するいくつかの主観性を排除することによって、病気の進行を診断し、評価しまたは追跡することを容易する。

いくつかの実施形態では、２つ以上のマップを互いに比較して、ハンナー病変または膀胱癌などの疾患の治療を必要とする患者に対する選択された治療処置の有効性を評価する。例えば、マッピングを、治療前及び治療中及び治療後に定期的に実施し、次いで可視病変または腫瘍が選択された治療処置に応答しているかどうかを定量的に評価するためにマップを比較する（例えば、病変または腫瘍のサイズが減少する）。この情報は、臨床試験における薬物の治療有効性または忍容性の測定を含む多くの目的に有用であり得る。さらに、癌などの疾患の進行を追跡する場合、比較可能なデータを提供するために患者が評価されるたびに、定量的データを内部体腔（例えば、膀胱）の全表面に対して正規化することができる。いくつかの実施形態では、内部体腔（例えば、膀胱）の表面のバックグラウンドの色をベースラインとして使用し、呈色の変化を分析する。いくつかの実施形態では、関心領域における表面形態のサイズ及び形状を追跡し、サイズ及び形状の変化を分析する。マップを使用して疾患の進行／状態を診断または評価した後、方法が終了される（４０６）。

本明細書に記載された技術は、膀胱を含むがこれに限定されない種々の異なる内部体腔表面をマッピングするために使用することができる。例えば、この技法は、走査軌道が画定でき、走査及びステッチング中に組織が能動的に操作されず、及び走査領域内の特徴が十分かつ明確に区別され得る、任意の内視鏡手法に適用され得る。

本明細書に引用される刊行物及びそれらが引用される資料は、参照により具体的に組み込まれる。本明細書に記載の方法及び装置の改変及び変形は、前述の詳細な説明から当業者には明らかであろう。そのような改変及び変形は、別記請求の範囲内に入るよう意図されている。

Claims (28)

1. 臓器腔をマッピングする方法であって、
   臓器腔内に内視鏡を挿入することであって、該臓器腔が組織表面を有する、挿入することと、
   該臓器腔を画定する該組織表面のビデオを取得することであって、該ビデオが複数のビデオフレームを含む、取得することと、
   該ビデオフレームをリアルタイムで一緒にステッチングして、該臓器腔を画定する該組織表面のパノラママップを生成することと、
   該パノラママップを表示することと、を含む、方法。
2. 前記臓器腔は膀胱であり、前記ビデオは該膀胱を画定する前記組織表面の実質的にすべてを取り込む、請求項１に記載の方法。
3. 前記内視鏡は、ビデオ画像取り込み及び照明を備える手動ガイド膀胱鏡である、請求項１に記載の方法。
4. 前記臓器腔から第１の流体を排出し、次いで該臓器腔に既知の体積の第２の流体を充填することをさらに含み、該臓器腔が前記取得するステップ中にほぼ一定の体積を維持する、請求項１に記載の方法。
5. 前記パノラママップは二次元円筒投影図である、請求項１に記載の方法。
6. 前記取得するステップが、半非構造化様式で行われ、
   前記臓器腔の前記組織表面上に第１の関心点を位置決めすることと、
   該第１の関心点において第１のビデオフレームを得ることと、
   該臓器腔を通じてパンする（ｐａｎｎｉｎｇ）ことと、
   該臓器腔の該組織表面上の１つ以上の他の関心点における１つ以上の追加のビデオフレームを得ることと、を含む、請求項１に記載の方法。
7. 前記複数のビデオフレームの各々を処理することをさらに含み、前記処理は、
   該複数のビデオフレームの各々を歪み補正する（ｕｎｗａｒｐｉｎｇ）ことと、
   スペクトルベースのフィルタを適用して、該複数のビデオフレームの各々から関連する特徴情報を抽出することと、
   スケール不変特徴変換またはハリスコーナー検出器を該複数のビデオフレームの各々に適用して、該複数のビデオフレームの各々と少なくとも１つの他のビデオフレームとの間の共通の特徴点を決定することと、
   ランダムサンプルコンセンサスアルゴリズムを用いて、該複数のビデオフレームの各々と少なくとも１つの他のビデオフレームとの間のホモグラフィを計算して、該スケール不変特徴変換記述子の数を減らし、外れ値スケール不変特徴変換記述子を除去し、画像ステッチチングのための変換を生成することと、を含む、請求項６に記載の方法。
8. 前記複数のビデオフレームの少なくともいくつかは、前記パンするステップが進行中である間に前記パノラママップ上にステッチング及び表示される、請求項７に記載の方法。
9. 前記パノラママップは、低画質であるか、または画像ステッチングのための変換を生成することができなかった前記複数のビデオフレームの各々に対応するブランク領域を含む、請求項８に記載の方法。
10. 前記取得するステップ、前記処理するステップ、前記ステッチングするステップ、及び前記表示するステップは、低画質であるか、または変換を生成することができなかった前記複数のビデオフレームの各々に対応する前記臓器腔の１つ以上のセクションに対して任意に繰り返される、請求項９に記載の方法。
11. 前記パノラママップは、最初はブランクであり、１つ以上の定義済みの関心点を含む、請求項１に記載の方法。
12. 前記複数のビデオフレームの各々を処理することをさらに含み、前記取得するステップが完全に非構造化されており、該処理するステップは、
    該複数のビデオフレームの各々を歪み補正することと、
    スペクトルベースのフィルタを適用して、該複数のビデオフレームの各々から関連する特徴情報を抽出することと、
    スケール不変特徴変換またはハリスコーナー検出器を該複数のビデオフレームの各々に適用して該複数のビデオフレームの各々と少なくとも１つの他のビデオフレームとの間の共通の特徴点を決定することと、
    ランダムサンプルコンセンサスアルゴリズムを用いて、該複数のビデオフレームの各々と少なくとも１つの他のビデオフレームとの間のホモグラフィを計算して、該スケール不変特徴変換記述子の数を減らし、外れ値スケール不変特徴変換記述子を除去し、画像ステッチチングのための変換を生成することと、を含む、請求項１に記載の方法。
13. 前記複数のビデオフレームの各々を処理することをさらに含み、前記実質的に取り込まれた膀胱の全表面が、前記マップを処理し、ステッチングし、または表示するための基準として使用される、請求項３に記載の方法。
14. 前記関連する特徴情報が色を含み、前記実質的に取り込まれた膀胱の全表面がベースラインバックグラウンド色を有する、請求項１３に記載の方法。
15. 患者の尿道を通して膀胱内に挿入された膀胱鏡を介して該膀胱の取得されたビデオから該患者の該膀胱をマッピングする方法であって、
    該取得されたビデオから複数のビデオフレームを一緒にステッチングして該膀胱を画定する組織表面のパノラママップを生成することと、
    該パノラママップを表示することと、を含む、方法。
16. 前記ステッチングするステップ及び表示するステップは、前記ビデオの取得と共にリアルタイムで実行される、請求項１５に記載の方法。
17. 患者内の疾患または状態の進行を追跡するための方法であって、
    請求項１乃至１６のいずれか一項に記載の最初に作成された第１のパノラママップと、請求項１乃至１６のいずれか１項に記載の２回目に作成された第２のパノラママップとを比較することを含む、方法。
18. 前記臓器腔が前記患者の前記膀胱である、請求項１７に記載の方法。
19. 前記比較の結果を使用して、前記疾患または状態について前記患者に施された治療処置の有効性または忍容性を評価することをさらに含む、請求項１７または１８に記載の方法。
20. 前記疾患または状態は、ハンナー病変または膀胱癌を含む、請求項１９に記載の方法。
21. 臓器腔をマッピングするためのシステムであって、
    内視鏡と、
    ビデオ取り込み装置と、
    照明装置と、
    コンピュータ実行可能命令を記憶するメモリであって、該コンピュータ実行可能命令は、
    該臓器腔を画定する組織表面のビデオを受信する命令であって、該ビデオは、該内視鏡を介して該臓器腔に挿入された該ビデオ取り込み装置で得られる複数のビデオフレームを含み、該ビデオは該組織表面が該照明装置によって照明されている間に取得される、命令と、
    該複数のビデオフレームをリアルタイムで一緒にステッチングして、該臓器腔を画定する該組織表面のパノラママップを生成する命令と、
    該パノラママップを表示する命令と、を含む、メモリと、
    該少なくとも１つのメモリにアクセスし、該コンピュータ実行可能命令を実行するように構成されたプロセッサと、
    表示画面であって、該パノラママップをリアルタイムで表示するように構成された、表示画面と、を備える、システム。
22. 前記コンピュータ実行可能命令は、前記複数のビデオフレームの各々を処理する命令をさらに含み、該複数のビデオフレームの各々を処理する該命令は、
    該複数のビデオフレームの各々を歪み補正することと、
    スペクトルベースのフィルタを適用して該複数のビデオフレームの各々から関連する特徴情報を抽出することと、
    該複数のビデオフレームの各々にスケール不変特徴変換またはハリスコーナー検出器を適用して、該複数のビデオフレームの各々と少なくとも１つの他のビデオフレームとの間の共通の特徴点を決定することと、
    ランダムサンプルコンセンサスアルゴリズムを用いて、該複数のビデオフレームの各々と少なくとも１つの他のビデオフレームとの間のホモグラフィを計算して、該スケール不変特徴変換記述子の数を減らし、外れ値スケール不変特徴変換記述子を除去し、画像ステッチングのための変換を生成することと、を含む、請求項２１に記載のシステム。
23. 前記コンピュータ実行可能命令は、前記ビデオフレームのうちの少なくともいくつかがまだ取り込まれている間に、前記複数のビデオフレームのうちの少なくともいくつかを一緒にステッチングし、前記パノラママップを表示する命令をさらに含む、請求項２１または２２に記載のシステム。
24. 前記パノラママップは二次元円筒投影図である、請求項２１乃至２３のいずれか一項に記載のシステム。
25. 前記マップは最初はブランクであり、１つ以上の定義済みの関心点を含む、請求項２１乃至２４のいずれか一項に記載のシステム。
26. 前記パノラママップは、低画質であるか、または画像ステッチングのための変換を生成することができなかった前記複数のビデオフレームの各々に対応するブランク領域を可能とするよう構成される、請求項２１乃至２５のいずれか一項に記載のシステム。
27. 前記コンピュータ実行可能命令が、低画質であるか、または変換を生成することができなかった前記複数のビデオフレームの各々に対応する前記臓器腔の１つ以上のセクションに対し追加のビデオフレームを任意に受信し、処理し、ステッチングし、かつ表示するための命令をさらに含む、請求項２１乃至２６のいずれか一項に記載のシステム。
28. 前記内視鏡は、患者の尿道を通過するように構成された膀胱鏡を含む、請求項２１乃至２７のいずれか一項に記載のシステム。