JP2007105458A - 画像データベースにおける画像の認識のためのシステム及び方法 - Google Patents

Abstract

【課題】病理学のデータベースなどのデータベースに於ける特定の画像又は他の特徴を検索するためのシステム及び方法を提供する。
【解決手段】例えば摂取可能なカプセルの様な生体内撮影機器により生成される。ワークステーション又は他の機器は収集された画像を受け入れ、その画像をモニタに表示する。医療従事者は、例えば生体内機器により取り込まれる特定の画像を選択又は認識してもよく、システムは、例えば診断をたしかめたり、追加情報を取得するために他の参照物に合致する画像をデータベースで検索してもよい。他の実施形態として、生体内撮像機器により得られるＧＩ管の生体内画像を表示すること、生体内画像ｋら関心のある画像の表示を受け入れること、及びデタベースから、関心の有る画像と合致する項目を金策することを含んでも良い。
【選択図】図１

Description

本発明は、例えば病理学又は他のデータのデータベースを利用する画像又は画像の一部の認識に関する。

例えば医学的診断のために利用される動画を観察するとき、観察者はある部位又はフレームについての所見を記録することを望むかもしれないし、ある部位又はフレームに「ブックマーク」を挟みたいと思うかもしれない。

例えば、摂取可能なカプセルにより運搬される生体内撮像システムは、患者の内腔を撮像するために利用される。撮像システムは、例えば胃腸（ＧＩ）管の画像を取り込み、その画像を外部記録機器に送信しつつ、カプセルはＧＩ内腔を通過する。このような生体内撮像システムは、内腔の動画又は静止画が観察される基盤を提供する。膨大な数の画像が観察用に収集される。例えば、画像は連続的に組み合わされてもよいし、例えば４０分の長さの動画が利用者に表示されてもよい。利用者がそのような画像群の重要な詳細部又は部位を記録できることが望ましい。

本発明の実施形態は、例えば病理学のデータベースなどのデータベースにおける特定の画像又は他の特徴を検索するためのシステム及び方法を提供する。

画像は、例えば摂取可能なカプセルのような生体内撮像機器により生成される。ワークステーション又は他の機器は収集された画像を受け入れ、その画像をモニタに表示する。医療従事者は、例えば生体内機器により取り込まれる特定の画像を選択又は認識してもよく、システムは、例えば診断を確かめたり、追加情報を取得するために他の参照物に合致する画像をデータベースで検索してもよい。

本発明の別の実施形態は、ＧＩ管における病理を認識するためのシステム及び方法を提供する。この方法は、生体内撮像機器により得られるＧＩ管の生体内画像を表示すること、生体内画像から関心のある画像の表示を受け入れること、及びデータベースから、関心のある画像と合致する項目を検索することを含んでよい。本発明の幾つかの実施形態に従って、検索は関心のある画像に関連する単語を入力することで実行されてよい。本発明の幾つかの実施形態に従って、検索結果及び関心がある画像は同時に表示されてもよい。

本発明の別の実施形態は、生体内画像を再表示するためのシステム及び方法を提供する。このシステムは、生体内画像を収集する生体内撮像機器、病理学データベース、生体内画像を病理学データベースの項目と合致させるためのプロセッサ、及び生体内画像を表示するためのディスプレイを含んでよい。

本発明は図面と共に以下の詳細な記載からより理解され且つ評価されるであろう。
以下において、本発明の様々な態様が記載される。説明を目的として、特定の構成及び詳細は、本発明の完全な理解を提供するために説明される。しかし、本発明が本明細書に記載される特定の詳細が無くても実施さるかもしれないことも、当業者には明らかであろう。更に、周知の特徴は、本発明を不明瞭にしないために省略されたり簡略化される。

他に特に宣言されない限り、以下の考察から明らかなように、本明細書の考察全体で、「処理する」、「計算する」、「記憶する」、「判定する」等のような用語を利用することは、コンピュータ又はコンピュータシステムもしくは同様の電子コンピュータ機器の動作及び／又は処理を意味すると理解される。コンピュータ又はコンピュータシステムもしくは同様の電子コンピュータ機器は、コンピュータシステムのレジスタ及び／又はメモリ内の電子のような物理的な量として表現されるデータを、コンピュータシステムのメモリ、レジスタ又は他の情報記憶装置、送信又は表示機器内の物理的な量として同様に表現される他のデータに操作及び／又は変換する。

本発明の実施形態は、本明細書の動作を実行するための装置を含んでよい。このような装置は、所望の目的用に特に構成されてもよく、コンピュータに記憶されるコンピュータプログラムにより選択的に起動される又は再設定される汎用コンピュータを備えてもよい。このようなコンピュータプログラムは、コンピュータ可読記憶媒体に記憶されてよい。このような媒体の例として、フロッピーディスク（登録商標）、光ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、読み出し専用メモリ（ＲＯＭ）、読み書き可能メモリ（ＲＡＭ）、電気的書き込み可能な読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能及び書き込み可能な読み出し専用メモリ（ＥＥＰＲＯＭ）磁気又は光カード、又は電子命令の記憶用に適し、且つコンピュータのシステムバスに接続可能な任意の型の媒体を含む、任意の型のディスクがあげられるが、これらに限定されない。

本明細書で説明される処理及び表示は、任意の特定のコンピュータ又は他の装置には、本質的に関連しない。様々な汎用システムが、本明細書の教示に従うプログラムと共に利用されるかもしれない。或いは、より専門化される装置を構成して所望の方法を実行すると便利であることを証明するかもしれない。様々なプログラム言語が本明細書で記載されるような本発明の教示を具体化するために利用されてよいことは明らかであろう。

図１を参照すると、この図は、本発明の一実施形態に従う撮像システムの概略図を示す。実施形態において、システムは、例えばカプセル又は他の適切な機器等の生体内機器４０を含み、生体内機器４０は、画像を取り込むための撮像器４６と、体腔を照らすための光源４２と、画像及び可能な他の情報を受信機器に送信するための送信機４１とを有する。別実施形態において、機器４０はカプセル以外のものでもよく、例えば、機器４０は内視鏡、非生体内撮像機器等であってよい。例えばレンズ又は鏡を含む光学システム（図示せず）は撮像器４６への反射光に焦点を当てることに役立つ。機器４０は例えば飲み込むことにより患者の中に取り込まれ、通常患者のＧＩ管を移動する。ある実施形態において、機器及び画像取り込みシステムは米国特許第５，６０４，５３１号明細書又は米国特許出願第０９／８００，４７０号明細書に記載される実施形態に類似する。両者は、本出願と共通の代理人により代理され、参照によって本明細書に組み込まれる。別実施形態において、他の構成を有する他の画像取り込み機器、及び他の構成を有する他の画像取り込みシステムが利用されてもよい。

機器４０は自律可飲カプセルであっても、自律可飲カプセルを含んでもよいが、機器４０は他の形状を有してもよく、可飲性又は自律性を必要としない。機器４０の実施形態は典型的には自律的であり、且つ典型的には内蔵式である。例えば、機器４０はカプセル又は他のユニットであってよい。これらの機器は、全ての構成部品が実質的に容器又は殻内に実質的に含まれ、機器４０は、例えば、電力又は送信情報を受信するためのいかなる電線又はケーブルを必要としない。幾つかの実施形態において、機器４０は自律的且つ遠隔操作不能であるかもしれず、別実施形態において、機器４０は部分的又は完全に遠隔操作可能であるかもしれない。

好適には、患者の体外の１つ以上の場所に画像受信機／記録器１２が配置され、好適には、アンテナ又はアンテナ・アレイ、画像受信機記憶ユニット１６、データプロセッサ１４、プロセッサ１４０、データプロセッサ記憶ユニット１９、機器４０により記録される画像及び他の情報を表示するための画像モニタ１８、及びユーザインターフェイス１３０を含む。

好適には、画像受信機／記録器１２及び画像受信機記憶ユニット１６は小さく、且つ携帯可能であり、画像を記録する間、患者の体に装着される。データ処理記憶ユニット１９は画像データベース１１０と病理又は他のデータベース１２０とを含む。好適には、データプロセッサ１４、プロセッサ１４０、データプロセッサ記憶ユニット１９及びモニタ１８は、パーソナルコンピュータ又はワークステーションの一部である。このようなワークステーション１１７は、プロセッサ１４、メモリ、ディスクドライブ、及び入出力機器のような標準構成部品を含むが、別構成が可能である。本発明のシステム及び方法は様々な適切な計算システムで実現される。データベース１２０は異なる位置に存在してもよく、例えば病理以外の他の情報を記憶してもよい。データベース１２０は遠隔地に存在してもよく、インターネットのようなネットワーク経由で接続されてもよい。

データプロセッサ１４は、マイクロプロセッサ、マルチプロセッサ、アクセレレータ・ボード、又は任意の他のシリアル又はパラレル高性能データプロセッサのような、任意の適切なデータプロセッサを含んでもよい。画像モニタ１８はコンピュータの画面、従来の映像ディスプレイ、或いは画像又は他のデータを提供することができる任意の他の機器であってもよい。

好適には、撮像器４６は「チップ上カメラ」型ＣＭＯＳ撮像器のような適切なＣＭＯＳカメラである。別実施形態において、撮像器４６は例えばＣＣＤのような他の機器である。光源４２は、例えば１つ以上の発光ダイオード又は他の適切な光源である。

送信機４１は無線波を利用して動作してよいが、機器４０が内視鏡であるか又は内視鏡内に含まれているような幾つかの実施形態において、送信機４１はデータを例えば導線、光ファイバ、及び／又は他の適切な方法で送信／受信してもよい。ＲＦ又は他の既知の無線送信方法が利用されてもよい。送信機４１は、例えば送信機モジュール又は副ユニットと受信機モジュール又は副ユニットとを含むか、或いは集積されるトランシーバ又は送受信機を含んでもよい。その他の構成は可能である。

動作において、撮像器４６は画像を取り込み、画像を表すデータを送信機４１に送る。送信機４１は画像を画像受信機／記録器１２に、例えば電磁無線波を利用して転送する。画像受信機／記録器１２は画像データを画像受信機記憶ユニット１６に転送する。データ収集の一定時間後、記憶ユニット１６に記憶される画像データはデータプロセッサ１４又はデータプロセッサ記憶ユニット１９に送られる。例えば、画像受信機記憶ユニット１６は、患者の体から離されて、データプロセッサ１４及びデータプロセッサ記憶ユニット１９を含むパーソナルコンピュータ又はワークステーションに、標準的なデータ接続を通じて接続されるかもしれない。標準的なデータ接続とは、例えば既知の構成のシリアルインターフェイス又はパラレルインターフェイスである。画像データは次に、画像受信機記憶ユニット１６から画像データベース１１０に転送される。画像データベース１１０はデータプロセッサ記憶ユニット１９内にある。データプロセッサ１４はデータを解析し、解析されたデータを画像モニタ１８に提供してよい。医療従事者は画像データを画像モニタ１８で観察してよい。データプロセッサ１４はソフトウェア（図示せず）を動作させて、ソフトウェアは、基本ソフトウェア及びデバイスドライバのような基本的な動作ソフトウェアと協調してデータプロセッサ１４の動作を制御する。好適には、データプロセッサ１４を制御するソフトウェアはＣ＋＋言語及び可能な追加の言語で記述されたコードを含むが、既知の様々な方法で具体化されてもよい。

別実施形態において、中間画像受信機／記録器１２が利用される必要は無い。
典型的には記憶ユニット１９に含まれる病理又は他のデータベース１２０は、例えばコンピュータ可読媒体に含まれてよい。コンピュータ可読媒体の例として、フロッピーディスク（登録商標）、光ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、読み出し専用メモリ（ＲＯＭ）、読み書き可能メモリ（ＲＡＭ）、電気的書き込み可能な読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能及び書き込み可能な読み出し専用メモリ（ＥＥＰＲＯＭ）磁気又は光カード、又は任意のタイプの記憶に適する媒体を含む、任意のタイプのディスクがあげられるが、これらに限定されない。病理データベース１２０は、例えば既知の病理又は症例、既知の病気、腫瘍、特定の組織又は他の参照画像等の異なる画像を含んでもよい。既知の病理は、ポリープ、病巣、出血等を含んでもよい。病理データベース１２０はまた、例えば、テキスト情報、キーワード、記述、完全な医学診断、重要な症例、記事又は例えば近傍領域の画像、異なる時点における同じ病理の追加画像、又は任意の他の情報のような、各画像に関連する他の情報も含んでもよい。別実施形態において、他の参照データ又は追加参照データが画像システムからの画像と比較されるためにデータベース１２０に含まれてもよい。

収集され記憶される画像データは、無期限に記憶されてもよく、他の場所に転送されてもよく、或いは処理又は解析されてもよい。医療従事者は画像を利用してＧＩ管の病理状態を診断してもよく、加えて、システムはこれらの病理の位置に関する情報を提供してもよい。データプロセッサ記憶ユニット１９が最初にデータを収集し、次にデータプロセッサ１４にデータを転送するシステムを利用するが、画像データは典型的には即時応答では観察されず、他構成が即時応答の観察を可能にする。

画像モニタ１８は画像データを、好適には、静止画及び動画の形式で表示し、更に他の情報を表示してもよい。実施形態において、このような追加情報は、現在の画像が表示されている絶対経過時間と注釈又は注釈の要約とを含んでよいが、これらには限定されない。現在の画像が表示されている絶対経過時間は、例えば、
ａ．機器４０が最初に起動された時刻と、表示されている現在の画像が取り込まれる時刻との間に経過した時間、又は
ｂ．画像受信機１２が機器４０からの送信を受信し始める時刻と、表示されている現在の画像が取り込まれる時刻との間に経過した時間、
であってもよい。別の実施形態において、経過時間は画像ストリームの開始から現在の点までに経過した時間のような、他の期間を含んでもよい。実施形態において、様々な分類の情報がウィンドウに表示されるかもしれない。別の実施形態において、複数のモニタが画像及び他のデータを表示するために利用されてもよい。

好適には、生体内撮像システムは、ＧＩ管を移動しながら一連の静止画像を収集する。各画像は、例えばＧＩ管を縦断する画像のストリームれ又は動画として後に提供されてもよい。生体内機器４０が数時間かけてＧＩ管を移動しながら、生体内画像システムは大量のデータを収集してもよい。例えば１秒ごとに２画像の速度で画像を記録してもよく、その結果数千枚の画像を記録することになる。画像記録速度（フレーム取り込み速度）は変化してもよい。

好適には、機器４０により記録及び送信される画像データは、デジタルカラー画像データであるが、別実施形態では他の画像形式が利用されてもよい。実施形態において、画像データの各フレームは２５６ピクセルごとに２５６行を含み、各ピクセルは公知の方法に従う色及び輝度用のバイトを含む。例えば、各ピクセルにおいて、色は４副ピクセルのモザイクにより表現されてよく、各副ピクセルは赤、緑、又は青のような原色に対応する。（１原色は２度表示される。）ピクセル全体の輝度は一バイト（例えば０〜２５５）の輝度値により記録されてよい。好適には、画像はデータプロセッサ記憶ユニット１９に次々と記憶される。記憶されるデータは、色及び輝度を含む１つ以上のピクセル特性を備える。他のデータ形式及び画像形式が利用されてもよい。

生体内機器から受信される画像データを観察するとき、医療従事者は、関心のある画像を発見し、画像又は画像群を選択或いは画像又は画像群に印をつけてもよい。ここでの画像は、例えば画像の部分ストリームを含み、群は１つ以上の項目を含んでもよい。例えば、医療従事者は、病理データベース１２０で例えば、合致する画像の検索、参考画像の検索、類似画像の検索、画像の合致領域の検索、合致するピクセルの組の検索、又は画像の任意の他の部分の検索をすることを、決定してもよい。検索は、例えば画像ストリーム中の画像とテキスト記述との間の合致等、画像ストリーム中の画像とデータベース１２０における非画像データとの間の合致のために実行されてもよい。本発明の一実施形態において、検索は、例えば画像、画像の一部、及びキーワード等のパラメータ群（郡は一つ以上の項目を含むことができる）に基づいて実行されてもよい。特定のキーワードに従う画像に関連付けられる検索テキストに加えて、選択される画像と高い相関を有する画像をデータベース１２０で検索するために、検索ツールが利用されてもよい。一実施形態において、利用者は特定のパラメータに従って検索に優先度をつけてもよく、例えば優先度はキーワード検索に与えられてよい。別実施形態において、検索は選択される画像への相関に基づいて実行されてもよく、他の検索は、他のパラメータに基づく第１の検索結果上で実行されてもよい。例えば、利用者はキーワードを加えることにより、検索結果を絞り込んでよい。

一実施形態において、利用者は例えばユーザインターフェイス１３０を経由して命令をデータプロセッサ記憶ユニット１９内のデータプロセッサ１４に送ってもよい。ユーザインターフェイス１３０は例えば、キーボード、ジョイスティック、マウス、又は任意の他の適切な入出力機器であってもよい。データプロセッサ１４は任意の適切な画像認識ソフトウェア又は画像比較ソフトウェアを動作させてもよく、或いはデータベース１２０で合致する画像又は合致する画像の一部又は合致する他のパラメータを検索するための処理を行ってもよい。画像認識で利用されるソフトウェア又はプロセスは、任意の適切な画像解析アルゴリズムに基づくものであってもよい。このような解析アルゴリズムとして、例えば、ピクセルのうち１つが並進され、回転され、拡大・縮小され、変形され、且つ輝度及びコントラストがある特定の方法で調整された後でピクセルに対してピクセル同士を合致させるアルゴリズム、ニューラル・ネットワークの方法に基づくアルゴリズム、ＦＦＴに基づく相関アルゴリズムのような変換に基づくアルゴリズム、色ヒストグラム、又は任意の他の適切なアルゴリズム、をあげることができる。一実施形態において、データベース検索はプロセッサ１４０のような専用ユニットにより実行されてもよく、プロセッサ１４０の例として、ＤＰＳ（デジタル信号プロセッサ）、ＡＳＩＣ、ＦＰＧＡ、グラフィックカード、追加プロセッサ又は他の適切な機器があげられる。このような専用ユニットは必要とされなくてもよい。例えば、このような処理は、ソフトウェアを動作させるプロセッサにより実行されてもよい。

合致は医療従事者により選択される画像と、１つ以上のデータベースの項目、入力又は画像との間で実行されてもよい。医療従事者は、例えば基準画像或いは基準テキスト及び／又は記述、例えば診断、関連症例、医学情報、類似画像、類似領域、及び病気の他の段階における類似症例を含む報告、又は任意の他の情報を受けとってもよい。画像認識の処理は、例えば自動モード等異なる状態で実行されてよい。自動モードで、システムはデータベースで生体内機器４０により記録される任意の画像との合致を検索する。例えば、半自動状態において、医療従事者は、画像又は画像の一部（又は複数の画像）の解析を入力又はこの解析に印をつけてよく、次に出力として診断又は合致する画像、又は選択されるフレームの記述説明を受けとってもよい。手動モードにおいて、医療従事者は画像又は画像の一部を入力し、例えばデータベース１２０で発見されるかもしれない特定の情報を要求してもよい。本発明の一実施形態において、医療従事者は診断の確認書又は患者の状態のよりよい理解のために必要な追加情報を得るかもしれない。他の状態又は合致方法が利用されてもよい。

検索結果は様々な適切な方法を利用して表示されてもよい。表示方法の例として、画像の相関に従って順序付けられる結果のリスト、取り込まれる画像ストリームにおける選択される画像に相関する全画像の表示、または任意の他の適切な方法があげられる。検索結果は、例えばバー、定規、又は他の適切な方法で図形として表示されてよい相関のレベルのスコアを含んでよい。

好適には、情報の収集、記憶及び処理は特定のユニットにより実行されるが、本発明のシステム及び方法は別の構成で実施されてもよい。例えば、画像情報を収集する構成部品は可飲機器に含まれる必要は無いが、内視鏡、ステント、カテーテル、針等のような人体の体腔を移動するのに適する任意の他の装置に含まれてよい。

好適には、データプロセッサ記憶ユニット１９は、機器４０により記録される一連の画像を記憶する。患者のＧＩ管を通り抜けながら機器４０が記録する画像は、連続的又は非連続的に組み合わされ、動画を形成する。この動画はモニタ１８のウィンドウに表示される。動画は一フレームを観察するために停止されてよく、上記のデータベース検索、高速化、又は反転のために利用されてよい。一部が飛ばされてもよい。或いは、画像を観察するための任意の他の方法が動画に適用されてもよい。この説明は機器４０からのデータが後の利用のために記憶される場合に関するが、本発明のシステム及び方法は画像データの即時応答観察を可能にするシステムで利用されてもよい。

実施形態において、動画は画像データベース１１０に一連の画像として記憶され、病理画像又は他の基準画像は病理データベース１２０に記憶される。画像データベース１１０と病理データベース１２０とは様々な既知の方法で具体化されてもよい。実施形態において、画像データベース１１０及び病理データベース１２０は同じ一般的な記憶ユニットに記憶されるが、別の実施形態において、画像データベース１１０と病理データベース１２０は個別に記憶されてもよい。更に、画像データベース１１０及び病理データベース１２０に記憶される情報は、例えば、画像及び病理情報が同じデータベースに記憶されてもよいなど、様々な組み合わせで記憶されてもよい。

幾つかの実施形態に従って、データベース１２０は複数のデータベース含んでもよい。これら複数のデータベースの例は、小腸病理データベース、胃病理データベース、注釈データベース等を含む。幾つかの病理データベースは、例えば、ＧＩ管の特殊な部位のような、人体の特殊な部位の画像及び／又は追加情報を含んでもよいが、他のデータベースはある既知の病気、腫瘍、ポリープ、病巣、出血等の画像及び／又は追加情報を含んでもよい。医療従事者は一つ以上のデータベースを検索することを決定するか、又は一つのデータベースで検索を開始し、他のデータベースを利用して検索を絞り込むか決定してよい。

一実施形態において、記憶ユニット１９は例えば、利用者が動画ストリームの一部に注釈をつける注釈データベースを含んでもよい。本明細書で利用されるときは、動画の「一部」は一静止画像、静止画像群、又は一連の静止画像を含んでよく、これらが動画として表示されてよい。本明細書で利用される、「注釈」及びその派生語は、情報の任意の追加項目又は、動画又は例えば一フレーム又は動画の複数フレームのような動画の一部に加えられる又は結び付けられるデータを示してよい。例えば、注釈は、テキスト、音声又はその他の覚書を含んでよいが、これらには限定されない。他の覚書は、動画の一部、ブックマーク、付け札、ラベルに関連付けられ、これらは、動画の一部、画像又は医学診断のマーク、又は一部の説明に関連付けられる。

ブックマークは、例えば表示又はマーカー、或いは登録索引であってよく、これらは利用者に、関心のある動画の一部を示す。例えば、利用者はＧＩ管内の病理を示すフレームにブックマークをはさんでもよい。注釈は、膨大な数の画像フレームが記憶され、そのうちの幾つかのみが診断に重要であるシステムにおいて便利であるかもしれない。利用者は画像列を記憶し、且つ注釈を利用して重要な部位を発見して、これらの部位に関する重要な事実を記録してもよい。関心のある動画の一部を見出そうとするとき、利用者又は他の利用者はブックマーク又は注釈を参照する。

実施形態において、注釈データベースは（画像が一のみ含んでよい）画像群、画像（又は画像群中の最も早期の画像）の経過時間を記録する時刻、及びテキストを含むか、参照してもよい。幾つかの実施形態において、時間は、経過したフレーム数のような他の適切な測定に置き換えられてよい。別の実施形態において、注釈データベースは、例えば特定の部分を指摘するために画像のある部分にマークをつけるなど、利用者によりマークを付けられた画像又は画像群を含んでよい。各画像は、既知の形式で記憶される実際の画像であってもよく、また、画像ファイル中の画像へのリンクであってもよい。別実施形態において、注釈は、例えば、非テキスト形式のデータを含む情報の他の組み合わせを含んでもよい。好適には、動画に関連付けられる注釈は、システムから転送されるかファイルとして記憶されてもよく、注釈の情報を要約した報告又はそうでなければ体系化する報告が生成されてもよい。

一実施形態において、医療従事者又は他の利用者は機器４０から受信される画像ストリームを観察してもよく、関心のある画像を選択してもよく、且つ合致する画像、及び／又は重要な情報及び／又は以前に注釈を付けられた画像及びデータベース１２０に記憶される任意の他の情報をデータベース１２０で検索してもよい。

図２を参照すると、本発明の一実施形態に従う画像認識法のフロー図が示される。ステップ２００で、利用者は画像を観察し、その画像は、例えば生体内機器から受信するＧＩ管画像である。画像は専用データベースに記憶されて、また患者の体内に置かれる生体内機器から転送される間即時応答で観察される。利用者は画像をモニタで観察し、モニタはパーソナルコンピュータ、ワークステーション、ＰＤＡ等の一部であってもよい。ステップ２１０で、利用者は関心のある画像又は画像の一部を選択する。選択はキーボード、ジョイステック、マウス、又は任意の他の入力機器のような、ユーザインターフェイスを操作することにより実行されてもよい。利用者により選択される関心のある画像はモニタ１８のようなモニタの表示画面に表示される。ステップ２２０で、利用者は一つ以上のデータベースにおいて合致する項目又は入力の検索を実行する。一実施形態において、利用者は病理データベースにおいて合致する画像を検索することを選択する。別の実施形態において、利用者は特定のデータベースで一つ以上の関心のある単語又は関心ある画像に関連するキーワードを入力することにより検索してもよい。合致する項目又はエントリは、類似画像を含むかもしれず、或いは、合致する項目又は入力は、画像の領域又は画像の選択される一部と利用者により入力されるキーワードに合致される情報とに相関が高い画像に合致するかもしれない。任意の他の検索及び方法が利用されてよい。検索は、例えばワークステーション、パーソナルコンピュータ内に配置されるシステム内データベースを利用してもよいし、或いは、例えばインターネット又は、他の病院又は医療組織と共有される専用医療データベースである遠隔地のデータベースが利用されてもよい。ステップ２３０で、検索結果はモニタ又は画面の専用ディスプレイに表示される。検索結果は、選択される画像、合致する画像のリスト、関連付けられるテキスト、記事、出版物、医学診断等のリストを含んでもよい。本発明の幾つかの実施形態において、検索結果は画像及び／又はテキストの相関に従って、相関のレベルのスコアバーの図形、定規、又は任意の他の方法により表示されてもよい。結果は、画像の解析、診断の確認、合致される画像の報告、又はこれらに類似するものであってもよい。

図３を参照すると、本発明の一実施形態に従う画像比較法のフローチャートが示される。ステップ３００で、利用者は、例えば、生体内機器から受信されるＧＩ管画像のような画像を観察する。画像は専用データベースに記憶されてもよく、また患者の体内に置かれる生体内機器から転送される間即時応答で観察されてもよい。利用者は画像をモニタで観察してよく、モニタはパーソナルコンピュータ、ワークステーション、ＰＤＡ等の一部であってよい。ステップ３１０で、利用者は関心のある画像を選択し、且つ、選択された画像内の関心のある領域を選択する。選択は、キーボード、ジョイスティク、マウス、又は任意の他の入力機器のような、ユーザインターフェイスを操作することを含んでよい。利用者により選択される関心のある画像はモニタの表示画面に表示される。ステップ３２０で、利用者は関心のある１つ以上の単語又は関心のある画像に関するキーワードを入力し、これにより選択される画像及び／又は選択される画像に関連する情報が明らかになる。適切なキーワードの任意の他の種類が利用されるかもしれない。

ステップ３３０で、検索が選択される画像及び／又は利用者により入力されるキーワードに基づいて実行される。検索は一つ以上のデータベースを用いて実行されてもよい。例えば、小腸病理データベース、胃病理データベース、注釈データベース等があげられる。幾つかの病理データベースは、例えば、ＧＩ管の特殊な部分のような、人体の特殊な部位の画像及び／又は追加情報を含んでもよいが、他のデータベースはある既知の病気、腫瘍、ポリープ、病巣、出血等の画像及び／又は追加情報を含んでもよい。幾つかのデータベースは、記事、出版物、以前の症例解析、及び類似物のようなテキスト情報を含んでもよい。

幾つかの実施形態において、検索は入力されるキーワードに優先度を与えるかもしれないが、別実施形態において、優先度は画像に与えられてもよい。幾つかの実施形態において、優先度は利用者の決定に従って定義されてもよい。検索は、例えばワークステーション、パーソナルコンピュータ内に配置されるデータベースであるシステム内データベースを利用してもよいし、或いは、例えばインターネット又は、他の病院又は医療組織と共有される専用医療データベースである遠隔地のデータベースが利用されてもよい。一例において、検索は画像の相関によってのみ行われ、その後キーワード又は他の画像、画像の一部、又は任意の他の情報を加えることにより絞り込まれるかもしれない。

ステップ３４０で、検索結果はモニタ又は画面上の専用ディスプレイに表示される。検索結果は、選択される画像、合致する画像のリスト、関連付けられるテキスト、記事、出版物、医学診断等のリストを含んでもよい。本発明の幾つかの実施形態において、検索結果は画像及び／又はテキストの相関に従って、相関のレベルのスコアバーの図形、定規、又は任意の他の方法を利用して表示されてもよい。結果は、画像の解析、診断の確認、合致される画像の完全な報告、又はこれらに類似するものを含む。

図４を参照すると、本発明の一実施形態に従う、モニタ上のディスプレイが示される。動画を観察するとき、利用者はモニタ４００上のウィンドウ群と共に提示される。画像ウィンドウ４１０は画像又は生体内機器から受信する画像、又は画像の静止部位を提供してもよい。そのようなウィンドウは、ボタン又は他の制御を含んでもよく、これらは、例えば停止、再生、一時停止、画像取り込みのように画像の表示を変えてもよい。そのような制御は、例えばマウス又はトラックボールのような位置決め機器により成し遂げられてもよい。時間記録ウィンドウは時間記録を提供してもよく、動画の全経過時間を示し、且つ動画の全時間及び注釈の要約のような他の情報を提供してもよい。モニタ４００のユーザ・コマンド・ウィンドウ４２０は、例えばメニュー、バー、又はボタンのような配置される選択肢群を含んでよい。選択肢は例えば、以下のものを含んでよい。
・データベース選択−利用者はデータベースリスト外の少なくとも１つのデータベースを選択してもよい。
・検索選択−利用者は、例えば画像、記事、病理解析等のどの項目を検索するか、選択してもよい。
・結果選択−利用者は例えば、最良の合致数、病理の解析、検索結果のリスト、又は任意の他の表示等、検索結果の表示を選択してよい。

他の適切な選択肢が利用されてもよい。
ユーザ・コマンド・ウィンドウはキーワードを入力し、それらをデータベースに適用するための命令行を含んでもよい。

モニタ４００上の結果ウィンドウ４３０は、例えば、合致する画像のリスト、関連するテキスト、記事、出版物、医学診断等のリストのようなデータベース検索の結果を示してよい。本発明の幾つかの実施形態において、検索結果は相関レベル用のスコアバーの図形、定規、又は他の適切な方法による画像及び／又はテキスト相関に従って表示されてもよい。結果はまた、画像の解析、診断の確認、合致される画像の報告、又は類似物であってもよい。

「ウィンドウ」という用語はディスプレイの領域に関連してよく、特定の領域又は構造化される領域で無くてよい。「ウィンドウ」という用語はまた、通常のオペレーティング・システムにより提供されるような、ボーダーを含むパネルを含んでもよい。

本発明のある特徴が本明細書に図説及び記載されてきたが、数多くの改良、置き換え、変化、及び均等物が、当業者に想起されるであろう。従って、添付される請求項は、本発明の技術思想内に入るこのような改良及び変化の全てを包含することを意図されていることを理解されるべきである。

本発明の一実施形態に従う、撮像システムの概略図。 本発明の一実施形態に従う、画像認識法のフローチャート。 本発明の一実施形態に従う、画像比較法のフローチャート。 本発明の一実施形態に従う、モニタの表示図。

Claims (18)

1. ＧＩ管における病理を認識する方法であって、
   生体内撮像機器により得られたＧＩ管の生体内画像を表示すること、
   前記生体内画像から関心のある画像の表示を受け入れること、
   データベースから前記関心のある画像に合致する項目を検索すること、
   を備える方法。
2. 前記検索は前記関心のある前記画像に関連する単語を入力することにより実行される、請求項１に記載に方法。
3. 前記項目は画像又はテキストを含む、請求項１に記載に方法。
4. 検索結果を表示する段階を備える、請求項１に記載に方法。
5. 前記関心のある前記画像と前記検索結果とを同時に表示することを備える、請求項４に記載に方法。
6. 前記関心のある前記画像、前記検索結果及び前記関心のある画像の経過時間を表示することを備える、請求項４に記載に方法。
7. 生体内画像を観察するためのシステムであって、
   生体内画像を収集するための生体内撮像機器と、
   病理データベースと、
   体内画像を前記病理データベース内の項目と合致させるプロセッサと、
   前記生体内画像を表示するためのディスプレイと、
   を備えるシステム。
8. 前記病理データベースは、既知の病理の画像、既知の病気の画像、腫瘍の画像、特定の組織の画像、テキスト情報、キーワード、記述、医学診断、重要な症例、記事又は画像から成るグループから選択されるデータを備える、請求項７に記載のシステム。
9. 画像データベースを備える、請求項７に記載のシステム。
10. 前記画像データベースはネットワークを通じて接続されるように構成される、請求項９に記載のシステム。
11. 前記ネットワークはインターネット・ネットワークである、請求項１０に記載のシステム。
12. 前記ディスプレイは検索結果を表示するように構成される、請求項７に記載のシステム。
13. スコアバーの図形が前記検索結果の相関のレベル用に表示される、請求項１２に記載のシステム。
14. 前記検索結果が、合致する画像、関連テキスト、記事、出版物及び医学診断のグループから選択される、請求項１２に記載のシステム。
15. 前記ディスプレイがユーザ・コマンド・ウィンドウを備える、請求項７に記載のシステム。
16. 前記ユーザ・コマンド・ウィンドウは、データベース選択、検索選択及び結果選択から成るグループから選択される選択肢ボタン群を備える、請求項１５に記載のシステム。
17. 前記ディスプレイは結果ウィンドウを備える、請求項７に記載のシステム。
18. 関心がある画像、検索結果及び時間記録が同時に表示される、請求項７に記載のシステム。

Images