JP2005137395A - 画像処理装置、該方法、及び該プログラム - Google Patents

Abstract

【課題】 カプセル型内視鏡で撮影した画像のうち、観察対象の部位のみを抽出し、参照する画像枚数を極力抑えることができる画像処理装置を提供する。
【解決手段】 カプセル型内視鏡１で撮影した複数の画像を取得し、これらの画像が体内を撮影した前記画像か否かの判定をし、体内を撮影した画像と判定された画像を抽出し、その抽出した画像から実質的に同一か否かを判定し、別画像であると判定された画像を抽出し、さらに、疾患部位が撮影されている画像を抽出することができる画像処理装置７により、上記課題の解決を図る。
【選択図】 図１

Description

医療用機器、特にカプセル型内視鏡により撮影した膨大な量の画像の画像処理に関する。

近年、内視鏡分野においては、飲込み型のカプセル型内視鏡が登場している。このカプセル型内視鏡には、撮像機能と無線機能とが設けられている。カプセル型内視鏡は、観察（検査）のために患者の口から飲み込まれた後、人体から自然排出されるまでの観察期間、胃、小腸などの臓器を順次撮像する仕組みである（特許文献１）。

この観察期間、カプセル型内視鏡によって体内で撮像された画像データは、順次無線通信により外部に送信され、メモリに蓄積される。患者がこの無線通信機能とメモリ機能とを備えた受信機を携帯することにより、患者は、カプセル型内視鏡を飲み込んだ後、排出されるまでの観察期間、自由に行動できる。観察後、医者もしくは看護士においては、メモリに蓄積された画像データに基づいて臓器の画像をディスプレイに表示させて診断を行うことができる。

今日、この種のカプセル型内視鏡としては、イスラエルのギブン・イメージング社のＭ２Ａ（登録商標）や日本の株式会社アールエフのＮＯＲＩＫＡ（登録商標）があり、すでに実用化の段階に移行している。
米国特許出願公開第２００２／００９３４８４号明細書

しかしながら、上述したカプセル型内視鏡においては、通常の内視鏡と異なり被験者が飲み込んで自然に排出されるまでの期間、各臓器を撮像させるので、観察（検査）時間がたとえば８時間以上となるように長時間に及ぶ。そして、その間の撮影は、例えば２［フレーム／秒］で行われている。このため、時系列に撮像される画像の枚数は膨大である。

よって、診察などの段階において、検査対象の部位や臓器内の画像を確認する場合、長時間撮像された膨大な画像から検索しなければならず、多大な時間や労力を費やしていた。
上記の課題に鑑み、本発明では、カプセル型内視鏡で撮影した画像のうち、観察対象の部位のみを抽出し、参照する画像枚数を極力抑えることができる画像処理装置、該方法、該プログラムを提供する。

上記課題は、特許請求の範囲の請求項１に記載の発明によれば、医療機器により撮影した複数の画像の画像処理を行う画像処理装置において、前記画像に含まれる画素値の色成分情報に基づいて、観察対象物が撮影された観察対象画像であるか否かの判定をする観察対象画像判定手段と、前記観察対象画像判定手段による判定結果に基づいて、前記観察対象画像を抽出する観察対象画像抽出手段と、を備えることを特徴とする画像処理装置を提供することによって達成できる。

また上記課題は、特許請求の範囲の請求項２に記載の発明によれば、前記観察対象画像判定手段は、所定のしきい値と前記各画像に含まれる画素値の色成分情報とを比較することを特徴とする請求項１に記載の画像処理装置を提供することによって達成できる。
また上記課題は、特許請求の範囲の請求項３に記載の発明によれば、前記しきい値は、前記観察対象画像内の前記観察対象物の画素値の色成分情報に基づいたものであることを特徴とする請求項２に記載の画像処理装置を提供することによって達成できる。

また上記課題は、特許請求の範囲の請求項４に記載の発明によれば、前記色成分情報は、ＸＹＺ表色系の色味の要素ｘ，ｙ、ＣＩＥ Ｕ＊Ｖ＊Ｗ＊色空間の色味の要素ｕ，ｖ、ＣＩＥ ＬＵＶ色空間の色味の要素ｕ’，ｖ’、ＣＩＥ ＬＡＢ色空間の色味の要素のａ＊，ｂ＊、及びＲＧＢ信号値からの比、のうち少なくともいずれか１つの色成分で示される情報であることを特徴とする請求項１に記載の画像処理装置を提供することによって達成できる。

また上記課題は、特許請求の範囲の請求項５に記載の発明によれば、前記画像処理装置は、さらに、前記複数の画像のうち所定の２つが実質的に同一画像か別画像かを判定する画像同一判定手段と、前記画像同一判定手段による判定結果に基づいて、前記別画像を抽出する別画像抽出手段と、を備えることを特徴とする請求項１に記載の画像処理装置を提供することによって達成できる。

また上記課題は、特許請求の範囲の請求項６に記載の発明によれば、前記画像処理装置は、さらに、前記画像が体内を撮影した画像である体内画像か否かの判定をする体内画像判定手段と、前記体内画像判定手段による判定結果に基づいて、前記体内画像を抽出する体内画像抽出手段と、を備えることを特徴とする請求項１に記載の画像処理装置を提供することによって達成できる。

また上記課題は、特許請求の範囲の請求項７に記載の発明によれば、前記医療機器は、カプセル型内視鏡であることを特徴とする請求項１に記載の画像処理装置を提供することによって達成できる。
また上記課題は、特許請求の範囲の請求項８に記載の発明によれば、医療機器により撮影した複数の画像の画像処理をコンピュータに実行させる画像処理プログラムにおいて、前記画像に含まれる画素値の色成分情報に基づいて、観察対象物が撮影された観察対象画像であるか否かの判定をする観察対象画像判定処理と、前記観察対象画像判定処理による判定結果に基づいて、前記観察対象画像を抽出する観察対象画像抽出処理と、をコンピュータに実行させる画像処理プログラムを提供することによって達成できる。

また上記課題は、特許請求の範囲の請求項９に記載の発明によれば、前記観察対象画像判定処理は、所定のしきい値と前記各画像に含まれる画素値の色成分情報とを比較する処理をコンピュータに実行させる請求項８に記載の画像処理プログラムを提供することによって達成できる。

また上記課題は、特許請求の範囲の請求項１０に記載の発明によれば、前記しきい値は、前記観察対象画像内の前記観察対象物の画素値の色成分情報に基づいたものであることを特徴とする請求項９に記載の画像処理プログラムを提供することによって達成できる。
また上記課題は、特許請求の範囲の請求項１１に記載の発明によれば、前記色成分情報は、ＸＹＺ表色系の色味の要素ｘ，ｙ、ＣＩＥ Ｕ＊Ｖ＊Ｗ＊色空間の色味の要素ｕ，ｖ、ＣＩＥ ＬＵＶ色空間の色味の要素ｕ’，ｖ’、ＣＩＥ ＬＡＢ色空間の色味の要素のａ＊，ｂ＊、及びＲＧＢ信号値からの比、のうち少なくともいずれか１つの色成分で示される情報であることを特徴とする請求項８に記載の画像処理プログラムを提供することによって達成できる。

また上記課題は、特許請求の範囲の請求項１２に記載の発明によれば、前記画像処理プログラムは、さらに、前記複数の画像のうち所定の２つが実質的に同一画像か別画像かを判定する画像同一判定処理と、前記画像同一判定処理による判定結果に基づいて、前記別画像を抽出する別画像抽出処理と、をコンピュータに実行させる請求項８に記載の画像処理プログラムを提供することによって達成できる。

また上記課題は、特許請求の範囲の請求項１３に記載の発明によれば、前記画像処理プログラムは、さらに、前記画像が体内を撮影した画像である体内画像か否かの判定をする体内画像判定処理と、前記体内画像判定処理による判定結果に基づいて、前記体内画像を抽出する体内画像抽出処理と、をコンピュータに実行させる請求項８に記載の画像処理プログラムを提供することによって達成できる。

また上記課題は、特許請求の範囲の請求項１４に記載の発明によれば、前記医療機器は、カプセル型内視鏡であることを特徴とする請求項８に記載の画像処理プログラムを提供することによって達成できる。
また上記課題は、特許請求の範囲の請求項１５に記載の発明によれば、医療機器により撮影した複数の画像の画像処理を行う画像処理方法において、前記画像に含まれる画素値の色成分情報に基づいて、観察対象物が撮影された観察対象画像であるか否か判定し、該判定結果に基づいて前記観察対象画像を抽出することを特徴とする画像処理方法を提供することによって達成できる。

また上記課題は、特許請求の範囲の請求項１６に記載の発明によれば、前記観察対象画像か否かの判定は、所定のしきい値と前記各画像に含まれる画素値の色成分情報とを比較することを特徴とする請求項１５に記載の画像処理方法を提供することによって達成できる。

また上記課題は、特許請求の範囲の請求項１７に記載の発明によれば、前記しきい値は、前記観察対象画像内の前記観察対象物の画素値の色成分情報に基づいたものであることを特徴とする請求項１６に記載の画像処理方法を提供することによって達成できる。
また上記課題は、特許請求の範囲の請求項１８に記載の発明によれば、前記色成分情報は、ＸＹＺ表色系の色味の要素ｘ，ｙ、ＣＩＥ Ｕ＊Ｖ＊Ｗ＊色空間の色味の要素ｕ，ｖ、ＣＩＥ ＬＵＶ色空間の色味の要素ｕ’，ｖ’、ＣＩＥ ＬＡＢ色空間の色味の要素のａ＊，ｂ＊、及びＲＧＢ信号値からの比、のうち少なくともいずれか１つの色成分で示される情報であることを特徴とする請求項１５に記載の画像処理方法を提供することによって達成できる。

また上記課題は、特許請求の範囲の請求項１９に記載の発明によれば、前記画像処理方法は、さらに、前記複数の画像のうち所定の２つが実質的に同一画像か別画像かを判定し、
該判定結果に基づいて、前記別画像を抽出することを特徴とする請求項１５に記載の画像処理方法を提供することによって達成できる。

また上記課題は、特許請求の範囲の請求項２０に記載の発明によれば、前記画像処理方法は、さらに、前記画像が体内を撮影した画像である体内画像か否かの判定をし、該判定結果に基づいて、前記体内画像を抽出することを特徴とする請求項１５に記載の画像処理方法を提供することによって達成できる。

また上記課題は、特許請求の範囲の請求項２１に記載の発明によれば、前記医療機器は、カプセル型内視鏡であることを特徴とする請求項１５に記載の画像処理方法を提供することによって達成できる。
上記より特許請求の範囲の請求項１，８，１５に記載の発明のように構成することによって、不必要な画像を排除し、観察対象の部位や臓器の画像のみ抽出することができる。

また特許請求の範囲の請求項２，９，１６に記載の発明のように構成することによって、観察対象の部位または臓器特有の色味を有する画像のみを抽出することができる。
また特許請求の範囲の請求項３，１０，１７に記載の発明のように構成することによって、観察対象の部位または臓器特有の色味を有する画像のみを抽出することができる。

また特許請求の範囲の請求項４，１１，１８に記載の発明のように構成することによって、様々な表色系や色空間の色味を用いることができる。
また特許請求の範囲の請求項５，１２，１９に記載の発明のように構成することによって、実質的に同一の画像を取り除くことができる。

また特許請求の範囲の請求項６，１３，２０に記載の発明のように構成することによって、明らかに不要な体外の画像を取り除くことができる。
また特許請求の範囲の請求項７，１４，２１に記載の発明のように構成することによって、カプセル型内視鏡で撮影された膨大な画像のうち観察対象部位又は観察対象臓器の画像を効率よく取得することができる。

本発明を用いることにより、疾患部位検出を行う対象画像を減らすことで、疾患部位検出の高速化が可能となる。

本実施形態では、膨大な画像データのうち検査対象（観察対象）となる部位の画像（以下、必要な画像）のみを抽出して表示対象とする画像処理を説明する。ここで、必要な画像および不必要な画像データ（体外の画像や検査対象（観察対象）となる部位以外の画像）について説明する。

カプセル型内視鏡による撮影は、通常、飲み込む直前から開始されているので、体外の画像や口内の画像など撮影対象外の画像データ、すなわち不必要な画像が含まれている。
また、カプセル型内視鏡は、消化器系器官の蠕動（ぜんどう）運動によって体内を進行していくので、この蠕動運動が小休止していたり、また体内の様態により（疾患や消化器の門などに起因）カプセル型内視鏡の動きが抑制される場合には、カプセル型内視鏡の進行が一時的に停止する可能性がある。しかし、この場合にも撮影は随時行われているので、その間に撮影される画像は同一、または実質同一なものである。

また、例えば胃の画像のみが必要な場合、それ以外の例えば、食道や小腸等の他の臓器の画像は不要な画像である。また、疾患部位のみの画像のみが必要な場合、それ以外の他の部位が撮影されている画像は不要である。
このように、膨大に撮影される画像データの中のうち、観察対象以外の画像は、特に診察時に確認する必要は低いので、これらの画像以外の必要な画像のみを抽出する。それでは、以下に本実施形態について詳述する。

図１は、本実施形態における体腔内検査で利用されるカプセル型内視鏡及びその周辺機器を示す。図１（Ａ）に示すように、カプセル型内視鏡１を用いた検査システムは、カプセル型内視鏡１を患者２が口から飲み込むことにより体腔内を検査するカプセル型内視鏡１と、この患者２の体外に配置され、カプセル型内視鏡１で撮像した画像データを無線で受信するアンテナユニット４に接続される受信機である外部装置５とからなる。

体腔内検査時には外部装置５に装着されて、カプセル型内視鏡１から送信され外部装置５で受信した画像情報を記録するための、コンパクトフラッシュ（登録商標）メモリ等の可搬型記憶媒体を介して、パーソナルコンピュータ、ワークステーション等の端末装置７（本実施形態では、ワークステーション７を用いる）に前述の画像情報を取り込むようになっている。

または、図１（Ｂ）に示すように、この外部装置５はクレードル６に装着して、若しくは図示しないＵＳＢケーブル等によってワークステーション７に電気的に接続できるようになっている。これにより、この外部装置５に挿入された可搬型記憶媒体に記憶された画像データをワークステーション７へ取り込むことができる。また、可搬型記憶媒体の読取装置をワークステーション７へ接続し、その読み取り装置に可搬型記憶を挿入して、可搬型記憶に記憶された画像データを読み出してワークステーション７へ取り込むようにしてもよい。

上記の画像の取り込みは、キーボード９やマウス１０等の入力・操作デバイスの操作により実行される。ワークステーション７へ取り込まれた画像は、ディスプレイ８に表示したり、プリンタに出力したりすることができる。
図１（Ａ）に示すように、カプセル型内視鏡１を飲み込んで内視鏡検査を行う場合、患者２が着るジャケット３には複数のアンテナ１１が取り付けられたアンテナユニット４が装着されており、カプセル型内視鏡１により撮像された画像データは無線によりアンテナ１１へ送信され、その画像データをアンテナユニット４で受信するようになっている。そして、その画像データは、アンテナユニット４に接続された外部装置５に保存される。この外部装置５は、例えば患者２のベルトに着脱自在のフックにより取り付けられる。

カプセル型内視鏡１は、カプセル形状となって水密構造となっており、その内部に、体内を撮影する撮像部、撮影対象物を照明するための照明部、撮影した画像をアンテナ１１へ送信するための送信部、これらを駆動させるための電池、電源基板部等から構成されている。

カプセル型内視鏡１の起動手段としては、電源供給開始手段としてのＯＮ／ＯＦＦスイッチがカプセル内部に設けられており、このスイッチがＯＮ操作されることによって、撮像部、照明部等への電源供給を開始させ得るものである。このＯＮ／ＯＦＦスイッチは、カプセル型内視鏡１の電源基板部に設けてあるもので、電源基板部に設けた電池（例えば酸化銀電池等）がカプセル型内視鏡１内の各部に電源を供給するのを開始するスイッチである。

カプセル型内視鏡１の外部から（例えばカプセル型内視鏡１を梱包するパッケージに設けられる）磁力を発生する外部磁石がＯＮ／ＯＦＦスイッチをＯＦＦ状態に付勢し、且つカプセル型内視鏡１の内部におけるＯＮ／ＯＦＦスイッチの近傍に設けられてこのＯＮ／ＯＦＦスイッチをＯＮ状態に付勢する内部磁石を設けている。

しかして、カプセル型内視鏡１を外部磁石から遠ざけることによって（すなわち、カプセル型内視鏡１を梱包するパッケージからカプセル型内視鏡１を取り出すことによって）、ＯＦＦ位置にあったＯＮ／ＯＦＦスイッチをＯＮ位置とできるようにしてある。このようにして、カプセル型内視鏡１が起動し、撮影が開始される。

したがって、カプセル型内視鏡１を梱包するパッケージからカプセル型内視鏡１を取り出すことによって撮影は開始するので、カプセル型内視鏡装置１を体内に取り込む前の診断には不要な体外の画像が撮影されている。
図２は、本実施形態におけるカプセル型内視鏡１で撮影した画像データの画像処理を行うワークステーション７の内部構成の概要を示す。ワークステーション７は、各種の処理で利用するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリ２０と、大容量のデータを格納する大容量記憶装置２１と、ワークステーション７全体をあらかじめ用意されたプログラムにしたがって制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２と、外部装置５（または、コンパクトフラッシュ（登録商標）メモリ等の可搬型記憶媒体）からの画像データを取り込んだり、キーボード９やマウス１０等の操作部からデータや指示を入力したりする入力Ｉ／Ｆ２３、本実施形態による体内の画像などをディスプレイ８に出力したり、プリンタ等にデータを出力したりするための出力Ｉ／Ｆ２４、及びこれらを接続するバス２５から構成される。

カプセル型内視鏡１により撮影された画像データは、逐一外部装置５に送信され、外部装置５内の可搬型記憶媒体に記憶される。この記憶された画像データは、上述の通り、外部装置５をクレードル６に装着したり、可搬型記憶媒体を読み取り装置にセットしたりすることによってワークステーション７に電気的に接続し、ワークステーション７内の大容量記憶装置２１に格納される。このようにして、カプセル型内視鏡１で撮影した画像は、ワークステーション７に取り込まれる。ワークステーション７に取り込まれた画像データは、本実施形態における画像処理により所定の処理が施され、ディスプレイ８に表示される。

図３は、本実施形態におけるカプセル型内視鏡１で撮影した画像の画像処理の全体フローを示す。まず、ユーザが、マウス１０等の入力デバイスの操作により、ワークステーション７の大容量記憶装置２１に予めインストールしてある本実施形態にかかるプログラムを起動させる。このプログラムの起動指示を受けたＣＰＵ２２は、大容量記憶装置２１よりこのプログラムを読み出し、図３のフローを実行させ、順次、画像の体内・体外判別処理（ステップ１。以下ステップをＳと略する。）、画像の別・同一判別処理（Ｓ２）、画像の必要・不要判別処理（Ｓ３）が実行される。

まず、画像の体内・体外判別処理（Ｓ１）では、カプセル型内視鏡１で撮影されたデータのうち不要な体外の画像を取り除き、必要な画像である体内の画像のみ取得する処理を行う。次に、画像の別・同一判別処理（Ｓ２）では、体内の画像のうち実質的に同一の画像データを取り除き、異なる画像データを取得する処理を行う。次に、画像の必要・不必要判別処理（Ｓ３）では、観察対象の画像データを取得する処理を行う。

図４は、図３のＳ１の画像の体内・体外判別処理の詳細な処理フローを示す。同図のフローでは、撮影順に記録媒体に保存された画像データを順に読み込み、ＲＧＢデータからＸＹＺデータに変換し、後述するｘｙ色度値の閾値処理により、画像が体内か体外かを判別する判断処理を行う。

ＲＧＢデータとは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色のＲＧＢ表色系で示される画像データのことをいう。また、ＸＹＺデータとは、ＸＹＺ表色系で画像データを表すことである。ＸＹＺ表色系とは、色刺激値を表示するために国際照明委員会（ＣＩＥ）が定めた基本的な表色体系である。ＸＹＺ表色系では、ＲＧＢ表色系では表現できない鮮やかな色まで表現できる。以下において、ＸＹＺ表色系で表される色を色味と呼ぶ。

それでは、以下に本フローについて説明する。
まず、記録媒体（例えば、コンパクトフラッシュ（登録商標）等）へ保存された後、上記でワークステーション７の大容量記憶装置２１へ格納された画像データの画像枚数をＡ枚とすると、撮影全画像の枚数を示す変数ＴＡにＡを代入する（Ｓ１０）。ただし、大容量記憶装置２１へ格納された画像データのうち、処理したい画像だけを「全画像データＡ枚」としても、もちろん構わない（対象フォルダ内、など）。

次に、カウンタを示す変数ＣｎｔＡ＝１とし、１枚目の画像データを読み込む（Ｓ１１）。次に、「体内」という判別をされた画像が予め決められた所定枚数以上あるか否かを判別する（Ｓ１２）。初めてＳ１２を通過する場合には、後述する「体内」という判別がまだされていないので、Ｎｏ方向へ進む。

Ｓ１２でＮｏ方向へ進んだ場合、画像の色味から判別処理を行う（Ｓ１３）。ここでは、まず、ＲＧＢデータからＸＹＺデータへの変換を行う。ワークステーション７に取り込まれた画像データは、ＲＧＢデータであるので、これをＸＹＺデータへ変換する。この変換は、一般的な手法により行われるので、ここでは割愛する。

そして、このＸＹＺデータからｘｙ色度値を求める。このｘｙ色度値が予め決められたしきい値範囲内か否かを判断する。ここで、このしきい値範囲は、体内の画像データのｘｙ色度値の一般的な値の分布に基づいて設定される。したがって、算出したｘｙ色度値がしきい値範囲内であれば、その画像データは体内を撮影したものであると考えられる。また、算出したｘｙ色度値がしきい値未満であれば、その画像データは体外を撮影したものであると考えられる。

次に、Ｓ１３で算出したｘｙ色度値がしきい値範囲内であれば、その画像が「体内」の画像である旨のメッセージを返す。また、算出したｘｙ色度値がしきい値範囲外であれば、その画像が「体外」の画像である旨のメッセージを返す（Ｓ１４）。それから、ＣｎｔＡをインクリメントする（ＣｎｔＡ＝ＣｎｔＡ＋１）。

次に、Ｓ１６で取得した全画像データＡ枚分の処理が終了しているか否かを判断する（Ｓ１６）。つまり、ＴＡ＜ＣｎｔＡの場合、「Ｙｅｓ」方向へ進み、ＴＡ≧ＣｎｔＡの場合、「Ｎｏ」へ進む。ここでは、ＣｎｔＡ＝２なので、「Ｎｏ」へ進み（ＴＡ≠１の場合）、２枚目の画像を読み込んで、Ｓ１１→Ｓ１２→Ｓ１３→Ｓ１４→Ｓ１６の処理を行い、ＣｎｔＡをインクリメントして３枚目以降も同様の処理を実行する。これらの処理を繰り返す。

そうすると、Ｓ１２において、「体内」という判別をされた画像が所定枚数に達すると、「体内」の結果メッセージが返される（Ｓ１５）。したがって、これ以降の画像については、Ｓ１１→Ｓ１２→Ｓ１５→Ｓ１６となり、無条件で「体内」の結果メッセージが返される。この処理は、体外にあるカプセル型内視鏡１を口から飲み込んでしまうと、それ以降に撮影されるのは体内の画像であるということに基づいている。

これにより、「体内」という判別が所定フレーム以上なされた場合には、それ以降の画像は全て「体内」であると判断し、Ｓ１３によるしきい値の判別処理を打ち切るので、処理の高速化を図ることが可能となる。
こうして、全画像データＡ枚分の処理を終了すると、Ｓ１６でＴＡ＜ＣｎｔＡとなるので「Ｙｅｓ」方向へ進み、Ｓ１４またはＳ１５で「体内」の結果メッセージが返された画像を抽出し（Ｓ１７）、本フローは終了する。なお、本実施形態では、全画像の枚数とカウンタを用いていたが、それらを用いずとも「先頭画像ファイルから順に読み込んでいき、次のファイルが見つかればＳ１６で「Ｎｏ」へ、見つからなければ「Ｙｅｓ」へ進む」、としても可能である。また、Ｓ１７で抽出された画像の枚数をＢ枚とする。

なお、本実施形態では、ＸＹＺ表色系（ＣＩＥ １９３１）の色味のファクターｘ、ｙを用いたがこれに限られない。よって、例えば、ＣＩＥ Ｕ＊Ｖ＊Ｗ＊色空間を用いた場合なら、色味のファクターｕ，ｖを色度値として用い、また、ＣＩＥ ＬＵＶ色空間を用いた場合なら、色味のファクターｕ’，ｖ’を色度値として用い、ＣＩＥ ＬＡＢ色空間を用いた場合なら、色味のファクターａ＊，ｂ＊を色度値として用いてもよい。

すなわち、本実施形態では、ｘｙ色度値を用いたが、これに限らず、ｘｙ色度値の代わりに、Ｌ＊ａ＊ｂ＊，Ｌ＊ｕ＊Ｖ＊などの何らかの色相・彩度等、色味に関連するファクターで有れば、判別基準は何でも構わない。
また、取り込んだ画像を、これらの他の表色系または色空間に変換せずに、ＲＧＢ系を用いてもよい。この場合には、ＲＧＢの信号値から、Ｒ／Ｇ，Ｒ／Ｂ 等の（別にＧ／Ｒ， Ｂ／Ｒでも良い）値を判断基準の閾値として用いても構わない。

すわなち、Ｓ１３において、画像から得られる何らかの値から色味を判断することができれば、判別処理にあたってＲＧＢや表色系の種類には限定されない。
上記より、本フローにより処理することで、カプセル型内視鏡１で撮影した画像データのうち体内の画像のみを抽出することができる。

図５は、図３のＳ２の画像の別・同一判別処理の詳細な処理フローを示す。同図のフローでは、直前フレームと対象フレームとの画素値の例えば平均値等を調べ、その平均値の変化量がある閾値以下(または未満)で有れば同一な画像と判断し、そうでなければ別画像と判断する判断処理を行い、別画像と判断された画像を抽出する。それでは、以下に本フローについて説明する。

まず、図４に示したＳ１の画像の体内・体外判別処理で取得した画像枚数Ｂを本フローで用いる全画像の枚数を示す変数ＴＢに代入する。それから、カウンタを示す変数ＣｎｔＢ＝１とし、Ｓ１で抽出した画像データＢ枚のうち１枚目の画像データを読み込む（Ｓ２０）。

次に、Ｓ２０で読み込んだ画像が最初の画像（ＣｎｔＢ＝１の画像）か否かを判断する（Ｓ２１）。すわなち、ＣｎｔＢ＝１の場合、「Ｙｅｓ」方向へ進み、ＣｎｔＢ≧２の場合、「Ｎｏ」方向へ進む。ＣｎｔＢ＝１であるので、「Ｙｅｓ」方向へ進み、その画像が直前の画像とは「別画像」の画像である旨のメッセージ（「別画像」結果メッセージ）を返す（Ｓ２５）。それから、ＣｎｔＢをインクリメントする（ＣｎｔＢ＝ＣｎｔＢ＋１）。

次に、Ｓ１で抽出した画像データＢ枚分の処理が終了しているか否かを判断する。つまり、ＴＢ＜ＣｎｔＢの場合、「Ｙｅｓ」方向へ進み、ＴＢ≧ＣｎｔＢの場合、「Ｎｏ」へ進む。ここでは、ＣｎｔＢ＝２なので、「Ｎｏ」へ進み（ＴＢ≠１の場合）、Ｓ２０で２枚目の画像を読み込んで、Ｓ２１の処理を行う。

Ｓ２１で、ＣｎｔＢ＝２であるので「Ｎｏ」方向へ進み、直前の画像と画素値を比較する（Ｓ２２）。ここでは、例えば、今回の画像の各画素値とそれに対応する直前の画像の各画素値との差分を算出しても良い。また、予めサンプリングするエリアを決めておき、そのエリアでの画素値の差分を求めてもよい。この場合、Ｓ２２での処理は、画像全体で実行したときに比べ、処理の高速化を図ることが可能となる。

また、今回の画像全体の画素値の平均と直前の画像全体の画素値の平均を算出し、その差分を算出してもよい。また、今回の画像に含まれる画素のうち最大（または最小）の画素値と直前の画像に含まれる画素のうち最大（または最小）の画素値を算出し、その差分を算出してもよい。

次に、Ｓ２２での２つの画像の比較の結果、両者の画素値の差（すなわち、Ｓ２２で算出した差分）が予め決められたしきい値以下（または未満）の場合（Ｓ２３）、これらの２つの画像が「同一画像」である旨のメッセージ（「同一画像」結果メッセージ）を返し、ＣｎｔＢをインクリメントする（Ｓ２４）。

また、Ｓ２２での２つの画像の比較の結果、両者の画素値の差がしきい値より大きい（または以上）の場合（Ｓ２３）、これらの２つの画像が「別画像」である旨のメッセージ（「別画像」結果メッセージ）を返し、ＣｎｔＢをインクリメントする（Ｓ２５）。
全画像データＢ枚分の処理が終了すると、Ｓ２６でＴＢ＜ＣｎｔＢを満たすので「Ｙｅｓ」方向へ進み、Ｓ２５で「別画像」と判断された画像が抽出され（Ｓ２７）、本フローは終了する。なお本実施形態では、全画像の枚数を用いていたが、それを用いずとも、「Ｂ枚に属する先頭画像ファイルから順に読み込んで行き、次のファイルが見つかればＳ２６で「Ｎｏ」へ、見つからなければ「Ｙｅｓ」へ進む」、としても可能である。また、Ｓ２７で抽出された「別画像」と判断された画像の枚数をＣ枚とする。

図６は、図３のＳ３の画像の必要・不必要判別処理の詳細な処理フローを示す。同図のフローは、様々な臓器又は部位を撮影した画像の中から特定の臓器又は部位の画像、すなわち必要な画像のみを抽出する。それでは、以下に本フローについて説明する。
まず、図３に示したＳ２の画像の体内・体外判別処理で取得した画像枚数Ｃを本フローで用いる全画像の枚数を示す変数ＴＣに代入する。それから、カウンタを示す変数ＣｎｔＣ＝１とし、Ｓ２で抽出した画像データＣ枚のうち１枚目の画像データを読み込む（Ｓ３０）。

次に、所定のしきい値に基づいて、Ｓ３０で読み込んだ画像の色味の判別処理を行う（Ｓ３１）。ここでの判定は図４のＳ１３と同様にして色味、すなわちｘｙ色度値を求め、このｘｙ色度値が予め決められたしきい値の範囲内であるか否かを判断する。ここで、図４のＳ１３と異なるのは、このしきい値である。観察対象部位とは、診断の対象とする部位、すなわち疾患部位のことである。本実施形態では、疾患部位の１つである出血部位が撮影された画像の抽出について述べる。

本フローで抽出すべき画像は、観察対象部位が撮影された画像、すなわち、出血部位が撮影された画像であるので、出血部位が撮影された画像が抽出されるようにしきい値を設定しなければならない。そこで、予め出血部分のｘｙ色度値分布を算出しておき、これをしきい値範囲とする。

次に、Ｓ３１の結果に基づいて、その画像が観察対象画像か否かの判定をする（Ｓ３４）。すなわち、観察対象画像のｘｙ色度値が予め決められたしきい値範囲内の場合には、「必要画像」である旨の結果メッセージを返し（Ｓ３４）、観察対象画像のｘｙ色度値が予め決められたしきい値範囲外の場合には、「不要画像」である旨の結果メッセージを返す（Ｓ３４）。それから、ＣｎｔＣをインクリメントする（ＣｎｔＣ＝ＣｎｔＣ＋１）。

次に、本フローの処理対象である全画像データＣ枚分の処理が終了しているか否かを判断する（Ｓ３５）。つまり、ＴＣ＜ＣｎｔＣの場合、「Ｙｅｓ」方向へ進み、ＴＣ≧ＣｎｔＣの場合、「Ｎｏ」へ進む。ここでは、ＣｎｔＡ＝２なので、「Ｎｏ」へ進み、２枚目の画像を読み込んで、Ｓ３０→Ｓ３１→Ｓ３２→Ｓ３３（またはＳ３４）→Ｓ３５の処理を行い、ＣｎｔＣをインクリメントして３枚目以降も同様の処理を実行する。これらの処理を繰り返す。

こうして、全画像データＣ枚分の処理を終了すると、Ｓ３５でＴＣ＜ＣｎｔＣを満たすのでＳ３５で「Ｙｅｓ」方向へ進み、Ｓ３４で「必要画像」の結果メッセージが返された画像を抽出し（Ｓ３６）、本フローは終了する。なお、本実施形態では、Ｓ３６で抽出された画像の枚数をＤ枚とする。

よって、図３のフローにより処理された画像データＤ枚がディスプレイ８に表示される対象となり、医師は診療時において、そのＤ枚を確認すればよい。つまり、本フローを実施することにより、医師は多くともＤ枚（Ｄ＜＜Ａ）の画像だけを見れば良いので、疾患部位が撮影されている画像を見つけるために、長時間撮像された膨大な画像Ａ枚すべてを確認する必要は無いので、時間や労力を軽減することができる。なお、この図３の処理を実行後のデータは、実行前のデータとは（大容量記憶装置の）別の領域に格納され、実行前のデータは未加工のまま保全される。

なお、本実施形態では、図６で、疾患部位（上記では出血部位）の画像の検出するために、色味を用いたが、これに限定されず、例えば、潰瘍や腫瘍、炎症との疾患部位の形状を予め登録しておき、Ｓ３１でその形状と撮影した画像とをパターンマッチングさせて、その類似度により判定しても良い。

また、疾患部位に限らず、所定の臓器を撮影した画像の抽出も行うことができる。この場合、しきい値として設定するのは、その観察対象となる臓器の色味により算出された値を用いる。体内の臓器はそれぞれ、色味が異なっており、その特徴的な色味に基づくしきい値を持っているものである。

以上より、Ｄ＜Ｃ＜Ｂ＜Ａより、ドクターが診療時に見るべき画像の枚数を削減することで、診療の効率化及び短縮化が可能となる。このように、疾患部位の画像のみを抽出し、その他の部位の画像や体外の画像、実質的に同一な画像を取り除くことことができる。これにより医師が診断時に見るべき画像の枚数の削減を（非常に短時間で）行うことにより、診療の効率化及び診断時間の短縮が図れる。

＜第２の実施形態＞
本実施形態は、第１の実施形態の変形例であり、処理手順を一部省略及び変更したものである。それでは、本実施形態について、以下に説明する。
図７は、本実施形態における画像処理の全体のフローを示す図（例１）である。図７は、図３と比較して、Ｓ１を省略し、Ｓ２とＳ３の処理順を入れ替えたものである。第１の実施形態の図３で説明したのと同様にして、図７を実行させると、まず、画像の必要・不要判別処理（Ｓ３）が実行され、次に画像の別・同一判別処理（Ｓ２）が実行される。

このような順で処理を行うと、まずＳ３で疾患部位の画像が抽出され、次にＳ２でその疾患部位の画像のうち同一画像を除いた画像群が抽出される。
なお、図３の画像の体内・体外判別処理（Ｓ１）は省略されているが、これは図３で体外の画像が取り除かれるからである。すなわち、Ｓ３での色味を用いた判定では、出血部位の出血部分の色味に基づいたしきい値や所定の臓器に特徴的な色味に基づいたしきい値が設定されているので、体外の画像の色味ではこのしきい値を越えることは通常有りえないからである。しかし、Ｓ１を省略することなく、Ｓ１→Ｓ３→Ｓ２の順で実行しても問題はない。

また、しきい値ではなく、疾患部位とのパターンマッチングを用いる場合も、体外の画像には、疾患部位とのパターンが存在しないためＳ３でその体外の画像が抽出されることはない。
図８は、本実施形態における画像処理の全体のフローを示す図（例２）である。図８は、図３と比較して、Ｓ１を省略したものである。まずＳ２で画像のうち同一画像を除いた画像が抽出され、次にＳ３で疾患部位の画像が抽出される。上述の通り、ここでも、体外の画像はＳ３で取り除かれる。

以上より、本実施形態においても第１の実施形態と同様の効果が得られる。

本実施形態における体腔内検査に使用されるカプセル型内視鏡及びその周辺機器を示す図である。 本実施形態におけるカプセル型内視鏡で撮影した画像データの画像処理を行うワークステーション７の内部構成を示す図である。 本実施形態における画像処理の全体のフローを示す図である。 図３におけるＳ１の画像の体内・体外判別処理の詳細な処理フローを示す図である。 図３におけるＳ２の画像の別・同一判別処理の詳細な処理フローを示す図である。 図３におけるＳ３の画像の必要・不必要判別処理の詳細な処理フローを示す図である。 第２の実施形態における画像処理の全体のフローを示す図（例１）である。 第２の実施形態における画像処理の全体のフローを示す図（例２）である。

符号の説明

１ カプセル型内視鏡
２ 患者
３ ジャケット
４ アンテナユニット
５ 外部装置
６ クレードル
７ ワークステーション
８ ディスプレイ
９ キーボード
１０ マウス
１１ アンテナ
２０ メモリ（ＲＡＭ，ＲＯＭ）
２１ 大容量記憶装置
２２ ＣＰＵ
２３ 入力Ｉ／Ｆ
２４ 出力Ｉ／Ｆ
２５ バス

Claims (21)

1. 医療機器により撮影した複数の画像の画像処理を行う画像処理装置において、
   前記画像に含まれる画素値の色成分情報に基づいて、観察対象物が撮影された観察対象画像であるか否かの判定をする観察対象画像判定手段と、
   前記観察対象画像判定手段による判定結果に基づいて、前記観察対象画像を抽出する観察対象画像抽出手段と、
   を備えることを特徴とする画像処理装置。
2. 前記観察対象画像判定手段は、所定のしきい値と前記各画像に含まれる画素値の色成分情報とを比較することを特徴とする請求項１に記載の画像処理装置。
3. 前記しきい値は、前記観察対象画像内の前記観察対象物の画素値の色成分情報に基づいたものであることを特徴とする請求項２に記載の画像処理装置。
4. 前記色成分情報は、ＸＹＺ表色系の色味の要素ｘ，ｙ、ＣＩＥ Ｕ＊Ｖ＊Ｗ＊色空間の色味の要素ｕ，ｖ、ＣＩＥ ＬＵＶ色空間の色味の要素ｕ’，ｖ’、ＣＩＥ ＬＡＢ色空間の色味の要素のａ＊，ｂ＊、及びＲＧＢ信号値からの比、のうち少なくともいずれか１つの色成分で示される情報であることを特徴とする請求項１に記載の画像処理装置。
5. 前記画像処理装置は、さらに、
   前記複数の画像のうち所定の２つが実質的に同一画像か別画像かを判定する画像同一判定手段と、
   前記画像同一判定手段による判定結果に基づいて、前記別画像を抽出する別画像抽出手段と、
   を備えることを特徴とする請求項１に記載の画像処理装置。
6. 前記画像処理装置は、さらに、
   前記画像が体内を撮影した画像である体内画像か否かの判定をする体内画像判定手段と、
   前記体内画像判定手段による判定結果に基づいて、前記体内画像を抽出する体内画像抽出手段と、
   を備えることを特徴とする請求項１に記載の画像処理装置。
7. 前記医療機器は、カプセル型内視鏡であることを特徴とする請求項１に記載の画像処理装置。
8. 医療機器により撮影した複数の画像の画像処理をコンピュータに実行させる画像処理プログラムにおいて、
   前記画像に含まれる画素値の色成分情報に基づいて、観察対象物が撮影された観察対象画像であるか否かの判定をする観察対象画像判定処理と、
   前記観察対象画像判定処理による判定結果に基づいて、前記観察対象画像を抽出する観察対象画像抽出処理と、
   をコンピュータに実行させる画像処理プログラム。
9. 前記観察対象画像判定処理は、所定のしきい値と前記各画像に含まれる画素値の色成分情報とを比較する処理をコンピュータに実行させる請求項８に記載の画像処理プログラム。
10. 前記しきい値は、前記観察対象画像内の前記観察対象物の画素値の色成分情報に基づいたものであることを特徴とする請求項９に記載の画像処理プログラム。
11. 前記色成分情報は、ＸＹＺ表色系の色味の要素ｘ，ｙ、ＣＩＥ Ｕ＊Ｖ＊Ｗ＊色空間の色味の要素ｕ，ｖ、ＣＩＥ ＬＵＶ色空間の色味の要素ｕ’，ｖ’、ＣＩＥ ＬＡＢ色空間の色味の要素のａ＊，ｂ＊、及びＲＧＢ信号値からの比、のうち少なくともいずれか１つの色成分で示される情報であることを特徴とする請求項８に記載の画像処理プログラム。
12. 前記画像処理プログラムは、さらに、
    前記複数の画像のうち所定の２つが実質的に同一画像か別画像かを判定する画像同一判定処理と、
    前記画像同一判定処理による判定結果に基づいて、前記別画像を抽出する別画像抽出処理と、
    をコンピュータに実行させる請求項８に記載の画像処理プログラム。
13. 前記画像処理プログラムは、さらに、
    前記画像が体内を撮影した画像である体内画像か否かの判定をする体内画像判定処理と、
    前記体内画像判定処理による判定結果に基づいて、前記体内画像を抽出する体内画像抽出処理と、
    をコンピュータに実行させる請求項８に記載の画像処理プログラム。
14. 前記医療機器は、カプセル型内視鏡であることを特徴とする請求項８に記載の画像処理プログラム。
15. 医療機器により撮影した複数の画像の画像処理を行う画像処理方法において、
    前記画像に含まれる画素値の色成分情報に基づいて、観察対象物が撮影された観察対象画像であるか否か判定し、該判定結果に基づいて前記観察対象画像を抽出することを特徴とする画像処理方法。
16. 前記観察対象画像か否かの判定は、所定のしきい値と前記各画像に含まれる画素値の色成分情報とを比較することを特徴とする請求項１５に記載の画像処理方法。
17. 前記しきい値は、前記観察対象画像内の前記観察対象物の画素値の色成分情報に基づいたものであることを特徴とする請求項１６に記載の画像処理方法。
18. 前記色成分情報は、ＸＹＺ表色系の色味の要素ｘ，ｙ、ＣＩＥ Ｕ＊Ｖ＊Ｗ＊色空間の色味の要素ｕ，ｖ、ＣＩＥ ＬＵＶ色空間の色味の要素ｕ’，ｖ’、ＣＩＥ ＬＡＢ色空間の色味の要素のａ＊，ｂ＊、及びＲＧＢ信号値からの比、のうち少なくともいずれか１つの色成分で示される情報であることを特徴とする請求項１５に記載の画像処理方法。
19. 前記画像処理方法は、さらに、
    前記複数の画像のうち所定の２つが実質的に同一画像か別画像かを判定し、
    該判定結果に基づいて、前記別画像を抽出することを特徴とする請求項１５に記載の画像処理方法。
20. 前記画像処理方法は、さらに、
    前記画像が体内を撮影した画像である体内画像か否かの判定をし、該判定結果に基づいて、前記体内画像を抽出することを特徴とする請求項１５に記載の画像処理方法。
21. 前記医療機器は、カプセル型内視鏡であることを特徴とする請求項１５に記載の画像処理方法。

Images