JP6265588B2 - 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理装置の作動方法、及び画像処理プログラム Download PDF

Info

Publication number
JP6265588B2
JP6265588B2 JP2012133187A JP2012133187A JP6265588B2 JP 6265588 B2 JP6265588 B2 JP 6265588B2 JP 2012133187 A JP2012133187 A JP 2012133187A JP 2012133187 A JP2012133187 A JP 2012133187A JP 6265588 B2 JP6265588 B2 JP 6265588B2
Authority
JP
Japan
Prior art keywords
inspection area
inspection
imaging distance
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012133187A
Other languages
English (en)
Other versions
JP2013255656A (ja
Inventor
大和 神田
大和 神田
北村　誠
誠 北村
隆志 河野
隆志 河野
昌士 弘田
昌士 弘田
都士也 上山
都士也 上山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2012133187A priority Critical patent/JP6265588B2/ja
Priority to CN201380030577.0A priority patent/CN104363815B/zh
Priority to EP13803772.6A priority patent/EP2859833A4/en
Priority to PCT/JP2013/064332 priority patent/WO2013187206A1/ja
Publication of JP2013255656A publication Critical patent/JP2013255656A/ja
Priority to US14/564,453 priority patent/US9916666B2/en
Application granted granted Critical
Publication of JP6265588B2 publication Critical patent/JP6265588B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、生体の管腔内を撮像した画像から異常部領域を判別する画像処理装置、画像処理方法、及び画像処理プログラムに関する。
内視鏡やカプセル型内視鏡等の医用観察装置により生体の管腔内を撮像した画像（以下、内視鏡画像若しくは管腔内画像、又は、単に画像ともいう）に対する画像処理として、例えば特許文献１には、画像内から粘膜表面の微細構造や血管走行形態に基づく異常部を検出する技術が開示されている。この技術においては、内視鏡画像において粘膜の微細構造や血管像に関する情報をよく含むＧ（緑）成分からなる画像を抽出した後、粘膜表面の画素値パターンを数値化した特徴量を算出し、この特徴量と事前に作成した線形判別関数とを用いて、当該画像に映った被写体が正常か異常かを判別する。特徴量としては、例えば、特定の空間周波数成分の画像を二値化して抽出した領域の形状特徴量（面積、溝幅、周囲長、円形度、分岐点、端点、分岐率等、例えば特許文献２を参照）や、Ｇａｂｏｒフィルタ等を利用した空間周波数解析に基づく特徴量（例えば特許文献３を参照）が用いられる。また、線形判別関数は、正常及び異常所見の画像から算出した特徴量を教師データとして事前作成される。
特開２００５−１９２８８０号公報 特許２９１８１６２号公報 特開２００２−１６５７５７号公報
しかしながら、内視鏡画像には、管腔内壁を斜めから撮像した画像が多いため、撮像距離（内視鏡と管腔内壁との間の距離）に応じて、管腔内壁の粘膜表面における微細構造の解像度が異なる。つまり、遠景部において微細構造の異常を示す特徴量と、近景部において微細構造の異常を示す特徴量とは異なっている。このため、従来のように、遠景部と近景部とが混在する画像全体に対して、空間周波数に基づく特徴量を算出しても、解像度差の影響により、適切な特徴量を算出することができず、微細構造が正常であるか異常であるかを精度良く判別できないという問題があった。
本発明は、上記に鑑みて為されたものであって、撮像距離の差により被写体の微細構造に解像度の差が生じる場合においても、微細構造の異常を精度良く識別することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、画像に映る被写体までの撮像距離を推定する撮像距離推定部と、前記画像内に検査領域を、該検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように設定する検査領域設定部と、前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別部と、を備えることを特徴とする。
本発明に係る画像処理方法は、画像に映る被写体までの撮像距離を推定する撮像距離推定ステップと、前記画像内に検査領域を、該検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように設定する検査領域設定ステップと、前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別ステップと、を含むことを特徴とする。
本発明に係る画像処理プログラムは、画像に映る被写体までの撮像距離を推定する撮像距離推定ステップと、前記画像内に検査領域を、該検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように設定する検査領域設定ステップと、前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別ステップと、をコンピュータに実行させることを特徴とする。
本発明によれば、検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように設定された検査領域に対して、各検査領域に応じて設定されるテクスチャ特徴量を用いて異常の識別を行うので、撮像距離の差により被写体の微細構造に解像度の差が生じる場合においても、微細構造の異常を精度良く識別することが可能になる。
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。 図２は、図１に示す画像処理装置の動作を示すフローチャートである。 図３Ａは、内視鏡によって管腔内を撮像する様子を示す模式図である。 図３Ｂは、内視鏡によって撮像された管腔内画像を示す模式図である。 図４は、図１に示す撮像距離推定部が実行する処理を詳細に示すフローチャートである。 図５は、図１に示す検査領域設定部が実行する処理を詳細に示すフローチャートである。 図６は、検査領域の設定方法を説明する模式図である。 図７は、図１に示す異常構造識別部が実行する処理を詳細に示すフローチャートである。 図８は、変形例１−１に係る画像処理装置が備える演算部の構成を示すブロック図である。 図９は、図８に示す検査領域設定部が実行する処理を詳細に示すフローチャートである。 図１０は、図８に示す検査領域設定部が実行する処理を説明する模式図である。 図１１は、図８に示す異常構造識別部が実行する処理を詳細に示すフローチャートである。 図１２は、変形例１−２に係る画像処理装置が備える演算部の構成を示すブロック図である。 図１３は、図１２に示す検査領域設定部が実行する処理を詳細示すフローチャートである。 図１４は、図１２に示す異常構造識別部が実行する処理を詳細に示すフローチャートである。 図１５は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。 図１６は、図１５に示す画像処理装置の動作を示すフローチャートである。 図１７は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。 図１８は、図１７に示す検査領域設定部が実行する処理を詳細に示すフローチャートである。 図１９は、図１７に示す検査領域設定部が実行する処理を説明する模式図である。 図２０は、図１７に示す異常構造識別部が実行する処理を詳細に示すフローチャートである。 図２１は、管腔内画像における撮像距離に応じた周波数成分の強度特性を示す模式図である。 図２２は、本発明の実施の形態４に係る画像処理装置の構成を示すブロック図である。 図２３は、図２２に示す画像処理装置の動作を示すフローチャートである。 図２４は、図２２に示す検査領域設定部が実行する処理を詳細に示すフローチャートである。 図２５は、図２２に示す検査領域設定部が実行する処理を説明する模式図である。 図２６は、本発明の実施の形態５に係る画像処理装置の構成を示すブロック図である。 図２７は、図２６に示す画像処理装置の動作を示すフローチャートである。 図２８は、図２６に示す検査領域変形部が実行する処理を詳細に示すフローチャートである。 図２９は、図２６に示す検査領域変形部が実行する処理の概念を説明する模式図である。 図３０は、変形例５−１における検査領域変形部の構成を示すブロック図である。 図３１は、図３０に示す検査領域変形部が実行する処理の詳細を示すフローチャートである。 図３２Ａは、図３０に示す検査領域変形部が実行する処理の概念を説明する模式図である。 図３２Ｂは、図３０に示す検査領域変形部が実行する処理を説明する模式図である。
以下、本発明の実施の形態に係る画像処理装置、画像処理方法、及び画像処理プログラムについて、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置を示すブロック図である。本実施の形態１に係る画像処理装置１は、一例として、内視鏡又はカプセル型内視鏡（以下、これらをまとめて単に内視鏡という）によって生体の管腔内を撮像することにより取得された管腔内画像（以下、単に画像ともいう）に対し、粘膜表面の微細構造の異常を識別する画像処理を施す装置である。管腔内画像は、通常、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の波長成分（色成分）に対して、所定の（例えば２５６階調の）画素レベル（画素値）を有するカラー画像である。
図１に示すように、画像処理装置１は、該画像処理装置１全体の動作を制御する制御部１０と、内視鏡によって撮像された画像に対応する画像データを取得する画像取得部２０と、外部から入力される入力信号を受け付ける入力部３０と、各種表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００とを備える。
制御部１０は、ＣＰＵ等のハードウェアによって実現され、記録部５０に記録された各種プログラムを読み込むことにより、画像取得部２０から入力される画像データや入力部３０から入力される操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
画像取得部２０は、内視鏡を含むシステムの態様に応じて適宜構成される。例えば、カプセル型内視鏡との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部２０は、この記録媒体を着脱自在に装着し、記録された画像の画像データを読み出すリーダ装置で構成される。また、内視鏡によって撮像された画像の画像データを保存しておくサーバを設置する場合、画像取得部２０は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って画像データを取得する。或いは、画像取得部２０を、内視鏡からケーブルを介して画像信号を入力するインターフェース装置等で構成しても良い。
入力部３０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、受け付けた入力信号を制御部１０に出力する。
表示部４０は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現され、制御部１０の制御の下で、管腔内画像を含む各種画面を表示する。
記録部５０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録媒体及びその読取装置等によって実現される。記録部５０は、画像取得部２０によって取得された画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記録部５０は、画像内に映った粘膜表面の微細構造の異常を識別するための画像処理プログラム５１や、このプログラムの実行中に使用される種々の情報等を格納する。
演算部１００は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム５１を読み込むことによって管腔内画像に対する画像処理を施し、粘膜表面の微細構造の異常を識別するための種々の演算処理を実行する。
次に、演算部１００の詳細な構成について説明する。
図１に示すように、演算部１００は、画像に映る被写体までの撮像距離を推定する撮像距離推定部１１０と、上記画像内に検査領域を、該検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように設定する１２０と、検査領域に応じて特定される、検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別部１３０とを備える。
ここで、画像処理におけるテクスチャとは、繰返しの輝度パターンのことである（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第１９２頁（領域のテクスチャ））。本実施の形態１においては、テクスチャの特徴を数値化したテクスチャ特徴量として、特定の空間周波数成分を用いる。
上記演算部１００の構成のうち、撮像距離推定部１１０は、画像内の各画素の画素値（Ｒ成分、Ｇ成分、Ｂ成分の各値）のうち、生体内における吸収又は散乱の度合いが最も低い波長成分である低吸収波長成分に対応するＲ成分の値（以下、Ｒ成分値という）を選択する低吸収波長選択部１１１を備え、該Ｒ成分値を基に、画像に映る被写体までの撮像距離を推定する。
検査領域設定部１２０は、画像内に検査候補領域を設定する候補領域設定部１２１と、設定された検査候補領域に映る被写体の撮像距離情報を基に検査領域を確定する領域確定部１２２とを備える。このうち、領域確定部１２２は、検査候補領域内に映る被写体までの撮像距離の分布範囲を算出する撮像距離範囲算出部１２２ａを備え、該分布範囲が所定の閾値以下となる検査候補領域を検査領域として確定する。
異常構造識別部１３０は、検査領域における特定空間周波数成分を算出する特定周波数成分算出部１３１と、該特定空間周波数成分を基に統計分類を行う統計分類部１３２とを備える。なお、特定空間周波数成分については後述する。
次に、画像処理装置１の動作について説明する。図２は、画像処理装置１の動作を示すフローチャートである。なお、本実施の形態１においては、管腔内画像のほとんどの領域に粘膜が映っているものとし、以下においては、粘膜領域に対する処理を説明する。
まず、ステップＳ１１において、演算部１００は、記録部５０に記録された画像データを読み込むことにより、処理対象の管腔内画像を取得する。
ここで、図３Ａは、内視鏡によって管腔内を撮像する様子を示す模式図である。また、図３Ｂは、内視鏡によって撮像された管腔内画像を示す模式図である。内視鏡６は、通常、管腔７の長手方向に視野Ｖを向けて撮像を行う。このため、被写体である粘膜表面８が映った画像Ｍには、近景ｖ1が映った画像領域ｍ1と遠景ｖ2が映った画像領域ｍ2とが混在することになる。このため、撮像距離ｒの違いに起因して、画像領域ｍ1と画像領域ｍ2との間で画質に差が生じてくる。以下においては、一例として、画像Ｍを処理対象として説明する。
続くステップＳ１２において、撮像距離推定部１１０は、画像に映る粘膜表面８までの撮像距離ｒを推定する。図４は、撮像距離推定部１１０が実行する処理を詳細に示すフローチャートである。
ステップＳ１２１において、低吸収波長選択部１１１は、生体内における吸収又は散乱の度合いが最も低い波長成分である低吸収波長成分を選択する。これは、粘膜表面８の近傍の血管等による光の吸収又は散乱の影響を抑制して、内視鏡６と粘膜表面８との間の撮像距離ｒを最もよく反映した画素値を得るためである。Ｒ、Ｇ、Ｂの各成分からなる画像においては、Ｒ成分が血液の吸収帯域から最も離れており、且つ、最も長波長の成分であるため、生体内における吸収又は散乱の影響を受け難い。従って、本実施の形態１においては、Ｒ成分を選択する。
続くステップＳ１２２において、撮像距離推定部１１０は、低吸収波長成分として選択したＲ成分値を基に、粘膜表面８が均等拡散面であると仮定した場合の撮像距離ｒを、次式（１）を用いて推定する。
Figure 0006265588
 式（１）において、記号Ｉは、内視鏡６が内蔵する光源の放射強度であり、事前に測定された測定値が適用される。記号Ｋは、粘膜表面８の拡散反射係数であり、平均的な値が事前に測定されて適用される。記号θは、粘膜表面８の法線ベクトルと該粘膜表面８から光源（内視鏡６）までのベクトルとのなす角度である。なお、角度θは、実際には内視鏡６の先端に設けられる光源と粘膜表面８との位置関係により個別に決まる値であるが、平均的な値が事前に設定されて適用される。記号Ｌは、撮像距離ｒの粘膜表面８上の推定対象領域が映った画素のＲ成分値である。
ステップＳ１２に続くステップＳ１３において、検査領域設定部１２０は、検査領域に映る被写体の撮像距離ｒの分布の広がりを示す指標が所定の範囲内となるように、画像内に検査領域を設定する。本実施の形態１においては、分布の広がりを示す指標として、撮像距離ｒの分布範囲を用いる。図５は、検査領域設定部１２０が実行する処理を詳細に示すフローチャートである。また、図６は、検査領域設定部１２０が実行する処理を説明する模式図である。
ステップＳ１３１において、候補領域設定部１２１は、図６に示すように、画像Ｍを格子状に分割した所定サイズの矩形領域の各々を、検査候補領域ＣＡi（ｉ＝１、２、…、ｎ）として設定する。
続くステップＳ１３２において、撮像距離範囲算出部１２２ａは、各検査候補領域ＣＡiに映る粘膜表面８までの撮像距離ｒの分布範囲を算出する。具体的には、各検査候補領域ＣＡi内において、各画素のＲ成分値から算出された撮像距離ｒの最小値ｒminと最大値ｒmaxとの差Δｒ（Δｒ＝ｒmax−ｒmin）を分布範囲として求める。
さらに、ステップＳ１３３において、領域確定部１２２は、分布範囲Δｒが所定の閾値以下となる検査候補領域を検査領域として確定する。本実施の形態１においては、図６の太枠で示す検査領域ＥＡj（ｊ＝１、２、…、ｍ；ｍ≦ｎ）が確定されたものとする。
ステップＳ１３に続くステップＳ１４において、異常構造識別部１３０は、確定した検査領域に映る被写体の表面、即ち、粘膜表面８の微細構造が異常であるか否かを識別する。図７は、異常構造識別部１３０が実行する処理を詳細に示すフローチャートである。
ステップＳ１４１において、特定周波数成分算出部１３１は、各検査領域ＥＡjに対し、画像Ｍを構成する各波長成分（Ｒ成分、Ｇ成分、Ｂ成分）の特定空間周波数成分の強度を、各画素について算出する。ここで、特定空間周波数成分とは、画像Ｍに映った粘膜表面８の微細構造における異常の有無の識別が可能な空間周波数成分のことであり、教師データ等に基づいて事前に設定されている。
特定空間周波数成分の算出は、検査領域ＥＡjの各波長成分に対して、公知のバンドパスフィルタ（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第１３６頁（バンドパスフィルタ）、第１４１頁（ＬＯＧフィルタ））を適用することで実現できる。なお、実施の形態１においては、検査領域ＥＡjの端部に位置する画素（端部画素）に対して、バンドパスフィルタ処理（特定空間周波数成分の算出）を行わないものとする。その理由は、検査領域ＥＡjの端部画素の特定空間周波数成分を算出する場合、検査領域ＥＡjの外部の画素を用いる必要が生じるが、例えば検査領域ＥＡ3のように、検査領域ＥＡjが画像Ｍの端部に位置する場合、検査領域ＥＡjの外部は即ち画像Ｍの外部となり、画素が存在しないことがあるからである。また、検査領域ＥＡjの外部に画素が存在する場合であっても、検査領域ＥＡjの外部では、検査領域ＥＡjの内部画素の画素値と大きく値が異なっている可能性があるからである。
ステップＳ１４２において、統計分類部１３２は、各検査領域ＥＡjに対し、特定空間周波数成分の画素間での平均強度を波長成分ごとに算出し、これらの平均強度を成分とする特徴ベクトルｘを作成する。なお、実施の形態１においては、Ｒ、Ｇ、Ｂの３つの波長成分について演算を行うため、特徴ベクトルｘの成分は３つ（即ち、３行１列の行列）となる。
ここで、粘膜表面の微細構造が異常である場合、粘膜表面の形状を表わす低周波成分と撮像ノイズを表す高周波成分とを除いた中間帯域の特定の空間周波数成分において、微細構造が正常である場合との間で強度の差が生じる。
そこで、ステップＳ１４３において、異常構造識別部１３０は、事前に作成した異常領域の識別関数と、特定空間周波数成分から作成した特徴ベクトルとを基に、各検査領域ＥＡjが異常領域であるか否かの分類を行う。実際の処理としては、式（２）に示す確率モデルに基づく分類指標Ｐ（ｘ）を算出し、この値が閾値以上である場合に、その検査領域ＥＡjは異常領域であると分類する。
Figure 0006265588
 式（２）において、記号μは、事前に取得された複数の異常領域のサンプルにおける特徴ベクトルの平均ベクトル（３行１列）である。記号Ｚは、事前に取得された複数の異常領域のサンプルにおける特徴ベクトルの分散共分散行列（３行３列）である。記号｜Ｚ｜は、分散共分散行列の行列式である。記号Ｚ-1は、分散共分散行列の逆行列である。記号ｋは、特徴ベクトルｘの次元数であり、実施の形態１においては、ｋ＝３である。
なお、実施の形態１においては、確率モデルを用いた異常領域の分類方法を示したが、各検査領域が異常であるか正常であるかを分類することができれば、上記説明以外の方法を用いても良い。例えば、代表的な特徴ベクトルとの特徴空間距離に基づく方法や、特徴空間内において分類境界を設定する方法等により分類を行っても良い。
ステップＳ１５において、演算部１００は、ステップＳ１４における異常識別結果を出力し、表示部４０に表示させると共に、記録部５０に記録させる。その後、画像処理装置１における処理を終了する。
以上説明したように、実施の形態１によれば、画像内に検査領域を、該検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように設定し、検査領域ごとに、該検査領域に映る被写体の微細構造の異常を識別可能な特定空間周波数成分をテクスチャ特徴量として用いて、検査領域に映る被写体の微細構造が異常であるか否かを識別するので、例えば遠景と近景といった撮像距離の差により、画像内に映る被写体（粘膜）表面の微細構造に対する解像度に差が生じる場合においても、粘膜表面の微細構造の異常を精度良く識別することが可能になる。
（変形例１−１）
次に、実施の形態１の変形例１−１について説明する。
図８は、変形例１−１に係る画像処理装置が備える演算部の構成を示すブロック図である。図８に示すように、変形例１−１に係る演算部１００−１は、撮像距離推定部１１０と、検査領域設定部１４０と、異常構造識別部１５０とを備える。なお、撮像距離推定部１１０の構成及び動作は、実施の形態１と同様である。また、演算部１００−１以外の画像処理装置全体の構成及び動作も、実施の形態１と同様である。
検査領域設定部１４０は、候補領域設定部１４１及び領域確定部１４２を備える。このうち、候補領域設定部１４１は、検査候補領域を設定する位置に映る被写体までの代表的な撮像距離を取得する代表撮像距離取得部１４１ａを備え、該代表的な撮像距離に応じたサイズの検査候補領域を設定する。また、領域確定部１４２は、検査候補領域内に映る被写体までの撮像距離の分散を算出する撮像距離分散算出部１４２ａを備え、該分散が所定の閾値以下となる検査候補領域を検査領域として確定する。
異常構造識別部１５０は、生体内における吸収又は散乱の度合いに応じて特定される特定波長成分を選択する特定波長成分選択部１５１と、選択された波長における特定周波数成分を算出する特定周波数成分算出部１５２と、特定空間周波数成分を基に統計分類を行う統計分類部１５３とを備える。
次に、演算部１００−１の動作について説明する。
演算部１００−１の動作は全体として図２に示すものと同様であり、ステップＳ１３及びＳ１４における詳細な処理が異なる。図９は、検査領域設定部１４０が実行する処理（ステップＳ１３）を詳細に示すフローチャートである。図１０は、検査領域設定部１４０が実行する処理を説明する模式図である。図１１は、異常構造識別部１５０が実行する処理（ステップＳ１４）を詳細に示すフローチャートである。
ステップＳ１２に続くステップＳ１３において、検査領域設定部１４０は、ステップＳ１２において推定された撮像距離の分布の広がりを示す指標が所定の範囲内となる被写体のみを含むように、画像Ｍ内に検査領域を設定する。本変形例１−１においては、分布の広がりを示す指標として、撮像距離の分布範囲よりも、ノイズに対してより安定的な撮像距離の分散を用いる。
より詳細には、ステップＳ２３１において、候補領域設定部１４１が、図１０に示すように、検査候補領域を設定しようとする領域の中心位置(ｘi，ｙi)（ｉ＝１、２、…）を、複数個、ランダムに決定する。図１０には、例として、３箇所の中心位置(ｘ1，ｙ1)、(ｘ2，ｙ2)、(ｘ3，ｙ3)が示されている。
続くステップＳ２３２において、代表撮像距離取得部１４１ａは、各中心位置(ｘi，ｙi)に映る被写体までの撮像距離を取得する。
ここで、画像においては一般に、近景部の被写体ほど大きく映り、遠景部の被写体ほど小さく映る（図３Ａ参照）。このため、撮像距離が長くなるほど検査領域を小さく設定すれば、検査領域に含まれる被写体までの撮像距離の分散を所定値以下に抑えられる可能性が高くなる。
そこで、ステップＳ２３３において、候補領域設定部１４１は、撮像距離に応じたサイズの検査候補領域ＣＢiを、各中心位置(ｘi，ｙi)を中心として設定する。この際、検査領域の形状は特に限定されず、矩形や円形等、様々な形状を適用することができる。例えば、図１０の場合、近景部の中心位置(ｘ1，ｙ1)に対しては比較的大きな検査候補領域ＣＢ1が設定され、遠景部の中心位置(ｘ3，ｙ3)に対しては比較的小さな検査候補領域ＣＢ3が設定される。また、それらの中間部の中心位置(ｘ2，ｙ2)には、中間のサイズの検査候補領域ＣＢ2が設定される。
ステップＳ２３４において、撮像距離分散算出部１４２ａは、各検査候補領域ＣＢiに映る被写体までの撮像距離の分布の分散を算出する。
ステップＳ２３５において、領域確定部１４２は、分散が所定の閾値以下となる検査候補領域ＣＢiを検査領域ＥＢiとして確定する。例えば図１０の場合、検査候補領域ＣＢ1、ＣＢ3が検査領域ＥＢ1、ＥＢ3として確定される。
ステップＳ１３に続くステップＳ１４において、異常構造識別部１５０は、検査領域ＥＢiに映る粘膜表面の微細構造が異常であるか否かを識別する。
ここで、実施の形態１においては、全ての波長成分（Ｒ成分、Ｇ成分、Ｂ成分）における特定空間周波数成分を用いて微細構造の異常を識別した。しかしながら、粘膜表面の微細構造の異常は、毛細血管の形成状態に起因する場合が多い。このため、血液の吸収帯域に近い波長成分ほど顕著な変化が見られる。そこで、本変形例１−１においては、生体内での吸収又は散乱の度合いが高い特定の波長における特定空間周波数成分をテクスチャ特徴量として用いて異常構造の識別を行う。
詳細には、ステップＳ２４１において、特定波長成分選択部１５１は、生体内における吸収又は散乱の度合いが高い特定波長成分として、例えばＧ成分又はＢ成分を選択する。
続くステップＳ２４２において、特定周波数成分算出部１５２は、各検査領域ＥＢiに対し、選択された波長成分における特定空間周波数成分の強度を、各画素について算出する。なお、特定空間周波数成分は、教師データ等に基づいて事前に設定されている。
ステップＳ２４３において、統計分類部１５３は、選択された波長成分の特定空間周波数成分の画素間での平均強度を算出し、この平均強度の値を特徴量とする。
さらに、ステップＳ２４４において、異常構造識別部１５０は、事前に作成した異常領域の識別関数と特徴量とを基に、各検査領域ＥＢiが異常領域であるか否かの分類を行う。なお、識別関数を用いた処理は、実施の形態１と同様である。ただし、式（２）に示す分類指標Ｐ（ｘ）の算出式においては、特徴ベクトルｘの代わりに、ステップＳ２４３において算出された特徴量が適用される。また、式（２）における平均ベクトルμの代わりに、事前に取得された複数の異常領域のサンプルにおける特徴量の平均値が適用される。さらに、式（２）における分散共分散行列Ｚの代わりに、事前に取得された複数の異常領域のサンプルにおける分散が適用され、逆行列Ｚ-1の代わりに、該サンプルにおける分散の逆数が適用される。また、式（２）において、ｋ＝１となる。
以上説明したように、変形例１−１によれば、撮像距離に応じて検査候補領域のサイズを変更するので、検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるような検査領域を効率良く設定することができる。その結果、より広範囲の粘膜表面に対して微細構造の異常を識別することが可能になると共に、微細構造の異常の識別精度を向上させることが可能になる。また、微細構造の異常の識別に用いる波長を特定することにより、吸光変化を伴う微細構造の異常を精度良く識別することが可能になる。
（変形例１−２）
次に、実施の形態１の変形例１−２について説明する。
図１２は、変形例１−２に係る画像処理装置が備える演算部の構成を示すブロック図である。図１２に示すように、変形例１−２に係る演算部１００−２は、撮像距離推定部１１０と、検査領域設定部１６０と、異常構造識別部１７０とを備える。なお、撮像距離推定部１１０の構成及び動作は、実施の形態１と同様である。また、演算部１００−２以外の画像処理装置全体の構成及び動作も、実施の形態１と同様である。
検査領域設定部１６０は、候補領域設定部１６１及び領域確定部１４２を備える。候補領域設定部１６１は、検査候補領域を設定する位置に映る被写体の代表的な撮像距離勾配を算出する代表撮像距離勾配算出部１６１ａを備え、当該代表的な撮像距離勾配に応じたサイズの検査候補領域を設定する。領域確定部１４２の構成及び動作は、変形例１−１と同様である。
異常構造識別部１７０は、生体内における吸収又は散乱の度合いが異なる特定波長成分間の比率を算出する特定波長間比率算出部１７１と、算出された特定波長成分間の比率に対して特定空間周波数成分を算出する特定周波数成分算出部１７２と、特定空間周波数成分を基に統計分類を行う統計分類部１７３とを備える。
次に、演算部１００−２の動作について説明する。
演算部１００−２の動作は全体として図２に示すものと同様であり、ステップＳ１３及びＳ１４における詳細な処理が異なる。図１３は、検査領域設定部１６０が実行する処理（ステップＳ１３）を詳細示すフローチャートである。図１４は、異常構造識別部１７０が実行する処理（ステップＳ１４）を詳細に示すフローチャートである。なお、図１３に示すステップＳ２３１、Ｓ２３４、及びＳ２３５は、図９と対応している。
ステップＳ２３１に続くステップＳ２３２’において、代表撮像距離勾配算出部１６１ａは、画像Ｍ（図１０参照）内でランダムに決定された各中心位置(ｘi，ｙi)に映る被写体の撮像距離勾配を算出する。実際の処理としては、各画素位置に映る被写体の撮像距離に対して、公知の１次微分フィルタ（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第１１４頁（微分フィルタ））を適用し、算出された値の絶対値を求める。
ここで、撮像距離勾配が大きいほど、所定領域における撮像距離の範囲は大きくなる。このため、検査領域を設定しようとする位置における撮像距離勾配が大きくなるほど検査領域を小さく設定すれば、検査領域に含まれる被写体までの撮像距離の分散を所定値以下に抑えられる可能性が高くなる。
そこで、ステップＳ２３３’において、候補領域設定部１６１は、各中心位置（ｘi,ｙi）における撮像距離勾配に応じて検査候補領域のサイズを決定し、撮像距離勾配に応じたサイズの検査候補領域を、各中心位置（ｘi,ｙi）を中心として設定する。
その後のステップＳ２３４、２３５は変形例１−１と同様である。
ステップＳ１３に続くステップＳ１４において、異常構造識別部１７０は、検査領域に映る粘膜表面の微細構造が異常であるか否かを識別する。
ここで、変形例１−１においては、生体内における吸収又は散乱の度合いが高い特定波長における特定空間周波数成分を用いて微細構造の異常を識別した。しかしながら、画像に映った微細構造における画素値変化は撮像距離の影響を受け、遠景部では変化が小さく、近景部では変化が大きくなる。このため、変形例１−１において算出した特定空間周波数成分の平均強度には、撮像距離に応じた画素値変化が含まれてしまい、同一の識別関数を用いて異常構造の識別を行うと、識別精度が低下してしまうおそれがある。そこで、本変形例１−２においては、撮像距離に伴う画素値変化の影響を抑制するため、生体内での吸収又は散乱の度合いが互いに異なる特定波長成分間の比率を算出し、該比率における特定空間周波数成分をテクスチャ特徴量として用いて異常構造の識別を行う。
詳細には、ステップＳ２４１’において、特定波長間比率算出部１７１は、検査領域内の各画素の画素値に基づいて、生体内における吸収又は散乱の度合いが互いに異なる特定波長成分間の比率として、例えばＧ／Ｒ等を算出する。以下、これによって算出される比率のことを、波長間比率という。
続くステップＳ２４２’において、特定周波数成分算出部１７２は、各検査領域に対し、波長間比率の特定空間周波数成分の強度を各画素について算出する。なお、特定空間周波数成分は、教師データ等に基づいて事前に設定されている。
ステップＳ２４３’において、統計分類部１７３は、波長間比率の特定空間周波数成分の画素間での平均強度を算出し、この平均強度の値を特徴量とする。
さらにステップＳ２４４において、異常構造識別部１７０は、事前に作成した異常領域の識別関数と特徴量とを基に、各検査領域が異常領域であるか否かの分類を行う。なお、この処理の詳細については、変形例１−１と同様である。
以上説明したように、変形例１−２によれば、検査領域を設定する位置の撮像距離勾配に応じて検査領域のサイズを変更するので、撮像距離の分布の広がりを示す指標が所定の範囲内となるような検査領域を効率良く設定することができる。その結果、より広範囲の粘膜表面に対して微細構造の異常を識別することが可能になると共に、微細構造の異常の識別精度を向上させることが可能になる。また、微細構造の異常を識別する際に波長間比率を用いることにより、撮像距離に応じて生じる特定空間周波数成分の強度変化を抑制し、微細構造の異常を精度良く識別することが可能になる。
（実施の形態２）
次に、本発明の実施の形態２について説明する。
図１５は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。図１５に示すように、実施の形態２に係る画像処理装置２は、図１に示す演算部１００の代わりに演算部２００を備える。演算部２００以外の画像処理装置２の各部の構成及び動作は、実施の形態１と同様である。
演算部２００は、画像内において異常を識別する対象としない領域（非検査対象領域）を処理対象から除外する非検査領域除外部２１０と、撮像距離推定部１１０と、検査領域設定部１２０と、検査領域が未設定の領域に対して、検査領域の設定を繰返し実行させる制御を行う繰り返し制御部２２０と、異常構造識別部１３０とを備える。このうち、撮像距離推定部１１０、検査領域設定部１２０、及び異常構造識別部１３０の構成及び動作は、実施の形態１と同様である。なお、検査領域設定部１２０及び異常構造識別部１３０の代わりに、変形例１−１における検査領域設定部１４０及び異常構造識別部１５０、又は、変形例１−２における検査領域設定部１６０及び異常構造識別部１７０を適用しても良い。
次に、画像処理装置２の動作について説明する。図１６は、画像処理装置２の動作を示すフローチャートである。
まず、ステップＳ２１において、演算部２００は、記録部５０に記録された画像データを読み込むことにより、処理対象の管腔内画像を取得する。
続くステップＳ２２において、非検査領域除外部２１０は、画像から取得可能な色情報、周波数情報、形状情報等を基に、暗部、明部、残渣、泡といった非検査領域を特定して検査対象から除外する。
ここで、管腔内画像には、検査対象となる粘膜領域以外にも、管腔の深部が映った領域（暗部）、被写体の表面から鏡面反射されたハレーション領域（明部）、残渣や泡が映った領域等が存在する。これらの領域が検査領域内に混在すると、微細構造の異常の識別精度が低下してしまう。そこで、非検査領域除外部２１０は、画像から明部、暗部、残渣や泡等が移った領域を抽出し、非検査領域として除外する。なお、これらの非検査領域は、公知の種々の方法により抽出することができる。例えば、暗部は、画像内の各画素の色情報（Ｒ成分、Ｇ成分、Ｂ成分の各値等）に基づく色特徴量を基に黒色領域を抽出し、この黒色領域の周囲の画素値変化の方向に基づいて、当該黒色領域が暗部であるか否かを判別することにより抽出することができる（参考：特開２０１１−２３４９３１号公報）。また、明部は、例えば、画像内の各画素の色特徴量を基に白色領域を抽出し、この白色領域の境界付近の画素値の変化に基づいて、当該白色領域がハレーション領域であるか否かを判別することにより抽出することができる（同上）。残渣は、例えば、画像内の各画素の色特徴量を基に非粘膜領域とみられる残渣候補領域を検出し、この残渣候補領域と画像内の構造エッジとの位置関係に基づいて残渣候補領域が粘膜領域であるか否かを判別することにより抽出することができる。泡は、例えば、画像内からエッジを抽出し、泡画像の特徴を基に予め設定された泡モデルと抽出されたエッジとの相関値を算出することにより抽出することができる（参考：特開２００７−３１３１１９号公報）。
ステップＳ２３において、撮像距離推定部１１０は、画像に映る被写体までの撮像距離を推定する。なお、この推定処理は、実施の形態１（図２のステップＳ１２参照）と同様である。
ステップＳ２４において、検査領域設定部１２０は、検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように、画像内に検査領域を設定する。なお、この検査領域の設定処理は、実施の形態１（図２のステップＳ１３参照）と同様である。
ステップＳ２５において、繰返し制御部２２０は、検査領域が未だ設定されていない領域である未検査領域の面積が所定の閾値（閾値Ａとする）よりも小さいか、又は、これまでに設定された検査領域の設定回数が所定の閾値（閾値Ｎとする）よりも大きいか否かを判定する。ここで、画像内に検査領域が十分に設定されない場合には、微細構造の異常の識別精度が低下するおそれがある。そこで、未検査領域の面積が閾値Ａ以上であり、且つ、検査領域の設定回数が閾値Ｎ以下である場合（ステップＳ２５：Ｎｏ）、繰返し制御部２２０は、検査領域の設定がさらに必要であると判定し、設定する検査領域のサイズを前回の設定時よりも小さくする（ステップＳ２６）。そして、ステップＳ２４に移行して、検査領域設定部１２０に検査領域の設定を再度実行させる。このように検査領域のサイズを小さくすることにより、１つの検査領域に含まれる撮像距離の範囲が狭くなる場合が多いので、検査領域として設定され得る画像内の領域が増加する可能性が高くなる。
一方、未検査領域の面積が閾値Ａよりも小さいか、又は、検査領域の設定回数が閾値Ｎよりも大きい場合（ステップＳ２５：Ｙｅｓ）、繰返し制御部２２０は、さらなる検査領域の設定は不要であると判定し、ステップＳ２７に移行して、異常構造識別部１３０に微細構造の異常の識別を実行させる。なお、微細構造の異常の識別処理は、実施の形態１（図２のステップＳ１４参照）と同様である。
さらに、ステップＳ２８において、演算部２００は、異常識別結果を出力する（図２のステップＳ１５参照）。
以上説明したように、実施の形態２によれば、非検査領域を事前に除外して検査領域を設定するので、微細構造の異常を精度良く識別することが可能になる。また、検査領域の設定を繰返し行うことより、より広範囲の粘膜表面に対して微細構造の異常を識別することが可能になると共に、微細構造の識別精度を向上させることが可能になる。さらに、処理の繰返しを行うごとに検査領域のサイズを小さくすることにより、より広範囲の粘膜表面に対して微細構造の異常を識別することが可能になると共に、微細構造の異常の識別精度を向上させることが可能になる。
（実施の形態３）
次に、本発明の実施の形態３について説明する。
図１７は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。図１７に示すように、実施の形態３に係る画像処理装置３は、図１に示す演算部１００の代わりに演算部３００を備える。演算部３００以外の画像処理装置３の各部の構成及び動作は、実施の形態１と同様である。
演算部３００は、撮像距離推定部１１０と、検査領域設定部３１０と、異常構造識別部３２０とを備える。この内、撮像距離推定部１１０の構成及び動作は、実施の形態１と同様である。
検査領域設定部３１０は、撮像距離の値を１つ又は複数の階層に分類する階層分類部３１１と、同一の階層に分類された撮像距離の被写体が映る領域毎に、画像を１つ又は複数の領域に分割する領域分割部３１２とを備え、領域分割部３１２により得られた１つ又は複数の領域の各々を個別の検査領域として設定する。
異常構造識別部３２０は、検査領域に映る被写体までの代表的な撮像距離を取得する代表撮像距離取得部３２１と、代表的な撮像距離に応じた特定空間周波数成分を算出する特定周波数成分算出部３２２と、特定空間周波数成分を基に統計分類を行う統計分類部３２３とを備える。
次に、画像処理装置３の動作について説明する。
画像処理装置３の動作は全体として図３に示すものと同様であり、ステップＳ１３及びＳ１４における詳細な処理が異なる。図１８は、検査領域設定部３１０が実行する処理（ステップＳ１３）を詳細に示すフローチャートである。図１９は、検査領域設定部３１０が実行する処理を説明する模式図である。図２０は、異常構造識別部３２０が実行する処理（ステップＳ１４）を詳細に示すフローチャートである。図２１は、管腔内画像における撮像距離に応じた周波数成分の強度特性を示す模式図である。
ステップＳ１２に続くステップＳ１３において、検査領域設定部３１０は、検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように、画像Ｍ内に検査領域を設定する。
詳細には、まず、ステップＳ３３１において、階層分類部３１１は、画像Ｍ内に映る被写体までの撮像距離の値を所定の複数の階層に分類する。なお、各階層は、撮像距離の範囲が所定値以下となるように設定されている。
続くステップＳ３３２において、領域分割部３１２は、撮像距離が同一階層となる被写体が映る領域毎に、画像Ｍを分割する。例えば図１９においては、撮像距離がｒ１以下である階層Ｒ１と、撮像距離がｒ１〜ｒ２の範囲である階層Ｒ２と、撮像距離がｒ２〜ｒ３の範囲である階層Ｒ３と、撮像距離がｒ３以上である階層Ｒ４とに対応して、画像Ｍが４つの分割領域Ｂ１〜Ｂ４に分割される。
ステップＳ３３３において、検査領域設定部３１０は、各階層Ｒ１〜Ｒ４に対応する分割領域Ｂ１〜Ｂ４を、個別の検査領域として設定する。
ステップＳ１３に続くステップＳ１４において、異常構造識別部３２０は、検査領域に映る粘膜表面の微細構造が異常であるか否かを識別する。
詳細には、ステップＳ３４１において、代表撮像距離取得部３２１は、各検査領域（分割領域）Ｂ１〜Ｂ４に映る被写体までの代表的な撮像距離を取得する。代表的な撮像距離としては、検査領域Ｂ１〜Ｂ４に含まれる被写体までの撮像距離の平均値や、検査領域Ｂ１〜Ｂ４の重心座標における撮像距離等が挙げられる。
続くステップＳ３４２において、特定周波数成分算出部３２２は、各検査領域Ｂ１〜Ｂ４に対し、代表的な撮像距離に応じて、異常の識別に用いる空間周波数成分を特定する。
ここで、上述したとおり、内視鏡によって撮像される管腔内画像においては、撮像距離に応じて粘膜表面の微細構造の解像度が異なる。具体的には、撮像距離が長くなるほど、解像度が低下する。このため、例えば、図２１に示すように、撮像距離が短い場合（近景）に、微細構造の異常を識別可能な特定空間周波数がｆ1であるとすると、同じ微細構造の異常を識別可能な空間周波数は、撮像距離が長くなると高周波側にシフトする（遠景：空間周波数ｆ2）。
そこで、本実施の形態３においては、各検査領域Ｂ１〜Ｂ４の代表的な撮像距離に応じて、微細構造の異常の識別の際にテクスチャ特徴量として用いる特定空間周波数成分を変更し、識別精度の向上と処理の効率化を図る。具体的には、撮像距離が長いほど、特定空間周波数成分を高くして、より微細な構造を検出できるようにする。一方、撮像距離が短いほど特定空間周波数成分を低くして、演算量を抑制する。なお、撮像距離に応じた特定空間周波数成分は、教師データ等に基づいて事前に設定されている。
ステップＳ３４３において、特定周波数成分算出部３２２は、各検査領域Ｂ１〜Ｂ４に対し、画像を構成する各波長成分に対し、撮像距離に応じた特定空間周波数成分の強度を、各画素について算出する。なお、特定空間周波数成分の強度の算出処理については、実施の形態１と同様である（図７のステップＳ１４１参照）。
続くステップＳ１４２及びＳ１４３については、実施の形態１と同様である。
以上説明したように、実施の形態３によれば、検査候補領域の設定や確定といった処理を繰り返すことなく、画像内の広範囲にわたって検査領域を効率良く設定することができる。その結果、微細構造の異常を精度良く識別することが可能になる。また、検査領域に映る被写体までの代表的な撮像距離を基に、微細構造の異常の識別に用いる空間周波数成分を特定するので、撮像距離によらず、微細構造の異常を精度良く識別することが可能になると共に、演算処理を効率化することが可能になる。
（実施の形態４）
次に、本発明の実施の形態４について説明する。
図２２は、本発明の実施の形態４に係る画像処理装置の構成を示すブロック図である。図２２に示すように、実施の形態４に係る画像処理装置４は、図１に示す演算部１００の代わりに演算部４００を備える。演算部４００以外の画像処理装置４の各部の構成及び動作は、実施の形態１と同様である。
演算部４００は、撮像距離推定部１１０と、検査領域設定部４１０と、繰返し制御部２２０と、異常構造識別部１３０とを備える。この内、撮像距離推定部１１０及び異常構造識別部１３０の構成及び動作は、実施の形態１と同様である。
検査領域設定部４１０は、階層分類部３１１と、領域分割部３１２と、局所領域設定部４１１とを備える。この内、階層分類部３１１及び領域分割部３１２の構成及び動作は、実施の形態３と同様である。
局所領域設定部４１１は、階層分類部３１１により同一の階層に分類された撮像距離の被写体が映る領域内に局所領域を設定する。より詳細には、局所領域設定部４１１は、互いに同一の階層に分類された撮像距離の被写体が映る領域の境界からの距離を画素値に変換した距離変換画像を算出する距離変換画像算出部４１１ａを備え、該距離変換画像を基に上記局所領域を設定する。
次に、画像処理装置４の動作について説明する。
図２３は、画像処理装置４の動作を示すフローチャートである。なお、図２３に示すステップＳ１１、Ｓ１２、Ｓ１４、及びＳ１５は、実施の形態１に対応している（図２参照）。
ステップＳ１２に続くステップＳ４１において、検査領域設定部４１０は、検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように、画像内に検査領域を設定する。図２４は、検査領域設定部４１０が実行する処理を詳細に示すフローチャートである。また、図２５は、検査領域設定部４１０が実行する処理を説明する模式図である。
ステップＳ４１１において、階層分類部３１１は、画像Ｍ内に映る被写体までの撮像距離の値を所定の複数の階層に分類する。
続くステップＳ４１２において、領域分割部３１２は、撮像距離が同一階層となる被写体が映る領域毎に、画像Ｍを分割する。それにより、例えば図２５においては、撮像距離がｒ１以下である階層Ｒ１と、撮像距離がｒ１〜ｒ２の範囲である階層Ｒ２と、撮像距離がｒ２〜ｒ３の範囲である階層Ｒ３と、撮像距離がｒ３以上である階層Ｒ４とに対応して、画像Ｍが４つの分割領域Ｂ１〜Ｂ４に分割される。
このようにして分割された各分割領域Ｂ１〜Ｂ４は、画像Ｍ内の被写体に応じた任意の形状となる。このため、これらの分割領域Ｂ１〜Ｂ４をそのまま検査領域として設定し、テクスチャ特徴量として特定空間周波数成分の算出処理を実行すると、検査領域を内包する矩形領域の画素全体に対して、特定空間周波数成分を算出すべき検査領域であるか否かを判定する必要が生じ、処理に長時間を要してしまう。そこで、実施の形態４においては、分割領域Ｂ１〜Ｂ４を基に、同一階層の撮像距離となる対象が映る領域内の局所領域に対して、検査領域に設定する。
詳細には、ステップＳ４１３において、距離変換画像算出部４１１ａは、撮像距離が同一階層となる被写体が映る領域の境界、及び検査領域が既に設定された領域からの距離変換画像を算出する。
続くステップＳ４１４において、局所領域設定部４１１は、距離変換画像の値が最大値となる画素を検査領域の中心座標とし、該中心座標から検査領域の端部までの距離が、上記最大値より小さくなるように検査領域を設定する。ここで、距離変換画像の値が最大値になる画素とは、即ち、２つの境界からの距離が等しい中間点の画素のいずれかであり、例えば図２５の場合、階層Ｒ２に対応する分割領域Ｂ２の境界Ｄ１及び境界Ｄ２の中間に位置する画素Ｐiが相当する。この場合、距離変換画像の値の最大値は、画素Ｐiから境界Ｄ１、Ｄ２までの距離ｄiとなる。そこで、画素Ｐiを中心とし、対角線の最大値が距離ｄi×２を越えない検査領域ＥＣiを設定する。それにより、同一階層の撮像距離となる被写体が映る領域内で、矩形の検査領域を設定することが可能になる。
ステップＳ４１に続くステップＳ４２において、繰返し制御部２２０は、未検査領域の面積が閾値Ａよりも小さいか、又は、これまでに設定された検査領域の設定回数が閾値Ｎよりも大きいか否かを判定する。この判定を行う理由は、画像内に検査領域が十分に設定されていない場合には、微細構造の異常の識別精度が低下するおそれがあるからである。
未検査領域の面積が閾値Ａ以上であり、且つ、検査領域の設定回数が閾値Ｎ以下である場合（ステップＳ４２：Ｎｏ）、繰返し制御部２２０は、検査領域の設定がさらに必要であると判定し、ステップＳ４１に移行して、検査領域設定部４１０に検査領域の設定を再度実行させる。一方、未検査領域の面積が閾値Ａよりも小さいか、又は、検査領域の設定回数が閾値Ｎよりも大きい場合（ステップＳ４２：Ｙｅｓ）、処理はステップＳ１４に移行する。
以上説明したように、実施の形態４によれば、検査候補領域の設定や確定といった処理を繰り返すことなく、特定空間周波数成分の算出を効率的に実行することができる検査領域を設定することができる。従って、微細構造の異常を識別する処理全体を高速化することが可能になる。
（実施の形態５）
次に、本発明の実施の形態５について説明する。
図２６は、本発明の実施の形態５に係る画像処理装置の構成を示すブロック図である。図２６に示すように、実施の形態５に係る画像処理装置５は、図１に示す演算部１００の代わりに演算部５００を備える。演算部５００以外の画像処理装置５の各部の構成及び動作は、実施の形態１と同様である。
演算部５００は、撮像距離推定部１１０と、検査領域設定部１２０と、検査領域内の画像を変形する検査領域変形部５１０と、異常構造識別部１３０とを備える。このうち、撮像距離推定部１１０、検査領域設定部１２０、及び異常構造識別部１３０の構成及び動作は、実施の形態１と同様である。
検査領域変形部５１０は、検査領域に映る被写体までの代表的な撮像距離を取得する代表撮像距離取得部５１１と、該代表的な撮像距離に応じて検査領域のサイズを正規化するサイズ正規化部５１２とを備える。
次に、画像処理装置５の動作について説明する。
図２７は、画像処理装置５の動作を示すフローチャートである。なお、図２７に示すステップＳ１１〜Ｓ１５は、実施の形態１と対応している（図２参照）。
ステップＳ１３に続くステップＳ５１において、検査領域変形部５１０は、検査領域内の画像を変形する。
ここで、上述したとおり、内視鏡によって撮像される管腔内画像において、撮像距離に応じて粘膜表面の微細構造の解像度が異なる。そこで、本実施の形態５においては、設定された検査領域までの撮像距離に応じて、検査領域内の画像を変形し、変形後の画像における特定空間周波数成分をテクスチャ特徴量として用いて微細構造の異常の識別を行うことにより、識別精度を向上させる。
図２８は、検査領域変形部５１０が実行する処理（ステップＳ５１）を詳細に示すフローチャートである。また、図２９は、検査領域変形部５１０が実行する処理の概念を説明する模式図である。
まず、ステップＳ５１１において、代表撮像距離取得部５１１は、各検査領域に映る被写体までの代表的な撮像距離を取得する。
続くステップＳ５１２において、サイズ正規化部５１２は、代表的な撮像距離に応じて、検査領域のサイズを正規化する。図２９に示すように、ある撮像距離ｒ0において、微細構造の異常を識別可能な特定空間周波数に対応する画素値変化の周期をｃ2とする。この撮像距離ｒ0に対し、撮像距離が短くなると、特定空間周波数は低周波側にシフトし、画素値変化の周期は大きくなる（ｃ1＞ｃ2）。反対に、撮像距離ｒ0に対して、撮像距離が長くなると、特定空間周波数は高周波側にシフトし、画素値変化の周期は小さくなる（ｃ3＜ｃ2）。
そこで、撮像距離ｒ0に対して、処理対象である検査領域ＥＣ１の撮像距離が短い場合（即ち、近景部の場合）、周期ｃ1、ｃ2の比率に応じて検査領域ＥＣ１を縮小することにより、縮小後の検査領域ＥＣ１’の解像度を撮像距離ｒ0の場合と同等にすることができる。反対に、撮像距離ｒ0に対して、処理対象である検査領域ＥＣ２の撮像距離が長い場合（即ち、遠景部の場合）、周期ｃ2、ｃ3の比率に応じて検査領域ＥＣ２を拡大することにより、拡大後の検査領域ＥＣ２’の解像度を撮像距離ｒ0の場合と同等にすることができる。即ち、このような変形を行うことにより、後段のステップＳ１４において、検査領域の撮像距離によらず、同一の特定空間周波数成分を算出して、異常の識別を行うことができる。
以上説明したように、実施の形態５によれば、検査領域に映る被写体までの代表的な撮像距離を基に、検査領域のサイズを正規化することにより、撮像距離によらず、同一の特定空間周波数を算出することにより、微細構造の異常を精度良く識別することが可能になる。
（変形例５−１）
次に、実施の形態５の変形例５−１について説明する。
図３０は、変形例５−１における検査領域変形部の構成を示すブロック図である。変形例５−１に係る演算部は、図２６に示す検査領域変形部５１０の代わりに、図３０に示す検査領域変形部５２０を備える。この検査領域変形部５２０は、検査領域内に映る被写体上の少なくとも３箇所の基準点に対して、撮像距離及び画像内における座標を基に３次元座標を推定する３次元座標推定部５２１と、上記少なくとも３箇所の基準点によって張られる平面における検査領域を所定の距離から正対して撮像した場合の画像となるように、検査領域に対して画像変換を施す画像変換部５２２とを備える。
変形例５−１に係る演算部の動作は、全体として、図２７に示すものと同様であり、ステップＳ５１における処理が実施の形態５とは異なる。
図３１は、検査領域変形部５２０が実行する処理（ステップＳ５１）の詳細を示すフローチャートである。また、図３２Ａ及び図３２Ｂは、検査領域変形部５２０が実行する処理の概念を説明する模式図である。
ステップＳ１３に続くステップＳ５１において、検査領域変形部５２０は、検査領域内の画像を変形する。
ここで、実施の形態５においては検査領域のサイズを正規化したが、検査領域内に残る所定範囲内に収まる撮像距離の差は補正されず、同一の検査領域内において撮像距離が短い粘膜表面の微細構造の解像度と、撮像距離が長い粘膜表面の微細構造の解像度との差による影響が生じてしまう。そこで、本変形例５−１においては、図３２Ａに示すように、管腔７内の粘膜表面８上の３箇所の基準点を含む領域を内視鏡６によって正面から撮像したかのように、検査領域を変形する。
詳細には、ステップＳ５２１において、３次元座標推定部５２１は、検査領域内に映る被写体上の少なくとも３箇所の基準点に対して、撮像距離及び画像内における座標を基に、３次元座標を推定する。実際の処理としては、例えば図３２Ｂに示すように、検査領域内において互いに離れた任意の３点の画素を選択する。そして、これらの画素に対応する被写体上の位置（基準点）Ｐ1、Ｐ2、Ｐ3の撮像距離ｒ1、ｒ2、ｒ3と、撮像機（例えば、内視鏡６）の焦点距離と、位置Ｐ1、Ｐ2、Ｐ3に対応する画像内における座標（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）とを基に、撮像機を原点とする座標系における被写体上の位置Ｐ1、Ｐ2、Ｐ3の３次元座標を推定する。なお、撮像機の焦点距離は予め定められている。
続くステップＳ５２２において、画像変換部５２２は、検査領域内に映る被写体上の領域を所定の距離から正対して撮像した場合の画像となるように、検査領域に画像変換を施す。この画像変換は、例えば、平面ＰＬにおける被写体上の位置Ｐ1、Ｐ2、Ｐ3の重心（又は検査領域に相当する被写体上の領域の重心）から、該平面ＰＬの法線方向に向かって所定の距離だけ離れた位置に視点をおき、所定の焦点距離で撮像した画像に変換することを想定して実行すれば良い。
以上説明したように、変形例５−１によれば、検査領域内における撮像距離の差を補正することができる。即ち、変換後の画像において、同一の検査領域内の各画素位置に対応する被写体上の領域内の各位置と撮像機の位置との間の距離のばらつきを、変換前の画像よりも少なくすることができる。これにより、同一の検査領域内において撮像距離が近い粘膜表面の微細構造の解像度と、撮像距離が遠い粘膜表面の微細構造の解像度との差を小さくすることができる。従って、このように変換された画像における特定空間周波数成分をテクスチャ特徴量として用いることにより、微細構造の異常の識別精度をさらに向上させることが可能になる。
以上説明したように、実施の形態１〜５及びこれらの変形例によれば、画像内に検査領域を、該検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように設定し、検査領域ごとに、該検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、検査領域に映る被写体の微細構造が異常であるか否かを識別するので、撮像距離の差により、画像内に映る粘膜表面の微細構造に対する解像度に差が生じる場合においても、粘膜表面の微細構造の異常を精度良く識別することが可能になる。
上記実施の形態１〜５及びこれらの変形例においては、テクスチャ特徴量の一例として、テクスチャの周波数特徴を数値化した空間周波数成分を用いたが、その代わりに、テクスチャの統計的特徴量を用いても良い。テクスチャの統計的特徴量は、画素値の同時生起行列を用いて求めることができる。具体的には、同時生起行列により、画像内の互いに離れた２つの位置における画素対の値から、画素値の一様性、方向性、コントラスト等の性質を表す統計量（特徴量）が求められる（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第１９４〜１９５頁（領域のテクスチャ））。
以上説明した実施の形態１〜５並びにこれらの変形例に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク、広域エリアネットワーク（ＬＡＮ／ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜３に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記録媒体及びその読取装置等）に画像処理結果を格納するようにしても良い。
なお、本発明は、実施の形態１〜５及びこれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
１〜５ 画像処理装置
６ 内視鏡
７ 管腔
８ 粘膜表面
１０ 制御部
２０ 画像取得部
３０ 入力部
４０ 表示部
５０ 記録部
５１ 画像処理プログラム
１００、１００−１、１００−２、２００、３００、４００、５００ 演算部
１１０ 撮像距離推定部
１１１ 低吸収波長選択部
１２０、１４０、１６０、３１０、４１０ 検査領域設定部
１２１、１４１ 候補領域設定部
１２２ 領域確定部
１２２ａ 撮像距離範囲算出部
１３０、１５０、１７０、３２０ 異常構造識別部
１３１、１５２、１７２、３２２ 特定周波数成分算出部
１３２、１５３、１７３、３２３ 統計分類部
１４１ａ、３２１ 代表撮像距離取得部
１４２ａ 撮像距離分散算出部
１５１ 特定波長成分選択部
１６１ 候補領域設定部
１６１ａ 代表撮像距離勾配算出部
１７１ 特定波長間比率算出部
２１０ 非検査領域除外部
２２０ 繰返し制御部
３１１ 階層分類部
３１２ 領域分割部
４１１ 局所領域設定部
４１１ａ 距離変換画像算出部
５１０、５２０ 検査領域変形部
５１１ 代表撮像距離取得部
５１２ サイズ正規化部
５２１ ３次元座標推定部
５２２ 画像変換部

Claims (20)

  1. 画像内の画素に映る被写体までの撮像距離を推定する撮像距離推定部と、
    前記画像内に検査領域を、該検査領域内の複数の画素に映る被写体の撮像距離の分布が所定の範囲内となるように設定する検査領域設定部と、
    前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別部と、
    を備え、
    前記検査領域設定部は、
    前記画像内に矩形の検査候補領域を設定する候補領域設定部と、
    前記検査候補領域に映る被写体の撮像距離情報を基に検査領域を確定する領域確定部と、
    を備えることを特徴とする画像処理装置。
  2. 前記画像は、複数の波長成分からなり、
    前記撮像距離推定部は、前記複数の波長成分のうち、生体内における吸収又は散乱の度合いが最も低い波長成分である低吸収波長成分を選択する低吸収波長選択部を備え、前記低吸収波長成分を基に、前記画像に映る被写体までの撮像距離を推定することを特徴とする請求項１に記載の画像処理装置。
  3. 前記候補領域設定部は、前記検査候補領域を設定しようとする位置に映る被写体までの代表的な撮像距離を取得する代表撮像距離取得部を備え、前記代表的な撮像距離に応じたサイズの前記検査候補領域を設定することを特徴とする請求項１に記載の画像処理装置。
  4. 前記領域確定部は、前記検査候補領域内に映る被写体までの撮像距離の分布範囲を算出する撮像距離範囲算出部を備え、前記分布範囲が所定の閾値以下となる検査候補領域を前記検査領域として確定することを特徴とする請求項１に記載の画像処理装置。
  5. 前記領域確定部は、前記検査候補領域内に映る被写体までの撮像距離の分散を算出する撮像距離分散算出部を備え、前記分散が所定の閾値以下となる検査候補領域を前記検査領域として確定することを特徴とする請求項１に記載の画像処理装置。
  6. 前記検査領域が未設定の領域に対して、前記検査領域設定部による処理を繰返す制御を行う繰返し制御部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
  7. 前記繰返し制御部は、前記処理の繰返しに応じて、前記検査領域設定部が実行する処理の内容を変更することを特徴とする請求項６に記載の画像処理装置。
  8. 前記異常構造識別部は、
    前記テクスチャ特徴量として、前記検査領域に映る被写体の微細構造の異常を識別可能な特定空間周波数成分を算出する特定周波数成分算出部と、
    前記特定空間周波数成分を基に統計分類を行う統計分類部と、
    を備えることを特徴とする請求項１に記載の画像処理装置。
  9. 前記異常構造識別部は、生体内における吸収又は散乱の度合いに応じて特定される特定波長成分を選択する特定波長成分選択部をさらに備え、
    前記特定周波数成分算出部は、前記特定波長成分に対して前記特定空間周波数成分を算出することを特徴とする請求項８に記載の画像処理装置。
  10. 前記異常構造識別部は、生体内における吸収又は散乱の度合いが異なる特定波長成分間の比率を算出する特定波長間比率算出部をさらに備え、
    前記特定周波数成分算出部は、前記特定波長成分間の比率に対して前記特定空間周波数成分を算出することを特徴とする請求項８に記載の画像処理装置。
  11. 前記異常構造識別部は、前記検査領域に映る被写体までの代表的な撮像距離を取得する代表撮像距離取得部をさらに備え、
    前記特定周波数成分算出部は、前記代表的な撮像距離に応じて前記特定空間周波数成分の周波数を特定し、前記特定空間周波数成分を算出することを特徴とする請求項８に記載の画像処理装置。
  12. 画像内の画素に映る被写体までの撮像距離を推定する撮像距離推定部と、
    前記画像内に検査領域を、該検査領域内の複数の画素に映る被写体の撮像距離の分布が所定の範囲内となるように設定する検査領域設定部と、
    前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別部と、
    を備え、
    前記検査領域設定部は、
    前記検査領域を設定する位置の撮像距離勾配が大きくなるほど検査領域を小さく設定することを特徴とする画像処理装置。
  13. 画像内の画素に映る被写体までの撮像距離を推定する撮像距離推定部と、
    前記画像内に検査領域を、該検査領域内の複数の画素に映る被写体の撮像距離の分布が所定の範囲内となるように設定する検査領域設定部と、
    前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別部と、
    前記検査領域内の画像を変形する検査領域変形部と、
    を備え、
    前記検査領域変形部は、
    前記検査領域に映る被写体までの代表的な撮像距離を取得する代表撮像距離取得部と、
    前記代表的な撮像距離に応じて前記検査領域のサイズを正規化するサイズ正規化部と、
    を備え、
    前記異常構造識別部は、前記サイズ正規化部により正規化されたサイズを有する前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別することを特徴とする画像処理装置。
  14. 画像内の画素に映る被写体までの撮像距離を推定する撮像距離推定部と、
    前記画像内に検査領域を、該検査領域内の複数の画素に映る被写体の撮像距離の分布が所定の範囲内となるように設定する検査領域設定部と、
    前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別部と、
    前記検査領域内の画像を変形する検査領域変形部と、
    を備え、
    前記検査領域変形部は、
    前記検査領域内に映る被写体上の少なくとも３箇所の基準点に対して、撮像距離及び画像内における対応する画素の座標を基に、３次元座標を推定する３次元座標推定部と、
    前記少なくとも３箇所の基準点により張られる平面における前記検査領域を所定の距離から正対して撮像した画像となるように、前記検査領域に対して画像変換を施す画像変換部と、
    を備えることを特徴とする画像処理装置。
  15. 画像処理装置の作動方法であって、
    演算部が、画像内の画素に映る被写体までの撮像距離を推定する撮像距離推定ステップと、
    演算部が、前記画像内に検査領域を、該検査領域内の複数の画素に映る被写体の撮像距離の分布が所定の範囲内となるように設定する検査領域設定ステップと、
    演算部が、前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別ステップと、
    を含み、
    前記検査領域設定ステップは、
    演算部が、前記画像内に矩形の検査候補領域を設定する候補領域設定ステップと、
    演算部が、前記検査候補領域に映る被写体の撮像距離情報を基に検査領域を確定する領域確定ステップと、
    を含むことを特徴とする画像処理装置の作動方法。
  16. 画像処理装置の作動方法であって、
    演算部が、画像内の画素に映る被写体までの撮像距離を推定する撮像距離推定ステップと、
    演算部が、前記画像内に検査領域を、該検査領域内の複数の画素に映る被写体の撮像距離の分布が所定の範囲内となるように設定する検査領域設定ステップと、
    演算部が、前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別ステップと、
    を含み、
    前記検査領域設定ステップは、
    演算部が、前記検査領域を設定する位置の撮像距離勾配が大きくなるほど前記検査領域を小さく設定することを特徴とする画像処理装置の作動方法。
  17. 画像処理装置の作動方法であって、
    演算部が、画像内の画素に映る被写体までの撮像距離を推定する撮像距離推定ステップと、
    演算部が、前記画像内に検査領域を、該検査領域内の複数の画素に映る被写体の撮像距離の分布が所定の範囲内となるように設定する検査領域設定ステップと、
    演算部が、前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別ステップと、
    演算部が、前記検査領域内の画像を変形する検査領域変形ステップと、
    を含み、
    前記検査領域変形ステップは、
    演算部が、前記検査領域に映る被写体までの代表的な撮像距離を取得する代表撮像距離取得ステップと、
    演算部が、前記代表的な撮像距離に応じて前記検査領域のサイズを正規化するサイズ正規化ステップと、
    を含み、
    前記異常構造識別ステップは、前記サイズ正規化ステップにより正規化されたサイズを有する前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別することを特徴とする画像処理装置の作動方法。
  18. 画像内の画素に映る被写体までの撮像距離を推定する撮像距離推定ステップと、
    前記画像内に検査領域を、該検査領域内の複数の画素に映る被写体の撮像距離の分布が所定の範囲内となるように設定する検査領域設定ステップと、
    前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別ステップと、
    をコンピュータに実行させ、
    前記検査領域設定ステップは、
    前記画像内に矩形の検査候補領域を設定する候補領域設定ステップと、
    前記検査候補領域に映る被写体の撮像距離情報を基に検査領域を確定する領域確定ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
  19. 画像内の画素に映る被写体までの撮像距離を推定する撮像距離推定ステップと、
    前記画像内に検査領域を、該検査領域内の複数の画素に映る被写体の撮像距離の分布が所定の範囲内となるように設定する検査領域設定ステップと、
    前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別ステップと、
    をコンピュータに実行させ、
    前記検査領域設定ステップは、
    前記検査領域を設定する位置の撮像距離勾配が大きくなるほど前記検査領域を小さく設定することを特徴とする画像処理プログラム。
  20. 画像内の画素に映る被写体までの撮像距離を推定する撮像距離推定ステップと、
    前記画像内に検査領域を、該検査領域内の複数の画素に映る被写体の撮像距離の分布が所定の範囲内となるように設定する検査領域設定ステップと、
    前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別ステップと、
    前記検査領域内の画像を変形する検査領域変形ステップと、
    をコンピュータに実行させ、
    前記検査領域変形ステップは、
    前記検査領域に映る被写体までの代表的な撮像距離を取得する代表撮像距離取得ステップと、
    前記代表的な撮像距離に応じて前記検査領域のサイズを正規化するサイズ正規化ステップと、
    をコンピュータに実行させ、
    前記異常構造識別ステップは、前記サイズ正規化ステップにより正規化されたサイズを有する前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別することを特徴とする画像処理プログラム。
JP2012133187A 2012-06-12 2012-06-12 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム Active JP6265588B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012133187A JP6265588B2 (ja) 2012-06-12 2012-06-12 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
CN201380030577.0A CN104363815B (zh) 2012-06-12 2013-05-23 图像处理装置以及图像处理方法
EP13803772.6A EP2859833A4 (en) 2012-06-12 2013-05-23 PICTURE PROCESSING DEVICE, PICTURE PROCESSING METHOD AND PICTURE PROCESSING PROGRAM
PCT/JP2013/064332 WO2013187206A1 (ja) 2012-06-12 2013-05-23 画像処理装置、画像処理方法、及び画像処理プログラム
US14/564,453 US9916666B2 (en) 2012-06-12 2014-12-09 Image processing apparatus for identifying whether or not microstructure in set examination region is abnormal, image processing method, and computer-readable recording device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012133187A JP6265588B2 (ja) 2012-06-12 2012-06-12 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2013255656A JP2013255656A (ja) 2013-12-26
JP6265588B2 true JP6265588B2 (ja) 2018-01-24

Family

ID=49758036

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012133187A Active JP6265588B2 (ja) 2012-06-12 2012-06-12 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム

Country Status (5)

Country Link
US (1) US9916666B2 (ja)
EP (1) EP2859833A4 (ja)
JP (1) JP6265588B2 (ja)
CN (1) CN104363815B (ja)
WO (1) WO2013187206A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6616071B2 (ja) * 2014-12-22 2019-12-04 富士フイルム株式会社 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
CN107105989B (zh) * 2015-01-23 2018-12-18 奥林巴斯株式会社 图像处理装置、图像处理方法和记录介质
JP6507747B2 (ja) * 2015-03-18 2019-05-08 カシオ計算機株式会社 情報処理装置、コンテンツ決定方法、及びプログラム
JP6598850B2 (ja) * 2015-04-23 2019-10-30 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6603709B2 (ja) * 2015-04-23 2019-11-06 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2016185617A1 (ja) * 2015-05-21 2016-11-24 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2016194200A1 (ja) * 2015-06-04 2016-12-08 オリンパス株式会社 可撓管挿入装置
CN107529969B (zh) * 2015-07-03 2019-04-23 奥林巴斯株式会社 图像处理装置以及内窥镜***
CN108601509B (zh) * 2015-11-26 2020-07-07 奥林巴斯株式会社 图像处理装置、图像处理方法以及记录有程序的介质
US20180137369A1 (en) * 2016-11-13 2018-05-17 Pointgrab Ltd. Method and system for automatically managing space related resources
WO2018159083A1 (ja) 2017-03-03 2018-09-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2018159082A1 (ja) * 2017-03-03 2018-09-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
CN107049211B (zh) * 2017-03-13 2019-02-12 重庆金山医疗器械有限公司 一种测量胶囊式内窥镜与胃壁距离的装置
JP6912608B2 (ja) * 2018-02-07 2021-08-04 Hoya株式会社 内視鏡システム
CN115813320A (zh) * 2019-09-22 2023-03-21 深圳硅基智控科技有限公司 具有双透镜的胶囊内窥镜
CN112535451A (zh) * 2019-09-22 2021-03-23 深圳硅基智控科技有限公司 胶囊内窥镜用的测距***
CN116778520B (zh) * 2023-08-11 2023-11-10 山东省大数据中心 一种海量证照数据质量检验方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2918162B2 (ja) 1988-11-02 1999-07-12 オリンパス光学工業株式会社 内視鏡画像処理装置
JPH03105483A (ja) * 1989-09-19 1991-05-02 Olympus Optical Co Ltd 内視鏡装置
JP4450973B2 (ja) 2000-11-30 2010-04-14 オリンパス株式会社 診断支援装置
US7545965B2 (en) * 2003-11-10 2009-06-09 The University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
JP4652694B2 (ja) 2004-01-08 2011-03-16 オリンパス株式会社 画像処理方法
JP4804742B2 (ja) * 2004-11-19 2011-11-02 オリンパス株式会社 画像処理装置、及び画像処理プログラム
US7764817B2 (en) * 2005-08-15 2010-07-27 Siemens Medical Solutions Usa, Inc. Method for database guided simultaneous multi slice object detection in three dimensional volumetric data
JP5086563B2 (ja) 2006-05-26 2012-11-28 オリンパス株式会社 画像処理装置及び画像処理プログラム
WO2008139812A1 (ja) * 2007-05-08 2008-11-20 Olympus Corporation 画像処理装置および画像処理プログラム
JP5028138B2 (ja) * 2007-05-08 2012-09-19 オリンパス株式会社 画像処理装置および画像処理プログラム
JP5190944B2 (ja) * 2008-06-26 2013-04-24 富士フイルム株式会社 内視鏡装置および内視鏡装置の作動方法
JP5117353B2 (ja) 2008-11-07 2013-01-16 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
US20100262020A1 (en) * 2009-01-08 2010-10-14 American Biooptics Llc Probe apparatus for recognizing abnormal tissue
CN102548471B (zh) * 2009-09-24 2016-01-20 皇家飞利浦电子股份有限公司 具有增加的扫描速度的光学探针***
EP2502546B1 (en) * 2010-04-12 2015-07-01 Olympus Medical Systems Corp. Medical image processing apparatus and medical image processing method
JP5570866B2 (ja) * 2010-04-30 2014-08-13 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP5800468B2 (ja) 2010-05-11 2015-10-28 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5622461B2 (ja) * 2010-07-07 2014-11-12 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5620194B2 (ja) * 2010-08-24 2014-11-05 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5658945B2 (ja) * 2010-08-24 2015-01-28 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP5800626B2 (ja) * 2011-07-29 2015-10-28 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5830295B2 (ja) * 2011-07-29 2015-12-09 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5851160B2 (ja) * 2011-08-31 2016-02-03 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5931418B2 (ja) * 2011-11-25 2016-06-08 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5926937B2 (ja) * 2011-11-30 2016-05-25 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6422198B2 (ja) * 2012-11-29 2018-11-14 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6045396B2 (ja) * 2013-02-27 2016-12-14 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Also Published As

Publication number Publication date
JP2013255656A (ja) 2013-12-26
CN104363815B (zh) 2018-04-13
EP2859833A1 (en) 2015-04-15
US9916666B2 (en) 2018-03-13
WO2013187206A1 (ja) 2013-12-19
CN104363815A (zh) 2015-02-18
EP2859833A4 (en) 2016-03-23
US20150092993A1 (en) 2015-04-02

Similar Documents

Publication Publication Date Title
JP6265588B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP6422198B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
Loizou et al. Snakes based segmentation of the common carotid artery intima media
CN111325739B (zh) 肺部病灶检测的方法及装置，和图像检测模型的训练方法
US11514270B2 (en) Speckle contrast analysis using machine learning for visualizing flow
JP5576782B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5281826B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
US8244009B2 (en) Image analysis device
JP5851160B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5576775B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2015141302A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6361776B2 (ja) 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
TWI624807B (zh) 醫學影像之迭代式分析法
Wu et al. Detection of blur artifacts in histopathological whole-slide images of endomyocardial biopsies
CN108601509B (zh) 图像处理装置、图像处理方法以及记录有程序的介质
JP6578058B2 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
CN107529962B (zh) 图像处理装置、图像处理方法和记录介质
JP5800549B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
WO2018011928A1 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
Wang et al. Organic Boundary Location Based on Color‐Texture of Visual Perception in Wireless Capsule Endoscopy Video
Ramesh et al. Automatic Endoscopic Ultrasound Station Recognition with Limited Data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160607

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160923

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170307

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171212

R151 Written notification of patent or utility model registration

Ref document number: 6265588

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250