JP6704933B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP6704933B2
JP6704933B2 JP2017552621A JP2017552621A JP6704933B2 JP 6704933 B2 JP6704933 B2 JP 6704933B2 JP 2017552621 A JP2017552621 A JP 2017552621A JP 2017552621 A JP2017552621 A JP 2017552621A JP 6704933 B2 JP6704933 B2 JP 6704933B2
Authority
JP
Japan
Prior art keywords
area
unit
abnormal
region
specifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017552621A
Other languages
English (en)
Other versions
JPWO2017090166A1 (ja
Inventor
大和 神田
大和 神田
隆志 河野
隆志 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2017090166A1 publication Critical patent/JPWO2017090166A1/ja
Application granted granted Critical
Publication of JP6704933B2 publication Critical patent/JP6704933B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/64—Analysis of geometric attributes of convexity or concavity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20116—Active contour; Active surface; Snakes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Description

本発明は、生体の管腔内を撮像することによって取得された画像に含まれる異常領域を識別する画像処理装置、画像処理方法およびプログラムに関する。
内視鏡やカプセル型内視鏡等の医用観察装置により生体の管腔内を撮像することにより得られた画像（以下、「管腔内画像」という）において、異常部（例えばポリープ等）を検出する技術が知られている（特許文献１参照）。この技術では、管腔内画像に対して、エッジ抽出を行った後に、ハフ変換等を用いて楕円形の幾何学形状を識別し、その形状物の色に基づいて異常部を検出する。
特開２００７−１２５３７３号公報
しかしながら、管腔内画像における異常部は、必ずしも色の変化が生じるわけでなく、粘膜表面のテクスチャ（模様）の違いを用いて異常を判断する指標とする場合が多い。このため、上述した特許文献１では、異常部の検出性能を十分に確保することができないという問題点があった。
本発明は、上記に鑑みてなされたものであって、異常部の検出性能を十分に確保することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、生体の管腔内画像において、粘膜壁の輪郭エッジまたは粘膜壁の表面形状に基づいて、異常候補領域を検出する異常候補領域検出部と、前記異常候補領域のテクスチャ情報に基づいて、異常領域を特定する異常領域特定部と、を備えることを特徴とする。
また、本発明に係る画像処理方法は、生体の管腔内画像において、粘膜壁の輪郭エッジまたは粘膜壁の表面形状に基づいて、異常候補領域を検出する異常候補領域検出ステップと、前記異常候補領域のテクスチャ情報に基づいて、異常領域を特定する異常領域特定ステップと、を含むことを特徴とする。
また、本発明に係るプログラムは、生体の管腔内画像において、粘膜壁の輪郭エッジまたは粘膜壁の表面形状に基づいて、異常候補領域を検出する異常候補領域検出ステップと、前記異常候補領域のテクスチャ情報に基づいて、異常領域を特定する異常領域特定ステップと、を画像処理装置に実行させることを特徴とする。
本発明によれば、異常部の検出性能を十分に確保することができるという効果を奏する。
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。 図２は、本発明の実施の形態１に係る画像処理装置が実行する処理の概要を示すフローチャートである。 図３は、図２の異常候補領域検出処理の概要を示すフローチャートである。 図４は、管腔内画像の一例を示す図である。 図５は、図２のテクスチャ情報算出領域設定処理の概要を示すフローチャートである。 図６Ａは、異常候補領域の一例を示す図である。 図６Ｂは、異常候補領域に対して幾何形状の当て嵌めを模式的に示す図である。 図７は、図２のテクスチャ情報算出処理の概要を示すフローチャートである。 図８は、領域サイズ変更部によるサイズ変更の概要を模式的に示す図である。 図９は、管構造領域特定部による管構造領域の特定を模式的に示す図である。 図１０Ａは、シェイプインデックスの形状を模式的に示す図である。 図１０Ｂは、シェイプインデックスの形状を模式的に示す図である。 図１０Ｃは、シェイプインデックスの形状を模式的に示す図である。 図１０Ｄは、シェイプインデックスの形状を模式的に示す図である。 図１０Ｅは、シェイプインデックスの形状を模式的に示す図である。 図１１Ａは、Ｃｕｒｖｅｄｎｅｓｓ値に応じた形状を模式的に示す図である。 図１１Ｂは、Ｃｕｒｖｅｄｎｅｓｓ値に応じた形状を模式的に示す図である。 図１１Ｃは、Ｃｕｒｖｅｄｎｅｓｓ値に応じた形状を模式的に示す図である。 図１２は、斑点構造領域特定部による斑点構造領域の特定を模式的に示す図である。 図１３は、構造別の頻度分布の一例を示す図である。 図１４は、図２の異常領域識別処理の概要を模式的に示す図である。 図１５は、本発明の実施の形態１の変形例１に係る情報算出領域設定部の構成を示すブロック図である。 図１６は、本発明の実施の形態１の変形例１に係る情報算出領域設定部が実行するテクスチャ情報算出領域設定処理の概要を示すフローチャートである。 図１７は、本発明の実施の形態１の変形例２に係る情報算出領域設定部の構成を示すブロック図である。 図１８は、本発明の実施の形態１の変形例２に係る情報算出領域設定部が実行するテクスチャ情報算出領域設定処理の概要を示すフローチャートである。 図１９Ａは、本発明の実施の形態１の変形例２に係る側面領域除外部による異常候補領域の側面領域の除外を模式的に示す図である。 図１９Ｂは、本発明の実施の形態１の変形例２に係るテクスチャ情報算出領域を模式的に示す図である。 図２０は、本発明の実施の形態１の変形例３に係るテクスチャ情報算出部の構成を示すブロック図である。 図２１は、本発明の実施の形態１の変形例３に係るテクスチャ情報算出部が実行するテクスチャ情報算出処理の概要を示すフローチャートである。 図２２は、本発明の実施の形態１の変形例４に係る異常候補領域検出部が実行する異常候補領域検出処理の概要を示すフローチャートである。 図２３は、本発明の実施の形態１の変形例５に係る異常候補領域検出部が実行する異常候補領域検出処理の概要を示すフローチャートである。 図２４は、本発明の実施の形態１の変形例６に係る異常候補領域検出部が実行する異常候補領域検出処理の概要を示すフローチャートである。 図２５は、本発明の実施の形態２に係る演算部の構成を示すブロック図である。
以下、本発明の実施の形態に係る画像処理装置、画像処理方法およびプログラムについて、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
（実施の形態１）
〔画像処理装置の構成〕
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。本実施の形態１に係る画像処理装置１は、一例として、内視鏡（内視鏡スコープ）またはカプセル型内視鏡（以下、これらをまとめて単に「内視鏡」という）によって、生体の管腔を撮像することにより取得された管腔内画像に対し、粘膜表面から認識可能な異常領域（異常部）または粘膜上に存在する異常領域（異常部）（以下、単に「粘膜表面から認識可能な異常領域」という）を検出する画像処理を施す装置である。また、以下において、管腔内画像は、通常、各画素位置において、Ｒ（赤）、Ｇ（緑）およびＢ（青）の各々の波長成分（色成分）に対して、所定（例えば２５６階調）の画素レベル（画素値）を有するカラー画像である。
図１に示す画像処理装置１は、内視鏡によって撮像された管腔内画像に対応する画像データを内視鏡または外部から取得する画像取得部２と、外部からの操作によって入力された入力信号を受け付ける入力部３と、管腔内画像や各種表示を行う表示部４と、画像取得部２によって取得された画像データや種々のプログラムを記録する記録部５と、画像処理装置１全体の動作を制御する制御部６と、画像データに対して所定の画像処理を行う演算部７と、を備える。
画像取得部２は、内視鏡を含むシステムの態様に応じて適宜構成される。例えば、画像取得部２は、内視鏡との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、この記録媒体を着脱自在に装着し、記録された画像データを読み出すリーダ装置として構成される。また、画像取得部２は、内視鏡によって撮像された画像データを記録するサーバを用いる場合、このサーバと双方向に通信可能な通信装置等で構成され、サーバとデータ通信を行うことによって画像データを取得する。さらにまた、画像取得部２は、内視鏡からケーブルを介して画像データが入力されるインターフェース装置等で構成してもよい。
入力部３は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、外部からの操作に応じて受け付けた入力信号を制御部６へ出力する。
表示部４は、液晶や有機ＥＬ（Electro Luminescence）の表示パネル等の表示装置によって実現され、制御部６の制御のもと、管腔内画像を含む各種画面を表示する。
記録部５は、フラッシュメモリ、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）といった各種ＩＣメモリ、および内蔵若しくはデータ通信端子で接続されたハードディスク等によって実現される。記録部５は、画像取得部２によって取得された画像データの他、画像処理装置１を動作させるとともに、種々の機能を画像処理装置１に実行させるためのプログラム、このプログラムの実行中に使用されるデータ等を記録する。例えば、記録部５は、ポリープ等の粘膜表面から認識可能な異常領域を検出する画像処理プログラム５１、および、このプログラムの実行中に使用される種々の情報等を記録する。
制御部６は、ＣＰＵ（Central Processing Unit）等を用いて実現され、記録部５に記録された各種プログラムを読み込むことにより、画像取得部２から入力される画像データや入力部３から入力される入力信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行う、画像処理装置１全体の動作を統括的に制御する。
演算部７は、ＣＰＵ等によって実現され、記録部５が記録する画像処理プログラムを読み込むことによって管腔内画像に対する画像処理を施し、ポリープ等の粘膜表面から認識可能な異常領域を検出する画像処理を実行し、この画像処理した結果を制御部６へ出力する。
〔演算部の詳細な構成〕
次に、演算部７の詳細な構成について説明する。
演算部７は、異常候補領域検出部１０と、異常領域特定部１１と、を備える。
異常候補領域検出部１０は、生体の管腔内画像において、粘膜壁の輪郭エッジに基づいて、異常候補領域を検出する。
異常領域特定部１１は、異常候補領域のテクスチャ情報（模様）に基づいて、異常領域を特定する。異常領域特定部１１は、情報算出領域設定部２０と、テクスチャ情報算出部２１と、識別部２２と、を有する。
情報算出領域設定部２０は、異常候補領域に対してテクスチャ情報を算出するためのテクスチャ情報算出領域を設定する。情報算出領域設定部２０は、輪郭エッジ抽出部２０１と、幾何形状当て嵌め部２０２と、を有する。
輪郭エッジ抽出部２０１は、粘膜壁の輪郭エッジを抽出する。
幾何形状当て嵌め部２０２は、輪郭エッジ抽出部２０１が抽出した輪郭エッジに対して、幾何形状を当て嵌める。例えば、幾何形状当て嵌め部２０２は、輪郭エッジ抽出部２０１が抽出した輪郭エッジに対して、楕円または円等の形状を当て嵌める。
テクスチャ情報算出部２１は、テクスチャ情報算出領域においてテクスチャ情報を算出する。テクスチャ情報算出部２１は、撮像距離正規化部２１１と、吸光変化構造特徴量算出部２１２と、を有する。
撮像距離正規化部２１１は、テクスチャ情報算出領域までの撮像距離に応じた正規化を行う。撮像距離正規化部２１１は、撮像距離推定部２１１ａと、領域サイズ変更部２１１ｂと、を有する。
撮像距離推定部２１１ａは、内視鏡等が備える撮像部からテクスチャ情報算出領域までの撮像距離を推定する。
領域サイズ変更部２１１ｂは、撮像距離推定部２１１ａが推定した撮像距離に基づいて、テクスチャ情報算出領域の領域サイズを変更する。
吸光変化構造特徴量算出部２１２は、テクスチャ情報算出領域内の吸光変化構造に基づく特徴量を算出する。吸光変化構造特徴量算出部２１２は、吸光変化情報算出部２１２ａと、管構造領域特定部２１２ｂと、斑点構造領域特定部２１２ｃと、を有する。
吸光変化情報算出部２１２ａは、テクスチャ情報算出領域内の吸光変化情報を算出する。
管構造領域特定部２１２ｂは、吸光変化情報算出部２１２ａが算出した吸光変化情報に基づいて、管構造領域を特定する。
斑点構造領域特定部２１２ｃは、吸光変化情報算出部２１２ａが算出した吸光変化情報に基づいて、斑点構造領域を特定する。
識別部２２は、テクスチャ情報算出領域全体における斑点構造領域の割合が所定値より多い場合に、異常候補領域検出部１０が検出した異常候補領域を異常と判定する。
〔画像処理装置の処理〕
このように構成された画像処理装置１が実行する管腔内画像に対して異常領域を検出する画像処理方法について説明する。図２は、画像処理装置１が実行する処理の概要を示すフローチャートである。
図２に示すように、まず、画像処理装置１は、画像取得部２を介して外部から内視鏡等によって撮像された画像データに対応する管腔内画像を取得し、取得した管腔内画像を記録部５に記録する（ステップＳ１０１）。
続いて、異常候補領域検出部１０は、記録部５に記録された管腔内画像の画像データを取得し、取得した管腔内画像から異常領域の候補を検出する異常候補領域検出処理を実行する（ステップＳ１０２）。
図３は、図２のステップＳ１０２における異常候補領域検出処理の概要を示すフローチャートである。
図３に示すように、異常候補領域検出部１０は、管腔内画像における粘膜壁の輪郭エッジを抽出し（ステップＳ２０１）、抽出した粘膜壁の輪郭エッジに基づいて、異常候補領域を検出する（ステップＳ２０２）。具体的には、まず、生体内での吸収、散乱の度合いが最も低い低吸収波長成分（例えばＲ成分）を選択し、この低吸収波長成分に対して公知のエッジ抽出処理（参考：ＣＧ−ＡＲＴＳ協会：ディジタル画像処理：１１４Ｐ，エッジ抽出：２０９Ｐ，輪郭線検出）を適用して粘膜壁の輪郭エッジを抽出する。そして、輪郭エッジにおいて弧形状を成す領域を検出し、その弧形状を成す領域の面積や曲率情報等を基に、異常候補となる輪郭エッジを特定する（例えば、特開２００７−２４４５１９号公報を参照）。そして、そのエッジを含む周辺領域を、異常候補領域として検出する。なお、特開２００５−１９２８８０号公報で開示されている輪郭情報に基づく異常所見の抽出を適用してもよい。結果として、図４に示すように、異常候補領域検出部１０は、管腔内画像Ｐ１における粘膜壁の輪郭エッジに基づいて、異常候補領域Ｒ１および異常候補領域Ｒ２を検出する。なお、図４の管腔内画像Ｐ１に示すように、内視鏡は、生体の管内壁の粘膜面に対して斜めから撮像することが多い。このため、図４に示すように、内視鏡が撮像する管腔内画像Ｐ１には、撮影距離が近い管手前の粘膜面から撮像距離が遠い管深部の粘膜面までが写り、近い対象は、遠い対象より大きく写る。ステップＳ２０２の後、画像処理装置１は、図２のメインルーチンへ戻る。
図２に戻り、ステップＳ１０３以降の説明を続ける。
ステップＳ１０３において、情報算出領域設定部２０は、異常候補領域検出部１０によって検出された異常候補領域のテクスチャ情報（模様）を算出するためのテクスチャ情報算出領域設定処理を実行する。
図５は、図２のステップＳ１０３におけるテクスチャ情報算出領域設定処理の概要を示すフローチャートである。
図５に示すように、輪郭エッジ抽出部２０１は、異常候補領域検出部１０によって検出された異常候補領域における管腔粘膜壁の輪郭エッジを抽出する（ステップＳ３０１）。具体的には、生体内での吸収、散乱の度合いが最も低い低吸収波長成分（例えばＲ成分）を選択し、この選択した低吸収波長成分に対して上述したエッジ抽出を行うことによって、粘膜壁の輪郭エッジを抽出する。または、特開２０１２−１１１３７号公報で開示されている３次元画素値情報を求め、これに対してエッジ抽出処理を適用する。または、特開２０１４−１０４２９３号公報で開示されている輪郭エッジ抽出方法を用いてもよい。
続いて、幾何形状当て嵌め部２０２は、輪郭エッジ抽出部２０１が抽出した輪郭エッジに基づいて、幾何形状を当て嵌める（ステップＳ３０２）。具体的には、輪郭エッジ抽出部２０１が異常候補領域Ｒ１から抽出した輪郭エッジに対して、幾何形状Ｆ１（例えば楕円）を当て嵌める（図６Ａ→図６Ｂ）。当て嵌めた楕円内の領域は、異常候補領域Ｒ１内において、他の周辺領域よりも、異常領域を特定するために有効なテクスチャ情報を含む可能性が高い領域である。これにより、情報算出領域設定部２０は、異常領域の特定により有効なテクスチャ情報を算出するためのテクスチャ情報算出領域を設定することができる。ステップＳ３０２の後、画像処理装置１は、図２のメインルーチンへ戻る。
図２に戻り、ステップＳ１０４以降の説明を続ける。
ステップＳ１０４において、テクスチャ情報算出部２１は、テクスチャ情報算出領域のテクスチャ情報を算出するテクスチャ情報算出処理を実行する。
図７は、図２のステップＳ１０４におけるテクスチャ情報算出処理の概要を示すフローチャートである。
図７に示すように、撮像距離推定部２１１ａは、テクスチャ情報算出領域までの撮像距離を推定する（ステップＳ４０１）。具体的には、テクスチャ情報算出領域における画素の低吸収波長成分（Ｒ成分など）の画素値に基づいて、均等拡散面を仮定した撮像距離を下記の式（１）に従って推定する。撮像距離は各画素で算出可能であるが、テクスチャ情報算出領域に対する代表的な撮像距離は、それらの平均値等を用いる。
ここで、ｒは、撮像距離を示し、Ｉは、光源の放射強度（事前に測定）を示し、Ｋは、粘膜表面の拡散反射係数（平均的な値を事前に測定）を示し、θは、粘膜表面の法線ベクトルと該表面から光源までのベクトルのなす角（内視鏡先端の光源と粘膜表面の位置関係により決まる値だが、平均的な値を事前設定）を示し、Ｌは、撮像距離推定対象が映る画素の低吸収波長成分（Ｒ成分）の画素値を示す。
続いて、領域サイズ変更部２１１ｂは、撮像距離推定部２１１ａが推定した撮像距離に基づいて、テクスチャ情報算出領域のサイズを変更する（ステップＳ４０２）。具体的には、撮像距離の遠近によって画像上の大きさが変化するテクスチャ情報算出領域に対して、同一の撮像距離から撮像した際の大きさとなるようにサイズを変更する。例えば、図８に示すように、同じ領域でありながら、撮像距離が遠いため小さく映るテクスチャ情報算出領域Ｔ１と、撮像距離が近いため大きく映るテクスチャ情報算出領域Ｔ２は、共に同じ大きさ、例えばテクスチャ情報算出領域Ｔ３となる。これにより、撮像距離正規化部２１１は、情報算出領域設定部２０が設定したテクスチャ情報算出領域に対して、撮像距離に応じた正規化をすることができる。
その後、吸光変化情報算出部２１２ａは、領域サイズ変更部２１１ｂによってサイズが変更されたテクスチャ情報算出領域の吸光変化情報を算出する（ステップＳ４０３）。具体的には、サイズが変更されたテクスチャ情報算出領域の各画素に対して、生体中のヘモグロビンの吸収帯域（波長）に近いＧ成分またはＢ成分を選択して、これを吸光変化情報とする。なお、テクスチャ情報算出領域の各画素のＲＧＢ成分を基に、既に公知の変換により２次的に算出される値、輝度、色差（ＹＣｂＣｒ変換）、色相、彩度、明度（ＨＳＩ変換）、色比等で、吸光変化情報と相関の高い値を用いても良い。
続いて、管構造領域特定部２１２ｂは、吸光変化情報算出部２１２ａによって算出された吸光変化情報に基づいて、管構造領域を特定する（ステップＳ４０４）。具体的には、図９に示すように、テクスチャ情報算出領域内において、血管等の管構造が映る管構造領域Ｋ１を特定する。実際には、例えば、国際出願ＰＣＴ／ＪＰ２０１５／０６７０８０号に開示されるヘッセ行列の固有値（なお、固有値算出処理に関しては、国際出願ＰＣＴ／ＪＰ２０１５／０６７０８０号を参照）を基に、公知の３次元曲率特徴であるＳｈａｐｅ ＩｎｄｅｘやＣｕｒｖｅｄｎｅｓｓ（ＭＥＤＩＣＡＬ ＩＭＡＧＩＮＧ ＴＥＣＨＮＯＬＯＧＹ Ｖｏｌ．１９ Ｎｏ．３ Ｍａｙ ２００１を参照）を算出する。Ｓｈａｐｅ Ｉｎｄｅｘ（ＳＩ）の値は、図１０Ａ〜図１０Ｅに示すように、吸光変化情報の領域的な形状（ｃｕｐ、ｒｕｔ、ｓａｄｄｌｅ、ｒｉｄｇｅ、ｃａｐ）と対応する。またＣｕｒｖｅｄｎｅｓｓの値は、図１１Ａ〜図１１Ｃに示すように、吸光変化情報の領域的な形状（ｆｌａｔ〜ｓｈａｒｐ）と対応する。そこで、これらの値を基に血管等の管構造が映る管構造領域を特定する。なお、管構造領域特定部２１２ｂは、管構造に相当する画素値変化形状のモデルとの相関を利用したり、公知のＵＬＢＰ（Uniform LocalBinary Pattern）特徴量、ガボール特徴量等を算出したり、注目画素に対する複数の方向の吸光変化情報の変化プロファイルを算出したり、することによって、管構造領域を特定してもよい。
その後、斑点構造領域特定部２１２ｃは、吸光変化情報算出部２１２ａによって算出された吸光変化情報に基づいて、斑点構造領域を特定する（ステップＳ４０５）。具体的には、図１２に示すように、テクスチャ情報算出領域内において、腺構造内の毛細血管が映る斑点構造領域Ｋ２を特定する。実際には、管構造領域の特定で示した方法を基に特定する。なお、画素値変化形状のモデルとの相関を用いる場合には、斑点構造に相当するモデルを用いる。
続いて、吸光変化構造特徴量算出部２１２は、管構造領域および斑点構造領域それぞれの構造別の頻度分布を算出する（ステップＳ４０６）。具体的には、図１２に示すように、テクスチャ情報算出領域内における管構造領域、斑点構造領域、その他の構造無領域の頻度分布（面積分布）を算出する。このように、吸光変化構造特徴量算出部２１２は、テクスチャ情報算出領域の吸光変化構造特徴量として、構造別の頻度分布を算出する。ステップＳ４０６の後、画像処理装置１は、図２のメインルーチンへ戻る。
図２に戻り、ステップＳ１０５以降の説明を続ける。
ステップＳ１０５において、識別部２２は、吸光変化構造特徴量に基づいて、異常領域を識別する異常領域識別処理を実行する。
図１４は、図２のステップＳ１０５における異常領域識別処理の概要を示すフローチャートである。
図１４に示すように、識別部２２は、吸光変化構造特徴量に基づいて、テクスチャ情報算出領域全体における斑点構造の割合が所定値より多いか否かを判定し、斑点構造の割合が所定値より多い場合（例えば図１３を参照）、異常候補領域検出部１０が検出した異常候補領域を異常と判定する（ステップＳ５０１）。ステップＳ５０１の後、画像処理装置１は、図２のメインルーチンへ戻る。
図２に戻り、ステップＳ１０６以降の説明を続ける。
ステップＳ１０６において、演算部７は、異常領域の特定結果を表示部４に出力する。ステップＳ１０６の後、画像処理装置１は、本処理を終了する。
以上説明した本発明の実施の形態１によれば、異常候補領域検出部１０が粘膜壁の輪郭エッジに基づいて、異常候補領域を検出し、異常領域特定部１１が異常候補領域のテクスチャ情報に基づいて、異常領域を特定するので、異常部の検出性能を十分に確保することができる。
（変形例１）
次に、本実施の形態１に係る変形例１について説明する。本実施の形態１に係る変形例１は、情報算出領域設定部２０の構成が異なるうえ、実行する処理が異なる。以下においては、本実施の形態１の変形例１に係る情報算出領域設定部の構成を説明後、本実施の形態１の変形例１に係る情報算出領域設定部が実行する処理について説明する。なお、上述した実施の形態１に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。
図１５は、本実施の形態１の変形例１に係る情報算出領域設定部の構成を示すブロック図である。図１５に示す情報算出領域設定部２０ａは、画素値勾配強度算出部２０３と、動的輪郭抽出部２０４と、を有する。
画素値勾配強度算出部２０３は、異常候補領域における画素の画素値勾配強度を算出する。
動的輪郭抽出部２０４は、画素値勾配強度を基に、動的輪郭抽出を行う。
次に、情報算出領域設定部２０ａが実行するテクスチャ情報算出領域設定処理について説明する。図１６は、情報算出領域設定部２０ａが実行するテクスチャ情報算出領域設定処理の概要を示すフローチャートである。なお、本実施の形態１の変形例１では、情報算出領域設定部２０ａが実行するテクスチャ情報算出領域設定処理以外は、上述した実施の形態１に係る画像処理装置１が実行する処理（図２を参照）と同様のため、説明を省略する。
図１６に示すように、画素値勾配強度算出部２０３は、異常候補領域における画素の画素値勾配強度を算出する（ステップＳ３０１ａ）。
続いて、動的輪郭抽出部２０４は、異常候補領域の画素値勾配強度に基づいて、動的輪郭抽出（参考：ＣＧ−ＡＲＴＳ協会：ディジタル画像処理：Ｐ１９６〜Ｐ１９９、対象物と背景の間のエッジを利用した領域分割処理）を行う（ステップＳ３０２ａ）。結果として、異常候補領域内の画素値勾配強度の高い部分に輪郭が当て嵌まるような閉領域が設定される（例えば図６Ａおよび図６Ｂを参照）。ステップＳ３０２ａの後、画像処理装置１は、図２のメインルーチンへ戻る。
以上説明した本発明の実施の形態１に係る変形例１によれば、動的輪郭抽出により、異常候補領域内において、異常領域を特定するために有効なテクスチャ情報を含む可能性が高い領域を抽出することができ、異常部の検出性能を十分に確保することができる。
（変形例２）
次に、本発明の実施の形態１の変形例２について説明する。本実施の形態１の変形例２は、情報算出領域設定部の構成が異なるうえ、情報算出領域設定部が実行する処理が異なる。以下においては、本実施の形態１の変形例２に係る情報算出領域設定部の構成を説明後、本実施の形態１の変形例２に係る情報算出領域設定部が実行する処理について説明する。
図１７は、本実施の形態１の変形例２に係る情報算出領域設定部の構成を示すブロック図である。図１７に示す情報算出領域設定部２０ｂは、上述した実施の形態１に係る情報算出領域設定部２０の構成に加えて、側面領域除外部２０５と、鏡面反射領域除外部２０６と、をさらに有する。
側面領域除外部２０５は、異常候補領域内の粘膜壁を斜めから撮像した側面領域を除外する。
鏡面反射領域除外部２０６は、異常候補領域内の鏡面反射領域を除外する。
次に、情報算出領域設定部２０ｂが実行するテクスチャ情報算出領域設定処理について説明する。図１８は、情報算出領域設定部２０ｂが実行するテクスチャ情報算出領域設定処理の概要を示すフローチャートである。なお、本実施の形態１の変形例２に係る情報算出領域設定部２０ｂが実行するテクスチャ情報算出領域設定処理は、上述した実施の形態１に係るテクスチャ情報算出領域設定処理（図５を参照）のステップＳ３０１およびステップＳ３０２に加えて、ステップＳ３０３およびステップＳ３０４をさらに実行する。このため、以下においては、ステップＳ３０３およびステップＳ３０４について説明する。また、本実施の形態１の変形例２では、情報算出領域設定部２０ｂが実行するテクスチャ情報算出領域設定処理以外は、上述した実施の形態１に係る画像処理装置１が実行する処理と同様のため（図２を参照）、説明を省略する。
ステップＳ３０３において、側面領域除外部２０５は、異常候補領域内の粘膜壁を斜めから撮像した側面領域を除外する。具体的には、異常候補領域内の各画素位置において、上述の撮像距離推定を行い、撮像距離が急激に変化する領域（局所的に撮像距離変化が大きい領域）を側面領域として除外する。これは粘膜面を斜めから撮像した領域では、異常領域を特定するために有効なテクスチャ情報が算出し難いためである。結果として、図１９Ａに示すように、側面領域除外部２０５は、粘膜壁を斜めから撮像した側面領域Ｆ３を除外する。なお、撮像距離の推定まで行わず画素値が急激に変化する領域（局所的に画素値変化が大きい領域）を求めることで代用しても良い。
続いて、鏡面反射領域除外部２０６は、異常候補領域内の鏡面反射領域Ｆ４を除外する（ステップＳ３０４）。鏡面反射領域Ｆ４の特定に関しては、例えば、特許第５６５８９３１号公報に開示されている方法を用いる。鏡面反射領域Ｆ４を除外するのは、鏡面反射領域Ｆ４では、異常領域を特定するために有効なテクスチャ情報が算出できないためである。情報算出領域設定部２０は、図１９Ｂに示すように、ステップ３０１〜３０４により、Ｓ３０２で当て嵌めた幾何形状内の領域より側面領域及び鏡面反射領域を除外した領域を、最終的なテクスチャ情報算出領域として設定する。ステップＳ３０４の後、画像処理装置１は、図２のメインルーチンへ戻る。
なお、実施の形態１、変形例１、変形例２に示した幾何形状の当て嵌め、動的輪郭抽出、側面領域の除外、鏡面反射領域の除外を、任意に組合せて、テクスチャ情報算出領域の設定を行ってもよい。
以上説明した本発明の実施の形態１の変形例２によれば、異常候補領域内において、異常領域を特定するために有効なテクスチャ情報を含む可能性が高い領域を設定することができ、異常部の検出性能を十分に確保することができる。
（変形例３）
次に、本発明の実施の形態１の変形例３について説明する。本実施の形態１の変形例３は、テクスチャ情報算出部の構成が異なるうえ、実行する処理が異なる。以下においては、本実施の形態１の変形例３に係るテクスチャ情報算出部の構成を説明後、本実施の形態１の変形例３に係るテクスチャ情報算出部が実行する処理について説明する。なお、上述した実施の形態１に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。
図２０は、本実施の形態１の変形例３に係るテクスチャ情報算出部の構成を示すブロック図である。図２０に示すテクスチャ情報算出部２１ａは、上述した実施の形態１に係るテクスチャ情報算出部２１の撮像距離正規化部２１１に換えて、撮像距離正規化部２１３ａを備える。
撮像距離正規化部２１３ａは、テクスチャ情報算出領域までの撮像距離に応じた正規化を行う。撮像距離正規化部２１３ａは、上述した実施の形態１に係る撮像距離正規化部２１１の領域サイズ変更部２１１ｂに換えて、パラメータ変更部２１３ｃを有する。
パラメータ変更部２１３ｃは、撮像距離推定部２１１ａが推定した撮像距離に基づいて、テクスチャ情報を算出するためのパラメータを変更する。
次に、テクスチャ情報算出部２１ａが実行するテクスチャ情報算出処理について説明する。図２４は、テクスチャ情報算出部２１ａが実行するテクスチャ情報算出処理の概要を示すフローチャートである。なお、図２４において、テクスチャ情報算出部２１ａは、上述した実施の形態１における図７のステップＳ４０２に換えて、ステップＳ４０２ａを実行する。それ以外は、上述した図７の処理と同様のため、以下において、各処理の説明を省略する。また、本実施の形態１の変形例３では、テクスチャ情報算出部２１ａが実行するテクスチャ情報算出処理以外は、上述した実施の形態１に係る画像処理装置１が実行する処理（図２を参照）と同様のため、説明を省略する。
図２１に示すように、ステップＳ４０２ａにおいて、パラメータ変更部２１３ｃは、撮像距離推定部２１１ａが推定した撮像距離に基づいて、情報算出領域設定部２０が設定したテクスチャ情報を算出するためのパラメータを変更する（ステップＳ４０２ａ）。具体的には、撮像距離推定部２１１ａが推定した撮像距離に基づいて、後段の管構造領域特定や、斑点構造特定に用いるパラメータ、例えばＳｈａｐｅ ＩｎｄｅｘやＣｕｒｖｅｄｎｅｓｓを算出するための画素値の参照範囲を変更する。これは、撮像距離の遠近によって画像内での大きさが変化する対象に対して、安定的な情報算出を行うためである。例えば撮像距離が遠いため小さく映るテクスチャ情報算出領域では、前記参照範囲を小さく、撮像距離が近いため大きく映るテクスチャ情報算出領域では、前記参照範囲を大きくする。これにより、同等の対象が映る場合、撮像距離の遠近による情報算出の差が生じ難くなる。
以上説明した本発明の実施の形態１の変形例３によれば、撮像距離の遠近によって画像内での大きさが変化する対象に対しても、安定的な情報算出を行うことができ、異常部の検出性能を十分に確保することができる。
（変形例４）
次に、本発明の実施の形態１の変形例４について説明する。本実施の形態１の変形例４は、異常候補領域検出部１０が実行する異常候補領域検出処理が異なる。以下においては、本実施の形態１の変形例４に係る異常候補領域検出部１０が実行する異常候補領域検出処理について説明する。
図２２は、本実施の形態１の変形例４に係る異常候補領域検出部１０が実行する異常候補領域検出処理の概要を示すフローチャートである。
図２２に示すように、異常候補領域検出部１０は、管腔内画像の画素値勾配を算出し（ステップＳ２０１ａ）、算出した画素値勾配に基づいて、異常候補領域を検出する（ステップＳ２０２ａ）。画素値勾配を用いた検出には、特開２００７−２４４５１９号公報に開示される方法等を用いる。ステップＳ２０２ａの後、画像処理装置１は、図２のメインルーチンへ戻る。
以上説明した本発明の実施の形態１の変形例４によれば、異常部の検出性能を十分に確保することができる。
（変形例５）
次に、本発明の実施の形態１の変形例５について説明する。本実施の形態１の変形例５は、異常候補領域検出部１０が実行する異常候補領域検出処理が異なる。以下においては、本実施の形態１の変形例５に係る異常候補領域検出部１０が実行する異常候補領域検出処理について説明する。
図２３は、本発明の実施の形態１の変形例５に係る異常候補領域検出部１０が実行する異常候補領域検出処理の概要を示すフローチャートである。図２３において、異常候補領域検出部１０は、上述した実施の形態１における図３のステップＳ２０１に追加して、ステップＳ２０２ｂおよびステップＳ２０３ｂを実行する。
図２３に示すように、ステップＳ２０２ｂにおいて、異常候補領域検出部１０は、管腔内画像の管深部領域を検出する。具体的には、生体内での吸収・散乱の度合いが最も低い低吸収波長成分を選択し、選択した低吸収波長成分の管腔内画像において、輪郭エッジ周辺の画素を除外した後に、画素値が閾値以下の領域を検出することによって管深部領域を検出する（例えば、国際出願ＰＣＴ／ＪＰ２０１５／０５１８７３号、国際出願ＰＣＴ／ＪＰ２０１５／０６２４２７号または国際出願ＰＣＴ／ＪＰ２０１５／０６２４２８号を参照）。
続いて、異常候補領域検出部１０は、ステップＳ２０１において算出した輪郭エッジおよびステップＳ２０２ｂにおいて算出した管深部領域に基づいて、異常候補領域を検出する（ステップＳ２０３ｂ）。具体的には、前記輪郭エッジにおける凸形状領域及びその凸方向を解析し、前記管深部領域の方向に対して凸となる凸形状領域を異常領域として検出する。（例えば、国際出願ＰＣＴ／ＪＰ２０１５／０５１８７３号、国際出願ＰＣＴ／ＪＰ２０１５／０６２４２７号または国際出願ＰＣＴ／ＪＰ２０１５／０６２４２８号を参照）。ステップＳ２０３ｂの後、画像処理装置１は、図２のメインルーチンへ戻る。
以上説明した本発明の実施の形態１の変形例５によれば、異常部の検出性能を十分に確保することができる。
（変形例６）
次に、本発明の実施の形態１の変形例６について説明する。本実施の形態１の変形例６は、異常候補領域検出部１０が実行する異常候補領域検出処理が異なる。以下においては、本実施の形態１の変形例６に係る異常候補領域検出処理について説明する。
図２４は、本実施の形態１の変形例６に係る異常候補領域検出部１０が実行する異常候補領域検出処理の概要を示すフローチャートである。
図２４に示すように、異常候補領域検出部１０は、管腔内画像の画素値勾配を算出し（ステップＳ２０１ａ）、管腔内画像の管深部領域を検出する（ステップＳ２０２ｃ）。
続いて、異常候補領域検出部１０は、ステップＳ２０１ａにおいて算出した画素値勾配および管深部領域に基づいて、異常候補領域を検出する（ステップＳ２０３ｃ）。ステップＳ２０３ｃの後、画像処理装置１は、図２のメインルーチンへ戻る。
以上説明した本発明の実施の形態１の変形例６によれば、異常部の検出性能を十分に確保することができる。
（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２は、上述した実施の形態１に係る演算部の構成が異なる。以下においては、本実施の形態２に係る演算部の構成について説明する。なお、上述した実施の形態１に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。
図２５は、本実施の形態２に係る演算部の構成を示すブロック図である。図２５に示す演算部７ｃは、上述した実施の形態１に係る演算部７の構成に加えて、解像度変更部１２をさらに備える。
解像度変更部１２は、異常候補領域検出部１０および異常領域特定部１１において処理する管腔内画像の解像度を変更する。具体的には、異常領域特定部１１において処理する管腔内画像の解像度を、異常候補領域検出部１０において処理する管腔内画像の解像度より高くする変更を行う。即ち、解像度変更部１２は、異常候補領域検出部１０による検出を解像度が低い管腔内画像によって行わせることで、異常候補領域を敏速に検出させる一方、異常領域特定部１１による検出を解像度が高い管腔内画像によって行わせることで、異常領域の特定の精度を向上させる。これにより、異常領域の検出処理の速度を向上させることができるとともに、異常部の検出性能を十分に確保することができる。
以上説明した本発明の実施の形態２によれば、異常部の検出性能を十分に確保することができる。
（その他の実施の形態）
本発明では、記録装置に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク（ＬＡＮ）、広域エリアネットワーク（ＷＡＮ）、または、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜２およびこれらの変形例に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続されたビュアーやプリンタ等の種々の出力機器に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置、例えばネットワークに接続された読取装置によって読み取り可能な記録媒体等に画像処理結果を格納するようにしても良い。
なお、本発明は、実施の形態１，２およびこれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
１ 画像処理装置
２ 画像取得部
３ 入力部
４ 表示部
５ 記録部
６ 制御部
７，７ｃ 演算部
１０ 異常候補領域検出部
１１ 異常領域特定部
１２ 解像度変更部
２０，２０ａ，２０ｂ 情報算出領域設定部
２１，２１ａ テクスチャ情報算出部
２２ 識別部
５１ 画像処理プログラム
２０１ 輪郭エッジ抽出部
２０２ 幾何形状当て嵌め部
２０３ 画素値勾配強度算出部
２０４ 動的輪郭抽出部
２０５ 側面領域除外部
２０６ 鏡面反射領域除外部
２１１，２１３ 撮像距離正規化部
２１１ａ 撮像距離推定部
２１１ｂ 領域サイズ変更部
２１２ 吸光変化構造特徴量算出部
２１２ａ 吸光変化情報算出部
２１２ｂ 管構造領域特定部
２１２ｃ 斑点構造領域特定部
２１３ａ パラメータ変更部

Claims (17)

  1. 生体の管腔内画像において、粘膜壁の輪郭エッジまたは粘膜壁の表面形状に基づいて、異常候補領域を検出する異常候補領域検出部と、
    前記異常候補領域のテクスチャ情報に基づいて、異常領域を特定する異常領域特定部と、
    を備え、
    前記異常領域特定部は、
    前記テクスチャ情報を算出するための算出領域を設定する情報算出領域設定部と、
    前記算出領域において前記テクスチャ情報を算出するテクスチャ情報算出部と、
    前記テクスチャ情報に基づいて、前記異常領域を識別する識別部と、
    を有し、
    前記テクスチャ情報算出部は、
    前記算出領域までの撮像距離に応じた正規化を行う撮像距離正規化部と、
    前記算出領域内の吸光変化構造に基づく特徴量を算出する吸光変化構造特徴量算出部と、
    を有し、
    前記吸光変化構造特徴量算出部は、
    前記算出領域内の吸光変化情報を算出する吸光変化情報算出部と、
    前記吸光変化情報に基づいて、管構造領域を特定する管構造領域特定部と、
    前記吸光変化情報に基づいて、斑点構造領域を特定する斑点構造領域特定部と、
    を有することを特徴とする画像処理装置。
  2. 前記情報算出領域設定部は、
    管腔粘膜壁の輪郭エッジを抽出する輪郭エッジ抽出部と、
    前記輪郭エッジに対して、幾何形状を当て嵌める幾何形状当て嵌め部と、
    を有することを特徴とする請求項１に記載の画像処理装置。
  3. 前記情報算出領域設定部は、
    前記異常候補領域内の画素値勾配強度を算出する画素値勾配強度算出部と、
    前記画素値勾配強度を基に、動的輪郭抽出を行う動的輪郭抽出部と、
    を有することを特徴とする請求項１に記載の画像処理装置。
  4. 前記情報算出領域設定部は、
    前記異常候補領域内の粘膜壁を斜めから撮像した側面領域を除外する側面領域除外部を有することを特徴とする請求項１に記載の画像処理装置。
  5. 前記情報算出領域設定部は、
    前記異常候補領域内の鏡面反射領域を除外する鏡面反射領域除外部を有することを特徴とする請求項１に記載の画像処理装置。
  6. 前記撮像距離正規化部は、
    撮像距離を推定する撮像距離推定部と、
    前記撮像距離に基づいて、前記算出領域の領域サイズを変更する領域サイズ変更部と、
    を有することを特徴とする請求項１に記載の画像処理装置。
  7. 前記撮像距離正規化部は、
    撮像距離を推定する撮像距離推定部と、
    前記撮像距離に基づいて、前記テクスチャ情報を算出するためのパラメータを変更するパラメータ変更部と、
    を有することを特徴とする請求項１に記載の画像処理装置。
  8. 前記識別部は、斑点構造の割合が多い場合に前記異常候補領域を異常と判定することを特徴とする請求項１に記載の画像処理装置。
  9. 前記異常候補領域検出部は、画素値勾配情報に基づいて、前記異常候補領域を検出することを特徴とする請求項１に記載の画像処理装置。
  10. 前記異常候補領域検出部は、管腔の深部領域および粘膜壁の輪郭エッジに基づいて、前記異常候補領域を検出することを特徴とする請求項１に記載の画像処理装置。
  11. 前記異常候補領域検出部は、管腔の深部領域と、画素値勾配情報に基づいて、前記異常候補領域を検出することを特徴とする請求項１に記載の画像処理装置。
  12. 前記異常候補領域検出部および前記異常領域特定部において処理する管腔内画像の解像度を変更する解像度変更部をさらに備えたことを特徴とする請求項１に記載の画像処理装置。
  13. 生体の管腔内画像において、粘膜壁の輪郭エッジまたは粘膜壁の表面形状に基づいて、異常候補領域を検出する異常候補領域検出部と、
    前記異常候補領域のテクスチャ情報に基づいて、異常領域を特定する異常領域特定部と、
    を備え、
    前記異常候補領域検出部および前記異常領域特定部において処理する管腔内画像の解像度を変更する解像度変更部をさらに備え、
    前記解像度変更部は、前記異常領域特定部で処理する管腔内画像の解像度を、前記異常候補領域検出部で処理する管腔内画像の解像度より大きくすることを特徴とする画像処理装置。
  14. 生体の管腔内画像において、粘膜壁の輪郭エッジまたは粘膜壁の表面形状に基づいて、異常候補領域を検出する異常候補領域検出ステップと、
    前記異常候補領域のテクスチャ情報に基づいて、異常領域を特定する異常領域特定ステップと、
    を含み、
    前記異常領域特定ステップは、
    前記テクスチャ情報を算出するための算出領域を設定する情報算出領域設定ステップと、
    前記算出領域において前記テクスチャ情報を算出するテクスチャ情報算出ステップと、
    前記テクスチャ情報に基づいて、前記異常領域を識別する識別ステップと、
    を含み、
    前記テクスチャ情報算出ステップは、
    前記算出領域までの撮像距離に応じた正規化を行う撮像距離正規化ステップと、
    前記算出領域内の吸光変化構造に基づく特徴量を算出する吸光変化構造特徴量算出ステップと、
    を含み、
    前記吸光変化構造特徴量算出ステップは、
    前記算出領域内の吸光変化情報を算出する吸光変化情報算出ステップと、
    前記吸光変化情報に基づいて、管構造領域を特定する管構造領域特定ステップと、
    前記吸光変化情報に基づいて、斑点構造領域を特定する斑点構造領域特定ステップと、
    を含むことを特徴とする画像処理方法。
  15. 生体の管腔内画像において、粘膜壁の輪郭エッジまたは粘膜壁の表面形状に基づいて、異常候補領域を検出する異常候補領域検出ステップと、
    前記異常候補領域のテクスチャ情報に基づいて、異常領域を特定する異常領域特定ステップと、
    前記異常候補領域検出ステップおよび前記異常領域特定ステップにおいて処理する管腔内画像の解像度を変更する解像度変更ステップと、
    を含み、
    前記解像度変更ステップは、前記異常領域特定ステップで処理する管腔内画像の解像度を、前記異常候補領域検出ステップで処理する管腔内画像の解像度より大きくすることを特徴とする特徴とする画像処理方法。
  16. 生体の管腔内画像において、粘膜壁の輪郭エッジまたは粘膜壁の表面形状に基づいて、異常候補領域を検出する異常候補領域検出ステップと、
    前記異常候補領域のテクスチャ情報に基づいて、異常領域を特定する異常領域特定ステップと、
    を画像処理装置に実行させ、
    前記異常領域特定ステップは、
    前記テクスチャ情報を算出するための算出領域を設定する情報算出領域設定ステップと、
    前記算出領域において前記テクスチャ情報を算出するテクスチャ情報算出ステップと、
    前記テクスチャ情報に基づいて、前記異常領域を識別する識別ステップと、
    を含み、
    前記テクスチャ情報算出ステップは、
    前記算出領域までの撮像距離に応じた正規化を行う撮像距離正規化ステップと、
    前記算出領域内の吸光変化構造に基づく特徴量を算出する吸光変化構造特徴量算出ステップと、
    を含み、
    前記吸光変化構造特徴量算出ステップは、
    前記算出領域内の吸光変化情報を算出する吸光変化情報算出ステップと、
    前記吸光変化情報に基づいて、管構造領域を特定する管構造領域特定ステップと、
    前記吸光変化情報に基づいて、斑点構造領域を特定する斑点構造領域特定ステップと、
    を含むことを特徴とするプログラム。
  17. 生体の管腔内画像において、粘膜壁の輪郭エッジまたは粘膜壁の表面形状に基づいて、異常候補領域を検出する異常候補領域検出ステップと、
    前記異常候補領域のテクスチャ情報に基づいて、異常領域を特定する異常領域特定ステップと、
    前記異常候補領域検出ステップおよび前記異常領域特定ステップにおいて処理する管腔内画像の解像度を変更する解像度変更ステップと、
    を実行させ、
    前記解像度変更ステップは、前記異常領域特定ステップで処理する管腔内画像の解像度を、前記異常候補領域検出ステップで処理する管腔内画像の解像度より大きくすることを特徴とする特徴とするプログラム。
JP2017552621A 2015-11-26 2015-11-26 画像処理装置、画像処理方法およびプログラム Active JP6704933B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/083294 WO2017090166A1 (ja) 2015-11-26 2015-11-26 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2017090166A1 JPWO2017090166A1 (ja) 2018-09-13
JP6704933B2 true JP6704933B2 (ja) 2020-06-03

Family

ID=58764109

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017552621A Active JP6704933B2 (ja) 2015-11-26 2015-11-26 画像処理装置、画像処理方法およびプログラム

Country Status (4)

Country Link
US (1) US10206555B2 (ja)
JP (1) JP6704933B2 (ja)
CN (1) CN108601509B (ja)
WO (1) WO2017090166A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019142243A1 (ja) * 2018-01-16 2019-07-25 オリンパス株式会社 画像診断支援システムおよび画像診断支援方法
WO2020044523A1 (ja) * 2018-08-30 2020-03-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
KR102267510B1 (ko) 2019-12-03 2021-06-18 엘지전자 주식회사 진공 청소기
WO2021141048A1 (ja) * 2020-01-07 2021-07-15 Hoya株式会社 内視鏡システム、プロセッサ装置、診断支援方法、及びコンピュータプログラム
CN115359056B (zh) * 2022-10-19 2023-03-24 浙江华诺康科技有限公司 ***细胞检测方法、装置和计算机设备
CN116563283B (zh) * 2023-07-10 2023-09-08 山东联兴能源集团有限公司 基于图像处理的蒸汽锅炉气体泄露检测方法及检测装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9149175B2 (en) * 2001-07-26 2015-10-06 Given Imaging Ltd. Apparatus and method for light control in an in-vivo imaging device
JP4652694B2 (ja) * 2004-01-08 2011-03-16 オリンパス株式会社 画像処理方法
US8423123B2 (en) 2005-09-30 2013-04-16 Given Imaging Ltd. System and method for in-vivo feature detection
JP5121204B2 (ja) * 2006-10-11 2013-01-16 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5226974B2 (ja) * 2007-06-19 2013-07-03 富士フイルム株式会社 画像診断支援装置、方法及びプログラム
JP5622461B2 (ja) * 2010-07-07 2014-11-12 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5980490B2 (ja) * 2011-10-18 2016-08-31 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5980555B2 (ja) * 2012-04-23 2016-08-31 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP6265588B2 (ja) 2012-06-12 2018-01-24 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP6422198B2 (ja) 2012-11-29 2018-11-14 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6128888B2 (ja) * 2013-02-27 2017-05-17 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2015031641A1 (en) * 2013-08-29 2015-03-05 Mayo Foundation For Medical Education And Research System and method for boundary classification and automatic polyp detection
WO2015164768A1 (en) * 2014-04-24 2015-10-29 Arizona Board Of Regents On Behalf Of Arizona State University System and method for detecting polyps from learned boundaries

Also Published As

Publication number Publication date
CN108601509B (zh) 2020-07-07
US20180296064A1 (en) 2018-10-18
WO2017090166A1 (ja) 2017-06-01
CN108601509A (zh) 2018-09-28
US10206555B2 (en) 2019-02-19
JPWO2017090166A1 (ja) 2018-09-13

Similar Documents

Publication Publication Date Title
JP6704933B2 (ja) 画像処理装置、画像処理方法およびプログラム
US8798344B2 (en) Image processing apparatus, image processing method and computer-readable recording device
US9639927B2 (en) Image processing apparatus, image processing method, and computer-readable recording device
JP6265588B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5851160B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
US20190133513A1 (en) Enhancing pigmentation in dermoscopy images
WO2013161589A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN110855889B (zh) 图像处理方法、装置、图像处理设备及存储介质
US10540765B2 (en) Image processing device, image processing method, and computer program product thereon
JP6578058B2 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
JP2015156937A (ja) 画像処理装置、画像処理方法、並びにプログラム
CN114022880A (zh) 食管粘膜平坦程度量化方法、装置、终端及存储介质
US10402973B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP6664486B2 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
JP5800549B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
Rosado et al. Automatic segmentation methodology for dermatological images acquired via mobile devices
US11039077B2 (en) Image processing device, endoscope system, image processing method, and computer-readable recording medium
JP2019180748A (ja) 画像処理プログラム、画像処理装置、および画像処理方法
JP2018202044A (ja) 毛穴詰まり評価方法及び毛穴詰まり評価装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200414

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200513

R151 Written notification of patent or utility model registration

Ref document number: 6704933

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250