CN103458765B - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN103458765B
CN103458765B CN201280014068.4A CN201280014068A CN103458765B CN 103458765 B CN103458765 B CN 103458765B CN 201280014068 A CN201280014068 A CN 201280014068A CN 103458765 B CN103458765 B CN 103458765B
Authority
CN
China
Prior art keywords
area
mentioned
pixel
basic configuration
characteristic quantity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280014068.4A
Other languages
English (en)
Other versions
CN103458765A (zh
Inventor
登本悠介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN103458765A publication Critical patent/CN103458765A/zh
Application granted granted Critical
Publication of CN103458765B publication Critical patent/CN103458765B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/49—Analysis of texture based on structural texture description, e.g. using primitives or placement rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Image Processing (AREA)

Abstract

图像处理装置具备：图像输入部，其输入拍摄生物体的粘膜表面而得到的医用图像；特征量计算部，其针对医用图像中的各像素或各区域计算规定的特征量；构造区域抽出部，其从医用图像抽出期望的构造物作为构造区域；基本形状运用部，其根据计算出的特征量，针对构造区域内的各像素或各区域运用与多个规定的基本形状的对应关联；以及构造物区域分割部，其根据基本形状运用部的运用结果，按规定的基本形状对构造物进行区域分割。

Description

图像处理装置
技术领域
本发明涉及以容易在诊断等时使用的方式对医用图像进行图像处理的图像处理装置。
背景技术
近年来，在医疗领域中，内窥镜广泛地用于进行检查、诊断等。
另外，提出了如下一种方法：将内窥镜***到患者体内的管腔内，针对由该内窥镜拍摄到的医用图像，由使用了计算机的诊断辅助***以易于手术操作者在诊断等中更有效地利用的方式，利用粘膜下的血管、粘膜表面的微小构造的图案进行图像处理。
在这种情况下，需要将上述图案量化。
例如在作为第一现有例的日5本特开2-4211号公报中，从图像数据抽出关注部分图像，关于所抽出的关注部分图像的单位像素群的各像素判断与存储在浓度分布图案存储单元中的浓度分布图案中的哪一个相类似，按各浓度分布图案中的每个浓度分布图案对各浓度分布图案出现在关注部分图像中的出现频率进行计数来计算图案直方图。
而且，公开了以下内容：在学习单元中重复呈现图案直方图，学习将输入节点与输出节点连结的权重，得出代表将输出节点与各输入节点连结的所学习的已学习权重向量的图案直方图。
在作为第二现有例的日本特开2-227号公报中，获取作为诊断对象的第一胸部图像与作为用于判断第一胸部图像的病变区域的基准的第二胸部图像的差分图像，在差分图像上的肺叶区域内设定多个关心区域OI。
公开了以下内容：获取表示各关心区域OI是否为间质性肺疾病的疾病信息，根据表示是间质性肺疾病的关心区域OI在肺叶区域每单位面积内出现的频率来判断是否为病变区域。
然而，在实际得到的医用图像中，由于形成了各种形状连接而成的复杂的图案，因此在第一现有例的情况下，需要大量的浓度分布图案，并且图像处理量也增大。还需要根据将要运用的对象图像来变更浓度分布图案等。
另外，推测在第二现有例中也需要根据诊断对象变更作为基准的图像，并且得到的差分图像也随着诊断对象的变更而变化。
因此，期望医用图像具有复杂的构造或形状的图案，在该构造发生变化的情况下基于通用性而能够运用，在手术操作者进行诊断的情况下能够提供供参考的容易量化的数据。
也就是说，如果在是复杂的构造或形状的图案的情况下能够分解为(或对应)基本形状(或原始形状)的图案，则在是复杂的构造或形状的图案的情况下，也能够提供使用基本形状的图案量化得到的数据，能够在进行诊断的情况下提供易于有效利用的数据。
本发明是鉴于上述的点而完成的，其目的在于提供一种在形成复杂的图案的医用图像的情况下也能够使其对应具有通用性的多个基本形状的图案并易于量化的图像处理装置。
发明内容
用于解决问题的方案
本发明的一个方式所涉及的图像处理装置具备：图像输入部，其输入拍摄生物体的粘膜表面而得到的医用图像；特征量计算部，其针对上述医用图像中的各像素或各区域来计算规定的特征量；构造区域抽出部，其从拍摄到的上述医用图像抽出期望的构造物作为构造区域；基本形状运用部，其根据由上述特征量计算部计算出的特征量，针对上述构造区域内的各像素或各区域运用与多个规定的基本形状的对应关联；以及构造物区域分割部，其根据上述基本形状运用部的运用结果，按上述规定的基本形状对上述构造物进行区域分割。
附图说明
图1是表示具备本发明的第一实施方式的图像处理装置的内窥镜***的整体结构的图。
图2是表示由构成的特征量计算部等的处理功能的框图。
图3是表示本实施方式的处理过程的流程图。
图4是表示通过图像输入部输入的医用图像的图。
图5是表示针对医用图像依次设定关注像素进行特征量的计算等的情形的动作说明图。
图6是表示由特征量计算部针对各像素中的每个像素抽出特征量的情形的图。
图7是表示针对图4的图像抽出的构造区域的图。
图8是表示按每个基本形状进行分割得到的图像的图。
图9是表示本发明的第二实施方式的处理过程的流程图。
图10是表示在形成第一区域的第一像素是圆形度大的特征量的情况下设定在其周边部的第二区域的例子的图。
图11是表示在形成第一区域的第一像素是线形度大的特征量的情况下设定在其周边部的第二区域的例子的图。
图12是在形成第一区域的第一像素的周边部选择性地设定第二区域并根据它们的特征量使基本形状与第一像素进行对应的动作的说明图。
图13是代替图12中的第一像素而选择性地设定第一区域并根据它们的特征量使基本形状与第一区域进行对应的动作的说明图。
图14是为了进行分支而运用投票时的动作的说明图。
图15是表示与图1等不同的形状的第二区域的设定例的图。
图16是从候选区域中根据其特征量设定第二区域的动作的说明图。
图17是从候选区域中根据其特征量和第一像素的特征量设定第二区域的动作的说明图。
图18是表示第二实施方式的变形例中的的处理功能的结构的框图。
图19是表示使第一区域和第二区域中的至少一方的特征量变化来选择性地设定第二区域的处理过程的一例的流程图。
图20是图1的动作的说明图。
具体实施方式
下面，参照附图说明本发明的实施方式。
(第一实施方式)
图1所示的内窥镜***1包括：内窥镜观察装置2；本实施方式的内窥镜图像处理装置(以下简记为图像处理装置)，其由针对由该内窥镜观察装置2得到的作为医用图像的内窥镜图像进行图像处理的个人计算机等构成；以及显示监视器4，其显示由该图像处理装置进行图像处理而得到的图像。
内窥镜观察装置2具有：被***到体腔内的内窥镜；向该内窥镜提供照明光的光源装置7；摄像机控制U部件(简记为)，其进行针对内窥镜的摄像单元的信号处理；以及监视器，其通过被输入从该输出的影像信号，来显示由摄像元件拍摄到的内窥镜图像。
内窥镜具有被***到体腔内的***部11以及设置在该***部11的后端的操作部12。另外，在***部11内穿通有传送照明光的光导件1。
该光导件1的后端与光源装置7连接。而且，将从该光源装置7提供的照明光通过光导件1进行传输，从安装在设置于***部11的前8端部14的照明窗的前端面(将所传送的照明光)射出，对患部等被摄体进行照明。
设置有摄像装置17，该摄像装置17由安装在与照明窗相邻接的观察窗处的物镜1以及配置在5该物镜1的成像位置的作为固体摄像元件的例如电荷耦合元件(简记为D)1构成。而且，成像在该D1的摄像面上的光学像由该D1进行光电变换。
该D1通过信号线与连接，通过从该施加D驱动信号，由此D1输出进行光电变换后的图像信号。该图像信号由内的影像处理电路进行信号处理，被变换为影像信号。该影像信号被输出到监视器，在监视器的显示面上显示内窥镜图像。该影像信号还被输入到图像处理装置。
该图像处理装置具有：图像输入部21，其输入与从内窥镜观察装置2输入的内窥镜图像(以下简记为图像)对应的影像信号；作为中央运算处理装置的22，其针对从该图像输入部21输入的图像数据进行图像处理；以及处理程序存储部2，其存储由该22执行图像处理的处理程序(控制程序)。
另外，该图像处理装置具有：图像存储部24，其存储从图像输入部2输入的图像数据等；信息存储部2，其存储由22进行处理得到的信息等；作为存储装置的硬盘27，其通过存储装置接口2存储由22进行处理得到的图像数据和信息等；显示处理部2，其进行用于显示由22进行处理得到的图像数据等的显示处理；以及输入操作部2，其包括由用户对图像处理的参数等进行数据输入、指示操作的键盘等。
而且，通过该显示处3理部62生成的影像信号显示在显示监视器4上，在该显示监视器4的显示面上显示进行图3像处理得到的处理图像。
此外，图像输入部21、22、处理程序存储部2、图像存储部24、信5息存储部2、存储装置接口2、显示处理部2、输入操作部2通过数据总线相互连接。
图2表示本实施方式的由22构成的主要处理功能。如图2所示，22具备针对从图像输入部21输入的医用图像中的各像素或各区域计算规定的特征量的特征量计算部1的处理功能和从上述医用图像中抽出期望的构造物作为构造区域的构造区域抽出部2的处理功能。
上述特征量计算部1作为规定的特征量，具有基于处理对象的像素或区域计算与局部的变化的方向相关的第一特征量的第一特征量计算部1a、计算与局部的变化的大小相关的第二特征量的第二特征量计算部1以及计算与局部的形状相关的第三特征量的第三特征量计算部1c。
另外，该22具备以下功能：基本形状运用部的处理功能，根据由特征量计算部1计算出的特征量来针对上述构造区域内的各像素或各区域运用与多个规定的基本形状的对应关联；以及构造物区域分割部4的处理功能，根据该基本形状运用部的运用结果，按上述规定的基本形状对上述构造物进行区域分割。
此外，该22如在后述的第二实施方式中说明的那样，具有选择性地设定由一个以上的第一像素构成的第一区域和由该第一区域的周边部中的一个以上的像素构成的第二区域的区域设定部(或区域5选择部)的处理功能(在图2中用虚线表示)。不限定于由22构成特征量计算部1、构3造区域抽出部2、基本形状运用部、构造物区域分割部4以及区5域设定部的情况，也可以使用硬件构成专用的电子回路等。此外，在后述的图1的22等的情况下，也可以P使用专用的电子回路等构成由22实C现的功能。
这种结构的本实施方式的图像处理装置的特征在于，具备：作为图像输入单元的图像输入部21，其输入拍摄生物体的粘膜表面得到的医用图像；作为特征量计算单元的特征量计算部1，其针对上述医用图像中的各像素或各区域计算规定的特征量；作为构造区域抽出单元的构造区域抽出部2，其从拍摄到的上述医用U图像抽出期望的构造物作为构造区域；作为基本形状B运用单元的基本形状运用部，其根据由上述特征量计算单元计算出的特征量，针对上述构造区域内的各像素或各区域运用与多个规定的基本形状的对应关联；以及作为构造物区域分割单元的构造物区域分割部4，其根据上述基本形状运用单元的运用结果，按上述规定的基本形状对上述构造物进行区域分割。
接着参照图所示的本实施方式中的处理过程，说明本实施方式的作用。当图像处理装置开始动作时，在最初的步骤1中经过图像输入部21从内窥镜观察装置2侧向图像处理装置内输入作为处理对象的图像。被输入的图像例如被保存在图像存储部24中。
图4的()表示对图像处理装置输入的图像的一部分。另外，图4的()将图4的()中的一部分图像区域放大表示。
在步骤2中，22的特征量计算部1基于被输入的图像来计算局部的特征量。在本实施方式中，例如将构成图4的()的图像的所有像素作为处理对象，如图所示那样将所有像素中的从左上方的像素至右下方的像素依次设定为关注像素来计算局部的特征量。
例如将左上方的像素设为像素(1,1)，将其右侧相邻的像素设为像素(1,2)那样将水平方向上第i个、垂直方向上第个像素表示为像素(i,)，将左上方的像素(1,1)下面的像素表示为像素(2,1)的情况下，对扫描像素(1,1)至像素(n,n)的所有像素，来如图那样计算特征量。此外，在图中将水平方向和垂直方向的像素数设为n。
在计算特征量的情况下，也可以如上述那样针对每一个像素设定关注像素，也可以不是每一个像素而针对每个区域设定关注像素，每个区域包括多个像素。
本实施方式的特征量计算部1在计算局部的特征量的情况下，如步骤所示那样计算与关注像素(的亮度值或像素值)的局部的变化的方向相关的第一特征量、与局部的变化的大小相关的第二特征量以及与基于变化的方向和变化的大小的形状相关的第三特征量。
具体地说，22的特征量计算部1针对各像素的亮度值计算与水平方向和垂直方向的位置的二阶偏微分相当的2行2列的黑塞矩阵(Hssianmatrix)，求出其固有值λ1、λ2(λ1≤λ2)和与固有值λ1、λ2对应的固有向量1、2。此外，固有向量1、2对应第一特征量，固有值λ1、λ2对应第二特征量。
另外，针对第二特征量进行下面的运算，计算表示关注像素具有线形状的特征的程度的线形度、表示关注像素具有圆形状的特征的程度的圆形度。
另外，上述特征量计算部1通过特征量计算，如步骤所示那样通过(λ2-λ1)/λ2的运算计算线形度(λ2-λ1)/λ2，通过λ1/λ2的运算计算圆形度λ1/λ2。
图7的()表示针对图4的()的图像的情况计算出的形状特征量的例子。在图7的()中示出计算出线形度大的部分(在图7的()中表示为线)和圆形度大的部分(在图7的()中表示为圆)的情形。
此外，作为上述的第一特征量，也可以是梯度方向。另外，作为第二特征量，也可以是梯度强度。另外，第三特征量也可以是公知的形状指数(apIndx)。
在图所示的步骤4中，322的构造区域抽出部2从处理对象的图像中抽出期望的构造物作为构造区域。
在这种情况下，用于抽出期望构造物作为构造区域的单元、方法不限定于特定的单元、方法，也可以使用简单的二值化、活动轮廓(nas)、水平集(vlst)、图分割(raput)等区域分割方法。
也可以计算上述的局部特征量，根据该局部的特征量抽出构造物作为构造区域。下面，在利用步骤2的局U部特征量计算的情况下进行说明。
22的构造区域抽出部23抽出满足以下四个条件中的任一条件的像素作为形成(抽出对象的)构造物、即构造区域的像素：
第二特征量为某阈值T1i以下、
第二特征量为某阈值T1low以上(其中T1i>T1low)、
第三特征量为某阈值T2i以下、
第三特征量为某阈值T2low以上(g其中T2i>T2low)。3
这种阈值T1i、T1low、T2i、hT2low的信息g例如预先存储(保存)在信5息存储部2中，构造区域抽出部2在抽出构造物作为构h造区域的情况下使用保存在信5息存储部2S中的上述信息。
图7的()表示抽出与图4的()的图像的情况相对应地抽出的构造区域的图像。
如图的步骤所示那样，22的基本形状运用部针对这样抽出的构造区域中的各像素或各区域，根据由上述特征量计算部1计算出的特征量，运用与多个规定的基本形状的对应关联。
也就是说，判断所抽出的构造区域中的各像素或各区域符合多个规定的基本形状中的哪个基本形状，并与判断出的基本形状对应关联起来。
另外，在本实施方式中，作为多个规定的基本形状，使用作为构成生物体的粘膜表面的构造物的微小的单位的部分形状的圆、直线、曲线、分支这四种基本形状。
此外，作为基本形状的圆、直线、曲线、分支这四种形状，能够根据上述的线形度和圆形度的特征量，通过下述的(a)-(d)的判断导出。
22的基本形状运用部按照例如根据图抽出的特征量，针对作为构造区域的构造物中的各像素或各区域，如下面那样进行与圆、直线、曲线、分支这四种基本形状的对应关联。
22的基本形状运用部针对作为构造区域的构造物中的各像素或各区域，进行基本形状对应关联以使得：
(a)在判断为线形度多、方向集中于某一个方向的情况下，与直线的基本形状对应关联，
()在判断为线形度多、方向集中于不同的两个方向的情况下，与曲线的基本形状对应关联，
(c)在判断为圆形度多、方向分散的情况下，与圆的基本形状对应关联，
(d)在判断为线形度和圆形度是相同的程度、从具有线形度的像素来的方向朝多个方向分散的情况下，与分支的基本形状对应关联。
例如在作为上述的构造区域的构造物中的各像素(或各区域)中判断为线形度多、方向集中于某一个方向的情况下，该各像素(或各区域)判断为具有直线的基本形状(或由直线的基本形状形成)。其它的情况也进行相同的判断。
在本实施方式中利用上述的四种基本形状，但是除此之外也可以运用根据粗细、大小、颜色等特征进一步细分化而得到的基本形状。
在图的步骤中，22的构造物区域分割部4按每个规定的基本形状对步骤中的与规定的基本形状对应关联的构造区域(即构造物)进行区域分割。
这样，作为构造区域而抽出的构造物为能够表示为按各个基本形状的像素或区域分割出的一个或者多个集合体的状态。换言之，能够以作为多个基本形状的图案的基本形状图案的分解物、或作为多个基本形状图案的集合体的基本形状或基本形状图案来对具有复杂的形状的构造物进行的分类或类型化等评价。
在如步骤那样按每个基本形状对构造物进行区域分割的情况下，还可以如步骤7所示那样针对每个不同的基本形状分配不同的颜色，来显示处理对象的图像。
图的()表示如步骤那样使基本形状与图4的()、图7的()的图像对应关联并将所抽出的构造物的各部分分别按每个基本形状进行分割后的图像。另外，图的()表示针对图4的()、图7的()的图像将所抽出的构造物的各部分分别按每个基本形状进行分割后的图像。
在显示图的情况下，也可以如图的步骤7所示那样针对每个不同的基本形状分配不同的颜色，通过模拟色彩进行显示。
在通过该模拟色彩进行显示的情况下，在是具有复杂形状的构造物的情况中也与基本形状对应关联时，容易在视觉上掌握基本形状分布的情形。
另外，也可以如步骤所示那样针对由手术操作者等用户适当指定的指定区域，22显示包含在该指定区域内的各基本形状的像素数的分布或直方图。
这样，能够对手术操作者提供进行诊断等时的定量的参考数据。例如当将手术操作者想要诊断是否为病变部的区域设定为第一指定区域且将正常的区域设定为第二指定区域时，显示各指定区域中的基本形状的像素数的定量分布，根据其比较结果，能够利用为手术操作者进行诊断时的参考数据。
通过步骤的处理，图的图像处理结束。
像这样进行动作的本实施方式将构成处理对象的图像中的任意的构造物的像素或区域与多个规定的基本形状对应关联，因此在处理对象的图像形成复杂的形状的情况下，也能够不失通用性地通过相同的处理过程进行基于基本形状图案的评价。
因而，根据本实施方式，能够提供如下一种图像处理装置：在是形成复杂的图案的医用图像的情况下，也能够与具有通用性的多个基本形状的图案对应关联，并易于量化。此外，图中的步骤和也可以合起来进行。
(第二实施方式)
接着说明本发明的第二实施方式。本发明的第二实施方式是在第一实施方式中设置了图2中用虚线表示的区域设定部或区域选择部的结构。其它结构与第一实施方式相同。而且，本实施方式相对于第一实施方式的基本处理，进行如下的追加处理，由此能够获取进一步提高可靠性的处理结果。
如上述那样，区域设定部选择性地设定由一个以上的像素构成的第一区域和由该第一区域周边部的至少一个以上的像素构成的第二区域。而且，在由区域设定部设定了第一区域和第二区域的情况下，上述特征量计算部1计算第一区域和第二区域中的特征量。另外，基本形状运用部根据第一区域和第二区域中的特征量，使规定的基本形状与第一区域对应关联。
参照图的流程图说明本实施方式的处理过程。表示本实施方式的处理过程的图的流程图在图的流程图中，在步骤4与之间，进行步骤11的处理，该步骤11由区域设定部进行第一区域和第二区域的设定。
手术操作者等用户能够从输入操作部2进行选择性地设定第一区域和第二区域的指示输入。在这种情况下，22的区域设定部在通过指示输入指示的两个位置或两个区域中设定第一区域和第二区域。
另外，也可以使得用户从输入操作部2进行选择性地设定第一区域的指示输入，22的区域设定部在被指示输入的位置或区域中设定第一区域，再根据所设定的第一区域的特征量，选择性地设定第二区域。
另外，作为第一区域，也可以依次设定处理对象的图像中的整个区域(的所有像素)，在各位置的第一区域周边部根据第一区域的特征量设定第二区域。
另外，也可以在处理对象的图像中的构9造区域中依次设定第一区域，在各位置的第一区域的周边部根据第一区域的特征量设定第二区域。
在下面的例子中，着重说明例如在构造区域中依次设定第一区域的第一像素的情况。
另外，在本实施方式中将在下面说明的第一区域的第一像素的周边部的第二区域2设定为投票区域。
区域设定部根据由特征量计算部1计算出的第一区域的特征量，如下面那样设定第二区域。
图1表示(由用户)设定构成第一区域的第一像素1并在该第一像素1具有圆形度大的特征量的情况下设定的第二区域2的例子。
此外，在图1R所示的例子中，在第一像素1具有圆形度大的特征量的情况下，在其周围设定类似于第一像素1的特征量的形状的圆形的第二区域2。
第一像素10具有圆形度大的特征量，区域设定部根据该特征量的形状，在第一像素1周围设定类似于圆形度的形状的圆形的第二区域2。决定这种情况下的第二区域2的区域范围的参数是半径r，半径r的大小被设定为例如1-12个像素左右。也就是说，使用水平方向的像素位置i、垂直方向的像素位置，通过i2+2<r2决定第二区域2。
图11表示在第一像素1不是圆形度而具有线形度大的特征量的情况下设定的第二区域2的例子。
第一像素1具有线形度大的特征量，区域设定部根据该特征R量的形状，在第一像素1的周围设定近似于在其像素值的变化最小的方向上延伸的线状的形状(图11中是形状)的第二区域2作为线形度的特征量。决定这种情况下的第二区域2的区域范围的参数为与水平像素的方向形成角θ(以及θ+π)的像素值的变化最小的第二主方向和半径rs，该半径rs例如被设定为-个像素左右。此外，与该第二主方向正交的方向为第一主方向。
另外，用θ、半径rs表示的第二区域2的区域范围为满足(i-rscosθ)2+(i-rscosθ)2<rs 2或(i+rscosθ)2+(i+rscosθ)2<rs 2的范围。
此外，在图11中示出了由两个圆形的区域形成第二区域2的例子，但是也可以由扁平形状的两个圆(例如图12中示出了该例子)形成第二区域2。
在像这样设定了第二区域2之后，如图的步骤12所示那样将包含第一区域1的第二区域设定为投票范围，进行投票。
例如针对形成构造区域的第一像素整体进行在与第二区域2内的各像素相对应地设置的U(形成投票信息保存部的)各存储器单元中保存第一像素1的特征量的投票处理。
各存储器单元为具有与第一像素1的特征量的二维分布对应的投票结果的信息的状态。另外，各存储器单元的信息能够视为具有其周边部的第二区域的特征量。
在接下来的步骤1中，进行根据所投票的特征量进行与图的步骤所对应的与规定的基本形状对应关联的处理。
在图的情况下，在步骤中根据各个第一像素1的特征量，进行了与规定的基本形状对应关联的处理。
与此相对地，在本实施方式的步骤1中，根据形成第一像素的特征量且与在其周边部的二维分布对应的投票结果的特征量，来进行与规定的基本形状对应关联的处理。
具体地说，22的基本形状运用部针对作为构造区域的构造物中的各像素或各区域，进行基本形状对应关联以使得：
(a)在判断为对线形度投票多、方向集中于某一个方向的情况下与直线对应关联，
()在判断为对线形度投票多、方向集中于不同的两个方向的情况下与曲线对应关联，
(c)在判断为对圆形度投票多、方向分散的情况下与圆对应关联，
(d)在判断为以相同的程度对线形度和圆形度投票、从具有线形度的像素来的方向朝几个方向分散的情况下与分支对应关联。
图12表示这种情况下的动作说明图。图12的()表示由区域设定部在作为第一区域中的像素的第一像素1的周围设定第二区域2的状态。此外，图12的()中的图像表示由上述的构造区域抽出部2抽出构造区域s的状态，用ns表示作为不符合该构造区域s的构造区域的非构造区域。
而且，在这种情况下，根据在第一区域和第二区域2中抽出的特征量，针对第一区域的像素1进行与基本形状的对应关联。
在第二实施方式中，通过将第二区域2设定为投票范围，第一区域的第一像素1为反映第二区域2的特征量的特征量，针对该特征量进行与基本形状的对应关联。
图12的()表示针对第一区域的像素1进行基本形状的对应关联的情形，在图12的()的例子中，表示假设第一像素1与直线的基本形状对应而判断为具有直线的基本形状的情形。
图12的()和图12的()示出了针对第一区域的像素1在其周围设定了第二区域2的情况，但是也可以如图1的()和图1的()所示那样在第一区域1的周围设定第二区域2。图1只是将P图12的第一像素1变更为第一区域1的情况不同，因此省略其说明。另外，第二区域2不限定于由多个像素构成的情况，也包含由一个像素构成的情况。
在图中的步骤1之后，与图的情况同样地进行步骤的处理，该步骤以后的处理与图的情况相同。
当像这样进行与基本形状的对应关联时，与仅基于第一区域的像素1进行基本形状的对应关联的情况相比，能够考虑到其周围像素的特征量进行基本形状的对应关联。因此，在因噪声影响了像素值那样的情况下，能够进行降低了噪声的影响后的基本形状的对应关联。
除此之外，根据本实施方式，能够提供一种图像处理装置：在与第一实施方式同样地形成复杂的图案的医用图像的情况下，也能够与具有通用性的多个基本形状图案对应关联，并易于量化。
此外，在上述的说明中，通过进行如设定投票范围进行投票那样的图像处理，由此在作为第一像素1或第一区域1所具有的特征量包含分支的基本形状那样的情况下(针对与分支的基本形状对应关联)有效地发挥功能。下面，通过图14说明其理由。
在第一像素1(或其附近区域)具有分支的特征量的情况下，如图14所示那样考虑在具有圆形度的特征量的像素1a与具有线形度的特征量的像素1之间的圆形的第二区域2a和字形状的第二区域2相重叠的区域内产生。
在P这种情况下，通过设定进行与圆形度的特征量和线形度的特征量相应投票的投票范围，能够抽出具有两个特征量的分支的像素或区域。
此外，在除了如图1-图11所示那样的第二区域的情况以外，还可以如图1所示那样设定第二区域2。
图1的()在例如第一图像1的特征量例如是圆形度大的特征量的情况下，如图1的()所示那样在第一像素1的周围以近似圆形的形状设定第二区域2(表示与图1的情况相比以较小的像素尺寸设定了第二区域2的例子)。
另外，在图1的()的第一像素1是线形度大的特征量的情况下，也可以如图1的()所示那样在第一像素1的周边部(周围)设定在线形度的变化小的方向上延伸的带形状的第二区域2。
另外，在选择性地设定第二区域2的情况下，也可以根据作为第二区域候选的候6选区域的位置或特征量进行选择。
图1表示在第一像素1的周围设定候选区域2、与该候选区域2的各候选像素的特征量相应地选择性地设定第二区域2的情形。
图1的()表示在第一像素1的周围6暂时设定的候选区域2，6如图1的()所示那样对该候选区域2的各候选像素进行扫描，此时，针对各候选像素，根据各候选像素的特征量决定是否设为第二区域2(的第二像素)。然后，针A对整个候选区域2进行图1的()的处理的结果例如图1的()所示那样决定出第二区域2。
在这种情况下，例如从候选区域2缩小范围以排除不适合第二区域2的区域，能够针对第一像素1进程与基本形状的对应关联。
此外，在图1中，说明了根据候选区域2的各像素的特征量设定第二区域2的情况，但是也可以根据候选区域2的各像素的位置设定第二区域2。例如也可以将靠近第一像素1的位置的像素设定为第二区域2的像素。
另外，在图1R中也可以代替第一像素1而设定第一区域1，在其周围设定候选区域2，从而与上述的情况同样地设定第二区域2。
另外，在图1中，说明了选择性地设定候选区域2的情况、根据候选区域的位置或特征量设定第二区域2的情况，但是也可以根据候选区域的位置或特征量以及第一像素1或第一区域1的位置或特征量来选择性地进行设定。图17表示这种情况下的一个例子的说明图。
与图1的()同样地，图17的()表示在第一像素1的周围暂时设定的候选区域2。图17的()对候选区域2的各候选像素进行扫描，此时，针对各候选像素，根据各候选像素的特征量和第一像素1的特征量决定是否设为第二区域2(的第二像素)。然后，针对候选区域2整体进行图17的()的处理的结果例如图17的()所示那样决定出第二区域2。
在这种情况下，例如从候选区域2排除与第一像素1无关的区域，能够将与第一像素1相关的第二区域2缩小范围，并能够在可靠性更高的状态下针对第一像素1进行与基本形状的对应关联。
如关于图1说明的那样，在图17中说明了根据候选区域2的各像素和第一像素1的特征量设定第二区域2的情况，但是也可以根据候选区域2的各像素的位置和第一像素1的位置或特征量设定第二区域2。
另外，也可以根据候选区域2的各像素的特征量和第一像素1的位置来设定第二区域2。
另外，在图17中也可以代替第一像素1而设定第一区域1，在其周围设定候选区域2，从而与上述的情况同样地设定第二区域2。
如图1所示的变形例那样，也可以在22中设置作为特征量更新单元的特征量更新部。该特征量更新部根据第一区域1的特征量或第二区域2的特征量使第一区域1和第二区域2中的至少一方的特征量变化来进行更新。
另外，区域设定部根据特征量更新部的更新结果来进行第二区域的选择性的设定。
图1表示这种情况下的处理过程的一例。图1在图中的步骤4之后如步骤21所示那样设定第一区域1和第二区域2。
该步骤21中的第一区域1和第二区域2的设定能够通过上述的第二实施方式中的任一个方法进行设定。但是，在本变形例中，步骤21中的设定如从下面的说明可知是暂时的设定。
图2的()示出了在步骤21中设定的第一区域1和第二区域2的一例。
用户从输入操作部2向特征量更新部进行是否将第一区域1和第二区域2中的任一个的特征量变化(更新)的指示输入。
如步骤22所示，特征量更新部根据指示输入来进行使哪一个特征量变化的判断。此外，也可以在初始设定时等，预先针对22，通过程序等设定使哪一个特征量变化，特征量更新部按照该设定自动使特征量变化。另外，也可以交替地使特征量变化。
在是使第一区域1的特征量的判断(设定)变化的情况下，如步骤2所示那样使第一区域1的特征量变化，进入步骤2的处理。
另一方面，在是使第二区域2的特征量的判断(设定)变化的情况下，如步骤24所示那样使第二区域2的特征量变化，进入步骤2的处理。
此外，在使第一区域1的特征量或第二区域2的特征量变化的情况下，在与构成第一区域1或第二区域2的各像素中的噪声水平对应的阈值的范围内使特征量变化。
在步骤2中，区域设定部根据第一区域1的特征量和第二区域2的特征量重新设定第二区域2，进入2的步骤。
在步骤2中，特征量更新部判断是否进行了使特征量变化设定次数(为自然数)的处理，在判断为没有达到设定次数的情况下，返回步骤22的处理。然后，重复步骤22-2的处理。
另一方面，在判断为达到了设定次数的情况下，进入步骤27的处理，区域设定部设定第二区域2，并且特征量更新部决定第一区域1和第二区域2的各特征量。
区域设定部在使上述的特征量变化了设定次数的情况下，监视分别重新设定的第二区域2的相对的变化量，将相对于特征量的变化的第二区域2的相对的变化量最小时的第二区域2在步骤2中决定为第二区域2。
图2的()表示通过步骤2决定的第一区域1和第二区域2的情形。
在步骤2的处理之后，在接下来的步骤1中进行与基本形状对应关联的处理。步骤1以后与图相同。
通过进行如图1所示的处理，能够将在各个像素中易受噪声影响的特征量、根据该特征量设定的第二区域2更新为缓解噪声影响后的特征量、第二区域2。
除此之外，具有与第二实施方式大致相同的效果。
此外，通过例如变更上述的实施方式等的组合构成的实施方式也属于本发明。
本申请主张211年7月12日在日本申请的特愿211-1421号的优先权，并以此为基础进行申请，上述公开内容设为在本申请说明书、权利要求书、附图中引用。

Claims (3)

1.一种图像处理装置，其特征在于，具有：
图像输入部，其输入拍摄生物体的粘膜表面而得到的由多个像素构成的医用图像；
区域设定部，其设定上述医用图像中由一个以上的像素构成的第一区域；以及
特征量计算部，其基于在上述区域设定部中设定的上述第一区域的像素值以及上述第一区域的周围的区域的像素值或者基于上述第一区域的亮度值以及上述第一区域的周围的区域的亮度值，来计算表示上述第一区域中具有线形状的特征的程度的线形度和表示上述第一区域中具有圆形状的特征的程度的圆形度，
其中，上述区域设定部还根据在特征量计算部中计算出的上述线形度和上述圆形度来在上述第一区域的周边部设定由一个以上的像素构成的第二区域，
上述特征量计算部还根据上述第二区域的像素值和亮度值中的一方来计算表示上述第二区域中具有线形状的特征的程度的线形度和表示上述第二区域中具有圆形状的特征的程度的圆形度，
上述图像处理装置还具有基本形状运用部，该基本形状运用部根据在上述特征量计算部中计算出的上述第一区域的线形度和圆形度以及上述第二区域的线形度和圆形度，针对上述第一区域运用与规定的形状的对应关联。
2.根据权利要求1所述的图像处理装置，其特征在于，
还具有构造区域抽出部，该构造区域抽出部从上述医用图像抽出期望的构造物作为构造区域，
上述区域设定部在由上述构造区域抽出部抽出的上述构造区域中设定上述第一区域。
3.根据权利要求1所述的图像处理装置，其特征在于，
上述特征量计算部计算与上述第一区域中的亮度值的局部变化的方向相关的特征量，
上述基本形状运用部根据上述第一区域的线形度和圆形度的分布和上述第二区域的线形度和圆形度的分布以及与上述第一区域中的亮度值的局部变化的方向相关的特征量，来针对上述第一区域运用与上述规定的形状的对应关联。
CN201280014068.4A 2011-07-12 2012-05-15 图像处理装置 Expired - Fee Related CN103458765B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-154215 2011-07-12
JP2011154215 2011-07-12
PCT/JP2012/062381 WO2013008526A1 (ja) 2011-07-12 2012-05-15 画像処理装置

Publications (2)

Publication Number Publication Date
CN103458765A CN103458765A (zh) 2013-12-18
CN103458765B true CN103458765B (zh) 2016-02-10

Family

ID=47505824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280014068.4A Expired - Fee Related CN103458765B (zh) 2011-07-12 2012-05-15 图像处理装置

Country Status (5)

Country Link
US (1) US8666135B2 (zh)
EP (1) EP2671503A4 (zh)
JP (1) JP5326064B2 (zh)
CN (1) CN103458765B (zh)
WO (1) WO2013008526A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5957409B2 (ja) * 2013-03-29 2016-07-27 富士フイルム株式会社 領域抽出装置および方法並びにプログラム
WO2015037141A1 (ja) * 2013-09-13 2015-03-19 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2015050044A1 (ja) * 2013-10-04 2015-04-09 オリンパスメディカルシステムズ株式会社 内視鏡用撮像ユニット
CN105828691B (zh) * 2013-12-19 2017-12-12 奥林巴斯株式会社 图像处理装置、图像处理方法
CN107847117B (zh) 2015-04-30 2019-12-17 富士胶片株式会社 图像处理装置及图像处理方法
EP3524132A4 (en) 2016-10-05 2019-11-27 FUJIFILM Corporation PROCESSOR DEVICE, ENDOSCOPY SYSTEM AND METHOD FOR OPERATING A PROCESSOR DEVICE
WO2019077755A1 (ja) * 2017-10-20 2019-04-25 オリンパス株式会社 内視鏡先端部、内視鏡および内視鏡先端部の製造方法
US20220237773A1 (en) * 2021-01-27 2022-07-28 DigiM Solution LLC Systems, Methods, and Computer-Readable Media for Evaluating Microstructural Equivalence
JP6935663B1 (ja) * 2021-02-08 2021-09-15 国立大学法人九州工業大学 口腔粘膜疾患診断支援システム，方法およびプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2918162B2 (ja) * 1988-11-02 1999-07-12 オリンパス光学工業株式会社 内視鏡画像処理装置
JP2000155840A (ja) * 1998-11-18 2000-06-06 Olympus Optical Co Ltd 画像処理方法
JP2005034211A (ja) 2003-07-16 2005-02-10 Fuji Photo Film Co Ltd 画像判別装置、方法およびプログラム
JP4804742B2 (ja) * 2004-11-19 2011-11-02 オリンパス株式会社 画像処理装置、及び画像処理プログラム
JP2006239270A (ja) 2005-03-07 2006-09-14 Fuji Photo Film Co Ltd 異常陰影検出装置、異常陰影検出方法およびそのプログラム
JP4624841B2 (ja) * 2005-04-13 2011-02-02 オリンパスメディカルシステムズ株式会社 画像処理装置および当該画像処理装置における画像処理方法
JP4891637B2 (ja) * 2006-03-14 2012-03-07 オリンパスメディカルシステムズ株式会社 画像解析装置
JP5106928B2 (ja) * 2007-06-14 2012-12-26 オリンパス株式会社 画像処理装置および画像処理プログラム
JP5281826B2 (ja) * 2008-06-05 2013-09-04 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP5424584B2 (ja) 2008-06-17 2014-02-26 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法
JP5305850B2 (ja) * 2008-11-14 2013-10-02 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP2010184057A (ja) * 2009-02-13 2010-08-26 Fujifilm Corp 画像処理方法および装置

Also Published As

Publication number Publication date
EP2671503A4 (en) 2015-04-01
WO2013008526A1 (ja) 2013-01-17
EP2671503A1 (en) 2013-12-11
US8666135B2 (en) 2014-03-04
US20130208958A1 (en) 2013-08-15
CN103458765A (zh) 2013-12-18
JP5326064B2 (ja) 2013-10-30
JPWO2013008526A1 (ja) 2015-02-23

Similar Documents

Publication Publication Date Title
CN103458765B (zh) 图像处理装置
CN110600122B (zh) 一种消化道影像的处理方法、装置、以及医疗***
CN109544526B (zh) 一种慢性萎缩性胃炎图像识别***、装置和方法
CN102243762B (zh) 图像处理装置以及图像处理方法
US20220172828A1 (en) Endoscopic image display method, apparatus, computer device, and storage medium
CN110689025A (zh) 图像识别方法、装置、***及内窥镜图像识别方法、装置
EP3998579B1 (en) Medical image processing method, apparatus and device, medium and endoscope
JP2016531709A (ja) 疾患を診断するための画像解析技術
JP2024045234A (ja) 腸の病理学のための画像スコアリング
US20210407077A1 (en) Information processing device and model generation method
CN115345819A (zh) 一种胃癌图像识别***、装置及其应用
CN112533525B (zh) 内窥镜用处理器、信息处理装置、程序、信息处理方法以及学习模型的生成方法
US20120134556A1 (en) Image processing device, image processing method, and computer-readable recording device
CN113129293A (zh) 医学图像分类方法、装置、计算机设备和存储介质
CN114445406B (zh) 肠镜图像分析方法、装置和医学图像处理设备
CN108697310A (zh) 图像处理装置、图像处理方法和程序
CN112489062B (zh) 基于边界及邻域引导的医学图像分割方法及***
CN103561631B (zh) 图像处理装置和图像处理方法
CN112651400B (zh) 一种立体内窥镜辅助检测方法、***、装置及存储介质
CN115444355A (zh) 一种内窥镜病变尺寸信息确定方法、电子设备及存储介质
Lu [Retracted] Image Aided Recognition of Wireless Capsule Endoscope Based on the Neural Network
CN114998644A (zh) 肿瘤诊断***及其构建方法、终端设备及存储介质
CN114581402A (zh) 胶囊内窥镜质检方法、装置及存储介质
US9854958B1 (en) System and method for automatic processing of images from an autonomous endoscopic capsule
CN113593707A (zh) 胃早癌模型训练方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20151116

Address after: Tokyo, Japan, Japan

Applicant after: Olympus Corporation

Address before: Tokyo, Japan, Japan

Applicant before: Olympus Medical Systems Corp.

C14 Grant of patent or utility model
GR01 Patent grant
C53 Correction of patent of invention or patent application
CI03 Correction of invention patent

Correction item: Claims

Correct: Correct

False: Error

Number: 06

Page: full text

Volume: 32

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160210

Termination date: 20180515