CN102201114B - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN102201114B
CN102201114B CN201110070851.XA CN201110070851A CN102201114B CN 102201114 B CN102201114 B CN 102201114B CN 201110070851 A CN201110070851 A CN 201110070851A CN 102201114 B CN102201114 B CN 102201114B
Authority
CN
China
Prior art keywords
light image
image
correction
special
special light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110070851.XA
Other languages
English (en)
Other versions
CN102201114A (zh
Inventor
森田惠仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN102201114A publication Critical patent/CN102201114A/zh
Application granted granted Critical
Publication of CN102201114B publication Critical patent/CN102201114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)

Abstract

图像处理装置和图像处理方法。本发明的课题是通过对校正后的特殊光图像与普通光图像的G成分之间、B成分之间进行合成，与对特殊光图像进行了伪彩色处理后再进行合成的情况相比，提高血管等被摄体的视认性。图像处理装置包含：普通光图像获取部，其获取包含具有白色光波段中的信息的被摄体像的普通光图像；特殊光图像获取部，其获取包含具有特定波段中的信息的被摄体像的特殊光图像；校正部，其进行特殊光图像的校正处理；合成部，其对普通光图像与校正后的特殊光图像、即校正后特殊光图像进行合成处理。作为合成处理，合成部对普通光图像的G成分与校正后特殊光图像的G成分进行合成，并且对普通光图像的B成分与校正后特殊光图像的B成分进行合成。

Description

图像处理装置和图像处理方法
技术领域
本发明涉及图像处理装置和图像处理方法等。
背景技术
以往，广泛使用面序式内窥镜***，该面序式内窥镜***使用旋转滤镜依次向体腔内的组织照射R1、G1、B1这三种颜色的光，并使用由这些光的反射光图像生成的图像(普通光图像)来进行诊断。另外，还提出了如下的内窥镜***，即：依次向体腔内的组织照射特性与上述三种颜色的光不同的两种窄带光G2和B2，并使用由这些窄带光的反射光图像生成的窄带图像(将其称为特殊光图像)来进行诊断(例如，专利文献1)。
【专利文献1】日本特开2006-68113号公报
已知使用上述专利文献1那样的获取特殊光图像的内窥镜***来进行诊断，能够强调显示粘膜表层的毛细血管和粘膜微细图案，所以容易发现例如通过普通光观察很难以视觉确认的扁平上皮癌等病变部。
可是，这种特殊光图像将病变部显示为褐色，与普通光图像相比一般具有相当不同的色调。另外，由于照明光不足，所以形成非常暗的图像，因此很难只使用特殊光图像来进行诊断。
出于这样的原因，考虑了例如同时获取并显示普通光图像和特殊光图像，以提高医生的诊断精度。然而，当同时并列地显示这些图像时，医生总是需要一边关注多个图像一边进行诊断，增加了医生的负担。并且，也考虑到因一时只关注1个图像而有可能会看漏病变部。
发明内容
根据本发明的一些方式，能够提供如下所述的图像处理装置和图像处理方法等：取得与普通光波段对应的普通光图像和与特定波段对应的特殊光图像之后，进行校正特殊光图像并将校正后特殊光图像和普通光图像的G成分、B成分进行合成的处理，由此，与对特殊光图像进行了伪彩色处理后再进行合成的情况相比，提高了血管等被摄体的视认性。
并且，根据本发明的一些方式，能够提供如下所述的图像处理装置和图像处理方法等：降低使用普通光图像和特殊光图像进行诊断时医生的负担等，同时防止看漏病变部等情况。
本发明的一个方式涉及一种图像处理装置，其包含：普通光图像获取部，其获取包含具有白色光波段中的信息的被摄体像的普通光图像；特殊光图像获取部，其获取包含具有特定波段中的信息的被摄体像的特殊光图像；校正部，其进行所述特殊光图像的校正处理；以及合成部，其对所述普通光图像和由所述校正部所校正的所述特殊光图像、即校正后特殊光图像进行合成处理，所述合成部进行第一合成处理和第二合成处理中的至少一方来作为所述合成处理，所述第一合成处理是对所述普通光图像的G成分和所述校正后特殊光图像的G成分之间进行合成的处理，所述第二合成处理是对所述普通光图像的B成分和所述校正后特殊光图像的B成分之间进行合成的处理。
在本发明的一个方式中，获取普通光图像和特殊光图像。并且，校正特殊光图像并获取校正后特殊光图像，对校正后特殊光图像和普通光图像的G成分之间、B成分之间进行合成。因此，与对特殊光图像进行了伪彩色处理后再进行合成的情况相比，能够使血管等被摄体的视认性提高。
本发明的另一方式涉及一种图像处理装置，其包含：普通光图像获取部，其获取包含具有白色光波段中的信息的被摄体像的普通光图像；特殊光图像获取部，其获取包含具有特定波段中的信息的被摄体像的特殊光图像；校正部，其根据作为所述特殊光图像的亮度信息的特殊光亮度信息来进行所述特殊光图像的校正处理。
根据本发明的另一方式，获取普通光图像和特殊光图像，根据特殊光图像的亮度信息来进行特殊光图像的校正处理。因此，与未进行校正的情况相比，能够使特殊光图像变亮，使视认性提高。
本发明的另一方式提供一种图像处理方法，获取包含具有白色光波段中的信息的被摄体像的普通光图像；获取包含具有特定波段中的信息的被摄体像的特殊光图像；进行所述特殊光图像的校正处理；作为所述普通光图像和由所述校正部所校正的所述特殊光图像、即校正后特殊光图像的合成处理，进行第一合成处理和第二合成处理中的至少一方，所述第一合成处理是对所述普通光图像的G成分和所述校正后特殊光图像的G成分之间进行合成的处理，所述第二合成处理是对所述普通光图像的B成分和所述校正后特殊光图像的B成分之间进行合成的处理。
附图说明
图1(A)、图1(B)是现有方法的说明图。
图2是本实施方式的方法的说明图。
图3是本实施方式中的G成分之间的合成处理的说明图。
图4是本实施方式中的B成分之间的合成处理的说明图。
图5是本实施方式的***结构例。
图6是滤色器r、g、b的分光特性。
图7是滤色器g2、b2的分光特性。
图8是滤色器g2、b2的说明图。
图9是普通光图像获取部的结构例。
图10是特殊光图像获取部的结构例。
图11是输出图像生成部的结构例。
图12是合成部的结构例。
图13是合成部的另一结构例。
图14(A)～图14(D)是用于边缘方向判别的像素和方向的说明图。
图15是在软件处理中使用的计算机的结构例。
图16是在软件处理中使用的计算机的结构例。
图17是用于说明本实施方式的处理的流程图。
图18是用于说明合成处理的流程图。
图19是本实施方式中的G成分之间的合成处理的另一说明图。
图20是本实施方式中的B成分之间的合成处理的另一说明图。
图21是合成部的另一结构例。
图22是用于说明合成处理的另一流程图。
标号说明
100：光源部；110：白色光源；120：聚光镜头；200：***部；210：光导纤维；220：照明镜头；230：物镜；240：半反镜；250：摄像元件；260：摄像元件；300：图像处理部；310a：AD转换部；310b：AD转换部；320：普通光图像获取部；321：普通光图像生成部；322：普通光图像存储部；330：特殊光图像获取部；331：特殊光图像生成部；332：特殊光图像存储部；340：输出图像生成部；341：校正部；342：合成部；350：选择部；360：控制部；400：显示部；500：外部I/F部；600：计算机***；610：主体部；615：驱动器；616：端口；617：接口；618：接口；620：显示器；621：显示画面；630：键盘；640：鼠标；650：调制解调器；670：存储器；682：服务器；683：打印机；3421：边缘提取部；3422：合成比计算部；3423：合成处理部；3424：降噪部；3425：关注区域检测部。
具体实施方式
以下，对本实施方式进行说明。另外，以下说明的本实施方式并非不恰当地限定权利要求书所记载的本发明的内容。并且，本实施方式所说明的所有结构未必是本发明的必要构成要件。
1.本实施方式的方法
参照图1(A)、图1(B)和图2对本实施方式的方法进行说明。
图1(A)和图1(B)示出现有的方法。图1(A)是示出使用普通光观察的样子的图。虽然获得了总体上明亮且容易观察的图像，但难以视觉确认扁平上皮癌等一部分病变。并且，图1(B)是示出使用特殊光(窄带光)观察的样子的图。例如通过用褐色来显示扁平上皮癌等病变等，与普通光观察相比能够提高一部分病变的视认性，但形成整体变暗而不容易观看的图像。
为了解决这种问题，也考虑了如下的方法：通过操作设备的开关等一边切换普通光图像和特殊光图像一边进行显示，从而进行诊断和治疗。但在这种方法中，需要在移动内窥镜的***部的同时进行设备的操作，还要参照画面，给医生带来负担。另外，由于所显示的普通光图像和特殊光图像都具有缺点，所以需要根据状况来适当地选择显示图像，因此要求较高的熟练度。
并且，也考虑了并列地显示普通光图像和特殊光图像的方法，但在该情况下，必须同时参照两个画面，有可能看漏病变部等，医生的负担还是大。
因此，本申请人提出了图2这样的***。在本实施方式中，通过从特殊光图像中提取粘膜表层的毛细血管、粘膜微细图案，并根据所提取出的信息对普通光图像进行合成处理，由此提高例如扁平上皮癌等病变部的视认性。
由此，由于在具有普通光图像的优点即明亮且容易观察的图像上加上特殊光图像的优点即病变部的视认性较高，所以可防止看漏病变部并减轻医生的负担，从而能够进行顺利的诊断/治疗。
另外，在本实施方式中，当然可以通过操作设备的开关等来显示特殊光图像。由此，也可以适当地将图像分开来使用，使得在查找病变部时使用合成处理后的普通光图像，在病变部的详细确认时使用特殊光图像。
2.第一实施方式
首先，使用图3、图4对本实施方式的方法进行说明。
图3是用于说明G成分的合成的图。由于特殊光图像具有G2、B2这两种成分(这里，假定NB1图像作为特殊光图像)，所以提取其中的G2成分。并且，由于普通光图像具有R、G、B这三种成分，所以提取与G2成分对应的成分、即G成分。
并且，使用后述的式(3)，根据wliAveG和nbiAveG之比求出ratioG，其中wliAveG是普通光图像的G成分的亮度信息，nbiAveG是特殊光图像的G2成分的亮度信息。使用所求出的ratioG，根据后述的式(4)，进行特殊光图像的G2成分的亮度校正，得到校正后特殊光图像(G成分)。
使用合成比blendG，通过后述的式(24)对所得到的校正后特殊光图像与普通光图像的G成分进行合成，由此得到输出图像(G成分)。另外，本实施方式的处理目的是得到输出图像，以下说明的处理是用于求出合成比blendG的处理。
为了求出合成比blendG，对校正后特殊光图像应用拉普拉斯滤波器，得到lapImgG。并且，在lapImgG中，使用后述的式(8)～(15)来判别边缘方向，并通过应用取得边缘方向的像素值平均值的方向依赖滤波器来取得AveG图像。
另外，通过对AveG图像进行后述的式(16)～(20)的核化(Coring)处理，得到作为边缘信息图像的edgeG。并且，通过对edgeG乘以系数K1，得到合成比图像blendG，将所得到的blendG作为合成比，如上述那样进行普通光图像的G成分与校正后特殊光图像的合成处理，得到输出图像。
由于特殊光图像也具有B2成分，所以同样进行与普通光图像的B成分的合成处理。图4示出了处理的概要。
处理的内容与G成分的合成同样。根据普通光图像的B成分的亮度信息和特殊光图像的B2成分的亮度信息求出ratioB，进行特殊光图像的B2成分的亮度校正。并且，按照合成比blendB对普通光图像的B成分与校正后特殊光图像(B成分)进行合成而得到输出图像(B成分)。
合成比blendB是通过下述方式来求出的：对校正后特殊光图像应用了拉普拉斯滤波器和方向依赖滤波器后，进行核化处理而求出边缘信息图像edgeB，并对edgeB乘以系数K2。
另外，由于特殊光图像不存在与R通道对应的成分，所以输出图像的R成分直接使用普通光图像的R成分(后述的式(23))。
根据这样获得的输出图像的R成分、B成分、G成分生成彩色图像。由于所生成的图像是用自然的色调强调了血管等的图像，所以能够提高血管等构造和病变部的视认性，在诊断中能够减轻医生的负担等。
以下，对***结构和上述的处理进行详细说明。
参照图5对本实施方式的图像处理装置和包含该图像处理装置的内窥镜***进行说明。本实施方式的内窥镜***具备光源部100、***部200、与本实施方式的图像处理装置对应的图像处理部300、显示部400和外部I/F部500。
光源部100具备产生白色光的白色光源110和用于将白色光会聚到光导纤维210中的聚光镜头120。
***部200为了能够***到例如体腔内而被形成为细长且能够弯曲。***部200具备：光导纤维210，其用于传导光源部100所会聚的光；照明镜头220，其使通过光导纤维210传导到前端的光扩散以照射观察对象；物镜230，其会聚从观察对象返回的反射光；半反镜240，其将会聚后的反射光分离成两束；第一摄像元件250和第二摄像元件260，它们用于检测分离后的反射光。
第一摄像元件250是用于拍摄普通光图像的具有拜耳排列的滤色器的摄像元件。第一摄像元件250的滤色器R、G、B具有例如图6所示的分光特性。第二摄像元件260是用于拍摄特殊光图像的摄像元件，如图8所示，该摄像元件具有将分别透过两种窄带光G2和B2的两种滤色器g2和b2排列成交替格状的滤色器。第二摄像元件260的滤色器g2、b2例如如图7所示，b2具有让390～445nm的波段的光透过的透射率特性，g2具有让530～550nm的波段的光透过的透射率特性。
图像处理部300(图像处理装置)具备AD转换部310a、310b、普通光图像获取部320、特殊光图像获取部330、输出图像生成部340、选择部350以及控制部360。控制部360与普通光图像获取部320、特殊光图像获取部330、输出图像生成部340、选择部350双向连接，对它们进行控制。
外部I/F部500是用于用户对该图像处理装置(内窥镜***)进行输入等的接口，被构造成包含用于进行电源的接通/断开的电源开关、用于开始摄影操作的快门按钮、用于切换摄影模式和其他各种模式的模式切换按钮等。并且，该外部I/F部500将所输入的信息输出到控制部360。
AD转换部310a将从第一摄像元件250输出的模拟信号转换为数字信号并输出。AD转换部310b将从第二摄像元件260输出的模拟信号转换为数字信号并输出。
普通光图像获取部320例如根据AD转换部310a所输出的数字信号取得获取普通光图像。特殊光图像获取部330例如根据AD转换部310b所输出的数字信号获取特殊光图像。后面对普通光图像获取部320和特殊光图像获取部330的详细状况进行叙述。
普通光图像获取部320所获取的普通光图像和特殊光图像获取部330所获取的特殊光图像被输出到图像生成部340。特殊光图像获取部330所获取的特殊光彩色图像被输出到选择部350。输出图像生成部340根据这两张图像生成一张合成图像，并输出到选择部350。选择部350将显示图像输出到显示部400。后面对输出图像生成部340的详细状况进行叙述。
接着，使用图9对普通光图像获取部320进行说明。普通光图像获取部320具备普通光图像生成部321和普通光图像存储部322。AD转换部310a与普通光图像生成部321连接。普通光图像生成部321与普通光图像存储部322连接。普通光图像存储部322与输出图像生成部340连接。
普通光图像生成部321对由AD转换部310a转换后输入的数字信号进行图像处理，生成普通光图像。具体来讲，进行现有的插值处理和白平衡、颜色转换、灰度转换等处理，生成普通光图像。将普通光图像中的坐标(x，y)的R、G、B信号值分别记述为r(x，y)、g(x，y)、b(x，y)。普通光图像存储部322存储从普通光图像生成部321输出的普通光图像。普通光图像存储部322所存储的普通光图像被输出到输出图像生成部340。
接下来使用图10对特殊光图像获取部330进行说明。特殊光图像获取部330具备特殊光图像生成部331和特殊光图像存储部332。AD转换部310b与特殊光图像生成部331连接。特殊光图像生成部331与特殊光图像存储部332、选择部350连接。特殊光图像存储部332与输出图像生成部340连接。
特殊光图像生成部331对由AD转换部310b转换后输入的数字图像信号进行图像处理，生成特殊光图像。
这里，对特殊光图像生成部331生成特殊光图像的方法进行说明。如上面所述，输入到特殊光图像生成部的数字图像信号是图8所示的两种滤色器g2和b2排列成交替格子状的图像信号。对这样的图像信号首先进行插值处理，生成在所有像素中具有g2滤色器的信号值的G2图像和在所有像素中具有b2滤色器的信号值的B2图像。这里，将特殊光图像中的坐标(x，y)的GB信号值分别记述为g2(x，y)、b2(x，y)。通过插值处理所算出的像素值例如只要取周边4像素的平均值即可，例如，图8的g2(1，1)位置处的b2的像素值b2(1，1)和b2(1，2)位置处的g2的像素值g2(1，2)按照下式(1)、(2)算出。
b2(1，1)＝[b2(0，1)+b2(1，0)+b2(1，2)+b2(2，1)]/4……(1)
g2(1，2)＝[g2(0，2)+g2(1，1)+g2(1，3)+g2(2，2)]/4……(2)
这里，特殊光图像存储部332存储特殊光图像生成部331所输出的特殊光图像。存储在特殊光图像存储部332中的特殊光图像被输出到输出图像生成部340。
接着，对输出图像生成部340的具体结构进行说明。图11是说明第一实施方式中的输出图像生成部340的结构的一个例子的框图。输出图像生成部340具备校正部341和合成部342。
这里，来自普通光图像获取部320的图像信号被输出到校正部341和合成部342。并且，来自特殊光图像获取部330的图像信号被输出到校正部341。校正部341与合成部342连接。合成部342与选择部350连接。后面对合成部342的详细情况进行叙述。并且，控制部360双向地与校正部341和合成部342连接，并对它们进行控制。
校正部341根据控制部360的控制，基于特殊光图像内的像素的特征量与普通光图像内的像素的特征量之比进行特殊光图像的校正处理。这里，所谓校正处理，是将特殊光图像校正为与普通光图像相同程度的亮度。这里，作为特征量，使用各图像内的G信号。具体来讲，将特殊光图像内的G信号的平均值记述为nbiAveG，将普通光图像内的G信号的平均值记述为wliAveG。普通光图像的G信号相对于特殊光图像的G信号之比ratioG按照下式来计算。
ratioG＝K0×wliAveG/nbiAveG……(3)
K0是常数项。将所设定的信号比ratioG乘以特殊光图像的所有像素的G信号和B信号。这里，乘以了信号比的特殊光图像作为校正后特殊光图像，将坐标(x，y)中的B、G信号分别记述为g2’(x，y)、b2’(x，y)。
g2’(x，y)＝ratioG×g2(x，y)……(4)
b2’(x，y)＝ratioG×b2(x，y)……(5)
并且，信号比的计算方法不限于上述情况，也可以使用特殊光图像内的B信号的平均值和普通光图像内的B信号的平均值来计算信号比ratioB，并对特殊光图像的B信号乘以ratioB。
ratioB＝K0×wliAveB/nbiAveB……(6)
b2’(x，y)＝ratioB×b2(x，y)……(7)
并且，各信号的平均值可以分割成例如N×M像素的多个区域，并按照每个区域来计算平均值，从而计算每个区域的信号比。并且，区域分割的方法可以应用以纹理解析为代表的公知的区域分割算法。校正后特殊光图像被输出到合成部342。
合成部342根据控制部360的控制，在普通光图像上合成校正后的特殊光图像。对合成部342的具体结构进行说明。图12是第一实施方式中的合成部342的结构的一例的框图。如图12所示，合成部342包含边缘提取部3421、合成比计算部3422和合成图像生成部3423。
这里，普通光图像获取部320与边缘提取部3421和合成图像生成部3423连接。并且，校正部341与边缘提取部3421连接。边缘提取部3421与合成比计算部3422连接。合成比计算部3422与合成图像生成部3423连接。合成图像生成部3423与选择部350连接。并且，控制部360双向地与边缘提取部3421、合成比计算部3422和合成图像生成部3423连接，并对它们进行控制。
边缘提取部3421根据控制部360的控制，提取校正后的特殊光图像内的边缘信息和普通光图像内的边缘信息。这里，对特殊光图像的G信号值和特殊光图像的B信号值进行方向判别边缘提取。
这里，示出了对特殊光图像的G信号进行处理的例子，但也可以对特殊光图像的B信号进行同样的处理。具体来讲，首先，对特殊光图像的G信号应用拉普拉斯滤波器，生成边缘图像lapImgG。
接着，从8个方向对边缘图像lapImgG的所有像素判定边缘成分包含在哪个方向的边缘中。图14(A)～图14(D)是用于边缘方向判别的像素和方向。具体来讲，使用关注像素的周边5×5像素来计算评价值，并将表现出最小值的方向作为判别结果。下式(8)～(15)表示关注像素是坐标(2，2)的情况下的评价式。
e0G(2，2)＝|g2’(2，2)-g2’(2，3)|+|g2’(2，2)-g2’(2，4)|
+|g2’(2，2)-g2’(2，1)|+|g2’(2，2)-g2’(2，0)|….(8)
e1G(2，2)＝|g2’(2，2)-g2’(2，3)|+|g2’(2，2)-g2’(1，4)|
+|g2’(2，2)-g2’(2，1)|+|g2’(2，2)-g2’(3，0)|….(9)
e2G(2，2)＝|g2’(2，2)-g2’(1，3)|+|g2’(2，2)-g2’(0，4)|
+|g2’(2，2)-g2’(3，1)|+|g2’(2，2)-g2’(4，0)|….(10)
e3G(2，2)＝|g2’(2，2)-g2’(1，2)|+|g2’(2，2)-g2’(0，3)|
+|g2’(2，2)-g2’(3，2)|+|g2’(2，2)-g2’(4，1)|….(11)
e4G(2，2)＝|g2’(2，2)-g2’(1，2)|+|g2’(2，2)-g2’(0，2)|
+|g2’(2，2)-g2’(3，2)|+|g2’(2，2)-g2’(4，2)|….(12)
e5G(2，2)＝|g2’(2，2)-g2’(1，2)|+|g2’(2，2)-g2’(0，1)|
+|g2’(2，2)-g2’(3，2)|+|g2’(2，2)-g2’(4，3)|….(13)
e6G(2，2)＝|g2’(2，2)-g2’(1，1)|+|g2’(2，2)-g2’(0，0)|
+|g2’(2，2)-g2’(3，3)|+|g2’(2，2)-g2’(4，4)|….(14)
e7G(2，2)＝|g2’(2，2)-g2’(2，1)|+|g2’(2，2)-g2’(1，0)|
+|g2’(2，2)-g2’(2，3)|+|g2’(2，2)-g2’(3，4)|….(15)
接着，使用所判别的结果，对使用拉普拉斯滤波器生成的边缘图像lapImgG应用沿着边缘方向的滤波器。由此，在保持了边缘的状态下降低边缘图像的噪声。具体来讲，针对边缘图像，使用式(8)～式(15)来计算评价值最小的方向的平均值计算中使用的5个像素的平均值AveG(x，y)，作为方向依赖滤波器的输出值。
接着，通过对使用方向依赖滤波器所计算出的平均值AveG(x，y)进行核化处理，除去因边缘图像的噪声和方向判别的误差所导致的伪影(artifact)。这里，对核化量进行适当的控制，使得核化量在平坦部较大、在边缘部较小。
具体来讲，比较利用上式(8)、(10)、(12)、(14)计算出的e0G(x，y)、e2G(x，y)、e4G(x，y)、e6G(x，y)，将其最大值evaMaxG(x，y)用作边缘量指标。各像素的核化量evaCoreG(x，y)使用下式(16)～(18)，根据该边缘量指标evaMaxG(x，y)和作为预先从外部提供的参数的最大核化量coreMaxG、最小核化量coreMinG、倾斜度slopeG、边缘量指标的阈值TheG来计算。
在evaMaxG小于TheG的情况下
evaCoreG(x，y)＝coreMaxG……(16)
在evaMaxG大于等于TheG的情况下
evaCoreG(x，y)＝coreMaxG-((evaMaxG(x，y)-TheG)×slopeG)……(17)
在evaCoreG小于coreMinG的情况下
evaCoreG(x，y)＝coreMinG……(18)
接着，使用所计算出的核化量evaCoreG(x，y)，并使用下式(19)、(20)，对方向依赖滤波处理的输出值AveG(x，y)进行核化处理，从而计算边缘信息edgeG(x，y)。
在AveG(x，y)大于等于0的情况下
edgeG(x，y)＝AveG(x，y)-evaCoreG(x，y)……(19)
这里，要是edgeG(x，y)小于0，则将0代入edgeG(x，y)。
在AveG(x，y)小于0的情况下
edgeG(x，y)＝AveG(x，y)+evaCoreG(x，y)……(20)
这里，要是edgeG(x，y)大于0，则将0代入edgeG(x，y)。
这里，作为边缘信息，使用了方向判别滤波器，但并不限于此，也可以使用公知的边缘提取方法。所生成的特殊光图像的G信号值的边缘图像edgeG和特殊光图像的B信号值的边缘图像edgeB被输出到合成比计算部3422。
合成比计算部3422根据控制部360的控制，根据边缘提取部3421所提取出的边缘信息来计算合成比。具体来讲，使用下式(21)、(22)来计算合成比blendG、blendB。
blendG(x，y)＝K1×edgeG(x，y)……(21)
blendB(x，y)＝K2×edgeB(x，y)……(22)
K1、K2是常数项。这里，在合成比blendG(x，y)、blendB(x，y)大于等于1的情况下，代入1，在小于等于0的情况下代入0。并且，合成比的计算方法不限于上述情况，也可以将校正后的特殊光图像进行区域分割，按照每个区域求出边缘信息的平均值edgeAveG、edgeAveB，并使用边缘信息的平均值来计算合成比。所计算出的合成比blendG、blendB被输出到合成图像生成部3423。
合成图像生成部3423根据控制部360的控制，按照合成比计算部3422所计算出的合成比，对特殊光图像和普通光图像进行合成。具体来讲，将合成图像的RGB信号分别记述为R(x，y)、G(x，y)、B(x，y)，通过下式来计算。
R(x，y)＝r(x，y)……(23)
G(x，y)＝(1-blendG(x，y))×g(x，y)+blendG(x，y)×g2’(x，y)……(24)
B(x，y)＝(1-blendB(x，y))×b(x，y)+blendB(x，y)×b2’(x，y)……(25)
合成图像被输出到选择部350。
选择部350根据控制部360的控制进行显示图像的选择。这里，按照通过外部I/F部500选择的摄影模式，将特殊光彩色图像和合成图像中的任意一方设定为显示图像。所设定的显示图像被输出到显示部400。
另外，合成部342的结构不限于上述的结构。例如，如图13所示，合成部342也可以包含关注区域检测部3425、合成比计算部3422和合成图像生成部3423。
关注区域检测部3425检测要关注的区域。所谓要关注的区域不限于血管等边缘信息，例如也可以是病变部等。并且，合成比计算部3422在检测出关注区域的地方，将校正后特殊光图像的合成比率设定得较高，在没有检测到关注区域的地方，将校正后特殊光图像的合成比率设定得较低。
例如，在NBI观察中，将G2成分、B2成分输入到R、G、B中的预定通道，生成伪彩色图像，由此通过褐色来显示扁平上皮癌等特定的病变。因此，可以将褐色区域(例如，色相H在5～35的范围内的区域)识别为病变部，作为关注区域来检测。
其中，关于合成的方法，使用前述的式(23)～(25)。即，对普通光图像的G成分与特殊光图像的G2成分进行合成，对普通光图像的B成分与特殊光图像的B2成分进行合成，需要注意的是：不需要对普通光图像与伪彩色处理后(具有R、G、B这三种成分)的特殊光图像进行合成。
并且，也可以导入信赖度这样的尺度，信赖度越高，将校正后特殊光图像的合成比率设定得越高，其中，所述信赖度表示是关注区域的可信度。作为信赖度，例如可使用褐色区域(病变部)的面积等。
并且，在本实施方式中，构成图像处理部300的各部由硬件构成，但并不限于此。例如，也可以是CPU对使用胶囊内窥镜等摄像装置预先获取的图像进行各部的处理的结构，通过CPU执行程序而实现为软件。或者，也可以是各部所进行的处理的一部分由软件构成。
在摄像部与AD转换部分体构成，除了AD转换部以外的图像处理部300的各部所进行的处理实现为软件的情况下，可以将工作站或个人电脑等公知的计算机***用作图像处理装置。并且，预先准备用于实现图像处理部300的各部所进行的处理的程序(图像处理程序)，通过计算机***的CPU执行该图像处理程序来实现。
图15是示出本变形例中的计算机***600的结构的***结构图，图16是示出该计算机***600中的主体部610的结构的框图。如图15所示，计算机***600具备：主体部610；显示器620，其用于根据来自主体部610的指示，在显示画面621上显示图像等信息；键盘630，其用于向该计算机***600输入各种信息；鼠标640，其用于指定显示器620的显示画面621上的任意位置。
并且，如图16所示，该计算机***600中的主体部610具备：CPU 611；RAM 612；ROM613；硬盘驱动器(HDD)614；接纳CD-ROM 660的CD-ROM驱动器615；能够自由装卸地连接USB存储器670的USB端口616；连接显示器620、键盘630和鼠标640的I/O接口617；用于连接到局域网或广域网(LAN/WAN)N1的LAN接口618。
另外，该计算机***600上连接有用于连接到因特网等公众线路N3的调制解调器650，同时经由LAN接口618和局域网或广域网N1连接有作为其他计算机***的个人计算机(PC)681、服务器682、打印机683等。
并且，该计算机***600通过读取并执行记录在预定的记录介质中的图像处理程序(例如，用于实现后面参照图17～图18说明的处理步骤的图像处理程序)来实现图像处理装置。这里，所谓预定的记录介质，除了CD-ROM 660和USB存储器670以外，还包括：包括MO盘、DVD盘、软盘(FD)、光磁盘、IC卡等在内的“可移动物理介质”；设置在计算机***600内外的HDD 614、RAM 612、ROM 613等“固定物理介质”；像经由调制解调器650连接的公众线路N3和连接有其他计算机***(PC)681或服务器682的局域网或广域网N1等那样，在发送程序时短期存储程序的“通信介质”等记录可由计算机***600读取的图像处理程序的所有记录介质。
即，图像处理程序以计算机能够读取的方式记录在“可移动物理介质”、“固定物理介质”、“通信介质”等记录介质中，计算机***600通过从这种记录介质中读取并执行图像处理程序来实现图像处理装置。另外，图像处理程序不限于由计算机***600来执行，在其他的计算机***(PC)681或服务器682执行图像处理程序的情况下或者由它们协作执行图像处理程序的情况下，也能够同样地应用本发明。
作为各部所进行的处理的一部分由软件构成的情况的一例，使用图17的流程图，说明针对预先获取的普通光图像和特殊光图像，通过软件来实现图11的输出图像生成部340的处理时的处理步骤。
在开始该处理时，首先，对时序的普通光图像和特殊光图像输入摄影模式等头信息(S11)。接着，将特殊光图像和普通光图像输入到预先确保的图像缓存(S12)。接着，对所输入的普通光图像进行已有的插值处理和白平衡、颜色转换、灰度转换等处理，生成普通光图像(S13)。
另外，针对所输入的特殊光图像，按照式(1)～(2)所述那样，生成特殊光图像(S14)。并且，按照图(3)～(5)所述那样，根据特殊光图像内的像素的特征量与普通光图像内的像素的特征量之比来进行特殊光图像的校正处理(S15)。然后，如后面参照图18详细说明的那样，在普通光图像上合成校正后特殊光图像(S16)。接着，输出合成处理后的图像信号(S17)。并且，判定在时序中最终图像的处理是否已结束(S18)，在判定为没有结束的情况下，返回S12，对接下来的图像信号重复进行上述这样的处理。另一方面，在判定为所有图像信号的处理已结束的情况下，结束该处理。
接着，参照图18对图17的S16中的合成处理的详细情况进行说明。当开始该处理时，首先，如上面参照式(8)～(20)说明的那样，提取出校正后特殊光图像内的边缘信息(S21)。接着，如上面参照式(21)～(22)说明的那样，根据所提取出的边缘信息来计算合成比(S22)。接着，如上面参照式(23)～(25)说明的那样，生成在普通光图像的B、G信号上合成了校正后特殊光图像的B、G信号的合成图像(S23)。
通过进行这种处理，能够用单一的图像来显示普通光图像和特殊光图像，所以能够提供既减少医生的负担又能防止看漏病变部的图像处理装置(内窥镜***)等。
在以上的本实施方式中，图5所示的普通光图像获取部320获取包含具有白色光波段中的信息的被摄体像的图像，特殊光图像获取部330获取包含具有特定波段中的信息的被摄体像的图像。并且，图11所示的校正部341进行特殊光图像的校正处理，合成部342对普通光图像进行校正后特殊光图像的合成处理。所谓合成处理，是对普通光图像的G成分与校正后特殊光图像的G成分之间进行合成的第一合成处理(图3中的C1)、和对普通光图像的B成分与校正后特殊光图像的B成分之间进行合成的第二合成处理(图4中的D1)中的至少一方。
这里，所谓成分，是由AD转换部从模拟转换为数字时的输出、即RGB通道的数据。
由此，通过合成校正部341所校正的校正后特殊光图像，与普通光图像相比，能够获得粘膜表层的毛细血管和粘膜微细图案的视认性高的图像。并且，如图3的C1、图4的D1所示，由于对G成分之间、B成分之间进行合成，所以能够通过自然的色调使血管等的视认性提高。因此，例如在通过内窥镜且使用普通光和特殊光对生物体内进行观察的情况下，用特殊光观察来确切地捕捉在普通光的情况下难以视觉确认的病变部，从而与不使用本实施方式的方法的情况相比，能够在视认性高的状态下显示包含该病变部的图像，能够减轻医生的负担，并防止看漏病变部。
并且，在本实施方式的说明中，G成分之间的合成和B成分之间的合成都被执行，但并不限于此，也可以只进行G成分之间的合成而不进行B成分之间的合成。并且，也可以只进行B成分之间的合成而不进行G成分之间的合成。
并且，如图12所示，合成部342也可以包含边缘提取部3421和合成比计算部3422。边缘提取部3421提取校正后特殊光图像内的边缘信息和普通光图像的边缘信息中的至少一方，合成比计算部3422根据所提取出的边缘信息来计算合成比。并且，合成部342也可以根据所计算出的合成比来进行合成处理。
具体来讲，所谓边缘信息是图3中的edgeG，所谓合成比，如上述式(21)那样，是通过对edgeG乘以系数K1而求出的blendG。如图3所示，edgeG是通过对校正后特殊光图像应用拉普拉斯滤波器、方向依赖滤波器后进行核化处理而求得的。
这里，边缘信息是表示特殊光图像内的粘膜表层的毛细血管和粘膜微细图案的指标。
由此，对于特殊光图像内包含有粘膜表层的毛细血管和粘膜微细图案的像素，使病变部的视认性提高，对于未包含粘膜表层的毛细血管和粘膜微细图案的像素，显示以往那样的普通光图像，由此，与以往的普通光相比，能够使病变部的视认性提高，能够减轻医生的负担，并且防止看漏病变部的情况。
并且，在校正后特殊光图像内边缘多的情况下，合成比计算部3422可以将校正后特殊光图像的合成比率设定得比边缘少的情况下的校正后特殊光图像的合成比率高。具体来讲，edgeG的值越大，校正后特殊光图像的合成比率越高。这从上述的式(21)和(24)中也可以知道。这是因为：如式(24)所示，校正后特殊光图像的合成比率是blendG，如式(21)所示，合成比blendG由edgeG决定。
由此，对于粘膜表层的毛细血管和粘膜微细图案多的部分，通过增大特殊光图像的比率，使病变部的视认性提高。并且，对于粘膜表层的毛细血管和粘膜微细图案少的部分，通过提高明亮且噪声少的普通光图像的比率，能够使视认性提高，能够减轻医生的负担，防止看漏病变部的情况。
并且，图12的边缘提取部3421通过对校正后特殊光图像至少应用包括方向依赖滤波器在内的边缘检测滤波器，提取校正后特殊光图像内的边缘信息。具体来讲，例如通过对校正后特殊光图像应用拉普拉斯滤波器和方向依赖滤波器，提取校正后特殊光图像的边缘信息。另外，具体来讲，对应于图3中的求取lapImgG和AveG的处理。
这里，所谓方向依赖滤波器，也可以是对沿着边缘方向的像素的像素值进行平滑化的滤波器。具体来讲，关于图14(A)～图14(D)所示的8个方向，根据上述的式(8)～(15)来判别边缘方向。
由此，通过应用包括方向依赖滤波器在内的边缘检测滤波器，能够提取边缘信息。具体来讲，例如可以在应用拉普拉斯滤波器获取了边缘图像之后，通过方向依赖滤波器来进行降噪处理。因此，作为校正后特殊光图像的边缘信息，能够获取具有清晰边缘的图像。
并且，边缘提取部3421也可以通过对普通光图像应用拉普拉斯滤波器和方向依赖滤波器，来提取普通光图像的边缘信息。具体来讲，对应于后述的图19中的求取lapImgY和AveY的处理。
由此，可以在应用拉普拉斯滤波器获取了边缘图像之后，通过方向依赖滤波器来进行降噪处理。因此，作为普通光图像的边缘信息，能够获取具有清晰边缘的图像。
并且，如图13所示，合成部342也可以包含关注区域检测部3425和合成比计算部3422。关注区域检测部3425检测校正后特殊光图像内的要关注的区域、即关注区域，合成比计算部3422根据所检测的关注区域信息计算合成比。并且，合成部342也可以根据所计算出的合成比来进行合成处理。关注区域的检测具体来讲，例如可通过下述过程来实现：根据特殊光图像的G2、B2信号来生成伪彩色图像，并调查色相H的值。
由此，对于特殊光图像内的关注区域(例如病变部等)，使病变部的视认性提高，对于关注区域以外的像素，显示以往那样的普通光图像，由此，与以往的普通光相比，能够提高病变部的视认性。
并且，图13的合成比计算部3422在检测出关注区域的情况下，与未检测出关注区域的情况相比，可以将校正后特殊光图像的合成比率设定得较高。
由此，关于关注区域，通过增大特殊光图像的比率，能够使例如病变部等的视认性提高。并且，关于关注区域以外的区域，由于明亮且噪声少的普通光图像的比率提高，所以视认性提高。
并且，合成部342也可以包含将校正后特殊光图像分割成多个区域的分割部。并且，合成比计算部3422也可以按照所分割的各区域来计算合成比。
由此，不仅能够以像素为单位，也能够以包含多个像素的区域为单位来进行处理。因此，能够削减计算量，可以实现处理的高速化。并且，与不进行区域分割的情况相比，不会使合成比按照每个像素极端地变化，即使在具有粘膜表层的毛细血管和粘膜微细图案的像素与不具有粘膜表层的毛细血管和粘膜微细图案的像素相邻的情况下，也不会产生伪影。因此，能够使病变部的视认性提高，能够减轻医生的负担，防止看漏病变部的情况。
并且，所谓特定的波段，是比白色光的波段窄的波段。具体来讲，普通光图像和特殊光图像例如是生物体内图像，所谓特定的波段，例如是被血液中的血红蛋白吸收的波长的波段。更具体来讲，如图7所示，是390nm～445nm或530nm～550nm的波段。
由此，能够观察生物体的表层部和位于深部的血管的构造。并且，通过将所获得的信号输入到特定的通道(R、G、B)，能够用褐色等显示扁平上皮癌等在普通光下很难以视觉确认的病变等，能够防止看漏病变部的情况。另外，所谓390nm～445nm或530nm～550nm是根据被血红蛋白吸收这样的特性和分别到达生物体的表层部或深部这样的特性获得的数字。
并且，如图5和图11所示，本实施方式也可以是包含普通光图像获取部320、特殊光图像获取部330、校正部341的图像处理装置。普通光图像获取部320获取包含具有白色光波段中的信息的被摄体像的图像，特殊光图像获取部330获取包含具有特定波段中的信息的被摄体像的图像。校正部341根据作为特殊光图像的亮度信息的特殊光亮度信息，进行特殊光图像的校正处理。这里，所谓特殊光亮度信息，对应于图3中的nbiAveG。
由此，能够使用特殊光亮度信息来进行特殊光图像的亮度校正。由于一般情况下特殊光图像是非常暗的图像，所以通过进行亮度校正能够提高图像的视认性。
并且，图11的校正部341除了特殊光亮度信息以外，还可以使用作为普通光图像的亮度信息的普通光亮度信息来进行特殊光图像的校正处理。这里，所谓普通光亮度信息对应于图3中的wliAveG。
由此，可以在对普通光图像的亮度和特殊光图像的亮度进行比较的基础上进行亮度校正。
并且，校正部341也可以进行使特殊光亮度信息的亮度与普通光亮度信息的亮度相同的处理来作为校正处理。
由此，能够将非常暗的特殊光图像的亮度提高到普通光图像的亮度的水平，能够使视认性提高。
并且，校正部341也可以根据特殊光亮度信息和从亮度检测传感器获得的亮度信息来进行特殊光图像的校正处理。
这里，所谓亮度检测传感器(调光传感器)，具体来讲，例如由光电二极管等实现，通过光电效应和光传导等进行动作，用于检测亮度。
由此，能够取得亮度信息作为传感器信息，能够根据传感器信息来进行亮度校正。
并且，校正部341也可以根据特殊光图像内的像素值和普通光图像内的像素值来进行特殊光图像的校正处理。
由此，能够进行基于像素值的校正处理。这里，所谓像素值，例如在按每个像素对R、G、B各分配8比特的情况下，是R、G、B的各成分可取的0～225的值。
并且，校正部341也可以根据特殊光图像内的像素值来计算特殊光亮度信息，并且根据普通光图像内的像素值来计算普通光亮度信息。并且，也可以根据普通光亮度信息和特殊光亮度信息来进行特殊光图像的校正处理。如上所述，特殊光亮度信息对应图3的nbiAveG，普通光亮度信息对应图3的wliAveG。
由此，能够根据像素值来计算亮度信息。并且，可以在对普通光图像的亮度和特殊光图像的亮度进行比较的基础上进行亮度校正。
并且，校正部341进行如下的处理：计算对应于特殊光亮度信息与普通光亮度信息之比的值作为校正系数，并将校正系数与特殊光图像内的像素值相乘。具体来讲，例如考虑进行上述的式(3)、(4)这样的处理。
由此，作为具体的校正系数，可使用特殊光亮度信息与普通光亮度信息的比值或者与该比值对应的值来进行校正处理。
并且，普通光图像包含第一～第N像素值的成分(例如，R、G、B这三种成分)，特殊光图像包含第一～第M像素值的成分(例如，G2、B2这两种成分)。并且，校正部341根据第一～第M成分中的至少一个成分来计算特殊光亮度信息。另外，根据普通光图像的与用于特殊光亮度信息计算的成分对应的对应成分，来计算普通光亮度信息。所谓对应成分，具体来讲，例如可以考虑G成分、B成分中的至少一方。具体来讲，如图3所示，在特殊光亮度信息的计算中使用G2信号的情况下，对应成分为G成分。
由此，能够根据特殊光图像的像素值的成分中的至少1个来计算特殊光亮度信息。并且，能够根据对应的普通光图像的像素值的成分来计算普通光亮度信息。所谓对应成分，在特殊光亮度信息的计算中使用G2成分的情况下，是普通光图像的G成分，在特殊光亮度信息的计算中使用B2成分的情况下，是普通光图像的B成分。
并且，校正部341根据特殊光图像的G成分(G2成分)来计算特殊光亮度信息，根据普通光图像的G成分来计算普通光亮度信息。并且，根据特殊光亮度信息和普通光亮度信息来进行校正处理。具体来讲，可以进行如下的处理：计算对应于特殊光亮度信息与普通光亮度信息之比的值作为校正系数，并对特殊光图像的G成分和B成分乘以所计算出的校正系数。更具体来讲，例如可以进行与上述的式(3)～(5)对应的处理。
由此，能够使用人眼的对比视感度最高的G信号，使特殊光图像的亮度变为与普通光图像的亮度相同。因此，能够使病变部的视认性提高，能够减轻医生的负担，防止看漏病变部的情况。
并且，校正部341根据特殊光图像的G成分(G2成分)来计算第一特殊光亮度信息，根据普通光图像的G成分来计算第一普通光亮度信息。与此同时，根据特殊光图像的B成分(B2成分)来计算第二特殊光亮度信息，根据普通光图像的B成分来计算第二普通光亮度信息。并且，可以根据第一特殊光亮度信息、第一普通光亮度信息、第二特殊光亮度信息和第二普通光亮度信息来进行校正处理。
具体来讲，进行如下的处理：计算对应于第一特殊光亮度信息与第一普通光亮度信息之比的值作为第一校正系数，并对特殊光图像的G成分乘以所计算出的第一校正系数。并且，也可以进行如下的处理：计算对应于第二特殊光亮度信息与第二普通光亮度信息之比的值作为第二校正系数，并对特殊光图像的B成分乘以所计算出的第二校正系数。更具体来讲，可以进行与上述的式(3)、(4)、(6)、(7)对应的处理。
由此，可以使用G信号和B信号独立地进行最佳的亮度校正。因此，能够使以往的病变部的视认性提高，能够降低医生的负担，防止看漏病变部的情况。
并且，也可以包含合成部342，该合成部342进行如下的处理：对普通光图像的G成分与校正后特殊光图像的G成分之间进行合成，并且对普通光图像的B成分与校正后特殊光图像的B成分之间进行合成。这对应于图3中的C1和图4中的D1。
由此，能够对进行了亮度校正的特殊光图像与普通光图像进行合成。由于对本来非常暗的特殊光图像进行了亮度校正，所以即使进行合成处理也不会使普通光图像变暗，能够提高病变部的视认性。
并且，普通光图像获取部320可以根据来自白色光波段的光源的光来获取普通光图像。并且，特殊光图像获取部330可以根据来自特定波段光源的光来获取特殊光图像。该情况下的结构与图5的结构不同，代替白色光源110而在光源部100中设置白色光源和特殊光光源这两者。
由此，能够通过光源的构成来获取普通光图像和特殊光图像。由于不需要应用滤波器等，所以能够简化***部200等的结构的一部分。
并且，普通光图像获取部320通过对来自光源的光应用使白色光波段的光透过的滤镜，可以获取普通光图像。并且，特殊光图像获取部330通过对来自光源的光应用使特定波段的光透过的滤镜，可以获取特殊光图像。具体来讲，可以考虑图5所示的结构。摄像元件250由图6所示的滤色器构成，摄像元件260由图7所示的滤色器构成。
由此，能够通过滤镜的结构来获取普通光图像和特殊光图像。因此，由于作为光源，使用覆盖白色光波段和特殊光波段这两个波段的单一光源就够了，所以能够简化光源部的结构。
并且，本实施方式也可以是如下的图像处理方法：获取包含具有白色光波段中的信息的被摄体像的普通光图像，获取包含具有特定波段中的信息的被摄体像的特殊光图像，进行特殊光图像的校正处理，作为普通光图像和校正后特殊光图像的合成处理，进行对普通光图像的G成分和校正后特殊光图像的G成分之间进行合成的第一合成处理、和对普通光图像的B成分和校正后特殊光图像的B成分之间进行合成的第二合成处理中的至少一方。
由此，能够实现如下的图像处理方法：通过合成校正部341所校正的校正后特殊光图像，与普通光图像相比，能够获得粘膜表层的毛细血管和粘膜微细图案的视认性高的图像，并且，由于对G成分之间、B成分之间进行了合成，所以能够通过自然的色调使血管等的视认性提高。
并且，本实施方式也可以是使计算机发挥普通图像获取部、特殊光图像获取部330、校正部341、合成部342的功能的程序。普通光图像获取部320获取包含具有白色光波段中的信息的被摄体像的图像，特殊光图像获取部330获取包含具有特定波段中的信息的被摄体像的图像。校正部341进行特殊光图像的校正处理，合成部342进行普通光图像和特殊光图像的G成分之间、B成分之间的合成处理中的至少一方。
由此，例如能够如胶囊型内窥镜等那样，首先蓄积图像数据，然后使用PC等计算机***对所蓄积的图像数据进行软件处理。
并且，本实施方式也可以是使计算机发挥普通图像获取部、特殊光图像获取部330、校正部341的功能的程序。普通光图像获取部320获取包含具有白色光波段中的信息的被摄体像的图像，特殊光图像获取部330获取包含具有特定波段中的信息的被摄体像的图像。校正部341根据特殊光亮度信息进行特殊光图像的校正处理。
由此，例如能够如胶囊型内窥镜等那样，首先蓄积图像数据，然后使用PC等计算机***对所蓄积的图像数据进行软件处理。
并且，本实施方式也可以应用于记录有程序代码的计算机程序产品，该程序代码用于实现本实施方式的各部(普通光图像获取部、特殊光图像获取部、校正部、合成部)。
这里，程序代码实现普通光图像获取部、特殊光图像获取部、校正部和合成部，所述普通光图像获取部获取包含具有白色光波段中的信息的被摄体像的普通光图像，所述特殊光图像获取部获取包含具有特定波段中的信息的被摄体像的特殊光图像，所述校正部进行所述特殊光图像的校正处理，作为所述普通光图像与所述校正部所校正的所述特殊光图像、即校正后特殊光图像的合成处理，所述合成部进行对所述普通光图像的G成分与所述校正后特殊光图像的G成分之间进行合成并且对所述普通光图像的B成分与所述校正后特殊光图像的B成分之间进行合成的处理。
并且，计算机程序产品例如是记录有程序代码的信息存储介质(DVD等光盘介质、硬盘介质、存储器介质等)、记录有程序代码的计算机、记录有程序代码的互联网***(例如，包含服务器和客户终端的***)等内建有程序代码的信息存储介质、装置、设备或***等。在该情况下，本实施方式的各构成要素和各处理过程通过安装各模块来实现，由所安装的这些模块构成的程序代码被记录在计算机程序产品中。
3.第二实施方式
首先，使用图19、图20对本实施方式的方法进行说明。
图19是用于说明G成分的合成的图。由于特殊光图像具有G2、B2这两种成分(这里，假定NBI图像作为特殊光图像)，所以提取其中的G2成分。并且，由于普通光图像具有R、G、B这三种成分，所以提取与G2成分对应的成分、即G成分。
并且，使用前述的式(3)，根据作为普通光图像的G成分的亮度信息的wliAveG和作为特殊光图像的G2成分的亮度信息的nbiAveG之比求出ratioG。使用所求出的ratioG，根据前述的式(4)，进行特殊光图像的G2成分的亮度校正，取到校正后特殊光图像(G成分)。
使用作为普通光图像的边缘信息图像的edgeY对所取到的校正后特殊光图像进行降噪处理，由此取到降噪图像wliNrImg。并且，使用作为特殊光图像的边缘信息图像的edgeNbi对校正后特殊光图像进行降噪处理，由此取到降噪图像nbiNrImg。
并且，通过使用后述的式(30)对wliNrImg和nbiNrImg进行合成，得到降噪特殊光图像(G成分)。
通过按合成比blendG对降噪特殊光图像(G成分)和普通光图像(G成分)进行合成，能够取到输出图像(G成分)。另外，本实施方式的处理目的是获取输出图像，以下说明的处理是用于求出前述的edgeNbi、edgeY和合成比blendG的处理。
为了求出edgeNbi，需要首先求出作为特殊光图像的G成分的边缘信息图像的edgeG和作为特殊光图像的B成分的边缘信息图像的edgeB。该处理与第一实施方式同样，在应用了拉普拉斯滤波器、方向依赖滤波器之后进行核化处理即可。可以使用后述的式(27)或式(28)，根据所得到的edgeG和edgeB求出edgeNbi。并且，可以通过对edgeG乘以系数K1而得到合成比图像blendG。
并且，为了求出edgeY，使用后述的式(26)，根据普通光图像的R、G、B这三种成分来得到亮度图像。与特殊光的情况同样，通过对亮度图像应用了拉普拉斯滤波器、方向依赖滤波器之后进行核化处理，能够求出边缘信息图像edgeY。
B成分也同样，图20示出了处理的概要。根据特殊光图像的B2成分取得校正后特殊光图像(B成分)之后，使用edgeNbi、edgeY分别对校正后特殊光图像进行降噪处理，得到降噪特殊光图像(B成分)。通过按照合成比blendB对所得到的降噪特殊光图像(B成分)和普通光图像(B成分)进行合成，能够求出输出图像(B成分)。
关于R成分，与第一实施方式同样，只要直接使用普通光图像的R成分即可。
根据这样获得的输出图像的R成分、B成分、G成分来生成彩色图像。所生成的图像成为血管等被自然的色调强调并且噪声被降低的图像，在诊断中能够减轻医生的负担等。
以下，对***结构和上述的处理进行详细的说明。另外，关于与第一实施方式同样的结构和处理，省略详细的说明。
本实施方式的结构除了合成部342以外，与第一实施方式相同。
合成部342根据控制部360的控制，在普通光图像上合成校正后特殊光图像。对合成部342的具体结构进行说明。图21是说明第二实施方式中的合成部342的结构的一例的框图。如图21所示，第一实施方式的合成部342还包含降噪部3424。
这里，校正部341与边缘提取部3421和降噪部3424连接。边缘提取部3421与合成比计算部3422和降噪部3424连接。降噪部3424与合成图像生成部3423连接。并且，控制部360双向地与边缘提取部3421、合成比计算部3422、合成图像生成部3423、降噪部3424连接，并对它们进行控制。
边缘提取部3421提取校正后的特殊光图像内的边缘信息和普通光图像内的边缘信息。这里，对普通光图像的亮度信息值Y、特殊光图像的G信号值和特殊光图像的B信号值进行方向判别边缘提取。具体来讲，首先，对于普通光图像，使用下式(26)，根据RGB信号值计算亮度信号值Y。
Y(x，y)＝0.213×r(x，y)+0.715×g(x，y)+0.072×b(x，y)……(26)
此后，对普通光图像的亮度信号值Y也进行第一实施方式中说明的对特殊光图像的G、B信号进行的处理。所生成的普通光图像的亮度信号值Y的边缘图像edgeY被输出到降噪部3424。并且，按照同样的处理所生成的特殊光图像的G信号值的边缘图像edgeG和特殊光图像的B信号值的边缘图像edgeB被输出到合成比计算部3422和降噪部3424。
降噪部3424按照控制部360的控制，根据普通光图像的边缘信息edgeY、或者校正后特殊光图像的边缘edgeG和edgeB，对校正后特殊光图像进行降噪处理。具体来讲，首先使用下式对特殊光图像的G信号值的边缘图像edgeG和特殊光图像的B信号值的边缘图像edgeB进行合成，生成特殊光图像的边缘图像edgeNbi。
edgeNbi(x，y)＝MAX(edgeG(x，y)，edgeB(x，y))……(27)
这里，MAX(a，b)是返回a和b中的较大的一个值的函数。合成方法不限于上面所述，也可以如下式那样。
edgeNbi(x，y)＝K3×edgeG(x，y)+(1-K3)×edgeB(x，y)……(28)
这里，K3是0～1的范围的常数项。K3使用从外部预先输入的值。
接着，对校正后的特殊光图像进行第一降噪处理。具体来讲，对于与关注像素相邻的相邻像素，对具有与关注像素接近的值的相邻像素赋予较大的权重、对具有与关注像素相距较远的值的相邻像素赋予较小的权重，进行加权相加。进而，生成应用了如下所述的滤波器的第一降噪图像nbiNrImg，即：在特殊光图像的边缘图像edgeNbi上对具有与关注像素接近的值的相邻像素赋予较大的权重、在特殊光图像的边缘图像edgeNbi上对具有与关注像素相距较远的值的相邻像素赋予较小的权重来进行加权相加。
接着，对降噪前的校正后特殊光图像进行第二降噪处理。具体来讲，生成应用了高斯滤波器并应用了如下所述的滤波器的第二降噪图像wliNrImg，即：在与关注像素对应的普通光图像的边缘图像edgeY上的信号值较大的情况下，减小高斯滤波器的σ，在边缘图像edgeY上的信号值较小的情况下，增大高斯滤波器的σ。
这里，与第二降噪处理相比，第一降噪处理是复杂的处理，这是因为第一降噪处理是基于特殊光图像的边缘信息的处理。由于特殊光图像非常暗且噪声也多，所以在处理中为了不表现出噪声的影响，采用复杂的处理，慎重地进行降噪。与此相对，由于第二降噪处理是基于明亮且噪声少的普通光图像的边缘信息的处理，所以是只应用高斯滤波器的处理。
接着，进行第一降噪图像nbiNrImg和第二降噪图像wliNrImg的合成处理。
K5(x，y)＝K4×edgeNbi(x，y)……(29)
nrImg(x，y)＝K5(x，y)×nbiNrImg(x，y)+(1-K5(x，y))×wliNrImg(x，y)….(30)
K4是常数项。K5是0～1间的值。降噪后的图像nrImg被输出到合成图像生成部3423。
这里，对为了求出nrImg而使用nbiNrImg和wliNrImg这两者的原因以及在求出合成比K5时使用edgeNbi的原因进行说明。特殊光图像与普通光图像相比，能够强调显示血管等构造。因此，与普通光图像的边缘信息相比，只要特殊光图像的边缘信息更优先地反映在输出图像上即可。因此，在求出K5时，使用edgeNbi。但是，特殊光图像如前面所述那样，非常暗而且噪声多。在只使用特殊光图像的边缘信息来进行处理的情况下，有可能因噪声产生不良影响。因此，考虑通过将明亮且噪声少的普通光图像的边缘信息也用于处理，能够降低噪声的影响。
并且，在本实施方式中，构成图像处理部300的各部由硬件构成，但也可以与第一实施方式同样，采用通过CPU对预先取得的图像进行各部的处理的结构，通过CPU执行程序，作为软件来实现。或者，也可以由软件来构成各部所进行的处理的一部分。
在该情况下，图17的合成处理步骤(S16)以外的步骤与第一实施方式相同。参照图22对合成处理的详细情况进行说明。
在开始该处理时，首先，按照式(8)～(20)所述那样，提取校正后的特殊光图像内的边缘信息和普通光图像内的边缘信息(S31)。接着，按照式(29)～(30)所述那样，对校正后的特殊光图像进行降噪处理(S32)。接着，按照式(21)～(22)所述那样，根据所提取出的边缘信息来计算合成比(S33)。接着，按照式(23)～(25)所述那样，生成在普通光图像的B、G信号上合成了降噪后的校正后特殊光图像的B、G信号的合成图像(S34)。
由于通过进行这种处理，能够以单一的图像显示普通光图像和特殊光图像，所以能够提供既降低医生的负担又防止看漏病变部的情况的内窥镜***。
在以上的本实施方式中，图21所示的降噪部3424根据普通光图像的边缘信息或者校正后的特殊光图像的边缘信息，对校正后的特殊光图像进行降噪处理。合成部342对降噪处理后的特殊光图像和所述普通光图像进行合成。具体来讲，对应于图19中的E1和图20中的F1。
由此，能够降低因校正处理而使噪声增加的特殊光图像的噪声水平。因此，能够将噪声水平低的特殊光图像合成到普通光图像上，与不进行降噪处理的情况相比，通过生成噪声水平低的合成图像，能够使病变部的视认性提高，能够减轻医生的负担，防止看漏病变部的情况。
并且，降噪部3424根据普通光图像的边缘信息来控制降噪处理的强度。所谓普通光图像的边缘信息，对应于图19和图20中的edgeY。针对校正后特殊光图像，通过使用edgeY进行降噪处理来获得wliNrImg。
这里，所谓降噪处理的强度，具体来讲，例如是高斯滤波器中的σ的值。
由此，能够在普通光图像内包含的血管信息不受破坏的情况下降低噪声，通过生成噪声水平低的合成图像，能够使病变部的视认性提高，能够减轻医生的负担，防止看漏病变部的情况。
并且，降噪部3424根据校正后的特殊光图像的边缘信息来进行边缘方向判别的降噪处理。所谓校正后的特殊光图像的边缘信息，对应于图19和图20中的edgeNbi。针对校正后特殊光图像，通过使用edgeNbi进行降噪处理来获得nbiNrImg。
由此，即使对非常暗的特殊光图像，也能在表层的毛细血管和粘膜微细图案不受破坏的情况下降低噪声，通过生成噪声水平低的合成图像，能够使病变部的视认性提高，能够减轻医生的负担，防止看漏病变部的情况。
并且，降噪部3424也可以进行如下的处理来作为边缘方向判别的降噪处理，即：对具有与处理对象像素接近的值的像素赋予较大的权重、对具有与所述处理对象像素相距较远的值的像素赋予较小的权重来进行加权相加。这在图19和图20中，对应于用于求出nbiNrImg的具体处理。
由此，对于非常暗的特殊光图像，也能在表层的毛细血管和粘膜微细图案不受破坏的情况下进行基于边缘方向的降噪处理。
以上，对应用了本发明的两个实施方式1～2及其变形例进行了说明，但本发明并不仅仅限于各实施方式1～2及其变形例，在实施阶段中，可以在不脱离本发明的主旨的范围内对构成要素进行变形而具体化。并且，可以通过适当组合上述各实施方式1～2和变形例所公开的多个构成要素来形成各种发明。例如，可以从各实施方式1～2和变形例所记载的全部构成要素中删除一些构成要素。另外，也可以适当组合在不同的实施方式和变形例中说明的构成要素。这样，在不脱离发明主旨的范围内能够进行各种变形和应用。
并且，在说明书和附图中，与更广义或同义的不同用语(例如，特殊光)一起至少记载了一次的用语(例如，窄带光)在说明书或附图的任何地方都能置换为该不同的用语。

Claims (25)

1.一种图像处理装置，其特征在于，该图像处理装置包含：
普通光图像获取部，其获取包含具有白色光波段中的信息的被摄体像的普通光图像；
特殊光图像获取部，其获取包含具有特定波段中的信息的被摄体像的特殊光图像；
校正部，其进行所述特殊光图像的校正处理；以及
合成部，其对所述普通光图像与由所述校正部校正后的所述特殊光图像、即校正后特殊光图像进行合成处理，
所述合成部进行第一合成处理和第二合成处理中的至少一方作为所述合成处理，所述第一合成处理是对所述普通光图像的G成分与所述校正后特殊光图像的G成分之间进行合成的处理，所述第二合成处理是对所述普通光图像的B成分与所述校正后特殊光图像的B成分之间进行合成的处理，
所述合成部包含：
边缘提取部，其提取所述校正后特殊光图像的边缘信息和所述普通光图像的边缘信息中的至少一方的边缘信息；以及
合成比计算部，其根据所提取出的所述至少一方的边缘信息计算合成比，
所述合成部根据所计算出的所述合成比进行所述普通光图像与所述校正后特殊光图像的合成处理，
其中，
在所述校正后特殊光图像内边缘多的情况下，与边缘少的情况相比，所述合成比计算部提高所述校正后特殊光图像的合成比率。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述边缘提取部通过对所述校正后特殊光图像应用至少包含方向依赖滤波器的边缘检测滤波器来提取所述校正后特殊光图像内的边缘信息。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述边缘提取部通过对所述校正后特殊光图像应用拉普拉斯滤波器之后应用方向依赖滤波器来提取所述校正后特殊光图像内的边缘信息。
4.根据权利要求3所述的图像处理装置，其特征在于，
所述边缘提取部应用使沿着边缘方向的像素的像素值平滑化的滤波器来作为所述方向依赖滤波器。
5.根据权利要求2所述的图像处理装置，其特征在于，
所述边缘提取部通过对所述普通光图像应用拉普拉斯滤波器之后应用方向依赖滤波器来提取所述普通光图像内的边缘信息。
6.根据权利要求1所述的图像处理装置，其特征在于，
所述合成部包含：
关注区域检测部，其检测所述校正后特殊光图像内的要关注的区域、即关注区域；以及
合成比计算部，其根据所检测出的所述关注区域的信息来计算合成比，
所述合成部根据所计算出的所述合成比进行所述普通光图像与所述校正后特殊光图像的合成处理。
7.根据权利要求6所述的图像处理装置，其特征在于，
在所述校正后特殊光图像内检测出所述关注区域的情况下，与未检测出所述关注区域的情况相比，所述合成比计算部提高所述校正后特殊光图像的合成比率。
8.根据权利要求1或6所述的图像处理装置，其特征在于，
所述合成部包含将所述校正后特殊光图像分割成多个区域的分割部，
所述合成比计算部按照所述多个区域中的各区域计算所述合成比。
9.根据权利要求1所述的图像处理装置，其特征在于，
所述合成部包含：
边缘提取部，其提取所述校正后特殊光图像的边缘信息和所述普通光图像的边缘信息中的至少一方的边缘信息；以及
降噪部，其根据所述普通光图像的边缘信息和所述校正后特殊光图像的边缘信息中的至少一方，对所述校正后特殊光图像进行降噪处理，
所述合成部对降噪处理后的所述校正后特殊光图像与所述普通光图像进行合成。
10.根据权利要求9所述的图像处理装置，其特征在于，
所述降噪部根据所述普通光图像的边缘信息来控制降噪处理的强度。
11.根据权利要求9所述的图像处理装置，其特征在于，
所述降噪部根据所述校正后特殊光图像的边缘信息来进行边缘方向判别的降噪处理。
12.根据权利要求11所述的图像处理装置，其特征在于，
所述降噪部进行如下的处理作为所述降噪处理：对具有与处理对象像素接近的值的像素赋予大的权重、对具有与所述处理对象像素远离的值的像素赋予小的权重，进行加权相加。
13.根据权利要求1所述的图像处理装置，其特征在于，
所述特定波段是比所述白色光波段窄的波段。
14.根据权利要求13所述的图像处理装置，其特征在于，
所述普通光图像和所述特殊光图像是拍摄了生物体内的生物体内图像，
所述生物体内图像所包含的所述特定波段是被血液中的血红蛋白吸收的波长的波段。
15.根据权利要求14所述的图像处理装置，其特征在于，
所述特定波段是390纳米～445纳米、或者530纳米～550纳米。
16.根据权利要求1所述的图像处理装置，其特征在于，
所述普通光图像获取部基于来自所述白色光波段的光源的光获取所述普通光图像，
所述特殊光图像获取部基于来自所述特定波段的光源的光获取所述特殊光图像。
17.根据权利要求1所述的图像处理装置，其特征在于，
所述普通光图像获取部通过对来自光源的光应用使所述白色光波段的光透射的滤镜来获取所述普通光图像，
所述特殊光图像获取部通过对来自光源的光应用使所述特定波段的光透射的滤镜来获取所述特殊光图像。
18.一种图像处理装置，其特征在于，该图像处理装置包含：
普通光图像获取部，其获取包含具有白色光波段中的信息的被摄体像的普通光图像；
特殊光图像获取部，其获取包含具有特定波段中的信息的被摄体像的特殊光图像；以及
校正部，其根据所述特殊光图像内的像素值和所述普通光图像内的像素值进行所述特殊光图像的校正处理；
所述校正部根据所述特殊光图像内的像素值计算所述特殊光亮度信息，并且根据所述普通光图像内的像素值计算作为所述普通光图像的亮度信息的普通光亮度信息，
所述校正部根据所述特殊光亮度信息和所述普通光亮度信息进行所述特殊光图像的校正处理；
所述校正部进行如下的处理作为所述校正处理：计算对应于所述特殊光亮度信息与所述普通光亮度信息之比的值作为校正系数，并将所述校正系数与所述特殊光图像内的像素值相乘。
19.根据权利要求18所述的图像处理装置，其特征在于，
所述普通光图像包含第一～第N像素值的成分，其中N是1以上的整数，
所述特殊光图像包含与所述特定波段对应的第一～第M像素值的成分，其中M是1以上的整数，
所述校正部根据所述第一～第M像素值成分中的至少一个成分计算所述特殊光亮度信息，并且根据所述普通光图像所包含的所述第一～第N像素值的成分中与所述第一～第M成分中的至少一个成分对应的成分、即对应成分来计算所述普通光亮度信息。
20.根据权利要求19所述的图像处理装置，其特征在于，
所述对应成分是G成分和B成分中的至少一方。
21.根据权利要求19所述的图像处理装置，其特征在于，
所述校正部根据所述特殊光图像的像素值的G成分计算所述特殊光亮度信息，并且根据所述普通光图像的像素值的G成分计算所述普通光亮度信息，
所述校正部根据所述特殊光亮度信息和所述普通光亮度信息来进行所述特殊光图像的校正处理。
22.根据权利要求21所述的图像处理装置，其特征在于，
所述校正部进行如下的处理作为所述校正处理：计算对应于所述特殊光亮度信息与所述普通光亮度信息之比的值作为校正系数，并将所述校正系数与所述特殊光图像内的像素值的G成分和像素值的B成分相乘。
23.根据权利要求19所述的图像处理装置，其特征在于，
所述校正部根据所述特殊光图像的像素值的G成分计算第一特殊光亮度信息，并且根据所述普通光图像的像素值的G成分计算第一普通光亮度信息，
所述校正部根据所述特殊光图像的像素值的B成分计算第二特殊光亮度信息，并且根据所述普通光图像的像素值的B成分计算第二普通光亮度信息，
所述校正部根据所述第一特殊光亮度信息、所述第一普通光亮度信息、所述第二特殊光亮度信息和所述第二普通光亮度信息进行所述特殊光图像的校正处理。
24.根据权利要求23所述的图像处理装置，其特征在于，
所述校正部进行如下的处理作为所述校正处理：计算对应于所述第一特殊光亮度信息与所述第一普通光亮度信息之比的值作为第一校正系数，并将所述第一校正系数与所述特殊光图像的像素值的G成分相乘；并且，计算对应于所述第二特殊光亮度信息与所述第二普通光亮度信息之比的值作为第二校正系数，并将所述第二校正系数与所述特殊光图像的像素值的B成分相乘。
25.一种图像处理方法，其特征在于，
获取包含具有白色光波段中的信息的被摄体像的普通光图像；
获取包含具有特定波段中的信息的被摄体像的特殊光图像；
进行所述特殊光图像的校正处理；
作为所述普通光图像与进行过所述校正处理的所述特殊光图像、即校正后特殊光图像的合成处理，进行第一合成处理和第二合成处理中的至少一方，所述第一合成处理是对所述普通光图像的G成分与所述校正后特殊光图像的G成分之间进行合成的处理，所述第二合成处理是对所述普通光图像的B成分与所述校正后特殊光图像的B成分之间进行合成的处理，
作为所述普通光图像与所述校正后特殊光图像的合成处理包含：
提取所述校正后特殊光图像的边缘信息和所述普通光图像的边缘信息中的至少一方的边缘信息；以及
根据所提取出的所述至少一方的边缘信息计算合成比，
其中，根据所计算出的所述合成比进行所述普通光图像与所述校正后特殊光图像的合成处理，
在所述校正后特殊光图像内边缘多的情况下，与边缘少的情况相比，提高所述校正后特殊光图像的合成比率。
CN201110070851.XA 2010-03-23 2011-03-23 图像处理装置和图像处理方法 Active CN102201114B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-065925 2010-03-23
JP2010065925A JP5591570B2 (ja) 2010-03-23 2010-03-23 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN102201114A CN102201114A (zh) 2011-09-28
CN102201114B true CN102201114B (zh) 2017-04-12

Family

ID=44656542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110070851.XA Active CN102201114B (zh) 2010-03-23 2011-03-23 图像处理装置和图像处理方法

Country Status (3)

Country Link
US (2) US9095269B2 (zh)
JP (1) JP5591570B2 (zh)
CN (1) CN102201114B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5948203B2 (ja) * 2011-10-12 2016-07-06 富士フイルム株式会社 内視鏡システム及びその作動方法
CN102521912B (zh) * 2011-12-19 2015-11-18 山东新北洋信息技术股份有限公司 图像处理方法及装置
WO2013145407A1 (ja) * 2012-03-30 2013-10-03 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP2014068145A (ja) * 2012-09-25 2014-04-17 Kyocera Corp 携帯端末、表示制御プログラムおよび表示制御方法
JP5869541B2 (ja) * 2013-09-13 2016-02-24 富士フイルム株式会社 内視鏡システム及びプロセッサ装置並びに内視鏡システムの作動方法
JP6588043B2 (ja) 2015-02-10 2019-10-09 オリンパス株式会社 画像処理装置、内視鏡システム、画像処理装置の作動方法およびプログラム
JP6585623B2 (ja) * 2015-12-17 2019-10-02 オリンパス株式会社 生体情報計測装置、生体情報計測方法および生体情報計測プログラム
JP2017118887A (ja) * 2015-12-28 2017-07-06 株式会社システック 体内近赤外光像検出カメラ
JP6507268B2 (ja) 2016-01-22 2019-04-24 富士フイルム株式会社 撮影支援装置及び撮影支援方法
JP6626783B2 (ja) * 2016-06-02 2019-12-25 Hoya株式会社 画像処理装置および電子内視鏡システム
KR20180008244A (ko) * 2016-07-14 2018-01-24 엘지이노텍 주식회사 이미지 생성 방법 및 생성 장치
EP3520673A4 (en) * 2016-10-03 2019-09-18 FUJIFILM Corporation ENDOSCOPE SYSTEM AND METHOD OF OPERATION
JP7074065B2 (ja) * 2016-11-04 2022-05-24 ソニーグループ株式会社 医療用画像処理装置、医療用画像処理方法、プログラム
WO2018235178A1 (ja) * 2017-06-21 2018-12-27 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
US11744455B2 (en) * 2017-08-01 2023-09-05 Nikon Corporation Image signal output device and method, and image data conversion device, method, and program
EP3685731B1 (en) * 2017-09-22 2023-06-07 FUJIFILM Corporation Medical image processing system, endoscope system, diagnostic support device, and medical task support device
CN109190517B (zh) * 2018-08-14 2022-05-10 北京凌云天润智能科技有限公司 一种手指静脉图像边缘提取及方向矫正方法
US10748290B2 (en) * 2018-10-31 2020-08-18 Fei Company Smart metrology on microscope images
CN109973076A (zh) * 2019-04-10 2019-07-05 中煤科工集团西安研究院有限公司 煤矿井下钻孔内可视探测装置及方法
JP7234086B2 (ja) * 2019-10-04 2023-03-07 株式会社日立製作所 生体情報取得装置およびプログラム
WO2022014258A1 (ja) * 2020-07-17 2022-01-20 富士フイルム株式会社 プロセッサ装置、プロセッサ装置の作動方法
CN117830114A (zh) * 2024-01-02 2024-04-05 瀚湄信息科技(上海)有限公司 基于白光led照明的血红蛋白增强方法、装置及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7469160B2 (en) * 2003-04-18 2008-12-23 Banks Perry S Methods and apparatus for evaluating image focus

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5512940A (en) * 1993-03-19 1996-04-30 Olympus Optical Co., Ltd. Image processing apparatus, endoscope image sensing and processing apparatus, and image processing method for performing different displays depending upon subject quantity
JP3917733B2 (ja) * 1997-10-31 2007-05-23 オリンパス株式会社 電子内視鏡装置
JP4370008B2 (ja) * 1998-11-17 2009-11-25 オリンパス株式会社 内視鏡画像処理装置
JP4394356B2 (ja) * 2003-02-07 2010-01-06 Ｈｏｙａ株式会社 電子内視鏡装置
US20040225222A1 (en) * 2003-05-08 2004-11-11 Haishan Zeng Real-time contemporaneous multimodal imaging and spectroscopy uses thereof
US7564602B2 (en) * 2003-07-28 2009-07-21 Hoya Corporation Color chart for adjustment of a color printer and a color monitor utilized with an endoscope
US7385767B2 (en) * 2004-03-09 2008-06-10 Olympus Corporation Zoom optical system, and electronic equipment incorporating the same
US7557969B2 (en) * 2004-03-22 2009-07-07 Kabushiki Kaisha Toshiba Color balance correction chart, color balance correction method, and image forming apparatus
WO2006025334A1 (ja) * 2004-08-30 2006-03-09 Olympus Corporation 内視鏡装置
JP4025764B2 (ja) 2004-08-31 2007-12-26 オリンパス株式会社 内視鏡装置
WO2006120794A1 (ja) * 2005-05-11 2006-11-16 Olympus Medical Systems Corp. 生体観測装置用信号処理装置
JP5057675B2 (ja) * 2006-03-03 2012-10-24 オリンパスメディカルシステムズ株式会社 生体観察装置
JP5121204B2 (ja) * 2006-10-11 2013-01-16 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP4895834B2 (ja) * 2007-01-23 2012-03-14 Ｈｏｙａ株式会社 画像処理装置
WO2008149904A1 (ja) * 2007-06-05 2008-12-11 Olympus Corporation 画像信号処理装置および画像信号処理プログラム
JP2009000236A (ja) * 2007-06-20 2009-01-08 Olympus Medical Systems Corp 画像生成装置
JP5127639B2 (ja) * 2008-09-10 2013-01-23 富士フイルム株式会社 内視鏡システム、およびその作動方法
JP4986965B2 (ja) * 2008-09-30 2012-07-25 キヤノン株式会社 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置
EP2339534A1 (en) * 2009-11-18 2011-06-29 Panasonic Corporation Specular reflection compensation
CN102724909B (zh) * 2010-04-12 2015-03-18 奥林巴斯医疗株式会社 医用图像处理装置和医用图像处理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7469160B2 (en) * 2003-04-18 2008-12-23 Banks Perry S Methods and apparatus for evaluating image focus

Also Published As

Publication number Publication date
JP2011194111A (ja) 2011-10-06
US9095269B2 (en) 2015-08-04
US20150305607A1 (en) 2015-10-29
JP5591570B2 (ja) 2014-09-17
CN102201114A (zh) 2011-09-28
US20110235877A1 (en) 2011-09-29
US9629525B2 (en) 2017-04-25

Similar Documents

Publication Publication Date Title
CN102201114B (zh) 图像处理装置和图像处理方法
CN102740757B (zh) 图像处理装置、内窥镜***以及图像处理方法
CN102665527B (zh) 图像处理装置、电子设备、内窥镜***和图像处理装置的控制方法
CN102695446B (zh) 图像处理装置、电子设备和图像处理方法
CN102665526B (zh) 图像处理装置、电子设备、内窥镜***和图像处理装置的控制方法
US8452092B2 (en) Image processing device, endoscope system, program, and image processing method
CN103561629B (zh) 内窥镜装置及内窥镜装置的工作方法
JP6525918B2 (ja) 内視鏡システム、画像処理装置、及び画像処理装置の作動方法
CN107105987B (zh) 图像处理装置及其工作方法、记录介质和内窥镜装置
JP4370008B2 (ja) 内視鏡画像処理装置
JP2011218090A (ja) 画像処理装置、内視鏡システム及びプログラム
BRPI0609099A2 (pt) aparelho de observação biológica
JP2011255006A (ja) 画像処理装置、内視鏡装置、プログラム及び画像処理方法
JP2011194151A (ja) 電子内視鏡システム
CN104883948B (zh) 图像处理装置以及图像处理方法
CN107847117A (zh) 图像处理装置、方法及程序
JP2012005512A (ja) 画像処理装置、内視鏡装置、内視鏡システム、プログラム及び画像処理方法
WO1992008405A1 (en) Device for processing image of endoscope and method thereof
CN110893095A (zh) 一种用于可见光和激发荧光实时成像的***和方法
CN103654688A (zh) 内窥镜***以及内窥镜图像的取得方法
JP5940604B2 (ja) 画像処理装置、画像処理装置の作動方法及びプログラム
JP2014232470A (ja) 検出装置、学習装置、検出方法、学習方法及びプログラム
CN107405050B (zh) 内窥镜***以及评价值计算装置
JP6949134B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
CN105899123A (zh) 用于内窥镜的视频处理器和具有该视频处理器的内窥镜***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant