CN107847117B - 图像处理装置及图像处理方法 - Google Patents
图像处理装置及图像处理方法 Download PDFInfo
- Publication number
- CN107847117B CN107847117B CN201680024706.9A CN201680024706A CN107847117B CN 107847117 B CN107847117 B CN 107847117B CN 201680024706 A CN201680024706 A CN 201680024706A CN 107847117 B CN107847117 B CN 107847117B
- Authority
- CN
- China
- Prior art keywords
- image
- color
- region
- structural body
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 7
- 210000000746 body region Anatomy 0.000 claims abstract description 67
- 238000003384 imaging method Methods 0.000 claims abstract description 46
- 230000009467 reduction Effects 0.000 claims abstract description 44
- 239000002131 composite material Substances 0.000 claims abstract description 19
- 239000003086 colorant Substances 0.000 claims description 63
- 238000000034 method Methods 0.000 claims description 51
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000002194 synthesizing effect Effects 0.000 claims description 12
- 210000004204 blood vessel Anatomy 0.000 description 159
- 230000000762 glandular Effects 0.000 description 48
- 230000008569 process Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 18
- 230000008859 change Effects 0.000 description 16
- 230000000875 corresponding effect Effects 0.000 description 16
- 238000000605 extraction Methods 0.000 description 13
- 238000005286 illumination Methods 0.000 description 13
- 210000004877 mucosa Anatomy 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000003902 lesion Effects 0.000 description 7
- 230000000295 complement effect Effects 0.000 description 6
- 239000008280 blood Substances 0.000 description 5
- 238000003780 insertion Methods 0.000 description 5
- 230000037431 insertion Effects 0.000 description 5
- 238000005452 bending Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 210000004400 mucous membrane Anatomy 0.000 description 4
- 239000012192 staining solution Substances 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 210000004369 blood Anatomy 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000010410 layer Substances 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 229910052724 xenon Inorganic materials 0.000 description 3
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 3
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 235000011036 Rubus leucodermis Nutrition 0.000 description 2
- 235000003942 Rubus occidentalis Nutrition 0.000 description 2
- 244000111388 Rubus occidentalis Species 0.000 description 2
- 238000002835 absorbance Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 210000001035 gastrointestinal tract Anatomy 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- WPPDXAHGCGPUPK-UHFFFAOYSA-N red 2 Chemical compound C1=CC=CC=C1C(C1=CC=CC=C11)=C(C=2C=3C4=CC=C5C6=CC=C7C8=C(C=9C=CC=CC=9)C9=CC=CC=C9C(C=9C=CC=CC=9)=C8C8=CC=C(C6=C87)C(C=35)=CC=2)C4=C1C1=CC=CC=C1 WPPDXAHGCGPUPK-UHFFFAOYSA-N 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000002344 surface layer Substances 0.000 description 2
- ZCYVEMRRCGMTRW-UHFFFAOYSA-N 7553-56-2 Chemical compound [I] ZCYVEMRRCGMTRW-UHFFFAOYSA-N 0.000 description 1
- 208000037062 Polyps Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 235000012745 brilliant blue FCF Nutrition 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000295 emission spectrum Methods 0.000 description 1
- 210000002919 epithelial cell Anatomy 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- KHLVKKOJDHCJMG-QDBORUFSSA-L indigo carmine Chemical compound [Na+].[Na+].N/1C2=CC=C(S([O-])(=O)=O)C=C2C(=O)C\1=C1/NC2=CC=C(S(=O)(=O)[O-])C=C2C1=O KHLVKKOJDHCJMG-QDBORUFSSA-L 0.000 description 1
- 229960003988 indigo carmine Drugs 0.000 description 1
- 235000012738 indigotine Nutrition 0.000 description 1
- 239000004179 indigotine Substances 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 229910052740 iodine Inorganic materials 0.000 description 1
- 239000011630 iodine Substances 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2476—Non-optical details, e.g. housings, mountings, supports
- G02B23/2484—Arrangements in relation to a camera or imaging device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2423—Optical details of the distal end
- G02B23/243—Objectives for endoscopes
- G02B23/2438—Zoom objectives
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2476—Non-optical details, e.g. housings, mountings, supports
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0669—Endoscope light sources at proximal end of an endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2461—Illumination
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Astronomy & Astrophysics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种与结构体的形状特征对应的颜色分配的自由度高的内窥镜图像的图像处理装置及图像处理方法。本发明的图像处理装置生成从对生物体内的观察对象进行拍摄而得到的图像信号抽出一个以上的结构体区域而成的结构体区域图像。本发明的图像处理装置根据结构体区域图像计算结构体区域的形状特征量,从而对结构体区域分配与特征量对应的颜色。生成对观察对象被描绘成彩色的原始图像实施了减少颜色及对比度中的至少一个的加工而成的减少原始图像,并重叠减少原始图像和已进行颜色分配的结构体区域图像而生成合成图像。
Description
技术领域
本发明涉及一种对在内窥镜***中得到的图像信号进行处理的图像处理装置及图像处理方法。
背景技术
在医疗领域中,利用对生物体内的观察对象进行拍摄的内窥镜***进行了广泛的检查或诊断。为了辅助根据用内窥镜***拍摄的内窥镜图像进行的诊断,正在研发通过波长频带窄的窄频带等的特殊光对观察对象进行拍摄而获取强调血管的特殊光图像的特殊光观察技术和对在白色光下拍摄的通常图像实施图像处理而生成强调观察对象的血管等结构体的观察图像的图像处理技术(专利文献1)。
专利文献1中所记载的图像处理装置如下生成伪彩图像,该伪彩图像通过在拍摄粘膜表面而成的通常图像中抽出多个描绘出血管等结构体的结构体区域,并将所抽出的多个结构体区域分类成线或圆等基本图案,且按每一个所分类的基本图案分配不同的颜色而成。通过按每一个基本图案分配不同的颜色,能够视觉性掌握分布基本图案的状态(0028段)。
粘膜中的血管等结构体的形状特征成为作出诊断时的重要的因素,因此轻松地掌握这种结构体的形状特征的技术非常实用。
以往技术文献
专利文献
专利文献1:日本专利5326064号公报
发明内容
发明要解决的技术课题
然而,在白色光下拍摄的通常图像为表示自然颜色的彩色图像(还称为全彩图像),且对其分配颜色而生成伪彩图像的方法中,限制能够使用的颜色,因此存在能够分配的颜色数量少,且颜色分配的自由度低的问题。
消化管的粘膜中具有血管或腺管等多种结构体,并且仅从大肠的腺管结构(称为麻点图案等)方面考虑,腺管结构也根据肿瘤的状态而表示其形状不同的特性,因此能够分类为多种。这种形状特征有时于在白色光下拍摄的通常图像中难以辨识。因此。优选根据形状特征分配不同的颜色而能够视觉性辨识特征,但若颜色分配的自由度低,则分配的颜色不够充分,因此无法有效地进行颜色区分。
本发明的目的在于提供一种与对结构体的形状特征对应的颜色的分配自由度高的内窥镜图像的图像处理装置及图像处理方法。
用于解决技术课题的手段
本发明的图像处理装置具备图像信号获取部、原始图像生成部、减少原始图像生成部、结构体区域图像生成部、特征量计算部、颜色分配部及图像合成部。图像信号获取部获取对生物体内的观察对象进行拍摄而得到的图像信号。原始图像生成部根据图像信号生成观察对象被描绘成彩色的原始图像。减少原始图像生成部通过对原始图像实施减少颜色及对比度中的至少一个的加工而生成减少原始图像。结构体区域图像生成部生成从所获取的图像信号抽出一个以上的结构体区域而成的结构体区域图像。特征量计算部根据结构体区域图像计算结构体区域的形状特征量。颜色分配部对结构体区域分配与特征量对应的颜色。图像合成部重叠减少原始图像和已进行颜色分配的结构体区域图像而生成合成图像。
优选,颜色分配部根据特征量使分配到结构体区域的颜色逐步或连续发生变化。
优选,结构体区域图像生成部生成表示第1结构体区域的第1结构体区域图像和表示第2结构体区域的第2结构体区域图像。
优选,颜色分配部分别对第1结构体区域图像和第2结构体区域图像分配不同的颜色。
优选,图像合成部生成对第1结构体区域图像和减少原始图像进行合成而成的第1合成图像和对第2结构体区域图像和减少原始图像进行合成而成的第2合成图像来作为合成图像。
优选,图像合成部生成对第1结构体区域图像、第2结构体区域图像及减少原始图像这3个图像进行合成而成的第3合成图像来作为合成图像。
优选,图像合成部分别对第1合成图像和第2合成图像使用共同的减少原始图像。
优选,减少原始图像生成部生成已实施不同处理的第1减少原始图像及第2减少原始图像,图像合成部对第1合成图像使用第1减少原始图像,且对第2合成图像使用第2减少原始图像。
优选,颜色分配部使特征量的多个项目与3维颜色空间上的3轴中的任一个对应,并且根据特征量的各项目的具体值判定颜色空间上的位置而确定颜色。
优选,颜色分配部在根据特征量判定颜色空间上的位置时进行伽马转换。
优选,具备显示控制部,该显示控制部进行将合成图像显示于显示画面的控制。
优选,在显示画面能够并列或选择性显示原始图像与合成图像。
优选,显示控制部能够将显示画面输出到多显示器。
本发明的图像处理方法具备图像信号取得步骤、结构体区域图像生成步骤、特征量算出步骤、颜色分配步骤及图像合成步骤。在图像信号获取步骤中,获取对生物体内的观察对象进行拍摄而得到的图像信号。在结构体区域图像生成步骤中,生成从所获取的图像信号抽出一个以上的结构体区域而成的结构体区域图像。在特征量计算步骤中,根据结构体区域图像计算结构体区域的形状特征量。在颜色分配步骤中,对结构体区域分配与特征量对应的颜色。在图像合成步骤中,根据图像信号重叠对观察对象被描绘成彩色的原始图像实施了减少颜色及对比度中的至少一个的加工而成的减少原始图像和已进行颜色分配的结构体区域图像而生成合成图像。
发明效果
根据本发明,能够提供一种与结构体的形状特征对应的颜色分配的自由度高的内窥镜图像的图像处理装置及图像处理方法。
附图说明
图1为内窥镜***的外观图。
图2为表示内窥镜***的功能的框图。
图3为表示紫色光V、蓝色光B、绿色光G及红色光R的发光光谱的图表。
图4为表示特殊图像处理部的功能的框图。
图5为表示特殊图像处理的说明图。
图6为计算血管区域的特征量的处理的说明图。
图7为计算与图6不同的血管区域的特征量的处理的说明图。
图8为计算腺管区域的特征量的处理的说明图。
图9为血管用颜色分配表的说明图。
图10为腺管用颜色分配表的说明图。
图11为对血管区域的颜色分配处理的说明图。
图12为对腺管区域的颜色分配处理的说明图。
图13为使颜色相对于特征量的变化连续发生变化的例的图表。
图14为使颜色相对于特征量的变化逐步发生变化的例的图表。
图15为强调血管区域的合成图像的显示画面的说明图。
图16为强调腺管区域的合成图像的显示画面的说明图。
图17为表示特殊图像处理工序的流程图。
图18为第2实施方式的特殊图像处理的说明图。
图19为第2实施方式的合成图像的显示画面的说明图。
图20为第3实施方式的特殊图像处理的说明图。
图21为使用伽马转换的颜色分配处理的说明图。
图22为使用已进行颜色区分的标志的显示模式的说明图。
图23为使用形状与图22不同的标志的显示模式的说明图。
图24为使用多显示器的模式的说明图。
具体实施方式
“第1实施方式”
如图1所示,内窥镜***10具有内窥镜12、光源装置14、处理器装置16、显示器18及控制台19。内窥镜12与光源装置14光学连接,并且与处理器装置16电连接。内窥镜12具有***到生物体内的***部12a、设置在***部12a的基端部分的操作部12b以及设置于***部12a的前端侧的弯曲部12c及前端部12d。通过对操作部12b的角度旋钮12e进行操作,弯曲部12c进行弯曲动作。伴随该弯曲动作,前端部12d朝向所希望的方向。
并且,操作部12b中除了角度旋钮12e以外还设置有模式切换SW(Switch(开关))13a、变焦操作部13b。模式切换SW13a使用于通常观察模式和特殊观察模式这两种模式之间的切换操作。通常观察模式为将通常图像显示于显示器18上的模式。特殊观察模式为将通常图像和特殊图像显示于显示器18上的模式。另外,作为观察模式,可以准备两种以上的模式。并且,特殊观察模式可以不显示通常图像而仅显示特殊图像。
通常图像为利用白色光来作为照明光而拍摄的彩色图像。在白色光下拍摄的彩色图像中用自然颜色描绘被摄体,且通常被称为全彩图像。在此,如后述,在白色光下拍摄是指,包括使用发出构成白色光的蓝色成分、绿色成分、红色成分中的至少3种颜色的每一个的波长频带的光的多个光源,并组合这些而在相当于白色光的照明光下拍摄的情况。并且,当然还包括在包含构成白色光的蓝色成分、绿色成分、红色成分的所有的波长频带的宽频带光下拍摄的情况。
如后述,特殊图像为强调作为描绘出粘膜内的血管或粘膜表面的腺管等的区域的结构体区域的图像。变焦操作部13b通过使变焦透镜47(参考图2)在望远位置与广角位置之间移动而放大或缩小显示于显示器18中的观察对象。
处理器装置16与显示器18及控制台19电连接。显示器18输出显示图像信息等。控制台19作为接收功能设定等的输入操作的UI(User Interface:用户界面)而发挥功能。另外,处理器装置16可以与记录图像信息等的外置记录部(省略图示)连接。
如图2所示,光源装置14具备V-LED(Violet Light Emitting Diode(紫色发光二极管))20a、B-LED(Blue Light Emitting Diode(蓝色发光二极管))20b、G-LED(GreenLight Emitting Diode(绿色发光二极管))20c、R-LED(Red Light Emitting Diode(红色发光二极管))20d、控制这4种颜色的LED20a~20d的驱动的光源控制部21及结合从4种颜色的LED20a~20d发出的4种颜色的光的光路的光路结合部23。通过光路结合部23结合的光经由插通到***部12a内的光导件(LG(Light Guide))41及照明透镜45而照射于生物体内。另外,可以替代LED而使用LD(Laser Diode(激光二极管))。
如图3所示,V-LED20a生成中心波长405±10nm、波长范围380~420nm的紫色光V。B-LED20b生成中心波长460±10nm、波长范围420~500nm的蓝色光B。G-LED20c生成波长范围涉及480~600nm的绿色光G。R-LED20d生成中心波长620~630nm,且波长范围涉及600~650nm的红色光R。
在通常观察模式及特殊观察模式中的任一观察模式时,光源控制部21也点亮V-LED20a、B-LED20b、G-LED20c、R-LED20d。从而,混合有紫色光V、蓝色光B、绿色光G及红色光R这4种颜色的光的光照射于观察对象。光源控制部21以紫色光V、蓝色光B、绿色光G、红色光R之间的光量比成为Vc:Bc:Gc:Rc的方式控制各LED20a~20d。
如图2所示,光导件(LG)41内置在内窥镜12及通用软线(连接内窥镜12和光源装置14及处理器装置16的软线)内,且将通过光路结合部23结合的光传播至内窥镜12的前端部12d。
在内窥镜12的前端部12d设置有照明光学***30a和摄像光学***30b。照明光学***30a具有照明透镜45,来自光导件41的光经由该照明透镜45而照射于观察对象。摄像光学***30b具有物镜46、变焦透镜47、成像传感器48。
成像传感器48对观察对象进行拍摄,并输出通过拍摄而得到的图像信号。具体而言,来自观察对象的反射光经由物镜46及变焦透镜47而入射于成像传感器48。由此,观察对象的反射像在成像传感器48的成像面成像。成像传感器48输出与已成像的反射像对应的图像信号。
成像传感器48例如为CCD(Charge CoupLED Device(电荷耦合装置))成像传感器或CMOS(Complementary Metal-Oxide Semiconductor(互补金属氧化半导体))成像传感器等。本发明中所使用的成像传感器48为用于得到R(红)、G(绿)及B(蓝)这3钟颜色的RGB图像信号的彩色成像传感器、即作为构成成像面的多个像素而具有设置有R滤波器的R像素、设置有G滤波器的G像素、设置有B滤波器的B像素的所谓RGB成像传感器。
另外,作为成像传感器48,可以替代RGB彩色成像传感器而为具备C(青)、M(品红)、Y(黄)及G(绿)的补色滤波器的所谓补色成像传感器。当使用补色成像传感器时,输出CMYG这4种颜色的图像信号,因此需要通过补色-原色颜色转换而将CMYG这4种颜色的图像信号转换为RGB这3种颜色的图像信号。并且,成像传感器48可以是未设有彩色滤波器的单色成像传感器。该情况下,光源控制部21需要分时点亮蓝色光B、绿色光G、红色光R而在摄像信号的处理中添加同步化处理。
从成像传感器48输出的图像信号被发送到CDS/AGC电路50。CDS/AGC电路50对作为模拟信号的图像信号进行相关双采样(CDS(Correlated Double Sampling))或自动增益控制(AGC(Auto Gain Control))。经由CDS/AGC电路50的图像信号通过A/D转换器(A/D(Analog(模拟)/Digital(数字))转换器)52而被转换为数字图像信号。被A/D转换的数字图像信号被输入到处理器装置16。
处理器装置16具备接收部53、DSP(Digital Signal Processor(数字信号处理器))56、噪音去除部58、图像处理切换部60、通常图像处理部62、特殊图像处理部64、显示控制部65及视频信号生成部66。接收部53接收来自内窥镜12的数字RGB图像信号。R图像信号与从成像传感器48的R像素输出的信号对应,G图像信号与从成像传感器48的G像素输出的信号对应,且B图像信号与从成像传感器48的B像素输出的信号对应。
DSP56对所接收的图像信号实施缺陷校正处理、偏移处理、增益校正处理、线性矩阵处理、伽马转换处理、去马赛克处理等各种信号处理。在缺陷校正处理中校正成像传感器48的缺陷像素的信号。在偏移处理中从已实施缺陷校正处理的RGB图像信号去除暗电流成分而设定正确的零电平。在增益校正处理中通过对偏移处理后的RGB图像信号乘以特定增益而调整信号电平。对增益校正处理后的RGB图像信号实施用于提高颜色再现性的线性矩阵处理。然后,通过伽马转换处理而调整亮度或色度。对线性矩阵处理后的RGB图像信号实施去马赛克处理(还称为各向同性化处理、像素插补处理),且通过插补而生成各像素中不够充分的颜色的信号。通过该去马赛克处理,所有像素具有RGB各颜色的信号。
噪音去除部58通过在DSP56实施了伽马校正等而成的RGB图像信号实施噪音去除处理(例如移动平均法或中值滤波器法等)而从RGB图像信号去除噪音。已去除噪音的RGB图像信号被发送到图像处理切换部60。在此,本发明的“图像信号获取部”与包括接收部53、DSP56及噪音去除部58的结构对应。
当图像处理切换部60通过模式切换SW13a而被设定为通常观察模式时,将RGB图像信号发送到通常图像处理部62,且在被设定为特殊观察模式时,将RGB图像信号发送到特殊图像处理部64。
通常图像处理部62对RGB图像信号进行颜色转换处理、色彩强调处理、结构强调处理。在颜色转换处理中对数字RGB图像信号进行3×3的矩阵处理、灰度转换处理、3维LUT处理等而转换为已进行颜色转换处理的RGB图像信号。接着,对已进行颜色转换处理的RGB图像信号实施各种色彩强调处理。对已进行该色彩强调处理的RGB图像信号进行空间频率强调等结构强调处理。将已实施结构强调处理的RGB图像信号从通常图像处理部62输入到视频信号生成部66来作为显示用通常图像的RGB图像信号。
特殊图像处理部64根据RGB图像信号生成显示用特殊图像。在后面对该特殊图像处理部64的详细内容进行说明。通过该特殊图像处理部64生成的显示有特殊图像的RGB图像信号被输入到视频信号生成部66。另外,在特殊图像处理部64中,也与通常图像处理部62相同而可以进行颜色转换处理、色彩强调处理、结构强调处理。
显示控制部65控制显示器18的显示。在显示器18中显示出显示通常图像或特殊图像的显示画面。显示控制部65将通常图像或特殊图像***到显示画面的模板数据而生成显示于显示器18的显示画面。显示控制部65具有视频信号生成部66。视频信号生成部66将所生成的显示画面转换为用于显示于显示器18的视频信号。显示器18根据该视频信号显示通常图像、特殊图像的显示画面。
如图4所示,特殊图像处理部64具备原始图像生成部68、减少原始图像生成部70、结构体区域图像生成部72、特征量计算部74、颜色分配部76、图像合成部78。特殊图像处理部64根据RGB的图像信号而进行特殊图像处理,并输出作为特殊图像的合成图像。如图5所示,原始图像生成部68根据RGB图像信号而生成彩色原始图像。原始图像82为与通常图像相同的彩色图像,且在特殊图像处理部64通过与通常图像处理部62相同的处理工序而生成。
减少原始图像生成部70通过对原始图像82实施减少颜色及对比度中的至少一个的加工而生成颜色及对比度比原始图像82减少的减少原始图像83。本例中,减少原始图像83为将彩色原始图像82单色化的单色图像,且通过单色化而颜色比原始图像82减少。
减少原始图像83不是二值化图像,而是被灰度化的灰度图像。原始图像82的各像素的灰阶数例如为256灰阶。减少原始图像83在灰度化时从原始图像82的256灰阶转换为64灰阶~192灰阶而减少对比度。如此,本例的减少原始图像83的颜色即对比度比原始图像82减少。减少原始图像83被用作进行后述的图像合成时的基本图像。
结构体区域图像生成部72生成从图像信号抽出一个以上的结构体区域而成的结构体区域图像。结构体区域为描绘出粘膜内的血管、粘膜表面的腺管等结构体的区域,当结构体为血管时成为血管区域(相当于第1结构体区域),当结构体为腺管时成为腺管区域(相当于第2结构体区域)。具体而言,如图5所示,结构体区域图像生成部72进行抽出血管区域的血管区域抽出处理而分别生成血管区域图像(相当于第1结构体区域图像)84和已抽出腺管区域的腺管区域图像(相当于第2结构体区域图像)86。
作为用于生成血管区域图像84的图像信号,例如使用B图像信号。如众所周知,血中的血红蛋白与红色光或绿色光相比对蓝色光的吸收率更大。通过使用血管区域的对比度大的B图像信号,可轻松地抽出血管区域。血管区域在B图像信号显示为亮度低(浓度高)的区域。血管区域图像84为从B图像信号抽出亮度低(浓度高)的区域而生成的灰度级单色图像。
并且,作为用于生成腺管区域图像86的图像信号,例如使用腺管区域的对比度大的G图像信号。构成粘膜表面的上皮细胞具有包括周期性皱襞的立体结构。腺管区域为具有这种立体结构的区域,且根据皱襞表面和凹陷部中的光的吸收与散射之差而描绘表面结构。与其他颜色相比,绿色光在描绘立体感方面优异,且能够以良好的对比度描绘立体的表面结构。腺管区域在G图像信号中显示为皱襞的表面的亮度高(浓度低)的区域,且显示为皱襞的凹陷部的亮度低(浓度高)的区域。腺管区域图像86为从G图像信号抽出亮度高(浓度低)的区域而生成的灰度级单色图像。
并且,在腺管区域图像86,对比度低但描绘出血管区域。在腺管区域图像86中,血管区域为噪音,因此为了进一步强调腺管区域可以从腺管区域图像86去除血管区域。作为去除方法,例如有通过规定从血管区域图像84至血管区域的位置,并在腺管区域图像86用周边的像素插补规定的血管区域的像素来去除血管区域的方法。
当抽出血管区域或腺管区域时,可以利用黑帽滤波处理或顶帽滤波处理。黑帽滤波处理为去除亮度相对高的区域(亮部分)而仅残留亮度相对低的区域(暗部分)的处理,并能够在抽出血管区域时利用。并且,顶帽滤波处理可以通过去除亮度相对低的区域(暗部分)而仅残留亮度相对高的区域(亮部分)的顶帽滤波处理来抽出腺管区域。
如图5所示,通过上述抽出处理,血管区域图像84成为用高的对比度仅描绘出血管区域V的单色图像,且腺管区域图像86成为用高的对比度仅描绘出腺管区域S的单色图像。
特征量计算部74根据结构体区域图像计算结构体区域的形状特征量。本例中,根据血管区域图像84及腺管区域图像86各自的结构体区域图像计算血管区域V及腺管区域S各自的形状特征量。
如图6及图7所示,特征量计算部74从血管区域图像84逐一抽出血管区域V,且按每一所抽出的血管区域V计算形状特征量。作为血管区域V的形状特征量的项目,例如有最大宽度Wv、最小半径Rv、长度Lv。最大宽度Wv为在计算对象的血管区域V表示最大值的宽度。血管区域V呈弯曲时,最小半径Rv为以最大弯曲率弯曲的弯曲部位的半径。长度Lv为血管区域V的长边方向的长度。当血管区域V呈弯曲时,例如为沿弯曲形状推测中心线时的中心腺的长度。
如图6所示,特征量计算部74按在血管区域图像84内由一个密闭区域构成的一个血管区域V1计算特征量,除此以外,如图7所示,有时将由一个密闭区域构成的一个血管区域V5分割为多个区域A1、A2,并对各区域A1、A2计算特征量。如此,是否对一个血管区域V进行分割,例如根据大小或形状的复杂度等而适当确定。如此,特征量计算部74对结构体区域图像内的多个结构体区域,按每一结构体区域或按将结构体区域分割为多个区域的每一个计算特征量。
特征量计算部74对血管区域图像84内的所有的血管区域V计算特征量。而且,特征量计算部74对已计算特征量的一个区域赋予一个区域号。只要是图6的例,则对一个血管区域V2例如赋予称为“V2”的一个区域号,且只要是图7的例,则对一个血管区域V5内的多个区域A1、A2的每一个赋予例如标注了称为“V5-1”、“V5-2”的枝号的区域号。特征量计算部74以将区域号、血管区域图像84内的坐标信息及已计算出的特征量作为一组信息而建立关联的形式向赋予有区域号的每一区域输出。
如图8所示,特征量计算部74与血管区域图像84相同,从腺管区域图像86逐一抽出腺管区域S,并按每一所抽出的腺管区域S计算形状特征量。作为腺管区域S的形状特征量的项目,例如有最大宽度Ws、长径Ls、枝化数Bs。最大宽度Ws为在计算对象的腺管区域S表示最大值的宽度。当最大宽度Ws设为短径时,长径Ls为与短径正交的方向上的长度的最大值。枝化数Bs为如腺管区域S1那样存在分支的区域时的分支数。
特征量计算部74对在腺管区域图像86内由一个密闭区域构成的一个腺管区域S2计算形状特征量。并且,对腺管区域S2也有时如在图7中对血管区域V表示那样,将一个腺管区域S2分割为多个区域,且对所分割的各区域计算特征量。是否对一个腺管区域S进行分割,例如根据大小或形状的复杂度而适当确定。
特征量计算部74与血管区域图像84的情况相同,对腺管区域图像86内的所有的腺管区域S计算特征量。而且,特征量计算部74对已计算特征量的一个区域赋予一个区域号。只要是图8的例,则对一个腺管区域S2赋予例如称为“S2”的一个区域号。虽未图示,但在将一个腺管区域S分割为多个区域而计算特征量时,按每一区域赋予标注了枝号的区域号。特征量计算部74以将区域号、血管区域图像86内的坐标信息及已计算出的特征量作为一组信息而建立关联的形式向赋予有区域号的每一区域输出。
颜色分配部76对已计算特征量的结构体区域分配与所计算出的特征量对应的颜色。特殊图像处理部64内的存储器中储存有血管用颜色分配表87和腺管用颜色分配表88。颜色分配部76参考血管用颜色分配表87而对血管区域图像84内的血管区域V分配颜色,并且,参考腺管用颜色分配表88而对腺管区域图像86内的腺管区域S分配颜色。
如图9所示,血管用颜色分配表87例如为根据Lab表色系的3维颜色空间而制作的3维LUT(Look Up Table(查找表))。众所周知,Lab表色系为以L表示亮度,且以a、b表示显示色相和色度的表色系。血管用颜色分配表87使血管区域V的最大宽度Wv、最小半径Rv、长度Lv等特征量的这3个项目与Lab表色系的3轴对应。具体而言,对亮度L的轴分配最大宽度Wv,对色相a的轴分配最小半径Rv,且对色度b的轴分配长度Lv。本例中,亮度L根据最大宽度Wv的变化而发生变化,且色相a及色度b根据最小半径Rv及长度Lv的变化而发生变化。
如图10所示,腺管用颜色分配表88也是根据Lab表色系的颜色空间而制作的3维LUT。腺管用颜色分配表88使腺管区域S的最大宽度Ws、长径Ls、枝化数Bs这3个特征量的项目与Lab表色系的3轴对应。具体而言,对亮度L的轴分配最大宽度Ws,对色相a的轴分配长径Ls,且对色度b的轴分配枝化数Bs。本例中,亮度L根据最大宽度Ws的变化而发生变化,且色相a及色度b根据长径Ls及枝化数Bs的变化而发生变化。
如图11所示,颜色分配部76按已计算特征量的每一血管区域V分配颜色。如血管区域V5-1、V5-2,当分别对将一个血管区域V5分割而成的多个区域计算特征量时,按被分割的每一区域分配颜色。颜色分配部76在血管用颜色分配表87的颜色空间根据特征量的3个项目(Wv、Rv、Lv)的具体值判定位置,从而确定已计算其特征量的区域的颜色。按每一血管区域V进行这种处理,并分别对血管区域V1、V2、V3-1、V3-2……分配颜色。
图11的例中,以对血管区域V1分配“红1”,对血管区域V2分配“红2”,且对血管区域V3-1分配“红3”的方式分配颜色。在此,如“红1”、“红2”那样,对颜色标注的编号不同的血管区域分别为同色系,但亮度、色相、色度中的至少一个显示不同的颜色。
颜色分配部76根据从特征量计算部74获取的坐标信息规定血管区域图像84内的各血管区域V的位置,并以所分配的颜色对各血管区域V进行着色。对已计算特征量的所有的血管区域V进行这种颜色分配处理而生成将血管区域图像84伪彩化的伪彩血管区域图像89。在伪彩血管区域图像89中,根据形状特征量对多个血管区域V进行颜色区分而显示。
如图12所示,颜色分配部76与血管区域V相同,按已计算特征量的每一腺管区域S分配颜色。颜色分配部76在腺管用颜色分配表88的颜色空间上根据3个特征量(Ws、Ls、Bs)判定位置,从而确定计算出特征量的区域的颜色。按每一腺管区域S进行这种处理,并分别对腺管区域S1、S2、S3、S4……分配颜色。
图12的例中,以对腺管区域S1分配“蓝4”,对腺管区域S2分配“紫1”,且对腺管区域S3分配“紫2”的方式进行分配颜色。图12的例中,也如“紫1”、“紫2”那样标注有颜色的编号不同的腺管区域分别为同色系,但亮度、色相、色度中的至少一个表示不同的颜色。
颜色分配部76根据从特征量计算部74获取的坐标信息规定腺管区域图像86内的各腺管区域S的位置,且以所分配的颜色对各腺管区域S进行着色。对计算出特征量的所有的腺管区域S进行这种颜色分配处理而生成将腺管区域图像86伪彩化的伪彩腺管区域图像91。伪彩腺管区域图像91中,根据形状特征量对多个腺管区域S进行颜色区分而显示。
关于由颜色分配部76对血管区域V或腺管区域S进行的颜色分配方法,可以如图13所示,使颜色相对于特征量的变化而连续发生变化,也可以如图14所示,使颜色相对于特征量的变化而逐步发生变化。图13及图14中,举例说明了特征量与绿色和黄色等色相的关系,且亮度或色度与特征量的关系也相同。当使用血管用或腺管用颜色分配表87、88时,以成为图13或图14的关系的方式设定各颜色分配表87、88。
另外,颜色分配部76可以替代使用颜色分配表87、88的情况而使用将特征量转换为颜色的函数。
并且,本例中,对血管区域图像84的血管区域V分配的颜色中使用红、黄、棕等暖色系,且在对腺管区域图像86的腺管区域S分配的颜色中使用蓝、紫等冷色系。
图5中,图像合成部78以减少原始图像83为基本图像,并通过对减少原始图像83重叠合成伪彩血管区域图像89而生成第1合成图像92。并且,以减少原始图像83为基本图像,并通过对减少原始图像83重叠合成伪彩腺管区域图像91而生成第2合成图像93。特殊图像处理部64向显示控制部65输出第1合成图像92及第2合成图像93来作为特殊图像。
如图15及图16所示,显示控制部65生成并列显示作为通常图像的原始图像82和作为特殊图像的第1合成图像92及第2合成图像93的显示画面96而显示于显示器18。显示画面96中设置有选择框97来作为用于选择显示第1合成图像92及第2合成图像93中的任一个的选择操作部。选择框97通过鼠标等指针98而***作。
如图15所示,若在选择框97选择血管,则显示强调血管区域V的第1合成图像92,如图16所示,若选择腺管,则显示强调腺管区域S的第2合成图像93。在检查中通过操作选择框97,还能够切换显示。
并且,如图15及图16所示的显示画面96,除了并列显示原始图像82和合成图像92、93以外,还可以将原始图像82及合成图像92、93的各图像一帧一帧选择性显示。
关于基于上述结构的作用,参考图17所示的流程图来进行说明。若内窥镜12与光源装置14及处理器装置16连接而启动内窥镜***10,则内窥镜12的成像传感器48开始进行拍摄。光源装置14中,点亮V、B、G、R这4种颜色的LED20a~20d而向内窥镜12供给基于4种颜色的光的混合的白色光来作为照明光。
若内窥镜12的***部12a被***到患者等的体内,则通过光导件41而向体内的观察对象照射照明光,且在观察对象反射的反射光入射到成像传感器48。成像传感器48在照明光下对体内的观察对象进行拍摄而向处理器装置16输入观察对象的RGB的图像信号。在初期设定中,内窥镜***10以通常观察模式启动。在处理器装置16中,通常图像处理部62获取RGB的图像信号,并根据所获取的图像信号而生成用彩色描绘出观察对象的通常图像。通常图像被输入到显示控制部65,显示控制部65将显示通常图像的显示画面96显示于显示器18。
若通过医生的操作而模式切换SW13a***作,则通过图像处理切换部60切换信号输入路径,且内窥镜***10从通常观察模式切换到特殊观察模式。特殊图像处理部64获取观察对象的RGB的图像信号(步骤(S)101)。而且,原始图像生成部68根据RGB的图像信号而生成与通常图像相同的原始图像82(S102)。减少原始图像生成部70通过将彩色原始图像82单色化而生成减少了颜色及对比度的减少原始图像83(S103)。
结构体区域图像生成部72根据B图像信号而生成血管区域图像84,且根据G图像信号而生成腺管区域图像86(S104)。而且,特征量计算部74根据血管区域图像84及腺管区域图像86各自的结构体区域图像而计算血管区域V及腺管区域S的每一个形状特征量(S105)。
如图6~图8所示,特征量计算部74在血管区域图像84及腺管区域图像86按每一血管区域V或每一腺管区域S计算特征量。进而,如图7所示,当将一个血管区域V或一个腺管区域S分割为多个区域时,按每一区域计算特征量。
如图9~图12所示,颜色分配部76利用各颜色分配表87、88对血管区域图像84内的血管区域V、腺管区域图像86内的腺管区域S,按已计算出特征量的每一区域分配与特征量对应的颜色(S106)。
例如,如图6所示,当在血管区域图像84对一个血管区域V2的整体计算出特征量时,血管区域V2整体被根据所计算出的特征量分配的颜色着色。并且,如图7所示,当一个血管区域V5被分割为多个区域V5-1、V5-2,且按被分割的每一区域V5-1、V5-2计算出特征量时,各区域V5-1、V5-2分别被根据所计算出的特征量分配的颜色着色。对腺管区域图像86的腺管区域S也以相同的方法进行颜色分配。
本例中,颜色分配部76对血管区域图像84的血管区域V使用红、黄、棕等暖色系,且对腺管区域图像86的腺管区域S使用蓝、紫等冷色系,由此按每一结构体区域分配不同***的颜色。如此,生成伪彩血管区域图像89及伪彩腺管区域图像91(参考图5)。
图像合成部78对减少原始图像83重叠伪彩血管区域图像89而生成第1合成图像92,且对减少原始图像83重叠伪彩腺管区域图像91而生成第2合成图像93(S107)。
如图15及图16所示,第1合成图像92或第2合成图像93与作为通常图像的原始图像82一同显示于显示画面96。第1合成图像92和第2合成图像93通过选择框97的选择而切换。医生能够通过选择框97的操作来观察所希望的图像。
使用于第1合成图像92及第2合成图像93的伪彩血管区域图像89和伪彩腺管区域图像91根据血管区域V或腺管区域S的形状特征量而被颜色区分。由此,能够简单地辨识形状特征量不同的多个结构体区域。辨识形状特征量不同的区域的情况在病变的诊断中非常有用。
例如,在发生了肿瘤等病变区域和正常区域中,血管的宽度或走行状态、腺管的大小等结构体的形状特征大不同。医生着眼于这种形状特征而进行诊断,因此若能够简单地辨识形状特征不同的区域,则能够简单地辨别病变区域与正常区域。并且,血管的走行状态或腺管结构的形状等在病变区域也根据部位而发生变化。按每一血管区域或腺管区域,并根据该区域的形状而分配颜色,因此容易视觉性掌握特征量不同的区域。
本例中,这种伪彩血管区域图像89及伪彩腺管区域图像91重叠的基本图像中使用减少原始图像83。如上述,减少原始图像83为减少了彩色原始图像82的颜色及对比度的单色灰度图像。伪彩血管区域图像89及伪彩腺管区域图像91中强调了血管区域V或腺管区域S,但却舍去了其以外的信息。
相对于此,减少原始图像83被单色化,但描绘了在伪彩血管区域图像89或伪彩腺管区域图像91中被舍去的观察对象的信息,且能够掌握观察对象整体的性状。例如,第1合成图像92中重叠有伪彩血管区域图像89和减少原始图像83,因此血管区域V被颜色区分而被强调显示,但在减少原始图像83还描绘血管区域V以外的腺管区域S等。因此,能够掌握观察对象整体的性状的同时观察被颜色区分的血管区域V。
尤其,在本例中,减少原始图像83并非二值化图像,且使用具有规定的灰阶数的灰度图像,因此与二值化图像相比,能够明确掌握观察对象整体的性状。
并且,在本例中,在第1合成图像92、第2合成图像93中的任一个基本图像中都使用了相同的减少原始图像83。由于使用相同的减少原始图像83,因此分别在第1合成图像92及第2合成图像93中强调的结构体区域(血管区域V、腺管区域S)的不同点明显,从而容易对两者进行比较。
并且,作为第1及第2合成图像92、93的基本图像而使用的减少原始图像83被单色化,因此在伪彩血管区域图像89或伪彩腺管区域图像91中颜色分配的自由度高。即,若将彩色原始图像82用作基本图像,则能够将与在原始图像82中使用的颜色相同的颜色用作伪彩的分配颜色,因此对能够使用的颜色的限制较多。相对于此,将通过单色化而减少了颜色数量的减少原始图像83使用于基本图像,由此能够增加能够使用的颜色的数量。由此,能够根据特征量而进行详细的颜色区分。能够使得颜色数量越多,则越能够用颜色显示形状特征量的微细差异。
并且,如图13所示,通过使所分配的颜色根据特征量的变化而连续发生变化,能够用灰度显示形状特征的较小的变化。因此,容易视觉性掌握特征量的微细变化。
并且,在本例中,以在对血管区域图像84的血管区域V分配的颜色中使用红、黄、棕等暖色系,且在对腺管区域图像86的腺管区域S分配的颜色中使用蓝、紫等冷色系的方式,按每一不同结构体区域图像分配不同颜色。由此,通过根据血管区域V和腺管区域S等结构体区域的种类使用不同的颜色,可得到可轻松地区别结构体区域的种类的效果。
在本例中,作为按每一结构体区域而不同的颜色,举例说明了暖色系和冷色系颜色,但也可以是其以外的颜色。在此,不同的颜色中包括所有的色相、亮度及色度中的至少一个不同的情况。但是,认为色相、亮度及色度中容易赋予视觉性不同的印象的是色相,因此优选按每一结构体区域分配色相不同的颜色。而且,在使用色相不同的颜色的情况下,也更优选如本例那样优选使用如暖色系和冷色系那样***不同的颜色。其原因在于,暖色系和冷色系如补色关系那样在色相环中的位置相对远离,因此更容易赋予视觉性不同的印象。
并且,在本例中,对血管区域图像84使用暖色系,且对腺管区域图像86使用冷色系,从而两者容易区别,并且分别在血管区域图像84或腺管区域图像86,使颜色在暖色系或冷色系的同系颜色内根据特征量而发生变化。由此,按结构体区域的种类确保统一感,并且对相同种类的结构体区域,在同系颜色内根据形状特征量而分配不同的颜色,因此特征量不同的区域也被颜色区分。在此,同系色是指,例如如色相环中的红与橙、或者绿与黄绿那样,色相环中的位置包含于约120度的范围的颜色彼此。
“第2实施方式”
如图18及图19所示的第2实施方式,图像合成部78可以将血管区域V被颜色区分的伪彩血管区域图像89、腺管区域S被颜色区分的伪彩腺管区域图像91这两者重叠于减少原始图像83而生成一个第3合成图像99。如图19所示,在显示画面96中,第3合成图像99与原始图像82并列显示。由此,能够在一个第3合成图像99内观察分别根据特征量而被颜色区分的多个结构体区域。另外,可以将原始图像82和第3合成图像99一帧一帧选择性显示。
并且,第1实施方式的图15、图16的显示模式和图19所示的显示模式可以通过选择框97而被切换。如此一来,能够在一个显示画面96切换并选择性显示第1合成图像92、第2合成图像93、第3合成图像99。当然,可以设为能够将多个合成图像92、93、99并列显示在显示画面96内。
“第3实施方式”
如图20所示的第3实施方式,可以按结构体区域图像的种类,将所使用的基本图像作为不同的减少原始图像。在图20所示的例中,在与伪彩血管区域图像89合成的基本图像中使用第1减少原始图像83A而生成第1合成图像92A。在与伪彩腺管区域图像91合成的基本图像中使用第2减少原始图像83B而生成第2合成图像93A。
例如,第1减少原始图像83A和第2减少原始图像83B均为单色灰度图像,但所使用的颜色不同。具体而言,第1减少原始图像83A为冷色系的蓝色和白色的单色灰度图像,且第2减少原始图像83B为暖色系的红色和白色的单色灰度图像。
如第1实施方式所示,对伪彩血管区域图像89分配暖色系颜色,因此作为基本图像而使用使用了冷色系颜色的第1减少原始图像83A,由此能够使对被强调的血管区域V分配的暖色系颜色突出。相反地,对伪彩腺管区域图像91分配冷色系颜色,因此作为基本图像而使用使用了暖色系颜色的第2减少原始图像83B,由此能够使对被强调的血管区域S分配的冷色系颜色突出。
本例中,在第1减少原始图像83A和第2减少原始图像83B中改变了所使用的颜色,但也可以替代改变颜色的情况而改变清晰度。例如,对成为伪彩血管区域图像89的背景的第1减少原始图像83A实施软聚焦处理而使所描绘的对象模糊。血管区域V比较细,因此通过使背景模糊,能够使血管区域V突出。另外,可以组合清晰度变化和颜色变化。
如此,根据结构体区域图像的种类而改变用作基本图像的减少原始图像83,由此能够根据结构体区域图像的种类而使用适当的减少原始图像83。
“第4实施方式”
如图21所示的第4实施方式,在颜色分配部76在血管用颜色分配表87的颜色空间上根据3个特征量(Wv、Rv、Lv)而判定位置时,可以进行伽马转换。伽马曲线101表示作为输入值的特征量与作为输出值的颜色空间上的位置的对应管理。通过使伽马曲线101发生变化,能够增大输入值的特定范围的颜色分解能,或者使其减小。由此,例如关于特征量的特定的输入范围,能够以大的颜色变化表示特征量的小的变化。
“第5实施方式”
上述实施方式中,作为针对已计算出特征量的血管区域V或腺管区域S的颜色分配方法,举例说明了填满血管区域V或腺管区域S的各区域本身而进行着色的方法,但可以如图22所示的第5实施方式那样,使用表示颜色的标志103来分配颜色。
在图像内,以已计算出的特征量对应的颜色对标志103进行着色,并将其***已计算出特征量的区域附近位置。如此,能够通过颜色辨别特征量不同的区域。可以对血管区域V等已计算出特征量的区域本身进行着色,也可以不进行。标志103呈箭头形状。标志103的例可以为除箭头形状以外的形状,例如,如图23所示,可以是菱形标志104。当然,也可以是圆形或多边形。并且,可以通过熄灭标志103、104,或者使其旋转等方法进行动画显示。通过动画显示,能够赋予动态视觉效果,因此能够赋予较强的印象。
“第6实施方式”
如图24所示的第6实施方式,可以将显示控制部65设为能够向多显示器输出显示画面。显示控制部65例如对多台显示器18A、18B输出显示作为通常图像的原始图像82的显示画面和显示作为特殊图像的合成图像99的显示画面。通过设为多显示器,画面尺寸变宽,因此能够通过大的图像进行观察。
在上述各实施方式中,关于减少原始图像83,举例说明了实施减少原始图像82的颜色和对比度这两者的加工而生成,但也可以仅减少颜色及对比度中的一方。当仅减少对比度时,在减少原始图像83残留颜色,但若减少对比度,则背景的颜色变得不明显。因此,即使重叠已伪彩化的结构体区域图像,背景的颜色损害被颜色区分的结构体区域图像的可视性的情况也较少。因此,与未减少对比度的情况相比,能够确保与结构体的形状特征对应的颜色分配的自由度。当然,更优选与颜色的减少组合,而不是对比度的减少。
并且,减少颜色的方法可以是单色化以外的方法,也可以通过彩色图像而限制颜色数量。
在上述各实施方式中,作为强调的结构体区域,举例说明了血管区域V和腺管区域S,但也可以强调除这些以外的结构体区域。例如,为粘膜的发红区域、退色区域(褐色区域)、息肉等异物区域等。并且,作为形状特征量,除了在上述实施方式所示的例以外,例如可以为区域的面积、周围长度、主轴的长度、针对规定形状的近似率、多个区域的密度、与相邻区域的距离或根据这些多个特征量的组合而计算出的值等。
并且,作为特征量的算出方法,例如可以准备规定的基本图案,计算与该基本图案的类似度来作为特征量。例如,作为基本图案,准备多种“规则性点状”、“边缘不清晰”等病变的典型图案。对照这种多个基本图案和结构体区域,并计算每一基本图案的类似度来作为形状特征量。进而,将所计算出的类似度中的类似度最高的基本图案判定为结构体区域的图案。结构体区域按所判定的每一图案进行颜色分配。
当如此计算结构体区域与基本图案的类似度来作为特征量时,可以对包含多个结构体区域的规定区域整体计算特征量,而不是如上述实施方式那样对结构体区域内的每一个结构体区域分别计算特征量。具体而言,包含多个结构体区域的规定区域整体例如被判定为与“规则性点状”类似,且对该区域整体分配与“规则性点状”对应的颜色。该情况下,在显示画面96内,如“规则性点状”为“蓝1”等那样可以显示表示基本图案与颜色的对应关系的图例。
上述实施方式中,如血管区域图像或腺管区域图像那样,按结构体的种类生成结构体区域图像,但也可以生成包含多种结构体区域的结构体区域图像。当然,如上述实施方式那样按结构体的种类生成结构体区域图像则结构体的区别变清楚,因此优选。
并且,在上述实施方式中,举例说明了在动态图像摄影中生成并显示强调结构体区域的合成图像的情况,但在静态图像摄像时,可以根据所拍摄的静止图像而生成并显示。或者,可以在动态图像摄像时及静态图像摄像时这两者中进行。
并且,举例说明了将切换到特殊观察模式的模式切换SW设置在内窥镜12的操作部的情况,但也可以使脚踏开关、鼠标、键盘、触摸面板显示器等各种操作部作为模式切换SW而发挥功能。并且,可以设置检测医生的视线的视线检测传感器、检测手或脚的动作的动作传感器来使其作为模式切换SW而发挥功能。除此以外,可以使用通过声音辨识而动作的开关、脑波检测开关。
并且,可以替代通过模式切换SW切换的情况,使观察模式以规定时间间隔自动切换。这样一来,不需要医生的操作,因此较方便。并且,作为显示器的形态,除了台式显示器以外,还可以使用头戴式显示器而将合成图像显示于头戴式显示器。
并且,在上述实施方式中,作为结构体区域的抽出方法,举例说明了使用在白色光下拍摄的图像信号中的B图像信号或G图像信号,但可以使用在白色光下拍摄的彩色原始图像82,而不是单色图像信号。该情况下,如以下所示,能够对根据血管的颜色抽出的血管进行分类。
已知光的波长与粘膜的浸润深度有关。具体而言,波长越短则向粘膜内的光的浸润深度越低,且波长越长则向粘膜内的光的浸润深度越高。因此,当在白色光下拍摄粘膜时,根据血管的深度而颜色发生变化。例如,表层的血管在蓝色光的到达量多的血中被吸收,因此在反射光中蓝色成分变少,且在摄像图像用红色描绘。相对于此,深层的血管在蓝色光的到达量少的粘膜内反射,因此在反射光中蓝色成分变多,因此在摄像图像中用接近紫色的颜色描绘。中层的血管在其中间用棕褐色描绘。
如此,根据粘膜内的深度而血管区域的颜色发生变化,因此在抽出处理中,以在表层用红色,在中层用棕褐色,在深层用紫色的方式对所抽出的血管区域的颜色进行分类,由此能够抽出特定深度的血管区域。可以设为对如此抽出的深度不同的多个血管区域进行颜色区分而能够在合成图像中辨识。
并且,特殊光例如可以使用在蓝色光、绿色光、红色光的各波长范围的一部分窄频带设为波长频带的窄频带光下得到的窄频带图像信号而不是在白色光下得到的图像信号。通过使用对应于血中血红蛋白的吸收率高的频带的窄频带光(蓝色窄频带光或绿色窄频带光),能够得到在对比度更高的状态下描绘出血管区域的图像信号。在使用蓝色窄频带光和绿色窄频带光的情况下,也与白色光的情况相同,根据血管的深度而颜色发生变化。具体而言,表层的血管呈红色,中层的血管呈棕褐色,且深层的血管呈蓝绿色。在使用多种颜色的窄频带光的情况下,也根据血管的深度而颜色发生变化,因此能够根据颜色抽出特定深度的血管区域。
或者,可以使用在除通常可见光以外的光、例如使用了红外光或紫外光的特殊光下得到的图像信号。可以使用如发出选择性地聚集于病变部的荧光的药物来接收在照射有红外光、紫外光或特定波长的特殊光时发出的荧光而得到的图像信号。荧光发出特定波长的光,因此能够根据颜色而抽出表示病变的发光区域。
并且,可以使用在将靛蓝胭脂红溶液,结晶紫溶液,碘稀释溶液等染色液散布在消化管内的状态下拍摄而得到的图像信号。
如此,在通过特殊光获取图像信号时,需要在通常观察模式和特殊观察模式中改变照明光。例如,光源控制部21通过点亮及熄灭紫色光V、蓝色光B、绿色光G、红色光R,进而使光量比发生变化,在通常观察模式和特殊观察模式中改变照明光。可以以规定时间间隔自动切换这种通常观察模式和特殊观察模式。并且,当散布上述染色液时,根据染色液的颜色而强调特定结构的对比度,因此优选按每一染色液切换照明光。
并且,作为抽出结构体区域的前处理,优选进行如下处理。在从B图像信号抽出结构体区域的情况下,首先在抽出源的B图像信号,寻找引起光晕的亮点,并从抽出对象排除包括其周围的区域。进而,还从抽出对象排除具有规定阈值以下的亮度的区域。其原因在于,在被排除的区域没有描绘出血管,或者即使描绘出血管,也无法与其他区域辨别,且很难抽出。
另外,在作为成为结构体区域的抽出源的图像而使用原始图像82的情况下,还可以在原始图像82,从抽出对象排除映射处置器具的区域。在内窥镜的操作中,使用活检钳、夹持处置器具、勒除器等各种处置器具,因此有时在所拍摄的图像内映射处置器具。
在映射处置器具的区域,观察对象成为处置器具的影子,因此优选排除这种区域。处置器具的前端部为金属制,向基端侧延伸的导轨护套为白色树脂制,且线圈护套为金属制。因此,该处置器具的颜色大致被确定,因此将这些颜色的区域判定为排除对象区域而从原始图像82内排除即可。
并且,在去除了排除对象区域的抽出对象区域例如成为图像整体的10%以下等仅残留一些的情况下,可以从结构体区域的抽出对象的图像排除(不进行抽出处理)该图像。其原因在于,这种图像的抽出对象区域少,因此结构体区域几乎未被抽出,而处理变多余。
并且,上述实施方式中,作为光源,使用了紫色光V、蓝色光B、绿色光G、红色光R这4种颜色的LED,但也可以使用B、G、R这3种颜色的LED。并且,替代LED,除了上述的激光二极管(LD)以外,还可以使用EL(Electro Luminescence(电致发光元件))等其他半导体光源。并且,可以使用氙气灯等的白色光源。
并且,作为成像传感器,举例说明了在成像面对应于像素而设置有BGR的微型滤波器的彩色成像传感器,但也可以是单色成像传感器。当组合单色成像传感器和氙气灯等白色光源时,设置用于将氙气灯的光分光于BGR的光的旋转滤波器。
并且,上述实施方式中,举例说明了使与内窥镜直接连接的处理器装置作为本发明的图像处理装置而发挥功能,但可以将图像处理装置从处理器装置独立的装置。
另外,除了安装于胶囊内窥镜***的处理器装置以外,本发明还能够应用于各种医用图像处理装置。并且,除了图像处理装置及方法以外,本发明还涉及存储使计算机作为图像处理装置而发挥功能的图像处理程序或图像处理程序的存储介质。
符号说明
10-内窥镜***,16-处理器装置,65-显示控制部,68-原始图像生成部,70-减少原始图像生成部,72-结构体区域图像生成部,74-特征量计算部,76-颜色分配部,78-图像合成部,82-原始图像,83-减少原始图像,84-血管区域图像,86-腺管区域图像,87-血管用颜色分配表,88-腺管用颜色分配表,89-伪彩血管区域图像,91-伪彩腺管区域图像,92、93、99-合成图像,96-显示画面。
Claims (11)
1.一种图像处理装置,其具备:
图像信号获取部,获取对生物体内的观察对象进行拍摄而得到的图像信号;
原始图像生成部,根据图像信号生成所述观察对象被描绘成彩色的原始图像;
减少原始图像生成部,通过对所述原始图像实施减少颜色及对比度中的至少一个的加工而生成减少原始图像;
结构体区域图像生成部,生成从所获取的所述图像信号抽出一个以上的结构体区域而成的结构体区域图像;
特征量计算部,根据所述结构体区域图像计算所述结构体区域的形状特征量;
颜色分配部,对所述结构体区域分配与所述特征量对应的颜色;及
图像合成部,将所述减少原始图像和已进行所述颜色分配的所述结构体区域图像重叠而生成合成图像,
所述结构体区域图像生成部生成表示第1结构体区域的第1结构体区域图像和表示第2结构体区域的第2结构体区域图像,
所述减少原始图像生成部生成第1减少原始图像及第2减少原始图像,
所述图像合成部生成对所述第1结构体区域图像和所述第1减少原始图像进行合成而成的第1合成图像以及对所述第2结构体区域图像和所述第2减少原始图像进行合成而成的第2合成图像来作为所述合成图像。
2.根据权利要求1所述的图像处理装置,其中,
所述颜色分配部根据特征量使分配到所述结构体区域的颜色逐步或连续发生变化。
3.根据权利要求1或2所述的图像处理装置,其中,
所述颜色分配部分别对所述第1结构体区域图像和所述第2结构体区域图像分配不同的颜色。
4.一种图像处理装置,其具备:
图像信号获取部,获取对生物体内的观察对象进行拍摄而得到的图像信号;
原始图像生成部,根据图像信号生成所述观察对象被描绘成彩色的原始图像;
减少原始图像生成部,通过对所述原始图像实施减少颜色及对比度中的至少一个的加工而生成减少原始图像;
结构体区域图像生成部,生成从所获取的所述图像信号抽出一个以上的结构体区域而成的结构体区域图像;
特征量计算部,根据所述结构体区域图像计算所述结构体区域的形状特征量;
颜色分配部,对所述结构体区域分配与所述特征量对应的颜色;及
图像合成部,将所述减少原始图像和已进行所述颜色分配的所述结构体区域图像重叠而生成合成图像,
所述结构体区域图像生成部生成表示第1结构体区域的第1结构体区域图像和表示第2结构体区域的第2结构体区域图像,
所述图像合成部生成对所述第1结构体区域图像、所述第2结构体区域图像及所述减少原始图像这3个图像进行合成而成的第3合成图像来作为所述合成图像。
5.一种图像处理装置,其具备:
图像信号获取部,获取对生物体内的观察对象进行拍摄而得到的图像信号;
原始图像生成部,根据图像信号生成所述观察对象被描绘成彩色的原始图像;
减少原始图像生成部,通过对所述原始图像实施减少颜色及对比度中的至少一个的加工而生成减少原始图像;
结构体区域图像生成部,生成从所获取的所述图像信号抽出一个以上的结构体区域而成的结构体区域图像;
特征量计算部,根据所述结构体区域图像计算所述结构体区域的形状特征量;
颜色分配部,对所述结构体区域分配与所述特征量对应的颜色;及
图像合成部,将所述减少原始图像和已进行所述颜色分配的所述结构体区域图像重叠而生成合成图像,
所述结构体区域图像生成部生成表示第1结构体区域的第1结构体区域图像和表示第2结构体区域的第2结构体区域图像,
所述图像合成部生成对所述第1结构体区域图像和所述减少原始图像进行合成而成的第4合成图像和对所述第2结构体区域图像和所述减少原始图像进行合成而成的第5合成图像来作为所述合成图像。
6.根据权利要求1或2所述的图像处理装置,其中,
所述颜色分配部使所述特征量的多个项目与3维颜色空间上的3轴中的任一个对应,并且根据所述特征量的各项目的具体值判定所述颜色空间上的位置而确定所述颜色。
7.根据权利要求6所述的图像处理装置,其中,
所述颜色分配部在根据所述特征量判定所述颜色空间上的位置时进行伽马转换。
8.根据权利要求1或2所述的图像处理装置,其具备显示控制部,该显示控制部进行将所述合成图像显示于显示画面的控制。
9.根据权利要求8所述的图像处理装置,其中,
在所述显示画面能够并列或选择性显示所述原始图像与所述合成图像。
10.根据权利要求8所述的图像处理装置,其中,
所述显示控制部能够将所述显示画面输出到多显示器。
11.一种图像处理装置的工作方法,其具备:
图像信号获取步骤,由图像信号获取部获取对生物体内的观察对象进行拍摄而得到的图像信号;
原始图像生成步骤,由原始图像生成部根据所述图像信号生成所述观察对象被描绘成彩色的原始图像;
减少原始图像生成步骤,由减少原始图像生成部通过对所述原始图像实施减少颜色及对比度中的至少一个的加工而生成减少原始图像;
结构体区域图像生成步骤,由结构体区域图像生成部生成从所获取的所述图像信号抽出一个以上的结构体区域而成的结构体区域图像;
特征量计算步骤,由特征量计算部根据所述结构体区域图像计算所述结构体区域的形状特征量;
颜色分配步骤,由颜色分配部对所述结构体区域分配与所述特征量对应的颜色;及
图像合成步骤,由图像合成部根据所述图像信号将对所述观察对象被描绘成彩色的原始图像实施了减少颜色及对比度中的至少一个的加工而成的减少原始图像和已被所述颜色分配部对所述结构体区域区域分配颜色的所述结构体区域图像重叠而生成合成图像,
在所述结构体区域图像生成步骤中,生成表示第1结构体区域的第1结构体区域图像和表示第2结构体区域的第2结构体区域图像,
在生成所述减少原始图像的步骤中,生成第1减少原始图像及第2减少原始图像,
在所述图像合成步骤中,生成对所述第1结构体区域图像和所述第1减少原始图像进行合成而成的第1合成图像以及对所述第2结构体区域图像和所述第2减少原始图像进行合成而成的第2合成图像来作为所述合成图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015093413 | 2015-04-30 | ||
JP2015-093413 | 2015-04-30 | ||
PCT/JP2016/062349 WO2016175084A1 (ja) | 2015-04-30 | 2016-04-19 | 画像処理装置、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107847117A CN107847117A (zh) | 2018-03-27 |
CN107847117B true CN107847117B (zh) | 2019-12-17 |
Family
ID=57199633
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680024706.9A Active CN107847117B (zh) | 2015-04-30 | 2016-04-19 | 图像处理装置及图像处理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10362928B2 (zh) |
JP (1) | JP6622295B2 (zh) |
CN (1) | CN107847117B (zh) |
WO (1) | WO2016175084A1 (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6196900B2 (ja) * | 2013-12-18 | 2017-09-13 | オリンパス株式会社 | 内視鏡装置 |
JP6435275B2 (ja) * | 2013-12-20 | 2018-12-05 | オリンパス株式会社 | 内視鏡装置 |
JP6485275B2 (ja) * | 2015-08-03 | 2019-03-20 | 株式会社島津製作所 | イメージング装置 |
JP6883761B2 (ja) * | 2016-10-17 | 2021-06-09 | パナソニックIpマネジメント株式会社 | プログラム生成方法、プログラム生成装置および制御プログラム |
WO2018105020A1 (ja) | 2016-12-05 | 2018-06-14 | オリンパス株式会社 | 内視鏡装置 |
WO2018235153A1 (ja) * | 2017-06-20 | 2018-12-27 | オリンパス株式会社 | 内視鏡システム、表示方法およびプログラム |
JP6920931B2 (ja) | 2017-09-01 | 2021-08-18 | 富士フイルム株式会社 | 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置 |
US20190239749A1 (en) * | 2018-02-08 | 2019-08-08 | Shimadzu Corporation | Imaging apparatus |
JP6985609B2 (ja) * | 2018-05-21 | 2021-12-22 | 日本電信電話株式会社 | 符号化装置、画像補間システム及び符号化プログラム |
DE102019101777B4 (de) | 2019-01-24 | 2023-11-02 | Carl Zeiss Meditec Ag | Mikroskopieverfahren |
US20220095891A1 (en) * | 2019-02-14 | 2022-03-31 | Dai Nippon Printing Co., Ltd. | Color correction device for medical apparatus |
JP7284814B2 (ja) * | 2019-05-23 | 2023-05-31 | 富士フイルム株式会社 | 画像処理装置 |
WO2022054400A1 (ja) * | 2020-09-11 | 2022-03-17 | 富士フイルム株式会社 | 画像処理システム、プロセッサ装置、内視鏡システム、画像処理方法及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101175435A (zh) * | 2005-05-13 | 2008-05-07 | 奥林巴斯医疗株式会社 | 生物体观测装置 |
JP2011250925A (ja) * | 2010-06-01 | 2011-12-15 | Fujifilm Corp | 電子内視鏡システム |
CN103037751A (zh) * | 2010-11-30 | 2013-04-10 | 松下电器产业株式会社 | 图像处理装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3796635B2 (ja) * | 1996-03-06 | 2006-07-12 | 富士写真フイルム株式会社 | 蛍光検出装置 |
JP3654325B2 (ja) * | 1997-02-13 | 2005-06-02 | 富士写真フイルム株式会社 | 蛍光検出装置 |
JP5389742B2 (ja) * | 2009-09-30 | 2014-01-15 | 富士フイルム株式会社 | 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法 |
US8668636B2 (en) * | 2009-09-30 | 2014-03-11 | Fujifilm Corporation | Electronic endoscope system, processor for electronic endoscope, and method of displaying vascular information |
JP4947136B2 (ja) * | 2009-12-25 | 2012-06-06 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP5484997B2 (ja) * | 2010-04-12 | 2014-05-07 | オリンパス株式会社 | 蛍光観察装置および蛍光観察装置の作動方法 |
JP5658931B2 (ja) * | 2010-07-05 | 2015-01-28 | オリンパス株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
JP5326064B2 (ja) | 2011-07-12 | 2013-10-30 | オリンパスメディカルシステムズ株式会社 | 画像処理装置 |
JP6008700B2 (ja) * | 2012-11-08 | 2016-10-19 | 富士フイルム株式会社 | 内視鏡システム |
JP6112859B2 (ja) * | 2012-12-26 | 2017-04-12 | オリンパス株式会社 | 医用画像処理装置 |
-
2016
- 2016-04-19 JP JP2017515492A patent/JP6622295B2/ja active Active
- 2016-04-19 CN CN201680024706.9A patent/CN107847117B/zh active Active
- 2016-04-19 WO PCT/JP2016/062349 patent/WO2016175084A1/ja active Application Filing
-
2017
- 2017-10-26 US US15/794,189 patent/US10362928B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101175435A (zh) * | 2005-05-13 | 2008-05-07 | 奥林巴斯医疗株式会社 | 生物体观测装置 |
JP2011250925A (ja) * | 2010-06-01 | 2011-12-15 | Fujifilm Corp | 電子内視鏡システム |
CN103037751A (zh) * | 2010-11-30 | 2013-04-10 | 松下电器产业株式会社 | 图像处理装置 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2016175084A1 (ja) | 2018-02-15 |
US10362928B2 (en) | 2019-07-30 |
CN107847117A (zh) | 2018-03-27 |
JP6622295B2 (ja) | 2019-12-18 |
US20180042468A1 (en) | 2018-02-15 |
WO2016175084A1 (ja) | 2016-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107847117B (zh) | 图像处理装置及图像处理方法 | |
US11033175B2 (en) | Endoscope system and operation method therefor | |
JP6785948B2 (ja) | 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法 | |
EP3357402B1 (en) | Endoscope system and operation method for endoscope system | |
JP7335399B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
JP6823072B2 (ja) | プロセッサ装置及び内視鏡システム | |
US20180206738A1 (en) | Endoscope system and method of operating endoscope system | |
JP2020065685A (ja) | 内視鏡システム | |
JP6017669B2 (ja) | 画像処理装置及び内視鏡システムの作動方法 | |
JP6054806B2 (ja) | 画像処理装置及び内視鏡システムの作動方法 | |
JP2017060682A (ja) | 画像処理装置、及び画像処理装置の作動方法、並びに内視鏡システム | |
US11627864B2 (en) | Medical image processing apparatus, endoscope system, and method for emphasizing region of interest | |
WO2021201272A1 (ja) | 医療画像処理装置、内視鏡システム及び医療画像処理装置の作動方法並びに医療画像処理装置用プログラム | |
US11363943B2 (en) | Endoscope system and operating method thereof | |
CN111449611A (zh) | 一种内窥镜***及其成像方法 | |
WO2022210508A1 (ja) | プロセッサ装置、医療画像処理装置、及び医療画像処理システム、並びに内視鏡システム | |
WO2022059233A1 (ja) | 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |