CN109561816B - 图像处理装置、内窥镜***、信息存储装置和图像处理方法 - Google Patents

图像处理装置、内窥镜***、信息存储装置和图像处理方法 Download PDF

Info

Publication number
CN109561816B
CN109561816B CN201680087754.2A CN201680087754A CN109561816B CN 109561816 B CN109561816 B CN 109561816B CN 201680087754 A CN201680087754 A CN 201680087754A CN 109561816 B CN109561816 B CN 109561816B
Authority
CN
China
Prior art keywords
image
motion vector
luminance
detection
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680087754.2A
Other languages
English (en)
Other versions
CN109561816A (zh
Inventor
高桥顺平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN109561816A publication Critical patent/CN109561816A/zh
Application granted granted Critical
Publication of CN109561816B publication Critical patent/CN109561816B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

图像处理装置包括：按时间顺序获取图像的图像获取部(例如摄像部(200))；和运动矢量检测部(320)，其求取基于图像的像素值而得的亮度确定信息，并根据图像和亮度确定信息来检测运动矢量，在运动矢量检测部(320)中，由亮度确定信息所确定的亮度越小，越提高运动矢量的检测处理中的、图像的低频成分相对于高频成分的相对贡献度(例如运动检测用图像中所含的低频成分的比例)。

Description

图像处理装置、内窥镜***、信息存储装置和图像处理方法
技术领域
本发明涉及图像处理装置、内窥镜***、信息存储装置和图像处理方法等。
背景技术
目前，进行帧间位置对齐的方法(运动矢量的检测方法)已广为人知。运动矢量的检测广泛使用了块匹配等方法。在实施帧间降噪(Noise Reduction，下文也记作NR)时，在使用检测出的运动矢量进行了帧间位置对齐(校正了位置偏差)的状态下，将多个帧加权平均。由此，能够兼顾NR和分辨率的保持。运动矢量也能够用于NR以外的各种处理。
通常，在块匹配处理等运动检测处理中，存在因噪声成分的影响导致误检测运动矢量的风险。若使用误检测出的运动矢量进行帧间NR处理，会引起分辨率降低或生成实际不存在的像(伪像)。
对此，例如专利文献1公开了一种方法，基于实施了NR处理的帧检测运动矢量，来减轻上述噪声的影响。此处的NR处理例如是LPF(Low Pass Filter)处理。
现有技术文献
专利文献
专利文献1：日本特开2006-23812号公报
发明内容
发明要解决的技术问题
专利文献1的方法以统一的条件实施LPF。因此，对噪声成分较小的亮部也会实施LPF，所以存在边缘成分变得模糊从而导致运动矢量的检测精度变差的问题。而在噪声成分非常大的情况下，LPF的效果较弱，存在无法充分抑制运动矢量的误检测的问题。
采用本发明的各实施方式，可提供一种图像处理装置、内窥镜***、信息存储装置和图像处理方法等，能够抑制因噪声导致的运动矢量的误检测，同时提高运动矢量的检测精度。
解决问题的技术手段
本发明的一个技术方案涉及一种图像处理装置，其包括：按时间顺序获取图像的图像获取部；和运动矢量检测部，其求取基于所述图像的像素值而得的亮度确定信息，并根据所述图像和所述亮度确定信息来检测运动矢量，在所述运动矢量检测部中，由所述亮度确定信息所确定的亮度越小，越提高所述运动矢量的检测处理中的、所述图像的低频成分相对于高频成分的相对贡献度。
本发明的一个技术方案在运动矢量的检测处理中，根据亮度来控制低频成分和高频成分的相对贡献度。采用这样的方式，能够在暗部通过相对地提高低频成分的贡献度来减小噪声的影响，而在亮部通过相对地提高高频成分的贡献度来进行高精度的运动矢量检测等。
本发明的另一技术方案涉及一种内窥镜***，其包括：按时间顺序拍摄图像的摄像部；和运动矢量检测部，其求取基于所述图像的像素值而得的亮度确定信息，并根据所述图像和所述亮度确定信息来检测运动矢量，在所述运动矢量检测部中，由所述亮度确定信息所确定的亮度越小，越提高所述运动矢量的检测处理中的、所述图像的低频成分相对于高频成分的相对贡献度。
本发明的另一技术方案涉及一种存储有程序的信息存储装置，所述程序使计算机执行下述步骤：按时间顺序获取图像，求取基于所述图像的像素值而得的亮度确定信息，并根据所述图像和所述亮度确定信息来检测运动矢量，在所述运动矢量的检测中，由所述亮度确定信息所确定的亮度越小，越提高所述运动矢量的检测处理中的、所述图像的低频成分相对于高频成分的相对贡献度。
本发明的另一技术方案涉及一种图像处理方法，其中，按时间顺序获取图像，求取基于所述图像的像素值而得的亮度确定信息，并根据所述图像和所述亮度确定信息来检测运动矢量，在所述运动矢量的检测中，由所述亮度确定信息所确定的亮度越小，越提高所述运动矢量的检测处理中的、所述图像的低频成分相对于高频成分的相对贡献度。
附图说明
图1是内窥镜***的结构例。
图2是摄像元件的结构例。
图3是摄像元件的光谱特性例。
图4是第一实施方式的运动矢量检测部的结构例。
图5(A)、图5(B)是相减比例与亮度信号的关系图。
图6是用于校正评价值的偏置量的设定例。
图7是用于校正评价值的系数与亮度信号的关系图。
图8是根据图像求取关于噪声的信息时的先验信息的例子。
图9是用于说明本实施方式的处理的流程图。
图10是第二实施方式的运动矢量检测部的结构例。
图11(A)～图11(C)是平滑化程度不同的多个滤波器例。
图12是第三实施方式的运动矢量检测部的结构例。
具体实施方式
下面说明本发明的实施方式。不过，下面说明的实施方式不应当用于不当地限定本发明技术方案中记载的内容。实施方式中说明的结构并不全是本发明的必要结构。
下面的第一～第三实施方式主要针对内窥镜***的例子进行说明，但本实施方式的方法能够应用于不限于内窥镜***的图像处理装置。此处的图像处理装置可以是PC(personal computer)和服务器***等通用设备，也可以是包括ASIC(applicationspecific integrated circuit，定制IC)等的专用设备。作为图像处理装置的处理对象的图像，可以是内窥镜***的摄像部拍摄的图像(例如活体内图像)，但不限于此，能够以各种图像作为处理对象。
1.第一实施方式
1.1***结构例
参照图1说明本发明第一实施方式的内窥镜***。本实施方式的内窥镜***包括光源部100、摄像部200、图像处理部300、显示部400和外部I/F部500。
光源部100包括产生白色光的白色光源110和用于使该白色光会聚到导光光纤210上的透镜120。
摄像部200为了能够***到体腔内而形成为细长且可弯曲的结构。并且因为要根据观察部位的不同而使用不同的摄像部，所以采用了可拆装的结构。在下文的说明中，也将摄像部200记作镜体(scope)。
摄像部200包括导光光纤210、照明透镜220、聚光透镜230、摄像元件240和存储器250，其中，导光光纤210用于引导在光源部100中会聚的光，照明透镜220使导光光纤210引导来的光扩散而照射到被摄体上，聚光透镜230使来自被摄体的反射光会聚，摄像元件240用于检测经聚光透镜230会聚的反射光。存储器250与后述的控制部390连接。
此处，摄像元件240是具有如图2所示的拜耳(Bayer)阵列的摄像元件。图2所示的3种彩色滤光镜r、g、b的特性如图3所示，r滤光镜使580～700nm的光透射，g滤光镜使480～600nm的光透射，b滤光镜使390～500nm的光透射。
存储器250中存储有各镜体固有的识别号。因此，控制部390通过参照存储在存储器250中的识别号，能够识别所连接的镜体的种类。
图像处理部300包括插值处理部310、运动矢量检测部320、降噪部330、帧存储器340、显示图像生成部350和控制部390。
插值处理部310与运动矢量检测部320和降噪部330连接。运动矢量检测部320与降噪部330连接。降噪部330与显示图像生成部350连接。帧存储器340与运动矢量检测部320连接，并与降噪部330双向连接。显示图像生成部350与显示部400连接。控制部390与插值处理部310、运动矢量检测部320、降噪部330、帧存储器340和显示图像生成部350之各部连接，对它们进行控制。
插值处理部310用于对摄像元件240获取的图像实施插值处理。如上所述，摄像元件240具有图2所示的拜耳阵列，所以摄像元件240获取的图像的各像素为仅包括R、G、B中的某1个的信号值、其他2种信号缺失的状态。
因此，插值处理部310对上述图像的各像素实施插值处理，补全缺失的信号值，生成各像素具有R、G、B信号全部的信号值的图像。此处，作为插值处理例如可以使用公知的双三次插值处理。这里将插值处理部310生成的图像记作RGB图像。插值处理部310将生成的RGB图像输出至运动矢量检测部320和降噪部330。
运动矢量检测部320针对RGB图像的每个像素检测运动矢量(Vx(x，y)，Vy(x，y))。此处，令图像的水平方向(横向)为x轴，垂直方向(纵向)为y轴，图像中的像素使用x坐标值与y坐标值的组记作(x，y)。运动矢量(Vx(x，y)，Vy(x，y))中，Vx(x，y)表示像素(x，y)处的x(水平)方向的运动矢量成分，Vy(x，y)表示像素(x，y)处的y(垂直)方向的运动矢量成分。令图像左上角为原点(0，0)。
在运动矢量的检测中，使用处理对象时刻的RGB图像(狭义地说，是在最新的时刻获取的RGB图像)和存储在帧存储器340中的递归RGB图像。如后文所述，递归RGB图像是在处理对象时刻的RGB图像之前的时刻获取的、经降噪处理后的RGB图像，狭义地说，是对前1时刻(前1帧)获取的RGB图像实施了降噪处理而得到的图像。在本说明书的后文中，将处理对象时刻的RGB图像简称作“RGB图像”。
运动矢量的检测方法基于公知的块匹配技术。块匹配是针对基准图像(RGB图像)的任意的块，在对象图像(递归RGB图像)内搜索相关性高的块的位置的方法。块间的相对偏离量对应于该块的运动矢量。此处，将用于识别块间的相关性的值定义为评价值。评价值越低则判断为块间越具有相关性。运动矢量检测部320中的处理的细节将在后文中描述。
降噪部330使用从插值处理部310输出的RGB图像和从帧存储器340输出的递归RGB图像，对RGB图像实施NR处理。具体而言，可以使下式(1)求取NR处理后的图像(下文记作NR图像)的坐标(x，y)处的G成分GNR(x，y)。下式(1)中的Gcur(x，y)表示RGB图像的坐标(x，y)处的G成分的像素值，Gpre(x，y)表示递归RGB图像的坐标(x，y)处的G成分的像素值。
GNR(x，y)＝we_cur×Gcur(x,y)+(1-we_cur)×Gpre{x+Vx(x，y)，y+Vy(x,y)}
…(1)
此处，we_cur取0＜we_cur≤1的值。值越小，则过去的时刻的像素值的比例越高，所以递归被越强地实施，降噪的程度越高。we_cur可以预先设定为规定值，也可以采用由用户通过外部I/F部500设定任意的值的结构。此处表示了针对G信号的处理，但R、B信号实施的也是相同的处理。
进而，降噪部330将NR图像输出至帧存储器340。帧存储器340存储NR图像。NR图像在下一个获取的RGB图像的处理中被用作递归RGB图像。
显示图像生成部350对从降噪部330输出的NR图像例如实施现有的白平衡和颜色变换处理、灰阶变换处理等，生成显示图像。显示图像生成部350将生成的显示图像输出至显示部400。显示部400例如由液晶显示装置等显示装置构成。
外部I/F部500是供用户对该内窥镜***(图像处理装置)进行输入等的接口，包括用于进行电源的ON/OFF的电源开关、用于进行拍摄模式和其他各种模式的切换的模式切换按钮等。外部I/F部500将输入的信息输出至控制部390。
1.2运动矢量检测处理的细节
在内窥镜图像中，基于活体结构(血管、腺管)来搜索相关性高的块。此时，为了检测高精度的运动矢量，优选基于分布在图像的中频带～高频带的精细的活体结构(毛细血管等)的信息来搜索块。但是，在噪声较多的情况下，精细的活体结构会因噪声而消失，运动矢量的检测精度降低并且误检测增多。而若像专利文献1那样以统一的条件实施降噪处理(LPF处理)，连噪声较少、保留有精细的活体结构的区域都将成为处理对象，所以精细的活体结构会变得模糊。其结果是，在原本能够高精度地检测运动矢量的区域，检测精度会降低。
于是，本实施方式根据图像的亮度来控制评价值的计算方法。由此，在噪声较少的亮部能够高精度地检测运动矢量，并且在噪声较多的暗部能够抑制误检测。
对运动矢量检测部320的细节进行说明。运动矢量检测部320如图4所示包括亮度图像计算部321、低频图像计算部322、相减比例计算部323、评价值计算部324a、运动矢量计算部325、运动矢量校正部326a和全局运动矢量计算部3213。
插值处理部310和帧存储器340与亮度图像计算部321连接。亮度图像计算部321与低频图像计算部322、评价值计算部324a和全局运动矢量计算部3213连接。低频图像计算部322与相减比例计算部323连接。相减比例计算部323与评价值计算部324a连接。评价值计算部324a与运动矢量计算部325连接。运动矢量计算部325与运动矢量校正部326a连接。运动矢量校正部326a与降噪部330连接。全局运动矢量计算部3213与评价值计算部324a连接。控制部390与构成运动矢量检测部320的各部连接，对它们进行控制。
亮度图像计算部321根据从插值处理部310输出的RGB图像和从帧存储器340输出的递归RGB图像分别计算亮度图像。具体而言，亮度图像计算部321根据RGB图像计算Y图像，并根据递归RGB图像计算递归Y图像。具体而言，可以使用下式(2)分别计算Y图像的像素值Ycur和递归Y图像的像素值Ypre。其中，Ycur(x，y)表示Y图像的坐标(x，y)处的信号值(亮度值)，Ypre(x，y)表示递归Y图像的坐标(x，y)处的信号值。这一点对于R、G、B之各像素值也是同样的。亮度图像计算部321将Y图像和递归Y图像输出至低频图像计算部322、评价值计算部324a和全局运动矢量计算部3213。
Ycur(x,y)＝{Rcur(x,y)+2×Gcur(x,y)+Bcur(x,y)}/4
Ypre(x,y)＝{Rpre(x,y)+2×Gpre(x,y)+Bpre(x,y)}/4…(2)
全局运动矢量计算部3213例如使用上述的块匹配，计算基准图像与对象图像之间的图像整体的偏离量作为全局运动矢量(Gx，Gy)，将其输出至评价值计算部324a。在计算全局运动矢量时，可以使块匹配中的核尺寸(kernel size)(块尺寸)比求取局部运动矢量(本实施方式的运动矢量检测部320输出的运动矢量)的情况下大。例如，在计算全局运动矢量时，可以使块匹配中的核尺寸为图像的尺寸本身。全局运动矢量是通过进行图像整体的块匹配而计算的，因此具有不容易受噪声影响的特征。
低频图像计算部322对Y图像和递归Y图像实施平滑化处理，计算低频图像(低频Y图像和递归低频Y图像)。具体而言，可以使用下式(3)求取低频Y图像的像素值Y_LPFcur和低频递归Y图像的像素值Y_LPFpre。低频图像计算部322对相减比例计算部323输出低频Y图像，对评价值计算部324a输出低频Y图像和递归低频Y图像。
Figure GDA0001948438990000081
Figure GDA0001948438990000082
相减比例计算部323基于低频Y图像按下式(4)计算每个像素的相减比例Coef(x，y)。此处，CoefMin表示相减比例Coef的最小值，CoefMax表示相减比例Coef(x，y)的最大值，满足1≥CoefMax＞CoefMin≥0的关系。Ymin表示给定的下侧亮度阈值，Ymax表示给定的上侧亮度阈值。例如在各像素被分配了8比特信息的情况下，亮度值为0以上255以下的值，因此Ymin、Ymax满足255≥Ymax＞Ymin≥0的关系。相减比例Coef(x，y)的特性可由图5(A)表示。
Figure GDA0001948438990000083
根据上式(4)和图5(A)可知，相减比例Coef(x，y)是低频Y图像的像素值(亮度值)越小则越小、低频Y图像的像素值(亮度值)越大则越大的系数。但相减比例Coef(x，y)的特性不限于此。具体而言，只要是与Y_LPFcur(x，y)联动地增大的特性即可，例如可以是图5(B)的F1～F3所示的特性。
评价值计算部324a基于下式(5)计算评价值SAD(x+m+Gx，y+n+Gy)。下式(5)中的mask表示块匹配的核尺寸。如下式(5)所示，变量p和q分别在-mask～+mask的范围内变化，所以核尺寸是2×mask+1。
Figure GDA0001948438990000091
Y′cur(x，y)＝Ycur(x，y)-Y_LPFcur(x，y)×Coef(x，y)
Y′pre(x，y)＝Ypre(x，y)-Y_LPFpre(x，y)×Coef(x，y)
m+Gx、n+Gy是基准图像与对象图像之间的相对的偏离量，m表示x方向上的运动矢量的搜索范围，n表示y方向上的运动矢量的搜索范围。例如，m和n分别取-2～+2之间的整数值。因此，评价值能够基于上式(5)计算出多个(此处是5×5＝25个)。
本实施方式采用了考虑全局运动矢量(Gx，Gy)来计算评价值的结构。具体而言，如上式(5)所示，以全局运动矢量为中心，将m、n表示的搜索范围作为对象进行运动矢量检测。不过，也能够采用不使用全局运动矢量(Gx，Gy)的结构。并且，此处将m、n的范围(运动矢量的搜索范围)设定为±2像素，但也可以采用由用户通过外部I/F部500设定任意的值的结构。另外，对应于核尺寸的mask也是既可以为规定值，也可以由用户从外部I/F部500进行设定。CoefMax、CoefMin、YMax、YMin也是同样地，既可以预先设定为规定值，也可以由用户从外部I/F部500进行设定。
如上式(5)的第一项所示，本实施方式中作为评价值计算的对象的图像(运动检测用图像)是从亮度图像中减去低频图像得到的图像，其相减比例(低频亮度图像的系数)为Coef(x，y)。Coef(x，y)的特性如图5(A)所示，所以亮度越小，相减比例越小。即，亮度越小则越留下低频成分，亮度越大则低频成分减去得越多。由此，能够在亮度小的情况下进行相对来说更重视低频成分的处理，而在亮度大的情况下进行相对来说更重视高频成分的处理。
本实施方式的评价值是对求取绝对差值和(Sum of Absolute Difference)的第一项使用第二项进行了校正而得到的值。第二项中的Offset(m，n)是与上述偏离量相应的校正值。图6表示了Offset(m，n)的具体的值。不过，校正值不限于图6，只要具有随着远离搜索原点(m，n)＝(0，0)而增大的特性即可。
Coef＇(x，y)与Coef(x，y)同样是基于Y_LPFcur(x，y)决定的系数。Coef＇(x，y)例如具有图7所示的特性。不过，Coef＇(x，y)的特性不限于此，只要是随着Y_LPFcur(x，y)的增大而减小的特性即可。图7中各变量满足CoefMax＇＞CoefMin＇≥0和255≥YMax＇＞Ymin＇≥0的关系。CoefMax＇、CoefMin＇、YMax＇、YMin＇可以预先设定为规定值，也可以由用户从外部I/F部500进行设定。
如图7所示，Coef＇(x，y)随着Y_LPFcur(x，y)的增大而减小。即，Coef＇(x，y)的值在Y_LPFcur(x，y)小即暗部处较大，第二项对评价值的贡献度提高。Offset(m，n)如图6所示具有越远离搜索原点则值越大的特性，所以在第二项的贡献度高的情况下，评价值具有在搜索原点处较小而越远离搜索原点则越大的趋势。通过在评价值的计算中使用第二项，在暗部容易选择与搜索原点对应的矢量即全局运动矢量(Gx，Gy)作为运动矢量。
运动矢量计算部325如下式(6)所示，将评价值SAD(x+m+Gx，y+n+Gy)为最小的偏离量(m_min，n_min)检测为运动矢量(Vx＇(x，y)，Vy＇(x，y))。m_min表示使评价值最小的m与全局运动矢量的x成分Gx的和，n_min表示使评价值最小的n与全局运动矢量的y成分Gy的和。
Vx’(x,y)＝m_min
Vy'(x，y)＝n_min…(6)
运动矢量校正部326a对运动矢量计算部325计算出的运动矢量(Vx＇(x，y)，Vy＇(x，y))乘以校正系数C(0≤C≤1)，求取运动矢量检测部320的输出即运动矢量(Vx(x，y)，Vy(x，y))。校正系数C的特性与图5(A)、图5(B)所示的Coef(x，y)同样地，是与Y_LPFcur(x，y)联动地增大的特性。也可以采用这样的结构，即，在亮度为规定值以下的情况下，通过使校正系数C为零来强制地使运动矢量为全局运动矢量(Gx，Gy)。运动矢量校正部326a的校正处理由下式(7)定义。
Vx(x,y)＝C×{Vx'(x,y)-Gx}+Gx
Vy(x,y)＝C×{Vy'(x,y)-Gy}+Gy…(7)
如上文以内窥镜***为例所说明的那样，本实施方式的图像处理装置包括按时间顺序获取图像的图像获取部，和求取基于图像的像素值而得的亮度确定信息，并根据图像和亮度确定信息来检测运动矢量的运动矢量检测部320。在运动矢量检测部320中，由亮度确定信息所确定的亮度越小，则越提高运动矢量的检测处理中的、图像的低频成分相对于高频成分的相对贡献度。
本实施方式的图像处理装置例如可以是与图1的内窥镜***中的图像处理部300对应的结构。该情况下，图像获取部可以由用于获取来自摄像部200的图像信号的接口来实现，也可以是例如对来自摄像部200的模拟信号进行A/D转换的A/D转换部。
或者，图像处理装置也可以是从外部设备获取包括以时间为顺序的图像的图像数据，并以该图像数据为对象进行运动矢量的检测处理的信息处理装置。该情况下，图像获取部可以由面向外部设备的接口来实现，例如可以是与该外部设备进行通信的通信部(更具体的硬件是通信天线等)。
或者也可以是，图像处理装置本身具有用于拍摄图像的摄像部。该情况下，图像获取部由摄像部实现。
本实施方式中的亮度确定信息指的是能够确定图像的亮度、明亮程度的信息，狭义而言是亮度信号。亮度信号可以如上所述是低频Y图像的像素值Y_LPFcur(x，y)，也可以如后面第二实施方式中描述的那样，是Y图像的像素值Ycur(x，y)。不过，也可以使用其他信息作为亮度确定信息，其细节将作为变形例在后文中描述。
采用本实施方式的方法，能够根据图像的亮度控制运动矢量检测中使用的空间频率的频带。在噪声较少的亮部，能够基于RGB图像的中频带～高频带的信息(精细的毛细血管等)进行高精度的运动矢量的检测。而在噪声较多的暗部，因为运动矢量是基于低频带(较粗的血管、消化管的褶皱)的信息检测的，所以与使用中频带～高频带的信息的情况相比，能够抑制因噪声的影响导致的误检测。
具体而言，如上式(4)和(5)所示，根据表示RGB图像的明亮程度(亮度)的低频Y图像的信号值Y_LPFcur(x，y)来控制评价值计算中的低频成分的贡献率。在噪声较少的亮部，通过增大Coef(x，y)来降低低频成分的贡献率(高频成分的贡献率增大)。因此，能够检测出基于精细的毛细血管等的信息的高精度的运动矢量。而在噪声较多的暗部，因为减小了Coef(x，y)，所以低频成分的贡献率增大(高频成分的贡献率降低)，从而抗噪性能提高，能够抑制运动矢量的误检测。
通过上述处理，能够与输入图像的噪声无关地、高精度地检测运动矢量。在上式(1)等的降噪处理中，通过亮部的高精度的运动矢量检测，能够在维持血管等的对比度的同时降低噪声。而通过抑制暗部的因噪声导致的误检测，具有抑制实际的被摄体中不存在的运动(伪像)的效果。
运动矢量检测部320基于图像而生成运动矢量的检测处理中使用的运动检测用图像，并在由亮度确定信息所确定的亮度小的情况下，与亮度大的情况相比，提高运动检测用图像中所含的低频成分的比例。
此处，运动检测用图像是基于RGB图像、递归RGB图像获得的图像，表示运动矢量检测处理中使用的图像。更具体而言，运动检测用图像是评价值计算处理中使用的图像，是上式(5)中的Y＇cur(x，y)和Y＇pre(x，y)。
即，运动矢量检测部320生成对图像实施规定的平滑滤波处理而得到的平滑化图像(上述例子中是低频图像Y_LPFcur(x，y)和Y_LPFpre(x，y))，在由亮度确定信息所确定的亮度小的情况下，通过从图像中以第一相减比例减去平滑化图像来生成运动检测用图像，在由亮度确定信息所确定的亮度大的情况下，通过从图像中以比第一相减比例大的第二相减比例减去平滑化图像来生成运动检测用图像。
如图5(A)和图5(B)所示，相减比例Coef(x，y)具有亮度越大则越大的特性。由此，在运动检测用图像中，亮度越小则低频成分的相减比例越小，所以与亮度大的情况相比，低频成分的比例相对增大。
采用这样的方式，通过控制运动检测用图像的频带，能够实现与亮度相应的恰当的运动矢量检测。具体而言，通过根据亮度控制相减比例Coef(x，y)，来控制运动检测用图像的频带。在使用相减比例Coef(x，y)的情况下，能够比较自由地改变运动检测用图像中的低频成分的比例。例如在Coef(x，y)如图5(A)和图5(B)所示那样为随亮度连续变化的特性的情况下，使用Coef(x，y)求得的运动检测用图像的低频成分的比例也能够随亮度连续地(以更精细的单位)变化。
在后述的第二实施方式中，运动检测用图像是实施了滤波器A～滤波器C之任一的滤波处理而得到的图像，通过切换滤波系数本身来控制运动检测用图像的频带。即，第二实施方式的方法中，若要精细地控制运动检测用图像的低频成分的比例，就必须增加滤波器数。其结果，可能会产生滤波电路的数量增多或因为要以分时的方式使用滤波电路而导致处理时间增加等硬件上的缺点，并且可能会因为要保持大量(与滤波器数对应的数量)的图像作为运动检测用图像而导致存储器容量紧张。与后述的第二实施方式相比，本实施方式的方法在电路结构变复杂、存储器容量紧张的风险较小这一点是有利的。
运动矢量检测部320(评价值计算部324a)计算按时间顺序获取的多个图像之间的差值作为评价值，基于评价值检测运动矢量，在运动矢量检测部中，由亮度确定信息所确定的亮度越小，越提高评价值的计算处理中的、图像的低频成分相对于高频成分的相对贡献度。
这样，通过控制低频成分对评价值的相对贡献度，能够实现与亮度相应的恰当的运动矢量检测处理。这一点通过在上式(5)的第一项的运算中使用Y＇cur(x，y)和Y＇pre(x，y)而实现。
也可以是，运动矢量检测部320(评价值计算部324a)对评价值进行校正，使得容易检测出给定的基准矢量。具体而言，运动矢量检测部320对评价值进行校正，使得由亮度确定信息所确定的亮度越小则越容易检测出基准矢量。
此处的基准矢量可以如上述那样，与基于评价值检测的运动矢量相比是表示全局的运动的全局运动矢量(Gx，Gy)。“基于评价值检测的运动矢量”指的是作为本实施方式的方法求取的对象的运动矢量，对应于(Vx(x，y)，Vy(x，y))或(Vx＇(x，y)，Vy＇(x，y))。全局运动矢量因为块匹配中的核尺寸比上式(5)的情况大，因此是表示图像之间的大致的运动的信息。不过，基准矢量并不限于全局运动矢量，例如也可以是零矢量(0，0)。
对评价值进行的使得容易检测出基准矢量的校正，对应于上式(5)的第二项。即，该校正能够由Coef＇(x，y)和Offset(m，n)实现。在亮度小而噪声多的情况下，即使运动矢量局部地发生变动，即评价值为最小的(m，n)是与(0，0)不同的值，该变动也有很大的可能是由噪声(特别是局部的噪声)引起的，求得的值的可靠性较低。针对这一点，本实施方式通过在暗部增大上式(5)所示的Coef＇(x，y)，使得容易选择基准矢量，能够抑制因噪声引起的运动矢量的变动。
运动矢量检测部320(运动矢量校正部326a)对基于评价值求得的运动矢量进行校正处理。可以是，运动矢量检测部320基于亮度确定信息对运动矢量进行校正处理，使得运动矢量接近给定的基准矢量。具体而言，运动矢量检测部320进行校正处理，使得由亮度确定信息所确定的亮度越小，则运动矢量越接近给定的基准矢量。
此处，“基于评价值求得的运动矢量”在上述例子中对应于(Vx＇(x，y)，Vy＇(x，y))，校正处理后的运动矢量对应于(Vx(x，y)，Vy(x，y))。校正处理具体而言对应于上式(7)。
采用这样的方式，通过进行与使用Coef＇(x，y)和Offset(m，n)的评价值的校正不同的处理，能够进一步抑制暗部的运动矢量变动，能够提高抗噪性能。
如上文使用图1等描述的那样，本实施方式的方法能够应用于下述内窥镜***，其包括按时间顺序拍摄图像的摄像部200，和求取基于图像的像素值而得的亮度确定信息，并根据图像和亮度确定信息来检测运动矢量的运动矢量检测部320。在内窥镜***的运动矢量检测部320中，由亮度确定信息所确定的亮度越小，越提高运动矢量的检测处理中的、图像的低频成分相对于高频成分的相对贡献度。
本实施方式中，图像处理部300的各部由硬件构成，但本发明并不限于此。作为其他方法，例如也可以采用对预先通过胶囊型内窥镜等的摄像元件获取的图像，由CPU进行各部的处理之结构，从而利用软件实现本发明。或者，也可以利用软件构成各部进行的处理的一部分。
即，本实施方式的方法能够应用于使计算机执行下述步骤的程序，在该步骤中，按时间顺序获取图像，求取基于图像的像素值而得的亮度确定信息，并根据图像和亮度确定信息来检测运动矢量，在运动矢量的检测中，由亮度确定信息所确定的亮度越小，越提高运动矢量的检测处理中的、图像的低频成分相对于高频成分的相对贡献度。
该情况下，通过由CPU等处理器执行程序，能够实现本实施方式的图像处理装置等。具体而言，读取存储在非临时性信息存储装置中的程序，并由CPU等处理器执行所读取的程序。此处，信息存储装置(计算机可读取的装置)用于保存程序和数据等，其功能能够由光盘(DVD、CD等)、HDD(硬盘驱动器)或存储器(卡式存储器、ROM等)等实现。CPU等处理器基于存储在信息存储装置中的程序(数据)进行本实施方式的各种处理。即，在信息存储装置中，存储有用于使计算机(包括操作部、处理部、存储部、输出部的装置)起到本实施方式的各部的作用的程序(用于使计算机执行各部的处理的程序)。
上述程序被记录在信息记录介质中。此处，作为信息记录介质，能够采用图像处理装置可读取的各种存储介质，例如DVD和CD等光盘、磁光盘、硬盘(HDD)、非易失性存储器和RAM等存储器。
作为利用软件构成各部进行的处理的一部分的情况之一例，使用图9的流程图，说明对预先获取的图像，利用软件实现图1的插值处理部310、运动矢量检测部320、降噪部330、显示图像生成部350的处理的情况下的处理流程。
该情况下，首先读取同步处理(synchronization)前的图像(步骤1)，之后读取当前图像获取时的各种处理参数等控制信息(步骤2)。接着，对同步处理前的图像实施插值处理而生成RGB图像(步骤3)。使用RGB图像和存储在后述的存储器中的递归RGB图像，通过上述方法检测运动矢量(步骤4)。然后，使用运动矢量、RGB图像和递归RGB图像，通过上述方法降低RGB图像的噪声(步骤5)。将降噪后的RGB图像(NR图像)保存在存储器中(步骤6)。进而，对NR图像实施WB、γ处理等，生成显示图像(步骤7)。最后输出所生成的显示图像(步骤8)。在对所有图像完成了一系列处理的情况下结束处理，在还有未处理图像的情况下继续同样的处理(步骤9)。
本实施方式的方法能够应用于下述图像处理方法(图像处理装置的操作方法)，该图像处理方法按时间顺序获取图像，求取基于图像的像素值而得的亮度确定信息，并根据图像和亮度确定信息来检测运动矢量，在运动矢量的检测中，由亮度确定信息所确定的亮度越小，越提高运动矢量的检测处理中的、图像的低频成分相对于高频成分的相对贡献度。
本实施方式的图像处理装置等可以包括处理器和存储器作为具体的硬件结构。此处的处理器例如可以是CPU(Central Processing Unit)。但处理器并不限于CPU，能够使用GPU(Graphics Processing Unit)或DSP(Digital Signal Processor)等各种处理器。存储器用于保存计算机可读取的命令，通过由处理器执行该命令，来实现本实施方式的图像处理装置等的各部。此处的存储器可以是SRAM、DRAM等半导体存储器，也可以是寄存器、硬盘等。此处的命令是构成程序的命令集的命令。
或者也可以是，处理器为由ASIC(application specific integrated circuit)构成的硬件电路。即，此处的处理器包括利用电路构成图像处理装置的各部的处理器。该情况下，存储器中存储的命令可以是对处理器的硬件电路发出动作指示的命令。
1.3变形例
上述例子中，作为亮度确定信息使用了亮度信号。具体而言，给出了基于低频Y图像的像素值Y_LPFcur(x，y)，对评价值的计算处理以及运动矢量的校正处理进行切换的例子。不过，本实施方式的亮度确定信息并不限定于亮度信号本身，只要是能够确定图像的亮度(明亮程度)的信息即可。
例如，作为亮度确定信息，可以使用RGB图像的G信号，也可以使用R信号、B信号。或者，也可以将R信号、G信号、B信号中的2个以上通过与上式(2)不同的方法组合，来求取亮度确定信息。
也可以使用基于图像信号值推算的噪声量作为亮度确定信息。不过，根据图像直接求取噪声量并不容易。因此，作为一例，预先获取噪声量与可根据图像求得的信息的关系作为先验信息，使用该先验信息来推算噪声量。例如，可以预先设定如图8所示的噪声特性，将亮度信号转换为噪声量之后，基于该噪声量控制上述各种系数(Coef、Coef＇、C)。此处的噪声量不限于噪声的绝对量，可以如图8所示地使用信号成分与噪声成分的比(S/N比)。如果S/N比大则进行亮度大的情况下的处理，如果S/N比小则进行亮度小的情况下的处理。
上述例子采用了基于亮度信号控制低频图像(Y_LPFcur、Y_LPFpre)的相减比例，来控制低频成分在运动检测用图像(Y＇cur、Y＇pre)和评价值中所占的比例的结构，但不限于此。
例如也可以采用这样的结构，即，对亮度图像使用公知的拉普拉斯滤波器等生成高频图像，将该高频图像与亮度图像相加。与本实施方式同样地，通过基于亮度信号控制高频图像的相加比例，能够得到同样的效果。
具体而言，运动矢量检测部320生成对图像实施了滤波处理——滤波处理的通带至少包含与高频成分对应的频带——而得到的高频图像，在由亮度确定信息所确定的亮度小的情况下，通过对图像以第一相加比例加上高频图像来生成运动检测用图像，在由亮度确定信息所确定的亮度大的情况下，通过对图像以比第一相加比例大的第二相加比例加上高频图像来生成运动检测用图像。
采用这样的方式，在亮部处高频成分的比例相对增大，在暗部处低频成分的比例相对增大，所以有望实现与减去低频图像的情况同样的效果。
也可以是，与主要被摄体的频带相匹配地，对高频图像中所含的空间频率成分进行优化。例如，在对RGB图像实施带通滤波来获取高频图像的情况下，与主要被摄体的频带相匹配地，对带通滤波的通带进行优化。在活体图像的情况下，使与精细的活体结构(毛细血管等)对应的空间频率包含在带通滤波的通带中。采用这样的方式，在亮部能够着眼于主要被摄体进行运动矢量检测，所以也有望进一步提高检测出的运动矢量的精度。
上述例子中，运动矢量检测部320求得的运动矢量(Vx(x，y)，Vy(x，y))被用于降噪部330的NR处理中，但运动矢量的用途不限于此。例如，作为运动矢量的计算对象的多个图像可以使用立体图像(视差图像)。该情况下，通过基于运动矢量的大小求取视差，能够求取与被摄体间的距离信息等。
或者，在摄像部200能进行自动对焦的情况下，可以使用运动矢量作为该自动对焦的对焦动作的触发，即，作为开始进行使聚光透镜230(特别是对焦透镜)移动来搜索对焦在被摄体上的透镜位置的动作的触发。在摄像部200与被摄体处于给定的位置关系的状态下进行了对焦动作的情况下，在该位置关系的变化较小的期间，可以认为能够维持所希望的对焦在被摄体上的状态，再次进行对焦动作的必要性较低。由此，通过基于运动矢量判断摄像部200与被摄体的相对位置关系是否发生了变化，并在运动矢量大于给定的阈值的情况下开始对焦动作，能够实现高效的自动对焦。
在医疗用的内窥镜***中，摄像图像中可能拍摄到手术刀或钳子等处置器具。在利用内窥镜***的处置中，即使在主要被摄体(活体、病变部)与摄像部200的位置关系被维持、不需要进行对焦动作的状态下，也可预料到因处置器具运动而导致运动矢量增大的情况。针对这一点，使用本实施方式的方法能够高精度地求取局部的运动矢量。因此，能够高精度地判断是仅有处置器具发生运动，还是摄像部200与主要被摄体的位置关系发生变化，能够在恰当的状况下进行对焦动作。作为一例，可以对根据图像求得的多个运动矢量求取分散程度。在分散大的情况，能够推算为处于处置器具的运动与主要被摄体不同的状态，即处置器具在运动但主要被摄体的运动较小的状态，所以不执行对焦动作。
2.第二实施方式
2.1***结构例
对本发明第二实施方式的内窥镜***进行说明。图像处理部300的运动矢量检测部320以外的结构与第一实施方式相同，故省略说明。在之后的说明中，也对与上述结构相同的结构适当省略说明。
图10表示第二实施方式的运动矢量检测部320的细节。运动矢量检测部320包括亮度图像计算部321、滤波系数决定部327、滤波处理部328、评价值计算部324b、运动矢量计算部325、全局运动矢量计算部3213、运动矢量校正部326b和合成比例计算部3211a。
插值处理部310与亮度图像计算部321连接。帧存储器340与亮度图像计算部321连接。亮度图像计算部321与滤波系数决定部327、滤波处理部328、全局运动矢量计算部3213连接。滤波系数决定部327与滤波处理部328连接。滤波处理部328与评价值计算部324b连接。评价值计算部324b与运动矢量计算部325连接。运动矢量计算部325与运动矢量校正部326b连接。运动矢量校正部326b与降噪部330连接。全局运动矢量计算部3213和合成比例计算部3211a与运动矢量校正部326b连接。控制部390与构成运动矢量检测部320的各部连接，对它们进行控制。
2.2运动矢量检测处理的细节
亮度图像计算部321、全局运动矢量计算部3213和运动矢量计算部325与第一实施方式相同，故省略详细说明。
滤波系数决定部327基于从亮度图像计算部321输出的Y图像Ycur(x，y)，决定滤波处理部328中要使用的滤波系数。例如，基于Ycur(x，y)和给定的亮度阈值Y1、Y2(Y1＜Y2)切换3种滤波系数。
具体而言，在0≤Ycur(x，y)＜Y1的情况下选择滤波器A，在Y1≤Ycur(x，y)＜Y2的情况下选择滤波器B，在Y2≤Ycur(x，y)的情况下选择滤波器C。此处，滤波器A、滤波器B、滤波器C由图11(A)～图11(C)定义。滤波器A如图11(A)所示，是求取处理对象像素与周边像素的简单算术平均的滤波器。滤波器B如图11(B)所示，是求取处理对象像素与周边像素的加权平均的滤波器，与滤波器A相比是处理对象像素的比率相对较高的滤波器。图11(B)的例子中，滤波器B是高斯滤波器。滤波器C如图11(C)所示，是直接将处理对象像素的像素值作为输出值的滤波器。
如图11(A)～图11(C)所示，处理对象像素对输出值的贡献度是滤波器A＜滤波器B＜滤波器C。即，平滑化程度是滤波器A＞滤波器B＞滤波器C，亮度信号越小则越选择平滑化程度强的滤器波。滤波系数和切换方法不限于此。Y1和Y2可以设定为规定值，也可以采用由用户通过外部I/F部500进行设定的结构。
滤波处理部328使用滤波系数决定部327决定的滤波系数，对亮度图像计算部321计算出的Y图像和递归Y图像实施平滑化处理，获取平滑化Y图像和平滑化递归Y图像。
评价值计算部324b使用平滑化Y图像和平滑化递归Y图像计算评价值。计算方法使用块匹配中广泛使用的绝对差值和(SAD)等。
运动矢量校正部326b对运动矢量计算部325计算出的运动矢量(Vx＇(x，y)，Vy＇(x，y))实施校正处理。具体而言，如下式(8)所示，将运动矢量(Vx＇(x，y)，Vy＇(x，y))与全局运动矢量计算部3213计算出的全局运动矢量(Gx，Gy)合成，得到最终的运动矢量(Vx(x，y)，Vy(x，y))。
Vx(x，y)＝{1-MixCoefV(x，y)}×Gx+MixCoefV(x，y)×Vx’(x，y)
Vy(x，y)＝{1-MixCoefV(x，y)}×Gy+MixCoefV(x，y)×Vy’(x，y)…(8)
此处，MixCoefV(x，y)由合成比例计算部3211a计算。合成比例计算部3211a基于从亮度图像计算部321输出的亮度信号计算合成比例MixCoefV(x，y)。合成比例具有与亮度信号联动地增大的特性，例如能够为与上文使用图5(A)、图5(B)描述的Coef(x，y)同样的特性。
由于此处的运动矢量(Vx＇(x，y)，Vy＇(x，y))和全局运动矢量(Gx，Gy)的合成比率分别为MixCoefV、1-MixCoef，因此上式(8)是与上式(7)同样的式子。不过，合成比率不限于上式(8)所示，只要亮度越小则运动矢量(Vx＇(x，y)，Vy＇(x，y))的合成比率相对越小即可。
在本实施方式的运动矢量检测部320中，在由亮度确定信息所确定的亮度小的情况下，通过对图像实施第一平滑化程度的第一滤波处理来生成运动检测用图像，在由亮度确定信息所确定的亮度大的情况下，通过对图像实施与第一滤波处理相比平滑化程度较弱的第二滤波处理来生成运动检测用图像。
此处，平滑化程度彼此不同的滤波器的数量能够进行各种变形，越增大滤波器的数量，越能够精细地控制运动检测用图像中所含的低频成分的比例。不过，如上所述，由于也存在因增大滤波器的数量带来的缺点，所以具体的数量可以根据所容许的电路规模、处理时间、存储器容量等决定。
平滑化程度是如上所述根据处理对象像素和周边像素的贡献度而决定的。例如，如图11(A)～图11(C)所示，能够通过调整对各像素应用的系数(比率)来控制平滑化程度。图11(A)～图11(C)表示了3×3的滤波器，但滤波器尺寸不限于此，能够通过改变滤波器尺寸来控制平滑化程度。例如即使是求取简单算术平均的平均化滤波器，通过增大滤波器的尺寸，平滑化程度也能够增强。
通过以上所示的方法，在噪声较多的暗部实施较强的平滑化处理，在充分降低了噪声的状态下检测运动矢量，所以能够抑制因噪声导致的误检测。而在噪声较少的亮部，通过减弱平滑化处理或者不进行平滑化，能够防止运动矢量的检测精度变差。
在噪声较多的暗部，如上式(8)所示，通过增大基准矢量(全局运动矢量)的贡献率，能够抑制因运动矢量的误检测引起的变动，具有抑制实际的被摄体中不存在的运动(伪像)的效果。另外，与第一实施方式同样地，作为基准矢量也可以使用全局运动矢量以外的矢量(例如零矢量)。
2.3变形例
本实施方式中，评价值计算中使用的运动检测用图像是通过平滑化处理而生成的，但不限于此。例如可以采用这样的结构，即，使用任意的带通滤波器生成高频图像，将生成的高频图像与通过平滑化处理生成的平滑化图像(低频图像)合成，使用合成的合成图像来检测评价值。在亮度信号小的情况下，通过增大低频图像的合成率能够提高抗噪性能。
此外，与第一实施方式的变形例同样地，通过与主要被摄体的频带相匹配地对用于生成高频图像的带通滤波器的频带进行优化，也有望进一步提高检测出的运动矢量的精度。
并且，与第一实施方式同样地，本实施方式也可以利用软件构成图像处理部300进行的处理的一部分或全部。
3.第三实施方式
3.1***结构例
对本发明第三实施方式的内窥镜***进行说明。图像处理部300的运动矢量检测部320以外的结构与第一实施方式相同，故省略说明。
图12表示第三实施方式的运动矢量检测部320的细节。运动矢量检测部320包括亮度图像计算部321、低频图像生成部329、高频图像生成部3210、2个评价值计算部324b、324b＇(动作相同)、2个运动矢量计算部325、325＇(动作相同)、合成比例计算部3211b和运动矢量合成部3212。
插值处理部310和帧存储器340与亮度图像计算部321连接。亮度图像计算部321与低频图像生成部329、高频图像生成部3210、合成比例计算部3211b连接。低频图像生成部329与评价值计算部324b连接。评价值计算部324b与运动矢量计算部325连接。高频图像生成部3210与评价值计算部324b＇连接。评价值计算部324b＇与运动矢量计算部325＇连接。运动矢量计算部325、运动矢量计算部325＇、合成比例计算部3211b与运动矢量合成部3212连接。运动矢量合成部3212与降噪部330连接。控制部390与构成运动矢量检测部320的各部连接，对它们进行控制。
3.2运动矢量检测处理的细节
低频图像生成部329例如使用高斯滤波器(图11(B))对亮度图像实施平滑化处理，将生成的低频图像输出至评价值计算部324b。
高频图像生成部3210例如使用拉普拉斯滤波器从亮度图像中提取高频成分，将生成的高频图像输出至评价值计算部324b＇。
评价值计算部324b基于低频图像计算评价值，评价值计算部324b＇基于高频图像计算评价值。运动矢量计算部325、325＇根据从评价值计算部324b、324b＇输出的各评价值计算运动矢量。
此处，令运动矢量计算部325计算出的运动矢量为(VxL(x，y)，VyL(x，y))，运动矢量计算部325＇计算出的运动矢量为(VxH(x，y)，VyH(x，y))。(VxL(x，y)，VyL(x，y))是与低频成分对应的运动矢量，(VxH(x，y)，VyH(x，y))是与高频成分对应的运动矢量。
合成比例计算部3211b基于从亮度图像计算部321输出的亮度信号，计算基于低频图像计算出的运动矢量的合成比例MixCoef(x，y)。合成比例具有与亮度信号联动地增大的特性，例如能够采用与上文使用图5(A)、图5(B)描述的Coef(x，y)同样的特性。
运动矢量合成部3212基于合成比例MixCoef(x，y)将上述2种运动矢量合成。具体而言，按下式(9)求取运动矢量(Vx(x，y)，Vy(x，y))。
Vx(x，y)＝{1-MixCoef(x，y)}×VxL(x，y)+MixCoef(x，y)×VxH(x，y)
Vy(x，y)＝{1-MixCoef(x，y)}×VyL(x，y)+MixCoef(x，y)×VyH(x，y)…(9)
本实施方式的运动矢量检测部320基于图像而生成频率成分不同的多个运动检测用图像，将利用多个运动检测用图像分别检测出的多个运动矢量合成来检测运动矢量。在运动矢量检测部320中，由亮度确定信息所确定的亮度越小，越增大利用与低频成分对应的运动检测用图像(低频图像)检测出的运动矢量的合成率。
采用以上所述的方法，在噪声较多的暗部，占主导地位的是基于降低了噪声的影响的低频图像计算出的运动矢量，所以能够抑制误检测。而在噪声较少的亮部，占主导地位的是基于可检测高精度的运动矢量的高频图像计算出的运动矢量，能够实现高性能的运动矢量检测。
上面对应用了本发明的3个实施方式及其变形例进行了说明，但本发明并不限于各实施方式1～3及其变形例本身，能够在实施阶段于不脱离发明思想的范围内将构成要素变形并具体化。并且，通过将上述各实施方式1～3和变形例中公开的多个构成要素适当组合，能够形成各种发明。例如，可以从各实施方式1～3和变形例记载的全部构成要素中删除某些构成要素。也可以将不同的实施方式和变形例中说明的构成要素适当组合。像这样，在不脱离发明思想的范围内，能够进行各种变形和应用。
附图标记说明
100……光源部，110……白色光源，120……透镜，200……摄像部，210……导光光纤，220……照明透镜，230……聚光透镜，240……摄像元件，250……存储器，300……图像处理部，310……插值处理部，320……运动矢量检测部，321……亮度图像计算部，322……低频图像计算部，323……相减比例计算部，324a、324b、324b＇……评价值计算部，325、325＇……运动矢量计算部，326a、326b……运动矢量校正部，327……滤波系数决定部，328……滤波处理部，329……低频图像生成部，330……降噪部，340……帧存储器，350……显示图像生成部，390……控制部，400……显示部，500……外部I/F部，3210……高频图像生成部，3211a、3211b……合成比例计算部，3212……运动矢量合成部，3213……全局矢量计算部。

Claims (15)

1.一种图像处理装置，其特征在于，包括：
按时间顺序获取图像的图像获取部；和
运动矢量检测部，其求取基于所述图像的像素值而得的亮度确定信息，并根据所述图像和所述亮度确定信息来检测运动矢量，
在所述运动矢量检测部中，由所述亮度确定信息所确定的亮度越小，越提高所述运动矢量的检测处理中的、所述图像的低频成分相对于高频成分的相对贡献度。
2.如权利要求1所述的图像处理装置，其特征在于：
所述运动矢量检测部基于所述图像而生成所述运动矢量的检测处理中使用的运动检测用图像，在由所述亮度确定信息所确定的所述亮度小的情况下，与所述亮度大的情况相比，提高所述运动检测用图像中所含的所述低频成分的比例。
3.如权利要求2所述的图像处理装置，其特征在于：
所述运动矢量检测部在由所述亮度确定信息所确定的所述亮度小的情况下，通过对所述图像实施第一平滑化程度的第一滤波处理来生成所述运动检测用图像，
在由所述亮度确定信息所确定的所述亮度大的情况下，通过对所述图像实施与所述第一滤波处理相比平滑化程度弱的第二滤波处理来生成所述运动检测用图像。
4.如权利要求2所述的图像处理装置，其特征在于：
所述运动矢量检测部对所述图像实施规定的平滑滤波处理而生成平滑化图像，
在由所述亮度确定信息所确定的所述亮度小的情况下，通过从所述图像中以第一相减比例减去所述平滑化图像来生成所述运动检测用图像，
在由所述亮度确定信息所确定的所述亮度大的情况下，通过从所述图像中以比所述第一相减比例大的第二相减比例减去所述平滑化图像来生成所述运动检测用图像。
5.如权利要求2所述的图像处理装置，其特征在于：
所述运动矢量检测部对所述图像实施滤波处理而生成高频图像，其中所述滤波处理的通带至少包含与所述高频成分对应的频带，
在由所述亮度确定信息所确定的所述亮度小的情况下，通过对所述图像以第一相加比例加上所述高频图像来生成所述运动检测用图像，
在由所述亮度确定信息所确定的所述亮度大的情况下，通过对所述图像以比所述第一相加比例大的第二相加比例加上所述高频图像来生成所述运动检测用图像。
6.如权利要求1所述的图像处理装置，其特征在于：
所述运动矢量检测部计算按时间顺序获取的多个所述图像之间的差值作为评价值，基于所述评价值检测所述运动矢量，
在所述运动矢量检测部中，由所述亮度确定信息所确定的亮度越小，越提高所述评价值的计算处理中的、所述图像的所述低频成分相对于所述高频成分的相对贡献度。
7.如权利要求6所述的图像处理装置，其特征在于：
所述运动矢量检测部对所述评价值进行校正，使得容易检测出给定的基准矢量。
8.如权利要求7所述的图像处理装置，其特征在于：
所述运动矢量检测部对所述评价值进行校正，使得由所述亮度确定信息所确定的亮度越小，越容易检测出所述基准矢量。
9.如权利要求6所述的图像处理装置，其特征在于：
所述运动矢量检测部对基于所述评价值求得的所述运动矢量进行校正处理，
所述运动矢量检测部基于所述亮度确定信息进行所述校正处理，使得所述运动矢量接近给定的基准矢量。
10.如权利要求9所述的图像处理装置，其特征在于：
所述运动矢量检测部进行所述校正处理，使得由所述亮度确定信息所确定的亮度越小，所述运动矢量越接近给定的基准矢量。
11.如权利要求7～10中任意一项所述的图像处理装置，其特征在于：
所述基准矢量是与基于所述评价值检测出的所述运动矢量相比表示全局的运动的全局运动矢量，或者是零矢量。
12.如权利要求1所述的图像处理装置，其特征在于：
所述运动矢量检测部基于所述图像而生成频率成分不同的多个运动检测用图像，通过将利用多个所述运动检测用图像分别检测出的多个运动矢量合成，来检测所述运动矢量，
在所述运动矢量检测部中，由所述亮度确定信息所确定的亮度越小，相对地越提高利用与所述低频成分对应的所述运动检测用图像检测出的所述运动矢量的合成率。
13.一种内窥镜***，其特征在于，包括：
按时间顺序拍摄图像的摄像部；和
运动矢量检测部，其求取基于所述图像的像素值而得的亮度确定信息，并根据所述图像和所述亮度确定信息来检测运动矢量，
在所述运动矢量检测部中，由所述亮度确定信息所确定的亮度越小，越提高所述运动矢量的检测处理中的、所述图像的低频成分相对于高频成分的相对贡献度。
14.一种存储有程序的信息存储装置，其特征在于：
所述程序使计算机执行下述步骤：按时间顺序获取图像，求取基于所述图像的像素值而得的亮度确定信息，并根据所述图像和所述亮度确定信息来检测运动矢量，
在所述运动矢量的检测中，由所述亮度确定信息所确定的亮度越小，越提高所述运动矢量的检测处理中的、所述图像的低频成分相对于高频成分的相对贡献度。
15.一种图像处理方法，其特征在于：
按时间顺序获取图像，求取基于所述图像的像素值而得的亮度确定信息，并根据所述图像和所述亮度确定信息来检测运动矢量，
在所述运动矢量的检测中，由所述亮度确定信息所确定的亮度越小，越提高所述运动矢量的检测处理中的、所述图像的低频成分相对于高频成分的相对贡献度。
CN201680087754.2A 2016-07-19 2016-07-19 图像处理装置、内窥镜***、信息存储装置和图像处理方法 Active CN109561816B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/071159 WO2018016002A1 (ja) 2016-07-19 2016-07-19 画像処理装置、内視鏡システム、プログラム及び画像処理方法

Publications (2)

Publication Number Publication Date
CN109561816A CN109561816A (zh) 2019-04-02
CN109561816B true CN109561816B (zh) 2021-11-12

Family

ID=60992366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680087754.2A Active CN109561816B (zh) 2016-07-19 2016-07-19 图像处理装置、内窥镜***、信息存储装置和图像处理方法

Country Status (4)

Country Link
US (1) US20190142253A1 (zh)
JP (1) JP6653386B2 (zh)
CN (1) CN109561816B (zh)
WO (1) WO2018016002A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11722771B2 (en) * 2018-12-28 2023-08-08 Canon Kabushiki Kaisha Information processing apparatus, imaging apparatus, and information processing method each of which issues a notification of blur of an object, and control method for the imaging apparatus
JP7278092B2 (ja) * 2019-02-15 2023-05-19 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、撮像装置の制御方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102035996A (zh) * 2009-09-24 2011-04-27 佳能株式会社 图像处理设备及其控制方法
CN103889305A (zh) * 2011-10-04 2014-06-25 奥林巴斯株式会社 图像处理装置、内窥镜装置、图像处理方法及图像处理程序
CN104079940A (zh) * 2013-03-25 2014-10-01 索尼公司 图像处理装置、图像处理方法、程序和成像装置
JP2015150029A (ja) * 2014-02-12 2015-08-24 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06296276A (ja) * 1993-02-10 1994-10-21 Toshiba Corp 動き補償予測符号化装置の前処理装置
DE69834901T2 (de) * 1997-11-17 2007-02-01 Koninklijke Philips Electronics N.V. Bewegungskompensierte prädiktive bildcodierung und -decodierung
KR20020027548A (ko) * 2000-06-15 2002-04-13 요트.게.아. 롤페즈 이미지 시퀀스 노이즈 필터링
US8130277B2 (en) * 2008-02-20 2012-03-06 Aricent Group Method and system for intelligent and efficient camera motion estimation for video stabilization
EP2169592B1 (en) * 2008-09-25 2012-05-23 Sony Corporation Method and system for reducing noise in image data
JP4645746B2 (ja) * 2009-02-06 2011-03-09 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
JP2011199716A (ja) * 2010-03-23 2011-10-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5595121B2 (ja) * 2010-05-24 2014-09-24 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP5603676B2 (ja) * 2010-06-29 2014-10-08 オリンパス株式会社 画像処理装置及びプログラム
JP5639444B2 (ja) * 2010-11-08 2014-12-10 キヤノン株式会社 動きベクトル生成装置、動きベクトル生成方法及びコンピュータプログラム
US9041817B2 (en) * 2010-12-23 2015-05-26 Samsung Electronics Co., Ltd. Method and apparatus for raster output of rotated interpolated pixels optimized for digital image stabilization
US20130002842A1 (en) * 2011-04-26 2013-01-03 Ikona Medical Corporation Systems and Methods for Motion and Distance Measurement in Gastrointestinal Endoscopy
JP2014002635A (ja) * 2012-06-20 2014-01-09 Sony Corp 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6147172B2 (ja) * 2013-11-20 2017-06-14 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102035996A (zh) * 2009-09-24 2011-04-27 佳能株式会社 图像处理设备及其控制方法
CN103889305A (zh) * 2011-10-04 2014-06-25 奥林巴斯株式会社 图像处理装置、内窥镜装置、图像处理方法及图像处理程序
CN104079940A (zh) * 2013-03-25 2014-10-01 索尼公司 图像处理装置、图像处理方法、程序和成像装置
JP2015150029A (ja) * 2014-02-12 2015-08-24 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム

Also Published As

Publication number Publication date
JPWO2018016002A1 (ja) 2019-05-09
WO2018016002A1 (ja) 2018-01-25
US20190142253A1 (en) 2019-05-16
JP6653386B2 (ja) 2020-02-26
CN109561816A (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
US9613402B2 (en) Image processing device, endoscope system, image processing method, and computer-readable storage device
US10574874B2 (en) Endoscope apparatus, method for controlling endoscope apparatus, and information storage device
JP6825625B2 (ja) 画像処理装置および画像処理装置の作動方法、並びに医療用撮像システム
US10321802B2 (en) Endoscope apparatus and method for operating endoscope apparatus
JP6168879B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
US10213093B2 (en) Focus control device, endoscope apparatus, and method for controlling focus control device
JP7289653B2 (ja) 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム
US20150334289A1 (en) Imaging device and method for controlling imaging device
US10517467B2 (en) Focus control device, endoscope apparatus, and method for controlling focus control device
US20140307072A1 (en) Image processing device, image processing method, and information storage device
US10820787B2 (en) Endoscope device and focus control method for endoscope device
JP5978949B2 (ja) 画像合成装置及び画像合成用コンピュータプログラム
WO2017122287A1 (ja) 内視鏡装置及び内視鏡装置の作動方法
CN109561816B (zh) 图像处理装置、内窥镜***、信息存储装置和图像处理方法
JP2012239644A (ja) 画像処理装置、内視鏡装置、画像処理方法
KR101385743B1 (ko) 수술 영상의 실시간 시각적 노이즈 자동 제거 장치, 방법 및 시스템
JP6530067B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
US20210136257A1 (en) Endoscope apparatus, operating method of endoscope apparatus, and information storage medium
US20230232102A1 (en) Image blur correction apparatus, control method therefor, imaging apparatus, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant