CN109076144B - 图像处理装置、图像处理方法以及存储介质 - Google Patents

图像处理装置、图像处理方法以及存储介质 Download PDF

Info

Publication number
CN109076144B
CN109076144B CN201680085460.6A CN201680085460A CN109076144B CN 109076144 B CN109076144 B CN 109076144B CN 201680085460 A CN201680085460 A CN 201680085460A CN 109076144 B CN109076144 B CN 109076144B
Authority
CN
China
Prior art keywords
image
resolution
reference image
noise reduction
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680085460.6A
Other languages
English (en)
Other versions
CN109076144A (zh
Inventor
铃木大介
古川英治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN109076144A publication Critical patent/CN109076144A/zh
Application granted granted Critical
Publication of CN109076144B publication Critical patent/CN109076144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

削减进行循环型降噪处理时所需的帧存储器的容量和访问量。提供图像处理装置(300)，其具有：多分辨率分解部(301)，其将输入图像分解为多个分辨率图像；帧存储器(331)，其保持前一帧的循环图像作为参照图像；运动矢量检测部(332)，其将多个分辨率图像中的分辨率比输入图像的分辨率低的图像之一作为基准图像，在该基准图像与参照图像之间检测运动矢量；运动补偿部(333)，其根据运动矢量对参照图像进行运动补偿，从而生成运动补偿图像；循环型噪声降低部(330)，其对基准图像和运动补偿图像进行合成，生成作为新的循环图像的降噪基准图像；以及多分辨率合成部(302)，其对降噪基准图像和多个分辨率图像中的基准图像以外的分辨率图像进行合成。

Description

图像处理装置、图像处理方法以及存储介质
技术领域
本发明涉及适合对所输入的影像信号进行降噪的图像处理装置、图像处理方法以及图像处理程序。
背景技术
作为降噪方法之一，公知有像专利文献1那样通过在动态图像的帧图像之间进行合成而降低在时间方向上不相关的噪声的方法。在专利文献1中，在作为当前帧的图像的基准图像与前一帧的参照图像之间计算表示图像之间的运动的运动矢量，使用该运动矢量对参照图像进行运动补偿，根据与运动推断的成功与否对应的相加权重，进行基准图像与进行了运动补偿后的参照图像的加权合成。然后，将加权合成后的结果作为降噪图像而输出，并且保持在帧存储器中用作下一帧的参照图像。
现有技术文献
专利文献
专利文献1：日本特开2010-147985号公报
发明内容
发明要解决的课题
另外，近年来，动态图像的高像素化取得进展，特别是4K分辨率(3840×2160)越来越普及。在对这样的高像素的动态图像应用专利文献1那样的循环型降噪处理的情况下，对用于保持参照图像的帧存储器的访问量大幅增加，存在很难实时处理这样的课题。
本发明是鉴于上述的情况而完成的，其目的在于，提供能够适当地进行循环型降噪处理并且削减对帧存储器的访问量的图像处理装置、图像处理方法以及图像处理程序。
用于解决课题的手段
本发明的第一方式是一种图像处理装置，其具有：多分辨率分解部，其将输入图像分解为多个分辨率图像；帧存储器，其保持前一帧循环图像作为参照图像；运动矢量检测部，其将所述多个分辨率图像中的分辨率比所述输入图像的分辨率低的图像之一作为基准图像，在该基准图像与所述参照图像之间检测运动矢量；运动补偿部，其根据所述运动矢量对所述参照图像进行运动补偿，从而生成运动补偿图像；循环型噪声降低部，其对所述基准图像和所述运动补偿图像进行合成而生成作为新的循环图像的降噪基准图像；以及多分辨率合成部，其对所述降噪基准图像和所述多个分辨率图像中的所述基准图像以外的分辨率图像进行合成。
根据上述第一方式的图像处理装置，输入图像被多分辨率分解部分解为具有多个分辨率的图像。将分解出的图像中的分辨率比输入图像的分辨率低的图像之一作为基准图像，将保持于帧存储器中的前一帧循环图像作为参照图像，由运动矢量检测部检测基准图像与参照图像之间的运动矢量。然后，由运动补偿部根据检测到的运动矢量对参照图像进行运动补偿，由此生成运动补偿图像。由循环型噪声降低部将所生成的运动补偿图像与基准图像进行合成而生成降噪基准图像。接着，由多分辨率合成部对该降噪基准图像和分解出的图像中的具有基准图像以外的分辨率的图像进行合成。
这样，仅对分辨率比输入图像的分辨率低的图像之一进行循环型噪声降低部的循环型降噪处理，因此能够削减进行循环型降噪处理时所需的帧存储器的容量和对帧存储器的访问量。
此外，一般地，高分辨率的显示设备的像素间距也小，在近年的智能手机等中形成肉眼无法识别像素这样程度的像素间距。在该情况下，即使进行了1像素单位的降噪处理，在主观评价中也几乎没有降噪的效果，因此仅对低频成分进行降噪的话是有效的，从功耗的方面来看也很高效。
在上述第一方式的图像处理装置中，也可以构成为，所述基准图像的分辨率是根据所述输入图像的图像信息而设定的。
根据该结构，基于输入图像的分辨率、帧率等图像信息来灵活地设定进行循环型降噪处理的基准图像的分辨率。因此，即使在各种各样的图像信号输入的情况下也能够削减帧存储器的容量和对帧存储器的访问量。
在上述第一方式的图像处理装置中，也可以构成为，所述图像处理装置具有：选择器，其根据所述输入图像的图像尺寸来设定所述基准图像的分辨率；以及选择器控制部，其控制该选择器，该选择器控制部以使所述基准图像的分辨率恒定的方式切换所述选择器。
根据该结构，选择器由选择器控制部以使进行循环型降噪处理的基准图像的分辨率恒定的方式切换。
这样，能够将循环型噪声降低部与帧存储器之间的数据量始终抑制为恒定，即使是高分辨率的图像信号，也能够高效地进行循环型降噪处理而不会增加功耗。
在上述第一方式的图像处理装置中，也可以构成为，所述图像处理装置具有：选择器，其根据所述输入图像的图像尺寸来设定所述基准图像的分辨率；以及选择器控制部，其控制该选择器，该选择器控制部以使得所述输入图像的帧率越高，所述基准图像的分辨率越低的方式切换所述选择器。
根据该结构，选择器由选择器控制部以使得输入图像的帧率越高，进行循环型降噪处理的基准图像的分辨率越低的方式进行切换。
这样，即使输入图像是高帧率的图像信号，也能够高效地进行循环型降噪处理而不会增加循环型噪声降低部与帧存储器之间的数据量。
这是由于帧率变高时，视感上会表现出低通滤波器效果，因此利用了不容易识别高频噪声的影响这样的人的视觉特性。
在上述第一方式的图像处理装置中，也可以构成为，所述图像处理装置具有帧内噪声降低部，该帧内噪声降低部应用空间滤波器对所述基准图像以外的分辨率图像进行降噪。
本发明的第二方式是一种图像处理方法，其具有以下的工序：将输入图像分解为多个分辨率图像；将所述多个分辨率图像中的分辨率比所述输入图像的分辨率低的图像之一作为基准图像，在该基准图像与保持于帧存储器中的作为前一帧循环图像的参照图像之间检测运动矢量；根据所述运动矢量对所述参照图像进行运动补偿，从而生成运动补偿图像；对所述基准图像和所述运动补偿图像进行合成而生成作为新的循环图像的降噪基准图像；以及对所述降噪基准图像和所述多个分辨率图像中的所述基准图像以外的分辨率图像进行合成。
本发明的第三方式是一种图像处理程序，其使计算机执行以下的处理：将输入图像分解为多个分辨率图像；将所述多个分辨率图像中的分辨率比所述输入图像的分辨率低的图像之一作为基准图像，在该基准图像与保持于帧存储器中的作为前一帧循环图像的参照图像之间检测运动矢量；根据所述运动矢量对所述参照图像进行运动补偿，从而生成运动补偿图像；对所述基准图像和所述运动补偿图像进行合成而生成作为新的循环图像的降噪基准图像；以及对所述降噪基准图像和所述多个分辨率图像中的所述基准图像以外的分辨率图像进行合成。
发明效果
根据本发明，实现了削减进行循环型噪声降低时所需的帧存储器的容量和访问量这样的效果。
附图说明
图1是示出本发明的第一和第二实施方式的图像处理***的结构例的图。
图2是示出图1的图像处理***所具备的降噪部的概略结构的图。
图3是示出图2所示的降噪部中的各节点的图像的一例的图表。
图4是示出在图2所示的降噪部中控制参数(D1，D2)＝(1，0)的情况下的等价电路的图。
图5是示出在图2所示的降噪部中控制参数(D1，D2)＝(0，0)的情况下的等价电路的图。
图6是示出本发明的第一实施方式的降噪部的控制例的图表。
图7是示出图2所示的降噪部的处理的流程图。
图8是示出本发明的第二实施方式的降噪部的控制例的图表。
具体实施方式
以下，参照附图对本发明的图像处理***的实施方式进行详细说明。
(第一实施方式)
图1是示出本发明的第一实施方式的图像处理***1的图。图像处理***1例如是拍摄动态图像并记录影像数据的数字摄像机、带有动态图像拍摄功能的数字静态照相机等。
图像处理***1具有摄像部100、照相机图像处理部200、降噪部(图像处理装置)300、记录部400以及参数设定部(选择器控制部)500。摄像部100与照相机图像处理部200和参数设定部500连接。照相机图像处理部200和参数设定部500与降噪部300连接。降噪部300与记录部400连接。
摄像部100由光学透镜、图像传感器、AD(Analog-to-Digital：模拟-数字)转换器等构成，将由光学透镜成像于图像传感器上的光信息转换为电信息，进而由AD转换器等转换为数字信号。例如，如果是拍摄帧率为60fps的动态图像的情况，则在1秒内重复60次摄像动作，并将表示帧图像的数字信号逐次提供给后级。
照相机图像处理部200进行用于使由摄像部100提供的数字信号图像化的处理。主要的处理内容例如是白平衡校正、Y/C转换、灰度变换、颜色校正等。此外，在单板式的图像传感器的情况下也进行去马赛克处理。
降噪部300根据在参数设定部500中设定的控制参数D1、D2对由照相机图像处理部200提供的图像信号NRIN进行降噪处理。详细内容在后面描述。
记录部400将由降噪部300提供的降噪后图像信号NROUT保存于存储卡等外部介质中。
参数设定部500根据从摄像部100提供的图像的分辨率、帧率等图像信息来设定控制参数D1、D2。
另外，在本实施方式中，进行图像处理的照相机图像处理部200和降噪部300是以被称作图像处理引擎的单个硅芯片上的电路的形式安装的。
以下，参照图2对降噪部300进行详细说明。
如图2所示，降噪部300具有多分辨率分解部301、帧内噪声降低部311、321、帧存储器331、运动矢量检测部332、运动补偿部333、循环型噪声降低部330以及多分辨率合成部302。
多分辨率分解部301具有降采样部310、320和选择器312、322。
降采样部310、320由未图示的低通滤波器和像素间除部构成。例如，在对所输入的图像应用了下述那样的3×3高斯滤波器之后，纵横每隔一个像素地进行间除，从而进行降采样。
[数学式1]
Figure GDA0001856665950000051
选择器312构成为根据在参数设定部500中设定的1比特(bit)的控制参数D2而将输入到输入端子0或输入端子1的信号中的一方输出。
选择器322构成为根据在参数设定部500中设定的1比特的控制参数D1而将输入到输入端子0或输入端子1的信号中的一方输出。
多分辨率分解部301的前级构成为向选择器312的输入端子0输入从照相机图像处理部200提供的图像信号NRIN，并且向选择器312的输入端子1输入由降采样部310对图像信号NRIN进行降采样而得到的信号。
多分辨率分解部301的后级构成为向选择器322的输入端子0输入来自选择器312的输出信号，并且向选择器322的输入端子1输入由降采样部320对来自选择器312的输出信号进行降采样而得到的信号。
另外，在本实施方式中，在多分辨率分解部301中，以前级和后级这两级进行降采样，但不限于此，也可以是一级，或者可以进行三级以上的降采样。
帧内噪声降低部311、321构成为针对关注像素使用空间上相邻的像素或区域的信息而进行降噪。例如，能够使用以下的式(1)所示那样的双边滤波器。
[数学式2]
Figure GDA0001856665950000061
其中，k(p)是归一化函数，用以下的式(2)表示。
[数学式3]
Figure GDA0001856665950000062
其中，p表示关注像素的位置，p’表示包含于区域Ω内的参照像素的位置，A表示像素值。Ap是关注像素的像素值，Ap’是参照像素的像素值，ANR p是降噪后的关注像素值。此外，gd是距离系数，一般使用以关注像素位置为中心的高斯型函数。gr使用单调递减函数，关注像素值与参照像素值的差分(Ap-Ap’)越大，则gr越小。
双边滤波器是将基于像素值之差的评价函数应用于普通的高斯滤波器而得到的，该双边滤波器作为边缘保存型的降噪滤波器是有效的。
运动矢量检测部332构成为将来自选择器322的输出信号作为基准图像、将保持在帧存储器331中的前一帧的循环图像作为参照图像来检测每个像素或每个区域的运动矢量。作为检测运动矢量的方法，能够采用块匹配法等。
运动补偿部333构成为使用由运动矢量检测部332检测到的运动矢量对保持在帧存储器331中的前一帧的循环图像即参照图像进行运动补偿，并将其结果输出作为运动补偿图像。
循环型噪声降低部330构成为通过对从运动补偿部333输出的运动补偿图像和从选择器322输出的基准图像进行合成而进行降噪处理，并输出降噪基准图像。
将基准图像设为I[n]、将参照图像设为I[n-1]、将输出的降噪基准图像设为O[n]，循环型噪声降低部330通过进行以下的式(3)所示的处理而进行降噪处理。
O[n]＝(1-α)·I[n]+α·I[n-1]···(3)
其中，0≤α＜1
其中，α是针对每个像素或每个区域评价的系数，被控制为基准图像与参照图像的一致度越高，则α越大。
作为评价函数，例如使用基准图像的关注像素与参照图像的关注像素的差分值、关注像素与周边区域的差分绝对值和(SAD：Summation of Absolute Difference)等。
帧存储器331构成为将通过循环型噪声降低部330生成的降噪基准图像作为循环图像进行保持。
多分辨率合成部302具有升采样部340、350、加法器341、351以及选择器342、352。
升采样部340、350构成为通过使用双线性插值、双三次插值等进行像素插值而进行升采样。
选择器342构成为根据在参数设定部500中设定的1比特的控制参数D1而将输入到输入端子0或输入端子1的信号中的一方输出。
选择器352构成为根据在参数设定部500中设定的1比特的控制参数D2而将输入到输入端子0或输入端子1的信号中的一方输出。
多分辨率合成部302的前级构成为向选择器342的输入端子0输入从循环型噪声降低部330输出的降噪基准图像，向选择器342的输入端子1输入将由升采样部340对降噪基准图像进行升采样而得到的信号和由帧内噪声降低部321对来自选择器312的输出信号进行降噪而得到的信号相加而成的信号。
多分辨率合成部302的后级构成为向选择器352的输入端子0输入从选择器342输出的信号，向选择器352的输入端子1输入将由升采样部350对来自选择器342的输出信号进行升采样而得到的信号和由帧内噪声降低部311对图像信号NRIN进行降噪而得到的信号相加而成的信号。
接下来，对具有上述结构的图像处理***1的作用进行说明。
当用户开始拍摄时，在摄像部100中，将经由光学透镜成像在图像传感器上的被摄体的光信息转换为电信息，然后由AD转换器等将其转换为数字信号。转换得到的数字信号在照相机图像处理部200中进行了白平衡校正等预处理之后，作为图像信号NRIN输入到降噪部300。
此外，在摄像部100中预先设定的输入图像尺寸、帧率等图像信息输出给参数设定部500。
在参数设定部500中，根据所输入的图像信息而设定用于控制降噪部300的控制参数D1、D2。具体而言，参数设定部500所具备的未图示的CPU(Central Processing Unit：中央处理单元)通过将控制参数D1、D2写入参数设定用的寄存器中而进行设定。
然后，在降噪部300中，根据所设定的控制参数D1、D2而进行降噪处理，输出降噪后图像信号NROUT。
之后，将降噪后图像信号NROUT记录于记录部400中。
接下来，对设定为控制参数(D1，D2)＝(1，1)的情况下的降噪部300的作用进行说明。
由于设定为控制参数(D1，D2)＝(1，1)，因此对于选择器312、322、342、352中的任意选择器，都是将输入到各输入端子1的信号输出给各输出端子。
在帧内噪声降低部311中使用空间滤波器对作为高分辨率图像的从照相机图像处理部200提供的图像信号NRIN进行帧内的降噪。
另外，“高分辨率”是指与在降噪部300的内部中间生成的其他图像的分辨率相比相对较高的分辨率。
另一方面，图像信号NRIN被降采样部310缩小至1/2的尺寸。另外，在本说明书中，“缩小”是指纵向尺寸和横向尺寸的缩小。即，在缩小至1/2的尺寸的情况下，作为数据量，变为1/4。同样地，“扩大”是指纵向尺寸和横向尺寸的扩大。即，在扩大至2倍的尺寸的情况下，作为数据量，变为4倍。
在帧内噪声降低部321中使用空间滤波器对由降采样部310进行降采样而缩小至1/2的尺寸后的图像(中分辨率图像)进行帧内的降噪。
另一方面，该中分辨率图像被降采样部320进一步缩小至1/2的尺寸。因此，选择器322的输出信号成为与图像信号NRIN相比缩小至1/4的图像(低分辨率图像)。换言之，是具有图像信号NRIN的1/4的频率成分的图像信号。
这样，在多分辨率分解部301中，图像信号NRIN被分解为高分辨率图像、中分辨率图像以及低分辨率图像这三个分辨率图像。
接着，将三个分辨率图像中的低分辨率图像作为基准图像进行循环型降噪处理。
首先，在运动矢量检测部332中，根据作为基准图像的低分辨率图像和被保持于帧存储器331中的前一帧的帧图像，使用块匹配法等来检测每个像素或每个区域的运动矢量。
另外，也可以不检测运动矢量，而是假定在帧之间没有运动，将运动矢量当作零。
接着，在运动补偿部333中，根据在运动矢量检测部332中检测到的运动矢量，以使从帧存储器331读出的帧图像与当前的基准图像一致的方式进行运动补偿而生成运动补偿图像。
这样，即使被摄体具有运动的情况下，也能够效率良好地进行循环型降噪处理，能够提高循环型降噪处理的效果。
接着，在循环型噪声降低部中，对所生成的运动补偿图像和基准图像进行合成而生成低分辨率的降噪基准图像。
然后，通过使所生成的低分辨率的降噪基准图像的分辨率与进行帧内噪声降低处理后的中分辨率图像的分辨率一致而对所生成的低分辨率的降噪基准图像进行合成。具体而言，所生成的低分辨率的降噪基准图像被升采样部340扩大至2倍的尺寸，并且通过加法器341与从帧内噪声降低部321输出的图像相加，从而生成中分辨率的降噪图像。
接着，通过使所生成的中分辨率的降噪基准图像的分辨率与进行帧内噪声降低处理后的高分辨率图像的分辨率一致而对所生成的中分辨率的降噪基准图像进行合成。具体而言，所生成的中分辨率的降噪图像被升采样部350扩大至2倍的尺寸，并且通过加法器351与从帧内噪声降低部311输出的图像相加，从而生成高分辨率的降噪图像。
这样，在多分辨率合成部302中，实施了循环型降噪处理后的低分辨率的降噪基准图像与实施了帧内降噪处理后的中分辨率和高分辨率的降噪图像在使各自的图像的分辨率一致的基础上进行合成。
这样生成的高分辨率的降噪图像从降噪部300作为降噪后图像信号NROUT而输出。
这样，由于仅对分辨率比所输入的图像信号NRIN的分辨率低的图像之一进行循环型噪声降低部330的循环型降噪处理，因此能够削减进行循环型降噪处理时所需的帧存储器331的容量和对帧存储器331的访问量。
图3示出了图2所示的节点A～节点F的图像的例子。节点B的1阶段降采样后的图像信号与节点A的原始分辨率的图像信号相比缩小至1/2的尺寸。此外，节点C和节点D的2阶段降采样后的图像信号与节点A的原始分辨率的图像信号相比缩小至1/4的尺寸。这表示，也能够大幅削减进行循环型降噪处理时所需的对帧存储器331的访问量。
接下来，对设定为控制参数(D1，D2)＝(1，0)的情况下的降噪部300的作用进行说明。
由于设定为控制参数(D1，D2)＝(1，0)，因此在选择器312、352中，将输入到各输入端子0的信号输出给各输出端子，在选择器322、342中，将输入到各输入端子1的信号输出给各输出端子。由此，该情况下的等价电路成为图4那样。
在帧内噪声降低部321中使用空间滤波器对作为高分辨率图像的从照相机图像处理部200提供的图像信号NRIN进行帧内的降噪。
另一方面，图像信号NRIN被降采样部320缩小至1/2的尺寸。
接着，以被降采样部320缩小至1/2的尺寸后的图像(中分辨率图像)作为基准图像而进行循环型降噪处理。对于循环型降噪处理，由于已经进行了说明，因此在此省略说明。
通过循环型降噪处理而生成的中分辨率的降噪图像被升采样部340扩大至2倍的尺寸，并且通过加法器341与从帧内噪声降低部321输出的图像相加，从而生成高分辨率的降噪图像。
这样生成的高分辨率的降噪图像从降噪部300作为降噪后图像信号NROUT而输出。
对于设定为控制参数(D1，D2)＝(0，1)的情况，降采样部310发挥图4中的降采样部320的作用，帧内噪声降低部311发挥帧内噪声降低部321的作用，升采样部350发挥升采样部340的作用，加法器351发挥加法器341的作用。因此，与图4所示的框图等价，因此省略说明。
在设定为控制参数(D1，D2)＝(0，0)的情况下，如图5所示，成为仅进行循环型噪声降低的结构。
这样，参数设定部500根据所输入的图像信息来设定控制参数D1、D2，从而对选择器312、322、342、352进行控制。由此，能够根据图像信息而适当地决定在循环型噪声降低部330中要进行循环型降噪处理的基准图像的分辨率。其结果为，能够削减帧存储器331的容量和对帧存储器331的访问量。
图6是示出了本实施方式的降噪部300的控制的一例的图表，示出了输入/输出分辨率(即图像信号NRIN/降噪后图像信号NROUT的分辨率)、在参数设定部500中设定的控制参数D1、D2以及基准图像的分辨率之间的关系。
本实施方式的参数设定部500根据图像信号NRIN的分辨率，以使基准图像的分辨率恒定的方式来设定控制参数D1、D2。
参数设定部500具有将控制参数D1、D2与各输入/输出分辨率关联起来的表，构成为根据该表而进行切换降噪部300的选择器312、322、342、352的控制。
在图6所示的例子中，在图像信号NRIN的分辨率为全HD(High-Definition：高清)分辨率(水平1920×垂直1080)的情况下，对图像信号NRIN具有的所有频率成分进行循环型降噪处理。在图像信号NRIN的分辨率为4k分辨率(水平3840×垂直2160)的情况下，对1/2的频率成分进行循环型降噪处理，在8k分辨率(水平7680×垂直4320)的情况下，对1/4的频率成分进行循环型降噪处理。对这以上的频率成分进行帧内降噪处理。
由此，能够将循环型噪声降低部330与帧存储器331之间的数据量始终抑制为恒定，即使在图像信号NRIN具有高分辨率的情况下也能够高效地进行循环型降噪处理而不会增加功耗。
另外，在本实施方式中，降噪部300是以硬件的形式安装的，但不限于此，也可以通过使计算机执行作为软件的图像处理程序而安装。
以下，参照图7对通过计算机执行图像处理程序而实现的图像处理方法的处理过程进行说明。
首先，当在步骤S1中输入图像信号NRIN后，在步骤S2中，对图像信号NRIN进行多分辨率分解处理，将图像信号NRIN分解为具有多个分辨率的图像。接着，在步骤S3中，在分解出的多个图像中的具有比图像信号NRIN低的分辨率的图像(基准图像)与前一帧的循环图像(参照图像)之间检测运动矢量。然后，在步骤S4中，根据检测到的运动矢量而对参照图像进行运动补偿，从而生成运动补偿图像。接着，在步骤S5中，通过对基准图像和运动补偿图像进行合成而进行循环型降噪处理，从而生成降噪基准图像。接着，在步骤S6中，进行多分辨率合成处理，对具有基准图像以外的分辨率的图像和降噪基准图像进行合成，将其结果在步骤S7中作为降噪后图像信号NROUT而输出。
(第二实施方式)
对本发明的图像处理装置的第二实施方式进行说明。
在本实施方式中，参数设定部500的结构与上述的第一实施方式不同。其他的部分与第一实施方式相同，因此省略说明。
图8是示出了本实施方式的降噪部300的控制的一例的图表，示出了输入/输出分辨率(即图像信号NRIN/降噪后图像信号NROUT的分辨率)和帧率、在参数设定部500中设定的控制参数D2、D1、基准图像的分辨率以及带宽之间的关系。
本实施方式的参数设定部500以作为输入信号的图像信号NRIN的帧率越高，则基准图像的分辨率越小的方式来设定控制参数D1、D2。参数设定部500具有将控制参数D1、D2与各输入/输出分辨率及各帧率关联起来的表，构成为根据该表而进行切换降噪部300的选择器312、322、342、352的控制。
上述设定基于人的视觉特性。一般地，人的视感的时间分辨率没有那么高。例如，关于人的视感，无法识别以100Hz进行闪烁的非逆变式荧光灯的闪烁。即，这表示肉眼将以100fps以上的帧率来重复白与黑的动态图像识别为灰色，表示即使不特意进行降噪处理，在人的眼睛中也会某种程度在时间轴方向上对随机噪声进行平滑化而识别。
在图8所示的例子中，在图像信号NRIN的帧率为30fps和60fps的情况下，对图像信号NRIN具有的所有频率成分进行循环型降噪处理。在图像信号NRIN的帧率为120fps的情况下，对1/2的频率成分进行循环型降噪处理，对这以上的频率成分进行帧内降噪处理。
由此，即使在图像信号NRIN的帧率高的情况下，也能够高效地进行循环型降噪处理，而不会增加循环型噪声降低部330与帧存储器331之间的数据量。
另外，在图8中，在图像信号NRIN的帧率为30fps和60fps的情况下，以使得基准图像的分辨率相等的方式进行控制，但不限于此，也可以使帧率为60fps的情况下的基准图像的分辨率小于帧率为30fps的情况下的基准图像的分辨率。也可以是，随着帧率从30fps朝向120fps变高，使基准图像的分辨率阶段性地减小。
以上，参照附图对本发明的实施方式进行了详细描述，但具体的结构不限于这些实施方式，也包含不脱离本发明的主旨的范围内的设计变更等。
例如，在上述的实施方式中，降噪部300具有选择器312、322、342、352，构成为根据图像信号NRIN的图像信息即图像尺寸、帧率等而切换这些选择器，但在所输入的图像信号NRIN的图像信息固定的情况下，也可以采用不设置选择器312、322、342、352的结构。
此外，在上述的实施方式中，采用了针对不进行循环型降噪处理的分辨率图像而具有帧内噪声降低部311、321的结构，但也可以是不具备帧内噪声降低部311、321的结构。
标号说明
1：图像处理***；300：降噪部(图像处理装置)；301：多分辨率分解部；302：多分辨率合成部；311、321：帧内噪声降低部；312、322、342、352：选择器；330：循环型噪声降低部；331：帧存储器；332：运动矢量检测部；333：运动补偿部；500：参数设定部(选择器控制部)。

Claims (8)

1.一种图像处理装置，其具有：
多分辨率分解部，其将输入图像分解为多个分辨率图像；
帧存储器，其保持前一帧循环图像作为参照图像；
运动矢量检测部，其将所述多个分辨率图像中的分辨率比所述输入图像的分辨率低的图像之一作为基准图像，在该基准图像与所述参照图像之间检测运动矢量；
运动补偿部，其根据所述运动矢量对所述参照图像进行运动补偿，从而生成运动补偿图像；
循环型噪声降低部，其对所述基准图像和所述运动补偿图像进行合成而生成作为新的循环图像的降噪基准图像；以及
多分辨率合成部，其对所述降噪基准图像和所述多个分辨率图像中的所述基准图像以外的分辨率图像进行合成。
2.根据权利要求1所述的图像处理装置，其中，
所述基准图像的分辨率是根据所述输入图像的图像信息而设定的。
3.根据权利要求2所述的图像处理装置，其中，
所述图像处理装置具有：
选择器，其根据所述输入图像的图像尺寸来设定所述基准图像的分辨率；以及
选择器控制部，其控制该选择器，
该选择器控制部以使所述基准图像的分辨率恒定的方式切换所述选择器。
4.根据权利要求2所述的图像处理装置，其中，
所述图像处理装置具有：
选择器，其根据所述输入图像的帧率来设定所述基准图像的分辨率；以及
选择器控制部，其控制该选择器，
该选择器控制部以所述输入图像的帧率越高则所述基准图像的分辨率越低的方式切换所述选择器。
5.根据权利要求1至4中的任意一项所述的图像处理装置，其中，
所述图像处理装置具有帧内噪声降低部，该帧内噪声降低部应用空间滤波器对所述基准图像以外的分辨率图像进行降噪，
所述多分辨率合成部对所述降噪基准图像和通过帧内噪声降低部进行降噪后的分辨率图像进行合成。
6.根据权利要求1所述的图像处理装置，其中，
所述帧存储器将由所述循环型噪声降低部生成的降噪基准图像作为新的循环图像而进行保持。
7.一种图像处理方法，其具有以下的步骤：
将输入图像分解为多个分辨率图像；
将所述多个分辨率图像中的分辨率比所述输入图像的分辨率低的图像之一作为基准图像，在该基准图像与保持于帧存储器中的作为前一帧循环图像的参照图像之间检测运动矢量；
根据所述运动矢量对所述参照图像进行运动补偿，从而生成运动补偿图像；
对所述基准图像和所述运动补偿图像进行合成而生成作为新的循环图像的降噪基准图像；以及
对所述降噪基准图像和所述多个分辨率图像中的所述基准图像以外的分辨率图像进行合成。
8.一种记录了图像处理程序的存储介质，该图像处理程序使计算机执行以下的处理：
将输入图像分解为多个分辨率图像；
将所述多个分辨率图像中的分辨率比所述输入图像的分辨率低的图像之一作为基准图像，在该基准图像与保持于帧存储器中的作为前一帧循环图像的参照图像之间检测运动矢量；
根据所述运动矢量对所述参照图像进行运动补偿，从而生成运动补偿图像；
对所述基准图像和所述运动补偿图像进行合成而生成作为新的循环图像的降噪基准图像；以及
对所述降噪基准图像和所述多个分辨率图像中的所述基准图像以外的分辨率图像进行合成。
CN201680085460.6A 2016-05-10 2016-05-10 图像处理装置、图像处理方法以及存储介质 Active CN109076144B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/063845 WO2017195267A1 (ja) 2016-05-10 2016-05-10 画像処理装置、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
CN109076144A CN109076144A (zh) 2018-12-21
CN109076144B true CN109076144B (zh) 2021-05-11

Family

ID=60267779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680085460.6A Active CN109076144B (zh) 2016-05-10 2016-05-10 图像处理装置、图像处理方法以及存储介质

Country Status (4)

Country Link
US (1) US10825145B2 (zh)
JP (1) JP6714078B2 (zh)
CN (1) CN109076144B (zh)
WO (1) WO2017195267A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102546990B1 (ko) 2018-03-16 2023-06-23 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치
US11544873B2 (en) * 2019-03-05 2023-01-03 Artilux, Inc. High resolution 3D image processing apparatus and method thereof
CN111754387B (zh) * 2019-03-28 2023-08-04 杭州海康威视数字技术股份有限公司 一种图像处理方法及设备
WO2020203164A1 (ja) * 2019-03-29 2020-10-08 ソニー株式会社 医療システム、情報処理装置及び情報処理方法
CN112308771A (zh) * 2019-07-31 2021-02-02 维沃移动通信有限公司 一种图像处理方法、装置及电子设备
KR20240056563A (ko) * 2021-12-10 2024-04-30 구글 엘엘씨 스트리밍 입력 데이터 프로세싱을 위한 스케일러블 하드웨어 아키텍처 템플릿

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1920881A (zh) * 2006-09-01 2007-02-28 上海大学 一种Contourlet变换域的图像降噪方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5237413A (en) * 1991-11-19 1993-08-17 Scientific-Atlanta, Inc. Motion filter for digital television system
US5796438A (en) * 1994-07-05 1998-08-18 Sony Corporation Methods and apparatus for interpolating picture information
US7085318B2 (en) * 2000-06-15 2006-08-01 Sony Corporation Image processing system, image processing method, program, and recording medium
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
CA2397389A1 (en) * 2002-08-09 2004-02-09 Djemel Ziou Image model based on n-pixels and defined in algebraic topology, and applications thereof
US8040385B2 (en) * 2002-12-02 2011-10-18 Olympus Corporation Image pickup apparatus
JP2007288595A (ja) 2006-04-18 2007-11-01 Pioneer Electronic Corp フレーム巡回型ノイズ低減装置
JP4303743B2 (ja) * 2006-10-04 2009-07-29 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
WO2008100640A1 (en) * 2007-02-16 2008-08-21 Marvell World Trade Lte. Methods and systems for improving low resolution and low frame rate video
US8918162B2 (en) * 2007-04-17 2014-12-23 Francine J. Prokoski System and method for using three dimensional infrared imaging to provide psychological profiles of individuals
JP5036482B2 (ja) * 2007-10-19 2012-09-26 シリコン ヒフェ ベー．フェー． 画像処理装置及び画像処理方法、画像処理プログラム
CN100576881C (zh) * 2007-12-26 2009-12-30 西安交通大学 一种基于多相滤波技术的自适应视频图像缩放引擎
JP4631966B2 (ja) 2008-12-22 2011-02-16 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP4645736B2 (ja) * 2008-12-22 2011-03-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5249111B2 (ja) * 2009-03-31 2013-07-31 オリンパス株式会社 画像処理装置、方法、プログラム、及び撮像システム
US9002134B2 (en) * 2009-04-17 2015-04-07 Riverain Medical Group, Llc Multi-scale image normalization and enhancement
US8520734B1 (en) * 2009-07-31 2013-08-27 Teradici Corporation Method and system for remotely communicating a computer rendered image sequence
WO2011086877A1 (ja) * 2010-01-13 2011-07-21 パナソニック株式会社 映像処理装置及び映像表示装置
JP2011199716A (ja) 2010-03-23 2011-10-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2011237997A (ja) * 2010-05-10 2011-11-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2012216109A (ja) * 2011-04-01 2012-11-08 Sony Corp 画像処理装置と画像処理方法
KR101718488B1 (ko) * 2012-01-20 2017-03-21 지이 비디오 컴프레션, 엘엘씨 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
JP2013225779A (ja) * 2012-04-23 2013-10-31 Nikon Corp 画像処理装置、撮像装置および画像処理プログラム
WO2013162273A1 (ko) * 2012-04-24 2013-10-31 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US9648351B2 (en) * 2013-10-24 2017-05-09 Dolby Laboratories Licensing Corporation Error control in multi-stream EDR video codec
WO2015104235A1 (en) * 2014-01-07 2015-07-16 Dacuda Ag Dynamic updating of composite images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1920881A (zh) * 2006-09-01 2007-02-28 上海大学 一种Contourlet变换域的图像降噪方法

Also Published As

Publication number Publication date
US20190050968A1 (en) 2019-02-14
WO2017195267A1 (ja) 2017-11-16
US10825145B2 (en) 2020-11-03
JPWO2017195267A1 (ja) 2019-03-14
CN109076144A (zh) 2018-12-21
JP6714078B2 (ja) 2020-06-24

Similar Documents

Publication Publication Date Title
CN109076144B (zh) 图像处理装置、图像处理方法以及存储介质
US8072511B2 (en) Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus
US7773115B2 (en) Method and system for deblurring digital camera images using reference image and motion estimation
CN109328454B (zh) 图像处理装置
JP6592523B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
JP6622481B2 (ja) 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法
US9172870B2 (en) Real-time image processing method and device enhancing the resolution of successive images
JP2014021928A (ja) 画像処理装置、画像処理方法およびプログラム
JP6087612B2 (ja) 画像処理装置および画像処理方法
JP3866957B2 (ja) 画像合成装置
KR20190077680A (ko) 이미지 처리를 위한 조인트 딕셔너리 생성 방법, 그 조인트 딕셔너리들을 이용한 인터레이스 기반 하이 다이나믹 레인지 이미징 장치 및 그 이미지 처리 방법
JP2013017142A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
US7961961B2 (en) Image processing apparatus and image processing program using motion information
WO2011021235A1 (ja) 画像処理方法および画像処理装置
US9240065B2 (en) Image processing apparatus and image processing method
JP2006325274A (ja) 撮像装置
JP2008252767A (ja) ノイズ低減装置、ノイズ低減方法、及び電子機器
JP5919086B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP2018067868A (ja) 撮像装置
JP4339671B2 (ja) 撮像装置
Watanabe et al. Video synthesis with high spatio-temporal resolution using motion compensation and image fusion in wavelet domain
JP4478981B2 (ja) 色雑音低減手法およびカラー撮像装置
JP2014039105A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
US9013606B2 (en) Image processing apparatus and control method thereof
US20220383516A1 (en) Devices and methods for digital signal processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant