CN104995908B - 图像处理装置以及图像处理方法 - Google Patents

图像处理装置以及图像处理方法 Download PDF

Info

Publication number
CN104995908B
CN104995908B CN201580000272.4A CN201580000272A CN104995908B CN 104995908 B CN104995908 B CN 104995908B CN 201580000272 A CN201580000272 A CN 201580000272A CN 104995908 B CN104995908 B CN 104995908B
Authority
CN
China
Prior art keywords
field picture
pixel
pixel value
image
preceding frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580000272.4A
Other languages
English (en)
Other versions
CN104995908A (zh
Inventor
佐藤真希
平井骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Morpho Inc
Original Assignee
Morpho Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Morpho Inc filed Critical Morpho Inc
Publication of CN104995908A publication Critical patent/CN104995908A/zh
Application granted granted Critical
Publication of CN104995908B publication Critical patent/CN104995908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/911—Television signal processing therefor for the suppression of noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

图像处理装置通过输入并处理由摄像装置获得的帧图像，来生成输出帧图像，该图像处理装置包括：记录部，其记录比成为处理对象的对象帧图像更早输入的先前帧图像或先前帧图像的输出帧图像；位置对准部，其使先前帧图像或先前帧图像的输出帧图像、与对象帧图像进行位置对准；校正部，其参照记录部，进行时间性校正处理，在该时间性校正处理中使用由位置对准部进行位置对准后的先前帧图像的像素值或先前帧图像的输出帧图像的像素值，来校正对象帧图像的像素值；以及生成部，其使用由校正部校正后的对象帧图像，来生成对象帧图像的输出帧图像。

Description

图像处理装置以及图像处理方法
技术领域
本发明的一个方面涉及一种图像处理装置以及图像处理方法。
背景技术
以往，作为图像处理装置，已知有去除动态图像摄像时的噪声的装置(例如，参照专利文献1)。专利文献1所记载的图像处理装置根据前1帧的影像信号与当前的影像信号之间的差分，控制递归型(recursive)噪声降低电路的反馈系数。通过使反馈系数适应于被摄体的运动，抑制运动的被摄体的残像，降低不运动的被摄体的噪声。
现有技术文献
专利文献
专利文献1：日本特开2000-209507号公报
发明内容
发明所要解决的问题
然而，在专利文献1所记载的图像处理装置中，由于在不对摄像装置的运动与运动被摄体的运动加以区分的情况下进行处理，故而会大范围地产生因相机的抖动导致的帧之间的差分。在这样的状态下进行抑制运动被摄体的残像的校正的情况下，必须削弱噪声去除的效果，从而有可能无法获得充分的噪声去除效果。在本技术领域中，正期待取得优异的噪声去除效果的图像处理装置、图像处理方法、图像处理程序以及记录介质。
用于解决问题的手段
本发明的一个方面的图像处理装置通过输入并处理由摄像装置获得的帧图像，来生成输出帧图像，该图像处理装置具备：记录部，其记录比成为处理对象的对象帧图像更早输入的先前帧图像或先前帧图像的输出帧图像；位置对准部，其使先前帧图像或先前帧图像的输出帧图像、与对象帧图像进行位置对准；校正部，其参照记录部，进行时间性校正处理，在该时间性校正处理中使用由位置对准部进行位置对准后的先前帧图像的像素值或先前帧图像的输出帧图像的像素值，来校正对象帧图像的像素值；以及生成部，其使用由校正部校正后的对象帧图像，来生成对象帧图像的输出帧图像。校正部使用对象帧图像的对象像素的像素值、以及多个先前帧图像的对应像素的像素值的加权平均值，对对象像素进行时间性校正处理。也可以是，先前帧图像的对应像素的像素值的权重被设定为越早之前的先前帧图像则权重越小，多个先前帧图像中的、与对象帧图像相隔规定帧数的过去的先前帧图像的对应像素的像素值的权重被设定为：该权重与该先前帧图像的下1帧的先前帧图像的对应像素的像素值的权重或对象像素的像素值的权重之间的差分，小于与对象帧图像相隔规定帧数的之前的先前帧图像的对应像素的像素值的权重与相隔规定帧数的之前的先前帧图像的前1帧的先前帧图像的对应像素的像素值的权重之间的差分。
该图像处理装置中，在使用先前帧图像的输出帧图像来对对象帧图像进行校正之前，使先前帧图像的输出帧图像与对象帧图像进行位置对准。通过在对象帧图像的校正之前使先前帧图像的输出帧图像与对象帧图像进行位置对准，消除对象帧图像与先前帧图像之间的摄像装置的运动。因此，可避免为了抑制运动而削弱噪声去除的效果，故而可取得优异的噪声去除效果。
通过以此方式构成，可在某种程度上抑制过去的输入帧图像的权重，并且将与对象帧相隔规定帧数的过去的先前帧图像的权重设为与对象帧的权重大致相同。通过在某种程度上抑制过去的输入帧图像的权重，可减少重像(残像)。另外，通过将与对象帧相隔规定帧数的过去的先前帧图像的权重设为与对象帧的权重大致相同，可获得平均效果。其结果为，可在不会生成重像的情况下去除闪烁等振幅较大的噪声。
一个实施方式中，也可以是，校正部还进行空间性校正处理，在该空间性校正处理中针对对象帧图像的像素的像素值，使用该对象帧图像中的包含该像素的区域所包含的多个像素的像素值进行校正。由此，组合时间性校正处理及空间性校正处理，可取得更进一步优异的噪声去除效果。
一个实施方式中，也可以是，校正部使用与差分相应的系数，对对象像素进行时间性校正处理，该差分是对象帧图像的对象像素的像素值、与由位置对准部进行位置对准后的先前帧图像的对应像素的像素值或先前帧图像的输出帧的对应像素的像素值之间的差分。通过以此方式构成，例如可以利用与差分相应的强弱对运动被摄体进行时间性校正处理。
一个实施方式中，也可以是，生成部将由校正部校正后的对象帧图像的输出帧图像储存于记录部中。由此，可进行递归型的校正处理，因此可取得高效率且优异的噪声去除效果。
一个实施方式中，也可以是，生成部基于摄像装置的运动，确定从由校正部校正后的对象帧图像中切出的区域，且切出所确定的区域，由此生成对象帧图像的输出帧图像。另外，一个实施方式中，也可以是，校正部对于对象帧图像的与切出区域不同的区域的至少一部分所包含的像素，不将其作为处理的对象。通过以此方式构成，可提高处理效率。
一个实施方式中，也可以是，校正部直接对对象帧图像的对象像素的像素值及规定帧数的先前帧图像的对应像素的像素值赋予权重而计算加权平均值，使用加权平均值、以及规定帧数的先前帧图像中的任意先前帧图像的输出帧图像的对应像素的像素值，对对象像素进行时间性校正处理。根据该结构，仅保存规定帧数的先前帧图像及输出帧图像即可。因此，通过适当地设定加权平均值计算中所使用的先前帧图像的数量，可减少所要保存的先前帧图像的数量，并且可减少处理量。由此，可谋求资源削减及处理效率化。
一个实施方式中，也可以是，校正部直接对对象帧图像的对象像素的像素值及多个先前帧图像的对应像素的像素值进行加权，对对象像素进行时间性校正处理。根据该结构，可提高时间性校正处理的自由度，如减小包含运动被摄体的像素的像素值的影响等。
本发明的另一个方面的图像处理装置通过输入并处理由摄像装置获得的帧图像，来生成输出帧图像，该图像处理装置具备：记录部，其记录比成为处理对象的对象帧图像更早输入的先前帧图像或先前帧图像的输出帧图像；位置对准部，其使先前帧图像或先前帧图像的输出帧图像、与对象帧图像进行位置对准；校正部，其参照记录部，进行时间性校正处理，在该时间性校正处理中使用由位置对准部进行位置对准后的先前帧图像的像素值或先前帧图像的输出帧图像的像素值，来校正对象帧图像的像素值；以及生成部，其使用由校正部校正后的对象帧图像，来生成对象帧图像的输出帧图像，，校正部具备：第1校正滤波器，其使用对象帧图像的对象像素的像素值及先前帧图像的输出帧图像的对应像素的像素值，对对象像素进行时间性校正处理；以及第2校正滤波器，其使用对象帧图像的对象像素的像素值、以及多个先前帧图像的对应像素的像素值的加权平均值，对对象像素进行时间性校正处理，在第2校正滤波器中，先前帧图像的对应像素的像素值的权重被设定为越早之前的先前帧图像则权重越小，多个先前帧图像中的、与对象帧图像相隔规定帧数的过去的先前帧图像的对应像素的像素值的权重被设定为：该权重与该先前帧图像的下1帧的先前帧图像的对应像素的像素值的权重或对象像素的像素值的权重之间的差分，小于与对象帧图像相隔规定帧数的之前的先前帧图像的对应像素的像素值的权重与相隔规定帧数的之前的先前帧图像的前1帧的先前帧图像的对应像素的像素值的权重之间的差分。也可以是，校正部根据对象像素来切换第1校正滤波器与第2校正滤波器，对对象像素进行时间性校正处理。例如，在对象像素包含闪烁等振幅较大的噪声的情况下，可通过使用第2校正滤波器来去除噪声，在对象像素不包含闪烁等振幅较大的噪声的情况下，可通过使用第1校正滤波器来去除噪声。这样，可根据对象像素来选择适当的校正滤波器。
本发明的另一方面的图像处理方法通过输入并处理由摄像装置获得的帧图像来生成输出帧图像，该图像处理方法包括：位置对准步骤，使比成为处理对象的对象帧图像更早输入的先前帧图像或该先前帧图像的输出帧图像、与对象帧图像进行位置对准；校正步骤，参照记录有先前帧图像或先前帧图像的输出帧图像的记录部，进行时间性校正处理，在该时间性校正处理中使用通过位置对准步骤进行位置对准后的先前帧图像的像素值或先前帧图像的输出帧图像的像素值，来校正对象帧图像的像素值；以及生成步骤，使用通过校正步骤校正后的对象帧图像，来生成对象帧图像的输出帧图像。所述校正步骤中，使用所述对象帧图像的对象像素的像素值、以及多个所述先前帧图像的对应像素的像素值的加权平均值，对所述对象像素进行所述时间性校正处理，所述先前帧图像的对应像素的像素值的权重被设定为越早之前的所述先前帧图像则权重越小，所述多个所述先前帧图像中的、与所述对象帧图像相隔规定帧数的过去的所述先前帧图像的对应像素的像素值的权重被设定为：该权重与该先前帧图像的下1帧的所述先前帧图像的对应像素的像素值的权重或所述对象像素的像素值的权重之间的差分，小于与所述对象帧图像相隔所述规定帧数的之前的所述先前帧图像的对应像素的像素值的权重与相隔所述规定帧数的之前的所述先前帧图像的前1帧的所述先前帧图像的对应像素的像素值的权重之间的差分。
本发明的又一方面的记录介质是记录有使计算机以通过输入并处理由摄像装置获得的帧图像来生成输出帧图像的方式发挥功能的图像处理程序的计算机可读取的记录介质，记录有使计算机作为记录部、位置对准部、校正部及生成部而发挥功能的图像处理程序而构成，记录部记录比成为处理对象的对象帧图更早输入的先前帧图像或先前帧图像的输出帧图像；位置对准部使先前帧图像或先前帧图像的输出帧图像、与对象帧图像进行位置对准；校正部参照记录部，进行时间性校正处理，在该时间性校正处理中使用由位置对准部进行位置对准后的先前帧图像的像素值或先前帧图像的输出帧图像的像素值，来校正对象帧图像的像素值；生成部使用由校正部校正后的对象帧图像，来生成对象帧图像的输出帧图像。
根据上述图像处理方法、图像处理程序以及记录介质，取得与上述本发明的一个方面的图像处理装置相同的效果。
发明效果
根据本发明的各种方式及实施方式，可提供一种取得优异的噪声去除效果的图像处理装置、图像处理方法、图像处理程序以及记录介质。
附图说明
图1是搭载有第1实施方式的图像处理装置的便携终端的功能框图。
图2是搭载第1实施方式的图像处理装置的便携终端的硬件结构图。
图3是说明第1实施方式的图像处理装置的动作的流程图。
图4是说明位置对准处理的概要图。
图5是说明空间性校正处理的概要图。
图6是说明时间性校正处理的概要图。
图7是说明时间性校正处理的概要图。
图8是说明时间性校正处理的概要图。
图9是说明输出图像帧及手抖动校正的概要图。
图10是表示输入帧图像的权重的一例的图。
图11是表示输入帧图像的权重的另一例的图。
图12是表示第2实施方式的图像处理装置的时间性校正处理的详细情况的流程图。
图13是表示使用递归型滤波器的情况下的输入帧图像的权重的一例的图。
具体实施方式
以下，参照附图，对实施方式进行说明。此外，对于各图中相同或相当部分标注相同标号，并省略重复的说明。
本实施方式的图像处理装置是例如输出被去除噪声的帧图像的装置，例如在多个图像的连续摄影或动态图像摄影的情况下被优选地采用。本实施方式的图像处理装置优选地搭载于例如便携电话、数字相机、PDA(Personal Digital Assistant，个人数字助理)等资源有限的移动终端中，但并不限于此，例如也可以搭载于通常的计算机***中。此外，以下，考虑到容易理解说明，作为一例，对具备动态图像摄像功能的便携终端中搭载的图像处理装置进行说明。
[第1实施方式]
图1是具备第1实施方式的图像处理装置1的便携终端2的功能框图。图1所示的便携终端2例如是由使用者所携带的移动终端，且具有图2所示的硬件结构。图2是便携终端2的硬件结构图。如图2所示，便携终端2在实体上构成为包含CPU(Central ProcessingUnit，中央处理单元)100、ROM(Read Only Memory，只读存储器)101及RAM(Random AccessMemory，随机存取存储器)102等主存储装置、摄像头或键盘等输入设备103、显示器等输出设备104、硬盘等辅助存储装置105等的通常的计算机***。后述的便携终端2及图像处理装置1的各功能通过如下方式而实现：通过将规定的计算机软件读入至CPU100、ROM101、RAM102等硬件上，在CPU100的控制下使输入设备103及输出设备104进行工作，并且进行主存储装置或辅助存储装置105中的数据的读出及写入。此外，在上述说明中，说明了便携终端2的硬件结构，但图像处理装置1也可以构成为包含CPU100、ROM101及RAM102等主存储装置、输入设备103、输出设备104、辅助存储装置105等的通常的计算机***。另外，便携终端2也可以具备通信模块等。
如图1所示，便携终端2具备动态图像摄像头(摄像装置)20、图像处理装置1及显示部22。动态图像摄像头20具有拍摄动态图像的功能。动态图像包含以时间序列连续的帧图像。此外，动态图像摄像头20也可以具有从通过使用者操作等而指定的时刻起以规定的间隔反复进行摄像的连续摄像功能。动态图像摄像头20将帧图像输出至图像处理装置1。
图像处理装置1通过输入并处理由动态图像摄像头20获得的帧图像，来生成输出帧图像。例如，图像处理装置1具有去除所输入的帧图像的噪声且将输出帧图像输出的功能。此处，所谓噪声例如为在拍摄到的影像上所产生的闪烁。噪声例如可以为在帧图像之间随时间经过而被随机变更的像素值(时间噪声)、或在同一帧内与周围的像素的像素值极不相同的像素值(空间噪声)。此外，所谓像素值是与像素对应起来的信息，例如包括亮度值、色差值、彩度等。
图像处理装置1例如具备帧图像输入部10、位置对准部11、校正部12、生成部13及输出帧图像记录部14。
帧图像输入部10具有输入由动态图像摄像头20拍摄到的帧图像的功能。帧图像输入部10将所输入的帧图像输出至位置对准部11。
位置对准部11具有将帧图像之间的位置对准的功能。位置对准部11例如使帧图像之间的坐标对应起来。位置对准部11既可以计算帧图像之间的差分来使帧图像之间的坐标对应起来，也可以计算帧图像之间的原点的位置变化来使帧图像之间的坐标对应起来。或者，也可以是，图像处理装置1具备陀螺仪传感器，使用通过陀螺仪传感器获得的检测结果，位置对准部11取得对象帧图像与先前帧图像之间的运动。在使用了通过陀螺仪传感器获得的检测结果的情况下，与使用只有图像的数据的情况相比，可进行稳固性优异的噪声去除。
在使用图像之间的差分的情况下，例如，位置对准部11使用成为处理对象的对象帧图像、与比该对象帧图像更早被输入至图像处理装置1并被去除噪声的先前帧图像，进行位置对准。对象帧图像例如为本次所输入的帧图像，先前帧图像例如为对象帧图像的前1帧的帧图像。在输出帧图像记录部14中，储存有通过上次的处理而被去除噪声的先前帧图像。位置对准部11例如参照输出帧图像记录部14来取得被去除噪声的先前帧图像。或者，位置对准部11也可以使成为处理对象的对象帧图像、与未去除噪声的先前帧图像进行位置对准。在该情况下，只要帧图像输入部10在图像处理装置1所具备的记录部中储存先前帧图像，且位置对准部11参照该记录部来取得先前帧图像即可。或者，也可以是，图像处理装置1具备陀螺仪传感器，且根据通过陀螺仪传感器获得的检测结果，取得对象帧图像与先前帧图像之间的运动。
位置对准部11将例如与位置对准相关的数据输出至校正部12。所谓与位置对准相关的数据例如为使2个帧图像的原点位置对应起来的数据。校正部12使用位置对准后的帧图像彼此进行校正处理。
校正部12进行去除对象帧图像的噪声的校正。如上所述，包含噪声的像素存在如下情况：成为在帧图像之间随时间经过被随机变更的像素值、或成为在同一帧内与周围的像素的像素位置极不相同的像素值(包含色彩噪声的像素值)。因此，校正部12将2个校正处理组合而去除噪声。
校正部12所进行的第1校正处理是仅使用对象帧图像的信息来进行校正的处理。即，第1校正处理即便在位置对准处理之前也可以执行。第1校正处理是仅使用对象帧图像的信息来进行的处理，因此只要取得二维的坐标位置便可执行。以下，将第1校正处理称为空间性校正处理。空间性校正处理是将对象帧图像所包含的噪声(空间噪声)去除的校正。噪声中包含色彩成分、亮度成分的噪声。校正部12使用平滑化滤波器等，对位于对象像素周围的像素的像素值进行平均化，并使用所计算出的平均值来校正包含色彩噪声的像素值。空间性校正处理的优点在于，即便在运动被摄体存在于图像帧中的情况下，也可以稳固地去除噪声。然而，由于使用空间上不同的位置的信息，故而也存在平均值与实际的像素值相差较大的情况。因此，也可以对某种程度上像素值的变化较小的区域、例如像素值的变化成为规定值以下的区域进行平滑化处理。校正部12也可以根据色彩噪声而设定去除等级，所设定的等级越大，则越要增加校正次数。校正部12也可以将作为对象的像素减省至1/4，在校正处理后通过例如双线性插补等而进行插补。另外，也可以与空间性校正处理一起追加进行增强色彩的校正。在该情况下，可通过空间性校正处理而改善褪色图像的画质。
校正部12所进行的第2校正处理是使用位置对准后的先前帧图像的信息来进行校正的处理。即，第2校正处理在位置对准处理之后执行。以下，将第2校正处理称为时间性校正处理。例如，校正部12使用对象帧图像的像素值和位置对准后的所对应的先前帧图像的输出帧图像的像素的像素值，来生成噪声去除后的对象帧图像。或者，例如，校正部12使用位置对准后的所对应的先前帧图像的像素的像素值和对象帧图像的像素的像素值，来生成对象帧图像的输出帧图像的像素值。
此外，校正部12也可以不仅参照前1帧的先前帧图像，也参照该先前帧图像以前的先前帧图像，取得过去的先前帧图像的像素值，并对所取得的像素值进行平均化。例如，校正部12也可以直接使用对象帧图像的对象像素的像素值、以及由位置对准部11进行位置对准后的多个先前帧图像的对应像素的像素值，对对象像素进行时间性校正处理。在该情况下，校正滤波器成为所谓的非递归型滤波器。或者，校正部12也可以预先保存被去除噪声的先前帧图像，并使用所保存的先前帧图像，对对象帧图像进行校正。也即，校正部12也可以使用对象帧图像的对象像素的像素值及先前帧图像的输出帧图像的对应像素的像素值，对对象像素进行时间性校正处理。在该情况下，校正滤波器成为所谓的递归型滤波器，仅保存被去除噪声的先前帧图像即可，因此，可谋求资源削减及处理效率化。时间性校正处理的优点在于，在风景等的情况下，可大部分采用先前帧图像的像素值，因此，可保留纹理且有效地去除噪声(时间噪声)。然而，由于使用时间上不同的位置的信息，故而在描绘有运动被摄体的帧图像的情况下，若直接采用平均值，则有可能成为不自然的图像。因此，也可以使用与差分相应的系数，对对象像素进行时间性校正处理，该差分是对象帧图像的对象像素的像素值、与由位置对准部进行位置对准后的先前帧图像的输出帧的对应像素的像素值之间的差分。例如，也可以是，在差分为规定值以上的情况下，以将对对象像素进行的时间性校正处理减弱的方式设定系数，或者在差分为规定值以上的情况下，以不进行时间性校正处理的方式设定系数。
校正部12采用上述空间性校正处理及时间性校正处理中的任一处理或组合该等两种处理而进行噪声去除。校正部12通过组合空间性校正处理及时间性校正处理进行校正，可发挥相互的处理的优点，而进行更适当的校正。校正部12将校正后的对象帧图像输出至生成部13。
生成部13将校正后的对象帧图像的一部分切取，来生成输出帧图像。生成部13例如将输出帧图像发送至输出帧图像记录部14进行储存，并且使其显示在显示部22上。显示部22是可显示图像或影像的装置，例如为显示器装置。
接下来，对第1实施方式的图像处理装置1的动作进行说明。图3是表示第1实施方式的图像处理装置1的动作的流程图。图3所示的控制处理例如在开启(ON)了便携终端2的摄像功能的时刻执行，以规定的周期反复执行。此外，考虑到容易理解说明，将处理对象的输入帧图像作为第2个以后的输入帧图像。
如图3所示，首先，图像处理装置1执行帧图像输入处理(S10)。在S10的处理中，帧图像输入部10从动态图像摄像头20被输入对象帧图像framei _In。若S10的处理结束，则转移至位置对准处理(S12：位置对准步骤)。
在S12的处理中，位置对准部11进行对象帧图像framei _In与先前帧图像framei-1 _In的输出帧图像framei-1 _Out之间的位置对准。如上所述，位置对准可采用各种方法，但此处是说明仅利用图像信息进行位置对准的例子。图4是说明使用2张帧图像进行的位置对准的图。如图4所示，既可以使输出帧图像framei-1 _Out的原点位置(0i-1，0i-1，1)、与对象帧图像framei _In的原点位置(0i，0i，1)对应起来，也可以使规定的特征点(xi-1，yi-1，1)与点(xi，yi，1)彼此对应起来。若S12的处理结束，则转移至空间性校正处理(S14：校正步骤)。
在S14的处理中，校正部12仅使用对象帧图像framei _In的图像信息来去除噪声。校正部12例如对对象帧图像framei _In的整体应用平滑化滤波器。通过平滑化滤波器，对对象像素的周围的区域所包含的像素的像素值进行平均化。所谓周围的区域是包含对象像素的规定范围。规定范围例如使用该像素的8附近的像素、24附近的像素、或48附近的像素等。图5是说明空间性校正处理的概要图。如图5所示，在对象帧图像framei _In中存在对象像素P1。作为一例，校正部12使用对象像素P1的8附近的像素的像素值，来校正对象像素P1的像素值。例如，校正部12以接近于8附近的像素的像素值的平均值的方式校正对象像素P1的像素值。若S14的处理结束，则转移至时间性校正处理(S16：校正步骤)。
在S16的处理中，校正部12使用对象帧图像framei _In的图像信息、和先前帧图像framei-1 _In的输出帧图像framei-1 _Out的图像信息，来去除噪声。图6是说明时间性校正处理的概要图。如图6所示，参照过去的先前帧图像framei-2 _In至先前帧图像framei-n _In，来校正先前帧图像framei-1 _In的输出帧图像framei-1 _Out。在该情况下，使用先前帧图像framei-1 _In的输出帧图像framei-1 _Out的信息，来校正对象帧图像framei _In，由此，取得与参照先前帧图像framei-1 _In至先前帧图像framei-n _In来进行校正的情况相同的效果。因此，仅保存先前帧图像framei-1 _In的输出帧图像framei-1 _Out的图像信息即可，故而可以不保存其他过去的先前帧图像。因此，可谋求资源削减及处理效率化，且提供优异的噪声减少效果。
校正部12例如参照对象帧图像framei _In的对象像素、和先前帧图像framei-1 _In的输出帧图像framei-1 _Out的像素，来进行平均化。图7是说明时间性校正处理的概要。图7中，在对象帧图像framei _In中存在对象像素P2i，在输出帧图像framei-1 _Out中存在对象像素P2i-1。如图7所示，校正部12使用对象帧图像framei _In的对象像素P2i的像素值、和位于与对象像素P2i对应的位置的像素P2i-1的像素值，来生成已去除噪声的对象帧图像framei _In。
另外，校正部12也可以在存在运动被摄体的情况下变更处理。图8是说明存在运动被摄体的情况下的时间性校正处理的概要图。图8中，在对象帧图像framei _In中存在对象像素P2i，在输出帧图像framei-1 _Out中存在对象像素P2i-1。如图8所示，在对象帧图像framei _In中，对象像素P2i与运动被摄体未重叠，但在输出帧图像framei-1 _Out中，对象像素P2i-1与运动被摄体重叠。这样，当存在运动被摄体的情况下，对象像素P2i的像素值、与对象像素P2i-1的像素值之间的差分变大。因此，例如在对象像素P2i的像素值、与对象像素P2i-1的像素值之间的差分为规定值以上的情况下，也可以不进行时间性校正处理。
另外，校正部12也可以对对象像素P2i的像素值与像素P2i-1的像素值进行加权且进行平均化。一般而言，在先前帧的像素值的权重大于对象帧图像的像素值的权重的情况下，噪声去除的效果增强。在对应位置的像素值的差分较大的情况下，即存在规定值以上的差分的情况下，也可以不进行时间性校正处理。若S16的处理结束，则转移至输出帧图像生成处理(S18：生成步骤)。
在S18的处理中，生成部13根据S16的处理中获得的已去除噪声的对象帧图像framei _In，生成输出帧图像framei _Out。生成部13既可以在不特别进行处理的情况下将S16的处理中获得的已去除噪声的对象帧图像framei _In作为输出帧图像framei _Out，也可以将所切出的区域作为输出帧图像framei _Out。例如，在进行手抖动校正的情况下，生成部13能够基于动态图像摄像头20的运动而确定从已去除噪声的对象帧图像framei _In中切出的区域，且切出所确定的区域，由此生成对象帧图像framei _In的输出帧图像framei _Out。图9是说明通过区域的切出来进行输出帧图像framei _Out的生成的说明图。如图9的(A)、(B)所示，将由动态图像摄像头20连续拍摄的帧图像设为framei-1、framei，将其中心位置设为Cfi-1、Cfi。图像处理装置1设定大小比帧图像framei-1小的切出区域Ki-1。例如，切出区域Ki-1的大小为帧图像framei-1的大小的70％～90％。该切出区域Ki-1成为输出帧图像。接下来，动态图像摄像头20从(A)所示的摄像位置变化至(B)所示的摄像位置(向图9的(B)的实线箭头所示的右上方向的移位)。在该情况下，可获得比帧图像framei-1向右上移位后的帧图像framei。此处，图像处理装置1在抵消帧图像framei-1与帧图像framei之间的运动的位置处，设定切出区域Ki(向图9的(B)的虚线箭头所示的左下方向的移位)。由此，切出区域Ki-1的中心位置Cfi-1与Cfi成为大致相同的位置，故而生成犹如静止般的输出帧图像，将其输出至显示部22。此外，区域的切出不仅为单纯的切出，也可以通过组合仿射变换或透视变换等的切出而进行。
以上，结束图3所示的控制处理。通过执行图3所示的控制处理，可在校正之前进行位置对准，因此可避免大范围地产生因动态图像摄像头20的抖动导致的帧之间的差分。因此，可取得优异的噪声去除效果。
接下来，对用于使便携终端(计算机)2作为上述图像处理装置1发挥功能的图像处理程序进行说明。
图像处理程序具备主模块、输入模块及运算处理模块。主模块是总括地控制图像处理的部分。输入模块以取得帧图像的方式使便携终端2动作。运算处理模块具备位置对准模块、校正模块及生成模块。通过执行主模块、输入模块及运算处理模块来实现的功能分别与上述图像处理装置1的帧图像输入部10、位置对准部11、校正部12及生成部13的功能相同。
对于图像处理程序而言，例如由ROM等记录介质或半导体存储器来提供。另外，也可以作为数据信号而经由网络来提供图像处理程序。
以上，根据第1实施方式的图像处理装置1、图像处理方法及图像处理程序，可在对象帧图像的校正之前使先前帧图像的输出帧图像与对象帧图像进行位置对准，因此，可消除对象帧图像与先前帧图像之间的摄像装置的运动。因此，可避免为了抑制运动而削弱噪声去除的效果，故而可取得优异的噪声去除效果。
[第2实施方式]
然而，所拍摄的动态图像有产生闪烁的情况。所谓闪烁是在被摄体的明灭的频率与动态图像摄像头(摄像装置)的采样频率不同的情况下因该频率之差而产生的动态图像的明灭。该闪烁的振幅较大，因此，若要强行去除，则有时会生成重像(残像)。以下，对用于去除包含如该闪烁般振幅较大的噪声在内的噪声的图像处理装置进行说明。另外，作为振幅较大的噪声，以闪烁为例进行说明。
第2实施方式的图像处理装置1构成为与第1实施方式的图像处理装置1大致相同，校正部12的一部分功能不同。具体而言，不同点在于，校正部12进行用于从对象帧图像中去除振幅更大的噪声的校正。以下，以与第1实施方式的图像处理装置1的不同点为中心进行说明，并省略重复的部分的说明。
校正部12进行去除对象帧图像的噪声的校正。闪烁为动态图像的明灭，故而可视为时间噪声。因此，校正部12与第1实施方式同样地组合空间性校正处理及时间性校正处理的2个校正处理，来去除噪声。关于空间性校正处理，由于与第1实施方式相同，所以省略其说明。此外，在本实施方式中，将位置对准后且进行时间性校正处理之前的对象帧图像及先前帧图像称为输入帧图像。
时间性校正处理是用于去除包含闪烁的时间噪声的校正处理。校正部12使用对象帧图像的对象像素的像素值、以及多个先前帧图像的对应像素的像素值的加权平均值，对对象像素进行时间性校正处理。具体而言，校正部12直接或间接地分别对多个输入帧图像的像素的像素值进行加权，计算加权后的像素值的平均值，由此计算加权平均值。在以多个输入帧图像的像素的像素值的权重的合计为1的方式设定各权重的情况下，校正部12通过对加权后的像素值进行相加来计算加权平均值。
图10是表示输入帧图像的权重的一例的图。图10中，将对象帧图像的帧编号设为i，依照以对象帧图像为基准追溯过去的顺序将输入帧图像的帧编号设为i－1、i－2、…。如图10所示，对多个输入帧图像中的对象帧图像的像素值以及时间上距对象帧图像较近的过去的先前帧图像的像素的像素值，较大地设定权重，对时间上距对象帧图像较远的过去的先前帧图像的像素的像素值，以重像不会变大的程度设定权重。也即，输入帧图像的对应像素的像素值的权重被设定为越早之前的输入帧图像则权重越小，多个输入帧图像中的、与对象帧图像相隔规定帧数的过去的先前帧图像的对应像素的像素值的权重被设定为：该权重与该先前帧图像的下1帧的先前帧图像的对应像素的像素值的权重或对象像素的像素值的权重之间的差分，小于与对象帧图像相隔规定帧数的之前的先前帧图像的对应像素的像素值的权重与相隔规定帧数的之前的先前帧图像的前1帧的先前帧图像的对应像素的像素值的权重之间的差分。换言之，关于从对象帧图像至与对象帧图像相隔规定帧数的之前的先前帧图像为止的输入帧图像，将时间上相邻的2个输入帧图像的对应像素(对象帧图像的情况下为对应像素)的权重之间的差分(差的绝对值)设定为：小于与对象帧图像相隔规定帧数的之前的先前帧图像的对应像素的像素值的权重与比相隔规定帧数的之前的先前帧图像还提前1帧的先前帧图像的对应像素的像素值的权重之间的差分。规定帧数例如为1～2左右。
此外，进行像素值的加权平均的校正滤波器可构成为直接对多个输入帧图像的像素的像素值进行加权且直接对加权后的像素值进行平均处理的非递归型滤波器、以及使用对先前帧图像进行了校正后得到的输出帧图像的像素的像素值的递归型滤波器等。此处，考虑到嵌入式的安装，对使用递归型滤波器的时间性校正处理进行说明。
校正部12直接对对象帧图像的对象像素的像素值及时间上距对象帧图像较近的过去的规定帧数的先前帧图像的对应像素的像素值赋予权重而计算加权平均值，并通过使用了加权平均值及规定帧数的先前帧图像中的任意先前帧图像的输出帧图像的对应像素的像素值的递归型滤波器，对对象像素进行时间性校正处理。作为该递归型滤波器中使用的输出帧图像，优选为对象帧图像的前1帧的先前帧图像的输出帧图像。校正部12例如通过使用了对象帧图像的对象像素的像素值及对象帧图像的前1帧的先前帧图像的对应像素的像素值的加权平均、和对象帧图像的前1帧的先前帧图像的输出帧图像的递归型滤波器，进行时间性校正处理。
关于使用该递归型滤波器的时间性校正处理，使用第j个输入帧图像framej _In的像素Pj In的像素值Ij In、对像素Pi In进行了校正后得到的像素Pi Out的像素值Ii Out、对像素Pi-1 In进行了校正后得到的像素Pi-1 Out的像素值Ii-1 Out、各像素值Ij In的权重wj、及递归型滤波器的系数α，由式(1)表示。此处，将对象帧图像作为第i个输入帧图像。
[数学式1]
式(1)的右边第1项中，使用包含对象帧图像的n个输入帧图像，运算对象帧图像的像素值及时间上距对象帧图像较近的过去的先前帧图像的像素的像素值的加权平均值Iwave。在该运算中，不受时间上距对象帧图像较远的过去的先前帧图像的影响，故而权重wj设定为较大。式(1)的右边第2项中，使用将对象帧图像的前1帧的先前帧图像的像素进行了校正后得到的像素，且导入递归型滤波器的特征。由此，时间上距对象帧图像较远的过去的先前帧图像的像素的像素值被用于对象像素的像素值的平均化。此外，式(1)的右边第1项所使用的输入帧图像的个数n是考虑图像处理装置1的性能与处理负荷的平衡而确定的。若增大个数n，则缓冲器的容量变大，处理时间变长，因此个数n例如为2～3左右。
权重wj也可以为预定的常数。在时间性校正处理中，由于使用时间上不同的位置的信息，故而在描绘有运动被摄体的帧图像的情况下，若将权重wj作为常数进行运算，则有可能成为不自然的图像。因此，校正部12也可以根据对象帧图像framei _In的对象像素Pi In的像素值Ii In、与时间上距对象帧图像framei _In较近的过去的先前帧图像framej _In的对应像素Pj In的像素值Ij In之间的差分，动态地计算权重wj。例如，也可以是，在上述差分(差的绝对值)为规定值以上的情况下，为了减小对应像素Pj In的像素值Ij In对时间性校正处理造成的影响，校正部12将权重wj设定为较小，或者，在差分为规定值以上的情况下，校正部12以不将对应像素Pj In的像素值Ij In用于时间性校正处理的方式设定权重wj。此外，在计算差分时，对时间上距对象帧图像framei _In较近的过去的先前帧图像framej _In进行相对于对象帧图像framei _In的位置对准。
系数α为0～1的值。系数α也可以为预定的常数。与权重wj同样地，在描绘有运动被摄体的帧图像的情况下，若将系数α作为常数进行运算，则有可能成为不自然的图像。因此，校正部12也可以根据对象帧图像的前1帧的先前帧图像framei-1 _In的输出帧图像framei -1 _Out的对应像素Pi-1 Out的像素值Ii-1 Out与加权平均值Iwave之间的差分，动态地计算系数α。例如，也可以是，在上述差分(差的绝对值)为规定值以上的情况下，为了减小对应像素Pi-1 Out的像素值Ii-1 Out对时间性校正处理造成的影响，校正部12将系数α设定为较小，或者，在差分为规定值以上的情况下，校正部12以不将对应像素Pi-1 Out的像素值Ii-1 Out用于时间性校正处理的方式设定系数α。此外，在计算差分时，对输出帧图像framei-1 _Out进行相对于对象帧图像framei _In的位置对准。
另外，当存在运动被摄体的情况下，也可以以加强空间性校正处理的方式设定系数。另外，时间性校正处理也可以以块单位进行。作为块，可使用成为对象的像素的附近8像素、24像素、48像素等规定的像素。
图11是表示输入帧图像的权重的另一例的图。通过在式(1)中将个数n设为2，将系数α设为1/2，将权重wi设为2/3，将权重wi-1设为1/3，获得图11所示的权重的分布。在该情况下，针对对象帧图像及对象帧图像的前1帧的先前帧图像的像素的像素值，将权重设定为1/3，针对与对象帧图像相隔2帧以上的之前的先前帧图像的像素的像素值，以随着追溯过去而权重变小的方式设定。
校正部12采用上述时间性校正处理或组合上述空间性校正处理及时间性校正处理而进行噪声去除。校正部12通过组合空间性校正处理及时间性校正处理进行校正，可发挥相互的处理的优点，而进行更适当的校正。校正部12将校正后的对象帧图像输出至生成部13。
接下来，对第2实施方式的图像处理装置1的动作进行说明。图像处理装置1的动作与第1实施方式的图像处理装置1的动作(图3)相比，在时间性校正处理S16中不同。此处，仅对时间性校正处理S16进行说明。
图12是表示第2实施方式的图像处理装置1的时间性校正处理S16的详细情况的流程图。如图12所示，首先，校正部12确定加权平均值Iwave的计算中使用的对象帧图像framei _In及时间上距对象帧图像framei _In较近的过去的先前帧图像framej _In的权重wj(S20)。在S20的处理中，例如，校正部12根据对象帧图像framei _In的对象像素Pi In的像素值Ii In、与时间上距对象帧图像framei _In较近的过去的先前帧图像framej _In的对应像素Pj In的像素值Ij In之间的差分，动态地计算权重wj。若S20的处理结束，则转移至输入帧图像的平均计算处理(S22)。
在S22的处理中，校正部12使用S20中所确定的权重wj，计算上述式(1)的第1项。也即，校正部12运算对象帧图像framei _In的对象像素Pi In的像素值Ii In、与时间上距对象帧图像framei _In较近的过去的先前帧图像framej _In的对应像素Pj In的像素值Ij In的加权平均值Iwave。若S22的处理结束，则转移至系数α的确定处理(S24)。
在S24的处理中，例如，校正部12根据先前帧图像framei-1 _In的输出帧图像framei -1 _Out的对应像素Pi-1 Out的像素值Ii-1 Out、与加权平均值Iwave之间的差分，动态地计算系数α。若S24的处理结束，则转移至合成处理(S26)。
在S26的处理中，校正部12使用位置对准后的先前帧图像framei-1 _In的输出帧图像framei-1 _Out的对应像素Pi-1 Out的像素值Ii-1 Out、加权平均值Iwave、以及S24中所确定的系数α，来计算上述式(1)。
以上，结束对1个对象像素Pi In的时间性校正处理。对各对象像素Pi In反复进行以上的一系列处理。然后，若S16的处理结束，则转移至输出帧图像生成处理(S18)。
接下来，与使用递归型滤波器的图像处理装置相比，说明第2实施方式的图像处理装置1的作用效果。比较例的图像处理装置例如使用式(2)所示的递归型滤波器，进行时间性校正处理。也即，比较例的图像处理装置使用对象帧图像的对象像素的像素值和对象帧图像的前1帧的先前帧图像的输出帧图像的对应像素的像素值，对对象像素进行时间性校正处理。
[数学式2]
Ii Out＝Ii In×(1-α)+Ii-1 Out×α…(2)
图13是表示使用递归型滤波器的情况下的输入帧图像的权重的一例的图。在图13中，曲线R1表示将系数α设定为较大的情况下的输入帧图像的权重，曲线R2表示将系数α设定为较小的情况下的输入帧图像的权重。如曲线R1所示，系数α越大，则越能提高输入帧图像的平均效果，但由于过去的输入帧图像的影响变大，故而重像也变大。另外，如曲线R2所示，系数α越小，则由于过去的输入帧图像的影响变小而越能抑制重像，但输入帧图像的平均效果变弱。
另一方面，如图10所示，在第2实施方式的图像处理装置1中，输入帧图像的对应像素的像素值的权重被设定为越早之前的输入帧图像则权重越小，关于多个输入帧图像中的、与对象帧图像相隔规定帧数的过去的先前帧图像的对应像素的像素值的权重，设定为：该权重与该先前帧图像的下1帧的先前帧图像的对应像素的像素值的权重或对象像素的像素值的权重之间的差分，小于与对象帧图像相隔规定帧数的之前的先前帧图像的对应像素的像素值的权重与相隔规定帧数的之前的先前帧图像的前1帧的先前帧图像的对应像素的像素值的权重之间的差分。因此，可在某种程度上抑制过去的输入帧图像的权重，且将与对象帧相隔规定帧数的过去的先前帧图像的权重设为与对象帧的权重大致相同。通过在某种程度上抑制过去的输入帧图像的权重，可减轻重像。另外，通过将与对象帧相隔规定帧数的过去的先前帧图像的权重设为与对象帧的权重相同程度，可获得平均效果。其结果为，可在不会生成重像的情况下去除闪烁等振幅较大的噪声。
另外，图像处理装置1直接对包含对象帧图像的n个输入帧图像的对应像素的像素值赋予权重而计算加权平均值，且使用加权平均值及对象帧图像的前1帧的先前帧图像的输出帧图像的对应像素的像素值，对对象像素进行时间性校正处理。因此，仅保存n个输入帧图像及输出帧图像即可。因此，通过适当地设定加权平均值计算中使用的输入帧图像的数量，可减少所要保存的输入帧图像的数量，并且减少处理量。由此，可谋求资源削减及处理效率化。
此外，上述实施方式是表示本发明的图像处理装置的一例的实施方式。本发明的图像处理装置并不限于实施方式的图像处理装置1，也可以在不变更各权利要求所记载的主旨的范围内，进行实施方式的图像处理装置的变形，或应用于其他装置中。
例如，上述实施方式中说明了动态图像摄像头20拍摄动态图像的例子，但动态图像摄像头20也可以为连续拍摄静止图像的部件。帧图像输入部10所要输入的图像也可以为从其他设备经由网络发送来的图像。
另外，上述实施方式中说明为由动态图像摄像头20拍摄的图像的大小相同，但所拍摄的图像的大小也可以为每次拍摄时不同的大小。
另外，上述实施方式中说明了校正部12进行时间性校正处理及空间性校正处理的2个校正处理的例子，但也可以为校正部12进行时间性校正处理及空间性校正处理中的任一处理的情况。
另外，上述实施方式中说明了校正部12在图3的处理中在位置对准处理(S12)之后进行空间性校正处理(S14)的例子，但空间性校正处理(S14)既可在位置对准处理(S12)之前进行，也可以在时间性校正处理(S16)之后进行。
另外，在上述实施方式中，也可以是，在位置对准处理部之后，由生成部13确定切出区域，然后由校正部12进行噪声去除。在该情况下，校正部12也可以至少将切出区域内的像素作为对象进行校正。即，校正部12对于对象帧图像的与该区域不同的区域的至少一部分所包含的像素，不将其作为处理的对象。在该情况下，可提高处理效率。
另外，上述实施方式的空间性校正处理中的校正也可以仅为色差成分。另外，上述实施方式的时间性校正处理中的校正也可以仅为色差成分。另外，也可以对时间性校正处理及空间性校正处理分别赋予权重，来调整校正程度。
另外，第2实施方式的校正部12也可以使用非递归型滤波器进行时间性校正处理。也即，校正部12也可以直接对输入帧图像的对应像素的像素值(对象帧图像的对象像素的像素值及多个先前帧图像的对应像素的像素值)进行加权，对对象像素进行时间性校正处理。关于使用非递归型滤波器的时间性校正处理，使用第j个输入帧图像framej _In的像素Pj In的像素值Ij In、对像素Pi In进行了校正后得到的像素Pi Out的像素值Ii Out、以及各像素值Ij In的权重wj而由式(3)表示。此处，使用包含像素Pi In的m个输入帧图像的像素。在该方法中，由于直接使用多个帧图像，所以有可能缓冲器的容量变大且处理时间变长，但可分别直接对输入帧图像的像素值进行加权。因此，可提高时间性校正处理的自由度，如减小包含运动被摄体的像素的像素值的影响等。
[数学式3]
另外，第2实施方式的校正部12除具备由式(1)或式(3)等所示的闪烁去除用的校正滤波器(第2校正滤波器)以外，还可以具备由式(2)所示的校正滤波器(第1校正滤波器)。校正部12也可以根据对象像素来切换第1校正滤波器与第2校正滤波器，对对象像素进行时间性校正处理。例如，图像处理装置1也可以具有可由便携终端2的使用者设定的闪烁去除模式，在未设定闪烁去除模式的情况下，校正部12使用第1校正滤波器进行时间性校正处理，在设定了闪烁去除模式的情况下，校正部12使用第2校正滤波器进行时间性校正处理。另外，也可以是，图像处理装置1还具备判定闪烁的有无的闪烁判定部，在由闪烁判定部判定为无闪烁的情况下，校正部12使用第1校正滤波器进行时间性校正处理，在由闪烁判定部判定为有闪烁的情况下，校正部12使用第2校正滤波器进行时间性校正处理。此外，闪烁判定部采用公知的闪烁判定方法来判定闪烁的有无。例如，若像素的像素值的时间性变化量为规定的阈值以上，则闪烁判定部判定该像素有闪烁，若像素的像素值的时间性变化量未达到规定的阈值，则判定该像素无闪烁。根据该结构，可按照对象像素选择适当的校正滤波器。
标号说明
1：图像处理装置；
10：帧图像输入部；
11：位置对准部；
12：校正部；
13：生成部；
14：输出帧图像记录部；
20：动态图像摄像头(摄像装置)。

Claims (5)

1.一种图像处理装置，其通过输入并处理由摄像装置获得的帧图像，来生成输出帧图像，其中，该图像处理装置具备：
记录部，其记录比成为处理对象的对象帧图像更早输入的先前帧图像或所述先前帧图像的输出帧图像；
位置对准部，其使所述先前帧图像或所述先前帧图像的输出帧图像、与所述对象帧图像进行位置对准；
校正部，其参照所述记录部，进行时间性校正处理，在该时间性校正处理中使用由所述位置对准部进行位置对准后的所述先前帧图像的像素值或所述先前帧图像的输出帧图像的像素值，来校正所述对象帧图像的像素值；以及
生成部，其使用由所述校正部校正后的所述对象帧图像，来生成所述对象帧图像的输出帧图像，其中，
所述校正部使用所述对象帧图像的对象像素的像素值、以及多个所述先前帧图像的对应像素的像素值的加权平均值，对所述对象像素进行所述时间性校正处理，
所述先前帧图像的对应像素的像素值的权重被设定为越早之前的所述先前帧图像则权重越小，
所述多个所述先前帧图像中的、与所述对象帧图像相隔规定帧数的过去的所述先前帧图像的对应像素的像素值的权重被设定为：该权重与该先前帧图像的下1帧的所述先前帧图像的对应像素的像素值的权重或所述对象像素的像素值的权重之间的差分，小于与所述对象帧图像相隔所述规定帧数的之前的所述先前帧图像的对应像素的像素值的权重与相隔所述规定帧数的之前的所述先前帧图像的前1帧的所述先前帧图像的对应像素的像素值的权重之间的差分。
2.如权利要求1所述的图像处理装置，其中，
所述校正部直接对所述对象像素的像素值及所述规定帧数的所述先前帧图像的对应像素的像素值赋予权重而计算加权平均值，且使用所述加权平均值、以及所述规定帧数的所述先前帧图像中的任意先前帧图像的输出帧图像的对应像素的像素值，对所述对象像素进行所述时间性校正处理。
3.如权利要求1所述的图像处理装置，其中，
所述校正部直接对所述对象像素的像素值及所述多个所述先前帧图像的对应像素的像素值进行加权，对所述对象像素进行所述时间性校正处理。
4.一种图像处理装置，其通过输入并处理由摄像装置获得的帧图像，来生成输出帧图像，其中，该图像处理装置具备：
记录部，其记录比成为处理对象的对象帧图像更早输入的先前帧图像或所述先前帧图像的输出帧图像；
位置对准部，其使所述先前帧图像或所述先前帧图像的输出帧图像、与所述对象帧图像进行位置对准；
校正部，其参照所述记录部，进行时间性校正处理，在该时间性校正处理中使用由所述位置对准部进行位置对准后的所述先前帧图像的像素值或所述先前帧图像的输出帧图像的像素值，来校正所述对象帧图像的像素值；以及
生成部，其使用由所述校正部校正后的所述对象帧图像，来生成所述对象帧图像的输出帧图像，其中，
所述校正部具备：
第1校正滤波器，其使用所述对象帧图像的对象像素的像素值及所述先前帧图像的输出帧图像的对应像素的像素值，对所述对象像素进行所述时间性校正处理；以及
第2校正滤波器，其使用所述对象像素的像素值、以及多个所述先前帧图像的对应像素的像素值的加权平均值，对所述对象像素进行所述时间性校正处理，
在所述第2校正滤波器中，所述先前帧图像的对应像素的像素值的权重被设定为越早之前的所述先前帧图像则权重越小，所述多个所述先前帧图像中的、与所述对象帧图像相隔规定帧数的过去的所述先前帧图像的对应像素的像素值的权重被设定为：该权重与该先前帧图像的下1帧的所述先前帧图像的对应像素的像素值的权重或所述对象像素的像素值的权重之间的差分，小于与所述对象帧图像相隔所述规定帧数的之前的所述先前帧图像的对应像素的像素值的权重与相隔所述规定帧数的之前的所述先前帧图像的前1帧的所述先前帧图像的对应像素的像素值的权重之间的差分，
所述校正部根据所述对象像素来切换所述第1校正滤波器与所述第2校正滤波器，对所述对象像素进行所述时间性校正处理。
5.一种图像处理方法，通过输入并处理由摄像装置获得的帧图像，来生成输出帧图像，其中，该图像处理方法包括：
位置对准步骤，使比成为处理对象的对象帧图像更早输入的先前帧图像或该先前帧图像的输出帧图像、与所述对象帧图像进行位置对准；
校正步骤，参照记录有所述先前帧图像或所述先前帧图像的输出帧图像的记录部，进行时间性校正处理，在该时间性校正处理中使用通过所述位置对准步骤进行位置对准后的所述先前帧图像的像素值或所述先前帧图像的输出帧图像的像素值，来校正所述对象帧图像的像素值；以及
生成步骤，使用通过所述校正步骤校正后的所述对象帧图像，生成所述对象帧图像的输出帧图像，
所述校正步骤中，使用所述对象帧图像的对象像素的像素值、以及多个所述先前帧图像的对应像素的像素值的加权平均值，对所述对象像素进行所述时间性校正处理，
所述先前帧图像的对应像素的像素值的权重被设定为越早之前的所述先前帧图像则权重越小，
所述多个所述先前帧图像中的、与所述对象帧图像相隔规定帧数的过去的所述先前帧图像的对应像素的像素值的权重被设定为：该权重与该先前帧图像的下1帧的所述先前帧图像的对应像素的像素值的权重或所述对象像素的像素值的权重之间的差分，小于与所述对象帧图像相隔所述规定帧数的之前的所述先前帧图像的对应像素的像素值的权重与相隔所述规定帧数的之前的所述先前帧图像的前1帧的所述先前帧图像的对应像素的像素值的权重之间的差分。
CN201580000272.4A 2014-02-07 2015-02-05 图像处理装置以及图像处理方法 Active CN104995908B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014022122 2014-02-07
JP2014-022122 2014-02-07
PCT/JP2015/053278 WO2015119207A1 (ja) 2014-02-07 2015-02-05 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
CN104995908A CN104995908A (zh) 2015-10-21
CN104995908B true CN104995908B (zh) 2018-01-30

Family

ID=53778008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580000272.4A Active CN104995908B (zh) 2014-02-07 2015-02-05 图像处理装置以及图像处理方法

Country Status (6)

Country Link
US (1) US10200649B2 (zh)
JP (1) JP5974250B2 (zh)
KR (1) KR101652658B1 (zh)
CN (1) CN104995908B (zh)
TW (1) TWI590661B (zh)
WO (1) WO2015119207A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6411768B2 (ja) * 2014-04-11 2018-10-24 Hoya株式会社 画像処理装置
CN108141546A (zh) * 2015-10-15 2018-06-08 索尼公司 视频信号处理装置、视频信号处理方法和程序
US9762893B2 (en) 2015-12-07 2017-09-12 Google Inc. Systems and methods for multiscopic noise reduction and high-dynamic range
JP6682559B2 (ja) 2016-01-15 2020-04-15 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体
TWI604731B (zh) * 2016-08-05 2017-11-01 瑞昱半導體股份有限公司 影像濾波方法及其影像濾波裝置
US10489891B2 (en) 2017-03-10 2019-11-26 Disney Enterprises, Inc. Sample-based video sharpening
JP7118818B2 (ja) * 2017-09-27 2022-08-16 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、およびプログラム
EP3462725A1 (en) * 2017-09-27 2019-04-03 Canon Kabushiki Kaisha Image processing method, image processing apparatus, imaging apparatus, and program
US10740431B2 (en) * 2017-11-13 2020-08-11 Samsung Electronics Co., Ltd Apparatus and method of five dimensional (5D) video stabilization with camera and gyroscope fusion
CN110858895B (zh) * 2018-08-22 2023-01-24 虹软科技股份有限公司 一种图像处理方法和装置
CN109639931B (zh) * 2018-12-25 2022-08-19 努比亚技术有限公司 一种拍照降噪的方法、移动终端以及计算机可读存储介质
CN114679553A (zh) * 2020-12-24 2022-06-28 华为技术有限公司 视频降噪方法及装置
JP7253001B2 (ja) * 2021-03-30 2023-04-05 本田技研工業株式会社 情報処理装置及び方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101262559A (zh) * 2008-03-28 2008-09-10 北京中星微电子有限公司 一种序列图像噪声消除的方法及装置
JP2009105533A (ja) * 2007-10-22 2009-05-14 Sony Corp 画像処理装置、撮像装置、画像処理方法および撮像画像処理方法
JP2010183127A (ja) * 2009-02-03 2010-08-19 Sony Corp 画像処理装置、画像処理方法および撮像装置
CN102348046A (zh) * 2010-07-30 2012-02-08 富士通株式会社 一种视频去抖动方法和视频去抖动装置
CN103533261A (zh) * 2012-06-29 2014-01-22 三星电子株式会社 去噪设备、***和方法

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4090221A (en) * 1972-03-13 1978-05-16 Bell Telephone Laboratories, Incorporated Apparatus for improving video signal-to-noise ratio
GB1515551A (en) * 1975-04-25 1978-06-28 British Broadcasting Corp Noise reduction in electrical signals
US4339803A (en) * 1976-10-14 1982-07-13 Micro Consultants Limited Video frame store and real time processing system
US4240106A (en) * 1976-10-14 1980-12-16 Micro Consultants, Limited Video noise reduction
US4064530A (en) * 1976-11-10 1977-12-20 Cbs Inc. Noise reduction system for color television
JPS592227B2 (ja) * 1978-08-21 1984-01-17 株式会社日立製作所 雑音除去方式
GB2033190B (en) * 1978-09-21 1983-02-09 Sony Corp Video noise reduction system
JP2508078B2 (ja) * 1987-04-30 1996-06-19 株式会社島津製作所 Ｘ線画像処理装置
JP3159465B2 (ja) * 1991-05-17 2001-04-23 株式会社東芝 画像表示装置
US5384865A (en) * 1992-06-01 1995-01-24 Eastman Kodak Company Adaptive, hybrid median filter for temporal noise suppression
US6567564B1 (en) * 1996-04-17 2003-05-20 Sarnoff Corporation Pipelined pyramid processor for image processing systems
US5963675A (en) * 1996-04-17 1999-10-05 Sarnoff Corporation Pipelined pyramid processor for image processing systems
JP3773642B2 (ja) * 1997-12-18 2006-05-10 株式会社東芝 画像処理装置および画像形成装置
JP2000209507A (ja) 1999-01-12 2000-07-28 Toshiba Corp 固体撮像装置の低ノイズ化回路
US6681058B1 (en) * 1999-04-15 2004-01-20 Sarnoff Corporation Method and apparatus for estimating feature values in a region of a sequence of images
US7085318B2 (en) * 2000-06-15 2006-08-01 Sony Corporation Image processing system, image processing method, program, and recording medium
TWI220365B (en) * 2002-05-02 2004-08-11 Honda Motor Co Ltd Output correcting device for image sensor
US7119837B2 (en) * 2002-06-28 2006-10-10 Microsoft Corporation Video processing system and method for automatic enhancement of digital video
US7433540B1 (en) * 2002-10-25 2008-10-07 Adobe Systems Incorporated Decomposing natural image sequences
JP3960258B2 (ja) * 2003-04-28 2007-08-15 ソニー株式会社 信号処理装置および信号処理方法
US20050028073A1 (en) * 2003-07-28 2005-02-03 Henry Steven G. Method and system for automating workflows
GB2407226B (en) * 2003-10-18 2008-01-23 Hewlett Packard Development Co Image processing scheme
WO2005079062A1 (ja) * 2004-02-13 2005-08-25 Sony Corporation 画像処理装置と画像処理方法およびプログラム
WO2005093654A2 (en) * 2004-03-25 2005-10-06 Fatih Ozluturk Method and apparatus to correct digital image blur due to motion of subject or imaging device
US7199838B2 (en) * 2004-06-17 2007-04-03 Samsung Electronics Co., Ltd. Motion adaptive noise reduction apparatus and method for video signals
US7535517B2 (en) * 2005-04-14 2009-05-19 Samsung Electronics Co., Ltd. Method of motion compensated temporal noise reduction
US7970170B2 (en) * 2005-05-09 2011-06-28 Lockheed Martin Corporation Continuous extended range image processing
US7548659B2 (en) * 2005-05-13 2009-06-16 Microsoft Corporation Video enhancement
US7728909B2 (en) * 2005-06-13 2010-06-01 Seiko Epson Corporation Method and system for estimating motion and compensating for perceived motion blur in digital video
KR101179887B1 (ko) * 2006-02-09 2012-09-06 삼성전자주식회사 이동통신단말기의 화면설정 방법 및 그 장치
JP4178481B2 (ja) * 2006-06-21 2008-11-12 ソニー株式会社 画像処理装置、画像処理方法、撮像装置および撮像方法
JP4973031B2 (ja) * 2006-07-03 2012-07-11 ソニー株式会社 ノイズ抑圧方法、ノイズ抑圧方法のプログラム、ノイズ抑圧方法のプログラムを記録した記録媒体及びノイズ抑圧装置
EP2063390B1 (en) * 2006-09-14 2016-08-03 Fujitsu Limited Image processing device and its program
JP5137380B2 (ja) 2006-11-07 2013-02-06 キヤノン株式会社 ぶれ補正装置及び方法
JP4321626B2 (ja) * 2007-05-23 2009-08-26 ソニー株式会社 画像処理方法および画像処理装置
JP2008294696A (ja) * 2007-05-24 2008-12-04 Sony Corp 映像信号処理方法、映像信号処理方法のプログラム、映像信号処理方法のプログラムを記録した記録媒体及び映像信号処理装置
KR101442153B1 (ko) * 2008-01-15 2014-09-25 삼성전자 주식회사 저조도 영상 처리 방법 및 시스템
TWI381719B (zh) * 2008-02-18 2013-01-01 Univ Nat Taiwan 穩定全幅式視訊之方法
US8204336B2 (en) * 2008-07-16 2012-06-19 Panasonic Corporation Removing noise by adding the input image to a reference image
JP2010141755A (ja) * 2008-12-15 2010-06-24 Nippon Telegr & Teleph Corp <Ntt> 道路監視システム、道路監視方法および道路監視プログラム
US8903191B2 (en) * 2008-12-30 2014-12-02 Intel Corporation Method and apparatus for noise reduction in video
US8570386B2 (en) * 2008-12-31 2013-10-29 Stmicroelectronics S.R.L. Method of merging images and relative method of generating an output image of enhanced quality
JP2010200179A (ja) * 2009-02-26 2010-09-09 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体
JP2010219807A (ja) * 2009-03-16 2010-09-30 Panasonic Corp 画像処理装置および画像処理方法
JP5374217B2 (ja) * 2009-04-22 2013-12-25 キヤノン株式会社 画像処理装置およびその方法
US8350966B2 (en) * 2009-06-08 2013-01-08 Broadcom Corporation Method and system for motion compensated noise level detection and measurement
US8144253B2 (en) * 2009-07-21 2012-03-27 Sharp Laboratories Of America, Inc. Multi-frame approach for image upscaling
US8743287B2 (en) * 2009-07-24 2014-06-03 Broadcom Corporation Method and system for mitigating motion trail artifacts and improving low contrast contours in temporal filtering based noise reduction
US8610826B2 (en) * 2009-08-27 2013-12-17 Broadcom Corporation Method and apparatus for integrated motion compensated noise reduction and frame rate conversion
KR101616874B1 (ko) * 2009-09-23 2016-05-02 삼성전자주식회사 다중 영상 합성 방법 및 그 장치
US8588551B2 (en) * 2010-03-01 2013-11-19 Microsoft Corp. Multi-image sharpening and denoising using lucky imaging
JP5543280B2 (ja) 2010-06-01 2014-07-09 キヤノン株式会社 画像処理装置、画像処理方法
US8830360B1 (en) * 2010-08-25 2014-09-09 Sri International Method and apparatus for optimizing image quality based on scene content
JP2012142829A (ja) * 2011-01-05 2012-07-26 Sony Corp 画像処理装置および画像処理方法
JP2012142827A (ja) * 2011-01-05 2012-07-26 Sony Corp 画像処理装置および画像処理方法
JP5792990B2 (ja) 2011-04-28 2015-10-14 キヤノン株式会社 画像処理装置およびその制御方法
JP2013003610A (ja) * 2011-06-10 2013-01-07 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
GB2497507B (en) * 2011-10-14 2014-10-22 Skype Received video stabilisation
US20130107064A1 (en) * 2011-10-27 2013-05-02 Qualcomm Incorporated Sensor aided image stabilization
TWI459810B (zh) * 2011-11-22 2014-11-01 Altek Corp 影像處理裝置及其處理方法
JP5362878B2 (ja) * 2012-05-09 2013-12-11 株式会社日立国際電気 画像処理装置及び画像処理方法
EP2680567A1 (en) * 2012-06-25 2014-01-01 Axis AB Video noise reduction
EP2680568B1 (en) * 2012-06-25 2016-05-25 ST-Ericsson SA Video stabilisation with deblurring
JP2014036401A (ja) * 2012-08-10 2014-02-24 Sony Corp 撮像装置、画像信号処理方法及びプログラム
JP2014187610A (ja) * 2013-03-25 2014-10-02 Sony Corp 画像処理装置、画像処理方法、プログラムおよび撮像装置
US9692975B2 (en) * 2013-04-10 2017-06-27 Microsoft Technology Licensing, Llc Motion blur-free capture of low light high dynamic range images
US10382674B2 (en) * 2013-04-15 2019-08-13 Qualcomm Incorporated Reference image selection for motion ghost filtering

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009105533A (ja) * 2007-10-22 2009-05-14 Sony Corp 画像処理装置、撮像装置、画像処理方法および撮像画像処理方法
CN101262559A (zh) * 2008-03-28 2008-09-10 北京中星微电子有限公司 一种序列图像噪声消除的方法及装置
JP2010183127A (ja) * 2009-02-03 2010-08-19 Sony Corp 画像処理装置、画像処理方法および撮像装置
CN102348046A (zh) * 2010-07-30 2012-02-08 富士通株式会社 一种视频去抖动方法和视频去抖动装置
CN103533261A (zh) * 2012-06-29 2014-01-22 三星电子株式会社 去噪设备、***和方法

Also Published As

Publication number Publication date
JP5974250B2 (ja) 2016-08-23
KR20150110722A (ko) 2015-10-02
KR101652658B1 (ko) 2016-08-30
TWI590661B (zh) 2017-07-01
US10200649B2 (en) 2019-02-05
WO2015119207A1 (ja) 2015-08-13
TW201537981A (zh) 2015-10-01
CN104995908A (zh) 2015-10-21
JPWO2015119207A1 (ja) 2017-03-23
US20160006978A1 (en) 2016-01-07

Similar Documents

Publication Publication Date Title
CN104995908B (zh) 图像处理装置以及图像处理方法
US9479695B2 (en) Generating a high dynamic range image using a temporal filter
JP5136665B2 (ja) 画像処理装置、及びプログラム
CN105049679B (zh) 图像处理装置以及图像处理方法
US9514525B2 (en) Temporal filtering for image data using spatial filtering and noise history
JP5544041B2 (ja) ビデオ会議圧縮のための皮膚トーンおよび特徴検出
JP5933105B2 (ja) 画像処理装置、撮像装置、フィルタ生成装置、画像復元方法及びプログラム
CN109978788B (zh) 卷积神经网络生成方法、图像去马赛克方法及相关装置
US8891867B2 (en) Image processing method
JP2016503926A (ja) 画像処理方法及び装置並びに撮影端末
JP5752866B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム並びに記録媒体
US20150070537A1 (en) Lens Shading Modulation
CN110555808B (zh) 一种图像处理方法、装置、设备及机器可读存储介质
CN107993189B (zh) 一种基于局部分块的图像色调动态调节方法和装置
TWI387312B (zh) 影像雜訊消除方法以及影像處理裝置
CN104751417B (zh) 一种去除颜色噪声的方法、装置及图像处理***
CN111416937B (zh) 图像处理方法、装置、存储介质及移动设备
CN108513068A (zh) 图像的选取方法、装置、存储介质及电子设备
US9870598B2 (en) Low complexity adaptive filtering for mobile captures
JP2016080950A (ja) 画像処理装置及びその制御方法、画像表示装置、コンピュータプログラム
TWI392334B (zh) 影像處理裝置以及影像處理方法
JP6087720B2 (ja) 撮像装置及びその制御方法
WO2017110192A1 (ja) 情報処理装置、情報処理方法、プログラムおよび情報処理システム
JP5790933B2 (ja) ノイズ除去装置、電子機器
JP2004040371A5 (zh)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant