CN101742123A - 图像处理设备和方法 - Google Patents

图像处理设备和方法 Download PDF

Info

Publication number
CN101742123A
CN101742123A CN200910210847A CN200910210847A CN101742123A CN 101742123 A CN101742123 A CN 101742123A CN 200910210847 A CN200910210847 A CN 200910210847A CN 200910210847 A CN200910210847 A CN 200910210847A CN 101742123 A CN101742123 A CN 101742123A
Authority
CN
China
Prior art keywords
image
passage
fuzzy core
residual
processing equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910210847A
Other languages
English (en)
Other versions
CN101742123B (zh
Inventor
李硕
魏浩千
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101742123A publication Critical patent/CN101742123A/zh
Application granted granted Critical
Publication of CN101742123B publication Critical patent/CN101742123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像处理设备和方法。所述图像处理设备包括模糊核估计器和图像恢复器。模糊核估计器使用第一图像和第二图像估计第一图像的模糊核，其中，第一图像包括多通道颜色图像数据，第二图像包括单通道图像数据，以比第一图像的曝光时间短的曝光时间来获得所述第二图像。图像恢复器使用模糊核产生第二图像的模糊图像，并使用第一图像的各个通道的图像与第二图像的模糊图像之间的残差图像、第二图像以及模糊核来恢复图像。

Description

图像处理设备和方法
本申请要求于2008年11月19日提交的第10-2008-115212号韩国专利申请的利益，其公开通过引用全部包含于此。
技术领域
本发明涉及一种图像处理设备和方法，更具体地讲，涉及一种使用在低亮度(luminance)环境下拍摄的图像来产生更清晰的图像的图像处理设备和方法。
背景技术
随着数字相机的使用的增加，在高亮度环境(诸如室外)以及低亮度环境(诸如室内或夜晚)下拍摄照片。因此，需要能够在低亮度环境下拍摄更清晰的照片的相机，并且相机制造商已经竞相开发能够在低亮度环境下拍摄更清晰的照片的数字相机。但是，尽管对摄影者的能力缺乏进行了补偿以保持相机稳定或者去除相片中的噪声，但是在传统数字相机中，图像清晰度仍然受到限制。
发明内容
根据本发明的一个总体方面，提供一种图像处理设备，所述图像处理设备包括模糊核估计器和图像恢复器。模糊核估计器使用第一图像和第二图像估计第一图像的模糊核，其中，第一图像包括多通道颜色图像数据，第二图像包括单通道图像数据，以比第一图像的曝光时间短的曝光时间来获得所述第二图像。图像恢复器使用模糊核产生第二图像的模糊图像，并使用第一图像的各个通道的图像与第二图像的模糊图像之间的残差图像、第二图像以及模糊核来恢复图像。
第一图像可以是从入射光信号中的属于可视区域的色带的光信号检测的图像，第二图像可以是从入射光信号中的属于补色波长带的光信号、红外信号、白信号和包括红外线的白信号中的至少一种或其组合检测的图像。
模糊核估计器可包括用于执行通道合并的通道合并处理器，其中，通道合并处理器响应于接收到多通道图像信号将所述多通道图像信号转换为灰度级图像，产生与所述多通道图像信号相应的各个通道的图像的边缘图像，并且将灰度级图像与边缘图像进行合成以产生单通道图像，所述通道合并处理器可对第一图像进行通道合并处理，以估计模糊核。
通道合并处理器可通过对以比第一图像的曝光时间短的曝光时间获得的多通道图像数据执行通道合并，来产生第二图像。
残差图像的信号幅度可小于受到通道合并处理的第一图像的信号幅度。
可通过从第一图像的各个通道的图像减去第二图像的模糊图像来产生残差图像。
图像恢复器可通过使用模糊核对残差图像执行反卷积来产生各个通道的残差图像的去模糊图像，并且通过将第二图像与去模糊图像相加来恢复图像。
图像恢复器可基于从第二图像提取的边缘数据执行反卷积。
图像恢复器可使用分配给图像的各个区域的权重来对图像执行反卷积。
图像处理设备还可包括：图像获取器，用于获得第一图像和第二图像。
第二图像可以是以比第一图像的感光度高的感光度而获得的图像。
第二图像与第一图像可以是相同场景，并且第二图像可以是从宽带波长的光学信号获得的图像。
模糊核估计器可包括：通道合并处理器，用于在第一图像经受通道合并处理时保留第一图像的边缘数据；模糊核提取器，从通道合并的第一图像和第二图像提取模糊核。
根据另一方面，提供一种由图像处理设备执行的图像处理方法，所述方法包括：获得具有多通道颜色图像数据的第一图像以及具有单通道图像数据的第二图像，以比第一图像的曝光时间短的曝光时间来获得所述第二图像；使用第一图像和第二图像估计第一图像的模糊核；使用模糊核产生第二图像的模糊图像；产生第一图像的各个通道的图像和第二图像的模糊图像之间的第一图像的各个通道的残差图像；使用第二图像、残差图像和模糊核来恢复图像。
第一图像可以是从入射光信号中的属于可视区域的色带的光信号检测的图像，第二图像可以是从入射光信号中的属于补色波长带的光信号、红外信号、白信号和包括红外线的白信号中的至少一种或其组合检测的图像。
估计模糊核的步骤可包括：对第一图像执行通道合并。执行通道合并的步骤可包括：将第一图像转换为灰度级图像，产生第一图像的各个通道的图像的边缘图像；通过将灰度级图像与边缘图像进行合成来产生单通道图像。
所述图像处理方法还可包括：通过对以比第一图像的曝光时间短的曝光时间获得的多通道图像数据执行通道合并，来产生第二图像。
产生残差图像的步骤可包括：通过从第一图像的各个通道的图像减去第二图像的模糊图像来产生残差图像。
恢复图像的步骤可包括：通过使用模糊核对残差图像执行反卷积来产生残差图像的去模糊图像；通过将第二图像与去模糊图像相加来恢复图像。
恢复图像的步骤可包括：基于从第二图像提取的边缘数据执行反卷积。
根据另一方面，提供一种存储有用于处理图像的程序的计算机可读存储介质，所述程序包括指令，所述指令使得计算机用于：获得具有多通道颜色图像数据的第一图像以及具有单通道图像数据的第二图像，以比第一图像的曝光时间短的曝光时间来获得所述第二图像，使用第一图像和第二图像估计第一图像的模糊核；使用模糊内产生第二图像的模糊图像；产生第一图像的各个通道的图像和第二图像的模糊图像之间的第一图像的各个通道的残差图像；使用第二图像、残差图像和模糊核来恢复图像。
用于产生残差图像的指令可包括：用于通过从第一图像的各个通道的图像减去第二图像的模糊图像来产生残差图像的指令。
其它特点和方面从下面详细的描述、附图和权利要求将是清楚的。
附图说明
图1是示出示例性的图像处理设备的框图。
图2是示出示例性的图像处理方法的流程图。
图3是示出示例性的模糊核估计处理的流程图。
图4是示出示例性的通道合并处理的流程图。
图5是示出示例性的图像恢复处理的流程图。
贯穿整个附图和详细描述，除非另有指定，相同的附图标号应被理解为表示相同的部件、特征和结构。为了清楚、例证和方便，这些部件的相对尺寸和绘制可被夸大。
具体实施方式
提供下面的详细描述以帮助读者获得对这里所描述的方法、设备和/或***的全面理解。因此，这里所描述的***、设备和/或方法的各种变化、修改以及等同物将被建议给本领域技术人员。另外，为了更加清楚和简明，可省略对公知的功能和结构的描述。
图1示出了示例性的图像处理设备100。
图像处理设备100包括模糊核(blur kernel)估计器110和图像恢复器120。图像处理设备100通过使用第一图像(长曝光图像)和第二图像(短曝光图像)，即，使用第一图像和第二图像(第二图像以较短的曝光时间被获得)，在例如低亮度环境(诸如室内或夜晚)下恢复与在高亮度环境(诸如室外或白天)下拍摄的图像在明度(brightness)和清晰度方面类似的图像。
模糊核估计器110使用第一图像和第二图像估计模糊核。第一图像包括多通道图像数据，该多通道图像数据包括颜色数据。第二图像包括单通道图像数据，以比第一图像的曝光时间短的曝光时间来获得所述第二图像。可按照比第一图像的感光度(sensitivity)高的感光度来获得第二图像。
作为一个示例，可从入射光信号中的属于可视区域的颜色波带的光信号检测第一图像。可从入射光信号中的属于补色波长带的光信号、红外信号、白信号和包括红外线的白信号中的至少一种或其组合检测第二图像。第二图像与第一图像是相同场景，以比第一图像的曝光时间短的曝光时间来捕获第二图像，并且可从宽带波长的光学信号获得第二图像，其中，所述光学信号包括精细的对比度数据和丰富的纹理数据。
图像处理设备100还可包括图像获取器(未示出)，图像获取器获得第一图像和第二图像。可在图像获取器中一体地形成用于获得第一图像的单元和用于获得第二图像的单元，或者可在图像获取器中分离地形成用于获得第一图像的单元和用于获得第二图像的单元。图像获取器可获得第一图像和第二图像，第一图像包括相同场景的颜色数据，以比第一图像的曝光时间短的曝光时间来捕获第二图像，并且图像获取器可按照各种结构被实现。
为了获得第一图像和第二图像，可使用具有不同的光接收特性的相机。例如，可使用检测颜色波长带的信号的光学相机以获得第一图像，并且可使用选择性地或共同地检测整个可视区域的信号和红外区域的信号的宽带相机以获得第二图像。
参照图1，模糊核估计器110可包括：通道合并(channel unification)处理器112，用于在第一图像被进行通道合并处理时保留第一图像的边缘数据；模糊核提取器114，从通道合并的第一图像和第二图像提取模糊核。
响应于正被接收的多个通道的图像信号，通道合并处理器112将所述多个通道的图像信号转换为灰度级图像，并产生各个通道的图像的边缘图像。然后，通道合并处理器112可通过将灰度级图像与各个通道的边缘图像合成来产生单通道图像。
如图1中所示，第二图像可被输入到包括通道合并处理器112的模糊核估计器110。然而，在以比第一图像的曝光时间短的曝光时间获得的多通道图像数据被输入到通道合并处理器112的情况下，可通过以与第一图像相同的方式执行通道合并来产生第二图像。产生的第二图像可被输入到模糊核提取器114并用于模糊核提取。
模糊核提取器114从通道合并的第一图像和第二图像提取模糊核。
第一图像可由下面的等式1表示，第二图像可由下面的等式2表示。
[等式1]
I L = I ⊗ k
这里，IL表示通道合并的第一图像，I表示高清晰度图像，k表示模糊核(即，基于振动的点扩散函数(PSF))，
Figure G2009102108471D0000052
表示卷积算子。
[等式2]
IS＝I+n
IS表示第二图像，n表示噪声。因此，通道合并的第一图像和去除了噪声的第二图像被代入等式1，并且可使用各种已知或即将已知的方法计算模糊核k。例如，傅里叶变换可用于该计算。
下面将描述图像恢复器120的操作。
通常，为了恢复高清晰度图像I，使用模糊核k和输入图像IL来执行基于例如Richardson-Lucy算法等的反卷积(deconvolution)。但是，图像恢复器120通过从第一图像的各个通道的图像减去使用估计的模糊核产生的第二图像的模糊图像，来产生各个通道的残差图像。图像恢复器120使用估计的模糊核对各个通道的残差图像执行反卷积，以产生去模糊的残差图像的恢复图像。
当如上所述对残差图像执行反卷积时，由于残差图像的信号幅度小于输入图像IL的信号幅度，所以可减小反卷积导致的振铃效应(ringing effect)。
因此，图像恢复器120使用估计的模糊核产生第二图像的模糊图像，并使用模糊核和残差图像恢复图像，所述残差图像是第一图像的各个通道的图像与第二图像的模糊图像之间的残差图像。图像恢复器120使用估计的模糊核，对第一图像的各个通道的图像与第二图像的模糊图像之间的残差图像执行基于例如Richardson-Lucy算法等的反卷积，以产生残差图像的恢复图像。然后，通过将第二图像与去模糊的残差图像相加，可恢复高清晰度图像。
图像恢复器120可基于从第二图像的模糊图像提取的边缘数据执行反卷积。随着迭代方法(诸如Richardson-Lucy方法)中迭代次数的增加，振铃效应也会增大。另外，振铃的幅度可在图像的边缘区域增大。因此，图像恢复器120可使用分配给图像的各个区域的权重来执行反卷积，从而在边缘区域发生较少的反卷积效应，并在平坦区域中执行普通的反卷积。
根据上述示例，图像处理设备可获得高清晰度彩色图像，即，可恢复这样的图像，该图像具有在低亮度环境下拍摄的长曝光图像的颜色数据以及短曝光图像的详细数据，并且该图像与在高亮度环境下拍摄的图像在明度和清晰度方面具有相同或近似的明度和清晰度。
图2是示出示例性的图像处理方法的流程图。可由上述图像处理设备执行该方法。
在操作210，获得包括多通道颜色图像数据的第一图像。在操作220，获得包括单通道图像数据的第二图像，其中，以比第一图像的曝光时间短的曝光时间获得所述第二图像。可按照任何次序或同时获得第一图像和第二图像。
在操作230，使用第一图像和第二图像来估计第一图像的模糊核。在操作240，通过将模糊核应用于第二图像来产生模糊的第二图像。
在操作250，通过从第一图像的各个通道的图像中减去模糊的第二图像，来产生各个通道的残差图像。在操作260，使用第二图像、各个通道的残差图像以及模糊核来恢复图像。
图3是示出示例性的模糊核估计处理的流程图。
在操作310，接收包括多通道颜色图像数据的第一图像。在操作320，获得包括单通道图像数据的第二图像，其中，以比第一图像的曝光时间短的曝光时间获得所述第二图像。在操作330，对第一图像执行通道合并。将参照图4描述通道合并处理。
在操作340，从第二图像去除噪声，其中，以较短曝光时间拍摄第二图像，因此第二图像具有较多噪声。
在操作350，使用通道合并的第一图像和去除了噪声的第二图像来估计模糊核。可通过将估计的模糊核应用于去除了噪声的第二图像来获得模糊的第二图像。模糊的第二图像用于在图像恢复处理中产生残差图像。
图4是示出示例性的通道合并处理的流程图。
在操作410，接收包括多通道颜色图像数据的第一图像。在操作420，第一图像被转换为单通道灰度级图像。
在操作430，产生第一图像的各个通道的边缘图像。例如，当第一图像是红绿蓝(RGB)图像时，获得R通道、G通道和B通道的边缘图像。可使用各种已知或即将已知的方法提取并产生边缘图像。例如，可使用已知的边缘算子(诸如齐次(homogeneity)算子、差分算子和罗盘梯度(compass gradient)算子)提取边缘图像。在操作440，通过例如高斯模糊等对各个通道的边缘图像进行平滑，以去除噪声。
在操作450，将单通道灰度级图像与各个通道的平滑后的边缘图像进行合成。例如，当第一图像是RGB图像时，将灰度级图像与R通道图像、G通道图像和B通道图像的平滑后的边缘图像进行合成。作为示例，可通过对这四种图像进行平均化来对这四种图像进行合成。可根据取决于设备的分辨率的数据格式对合成图像进行归一化处理。
根据上述示例，通过使用各个通道的边缘图像以及包括图像的详细数据(例如，特定区域明度数据)的灰度级图像，可产生单通道图像，在单通道图像中保留了图像的详细数据以及各个通道的边缘数据。因此，可使用单通道图像估计精确的模糊核。
图5是示出示例性的图像恢复处理的流程图。
在操作510，接收包括多通道颜色图像数据的第一图像。在操作520，获得包括单通道图像数据的第二图像，所述第二图像以比第一图像的曝光时间短的曝光时间被获得。
在操作530，使用第二图像和估计的模糊核产生模糊的第二图像。在操作550，通过从第一图像的各个通道的图像减去模糊的第二图像，来产生各个通道的残差图像。
在操作560，通过使用估计的模糊核对各个通道的各个残差图像执行反卷积，来产生各个通道的去模糊图像。在操作540从第二图像获得边缘图像；在操作560，可基于第二图像的边缘图像设置特定区域的权重，并且在反卷积操作中可根据设置的权重执行反卷积。因此，可减小在恢复结果中发生的振铃效应。
在操作570，可通过将获得的第二图像与各个通道的残差图像的去模糊图像相加，根据通道来产生恢复的图像。
根据上述示例，可使用在低亮度环境下拍摄的较长曝光的图像和较短曝光的图像来恢复图像，恢复的图像与在高亮度环境下拍摄的图像在明度和清晰度方面相同或近似。
为了产生较高清晰度的图像，可使用具有多通道颜色数据的第一图像和具有单通道图像数据的第二图像，所述第二图像以比第一图像的曝光时间短的曝光时间被获得。第二图像具有比第一图像的感光度高的感光度。另外，可在保留第一图像的边缘数据的同时对第一图像执行通道合并，并且通道合并的第一图像可用于模糊核估计。因此，可提高模糊核估计的精确性。
上述方法可被记录、存储或固定在一个或多个包括程序指令的计算机可读介质上，程序指令被计算机执行，以使得处理器运行或执行程序指令。所述介质可包括独立于程序指令或与程序指令结合的数据文件、数据结构等。计算机可读介质的示例包括：磁介质，诸如硬盘、软盘和磁带；光学介质，诸如CD ROM盘和DVD；磁光介质，诸如光盘；被特定配置为存储和执行程序指令的硬件装置，诸如只读存储器(ROM)、随即存取存储器(RAM)、闪速存储器等。程序指令的示例包括：诸如由编译器产生的机器代码；包含高级代码的文件，可使用解译器由计算机执行高级代码。上述硬件装置可被配置为用作一个或多个软件模块，以执行上述操作或方法，反之亦然。计算机可读介质可分布在通过网络连接的计算机***中，计算机可读代码可按照分布式方式被存储和执行。
上面已经描述了一些示例性实施例。然而，应该理解，可进行各种修改。例如，如果所述技术以不同的次序被执行，和/或如果所述***、架构、装置或电路中的组件以不同的方式被组合和/或被其它组件或其等同物替换或补充，则也可实现适当的结果。因此，其它实施方式落入权利要求的范围内。

Claims (22)

1.一种图像处理设备，包括：
模糊核估计器，使用第一图像和第二图像估计第一图像的模糊核，其中，第一图像包括多通道颜色图像数据，第二图像包括单通道图像数据，以比第一图像的曝光时间短的曝光时间来获得所述第二图像；
图像恢复器，使用模糊核产生第二图像的模糊图像，并使用第一图像的各个通道的图像与第二图像的模糊图像之间的残差图像、第二图像以及模糊核来恢复图像。
2.根据权利要求1所述的图像处理设备，其中：
第一图像是从入射光信号中的属于可视区域的颜色波带的光信号检测的图像，
第二图像是从入射光信号中的属于补色波长带的光信号、红外信号、白信号和包括红外线的白信号中的至少一种或其组合检测的图像。
3.根据权利要求1所述的图像处理设备，其中：
模糊核估计器包括用于执行通道合并的通道合并处理器，其中，通道合并处理器响应于接收到多通道图像信号将所述多通道图像信号转换为灰度级图像，产生与所述多通道图像信号相应的各个通道的图像的边缘图像，并且将灰度级图像与边缘图像进行合成以产生单通道图像，
通道合并处理器对第一图像进行通道合并处理，以估计模糊核。
4.根据权利要求3所述的图像处理设备，其中，通道合并处理器通过对以比第一图像的曝光时间短的曝光时间获得的多通道图像数据执行通道合并，来产生第二图像。
5.根据权利要求3所述的图像处理设备，其中，残差图像的信号幅度小于经受通道合并处理的第一图像的信号幅度。
6.根据权利要求1所述的图像处理设备，其中，通过从第一图像的各个通道的图像减去第二图像的模糊图像来产生残差图像。
7.根据权利要求6所述的图像处理设备，其中，图像恢复器通过使用模糊核对残差图像执行反卷积来产生各个通道的残差图像的去模糊图像，并且通过将第二图像与去模糊图像相加来恢复图像。
8.根据权利要求7所述的图像处理设备，其中，图像恢复器基于从第二图像提取的边缘数据执行反卷积。
9.根据权利要求8所述的图像处理设备，其中，图像恢复器使用分配给图像的各个区域的权重来对图像执行反卷积。
10.根据权利要求1所述的图像处理设备，还包括：图像获取器，用于获得第一图像和第二图像。
11.根据权利要求1所述的图像处理设备，其中，第二图像是以比第一图像的感光度高的感光度获得的图像。
12.根据权利要求1所述的图像处理设备，其中，第二图像与第一图像是相同场景，并且第二图像是从宽带波长的光学信号获得的图像。
13.根据权利要求1所述的图像处理设备，其中，模糊核估计器包括：
通道合并处理器，用于在第一图像经受通道合并处理时保留第一图像的边缘数据；
模糊核提取器，用于从通道合并的第一图像和第二图像提取模糊核。
14.一种图像处理方法，所述方法包括：
获得具有多通道颜色图像数据的第一图像以及具有单通道图像数据的第二图像，以比第一图像的曝光时间短的曝光时间来获得所述第二图像；
使用第一图像和第二图像估计第一图像的模糊核；
使用模糊核产生第二图像的模糊图像；
产生第一图像的各个通道的图像与第二图像的模糊图像之间的第一图像的各个通道的残差图像；
使用第二图像、残差图像和模糊核来恢复图像。
15.根据权利要求14所述的图像处理方法，其中：
第一图像是从入射光信号中的属于可视区域的颜色波带的光信号检测的图像，
第二图像是从入射光信号中的属于补色波长带的光信号、红外信号、白信号和包括红外线的白信号中的至少一种或其组合检测的图像。
16.根据权利要求14所述的图像处理方法，其中：
估计模糊核的步骤包括：对第一图像执行通道合并，
执行通道合并的步骤包括：将第一图像转换为灰度级图像，产生第一图像的各个通道的图像的边缘图像；通过将灰度级图像与边缘图像进行合成来产生单通道图像。
17.根据权利要求16所述的图像处理方法，还包括：通过对以比第一图像的曝光时间短的曝光时间获得的多通道图像数据执行通道合并，来产生第二图像。
18.根据权利要求14所述的图像处理方法，其中，产生残差图像的步骤包括：通过从第一图像的各个通道的图像减去第二图像的模糊图像来产生残差图像。
19.根据权利要求18所述的图像处理方法，其中，恢复图像的步骤包括：
通过使用模糊核对残差图像执行反卷积来产生残差图像的去模糊图像；
通过将第二图像与去模糊图像相加来恢复图像。
20.根据权利要求19所述的图像处理方法，其中，恢复图像的步骤包括：基于从第二图像提取的边缘数据执行反卷积。
21.一种存储有用于处理图像的程序的计算机可读存储介质，所述程序包括指令，所述指令使得计算机用于：
获得具有多通道颜色图像数据的第一图像以及具有单通道图像数据的第二图像，以比第一图像的曝光时间短的曝光时间来获得所述第二图像，
使用第一图像和第二图像估计第一图像的模糊核；
使用模糊内产生第二图像的模糊图像；
产生第一图像的各个通道的图像与第二图像的模糊图像之间的第一图像的各个通道的残差图像；
使用第二图像、残差图像和模糊核来恢复图像。
22.根据权利要求21所述的计算机可读存储介质，其中，用于产生残差图像的指令包括：用于通过从第一图像的各个通道的图像减去第二图像的模糊图像来产生残差图像的指令。
CN2009102108471A 2008-11-19 2009-11-11 图像处理设备和方法 Active CN101742123B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2008-0115212 2008-11-19
KR1020080115212A KR101574733B1 (ko) 2008-11-19 2008-11-19 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
CN101742123A true CN101742123A (zh) 2010-06-16
CN101742123B CN101742123B (zh) 2013-11-27

Family

ID=41667247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009102108471A Active CN101742123B (zh) 2008-11-19 2009-11-11 图像处理设备和方法

Country Status (4)

Country Link
US (1) US8184182B2 (zh)
EP (1) EP2189939B1 (zh)
KR (1) KR101574733B1 (zh)
CN (1) CN101742123B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390380A (zh) * 2012-05-10 2013-11-13 乐金显示有限公司 图像质量处理方法及使用该方法的显示装置
CN103608823A (zh) * 2011-07-08 2014-02-26 高通股份有限公司 用于从图像确定文本信息的并行处理方法和设备
CN104851079A (zh) * 2015-05-06 2015-08-19 中国人民解放军国防科学技术大学 基于噪声/模糊图像对的低照度车牌图像恢复方法
CN105141857A (zh) * 2015-09-21 2015-12-09 广东欧珀移动通信有限公司 图像处理方法和装置
CN110062164A (zh) * 2019-04-22 2019-07-26 深圳市商汤科技有限公司 视频图像处理方法及装置
CN111033559A (zh) * 2017-09-05 2020-04-17 索尼公司 用于图像模糊校正的图像处理、图像处理方法和程序
CN112907818A (zh) * 2021-01-20 2021-06-04 广东便捷神科技股份有限公司 一种广告营销类语音信息的处理方法

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8698924B2 (en) * 2007-03-05 2014-04-15 DigitalOptics Corporation Europe Limited Tone mapping for low-light video frame enhancement
US9307212B2 (en) * 2007-03-05 2016-04-05 Fotonation Limited Tone mapping for low-light video frame enhancement
US9036032B2 (en) * 2010-05-21 2015-05-19 Panasonic Intellectual Property Corporation Of America Image pickup device changing the size of a blur kernel according to the exposure time
US8503801B2 (en) 2010-09-21 2013-08-06 Adobe Systems Incorporated System and method for classifying the blur state of digital image pixels
US8669524B2 (en) 2010-10-25 2014-03-11 The Reseach Foundation of State University of New York Scanning incremental focus microscopy
US8885941B2 (en) 2011-09-16 2014-11-11 Adobe Systems Incorporated System and method for estimating spatially varying defocus blur in a digital image
US8879731B2 (en) 2011-12-02 2014-11-04 Adobe Systems Incorporated Binding of protected video content to video player with block cipher hash
US8903088B2 (en) 2011-12-02 2014-12-02 Adobe Systems Incorporated Binding of protected video content to video player with encryption key
TWI462054B (zh) * 2012-05-15 2014-11-21 Nat Univ Chung Cheng Estimation Method of Image Vagueness and Evaluation Method of Image Quality
US9064318B2 (en) 2012-10-25 2015-06-23 Adobe Systems Incorporated Image matting and alpha value techniques
US9355649B2 (en) 2012-11-13 2016-05-31 Adobe Systems Incorporated Sound alignment using timing information
US9201580B2 (en) 2012-11-13 2015-12-01 Adobe Systems Incorporated Sound alignment user interface
US10638221B2 (en) 2012-11-13 2020-04-28 Adobe Inc. Time interval sound alignment
US9076205B2 (en) * 2012-11-19 2015-07-07 Adobe Systems Incorporated Edge direction and curve based image de-blurring
US10249321B2 (en) 2012-11-20 2019-04-02 Adobe Inc. Sound rate modification
US8897588B2 (en) 2012-11-20 2014-11-25 Adobe Systems Incorporated Data-driven edge-based image de-blurring
US9451304B2 (en) 2012-11-29 2016-09-20 Adobe Systems Incorporated Sound feature priority alignment
US10455219B2 (en) 2012-11-30 2019-10-22 Adobe Inc. Stereo correspondence and depth sensors
US9135710B2 (en) 2012-11-30 2015-09-15 Adobe Systems Incorporated Depth map stereo correspondence techniques
US10249052B2 (en) 2012-12-19 2019-04-02 Adobe Systems Incorporated Stereo correspondence model fitting
US9208547B2 (en) 2012-12-19 2015-12-08 Adobe Systems Incorporated Stereo correspondence smoothness tool
US9214026B2 (en) 2012-12-20 2015-12-15 Adobe Systems Incorporated Belief propagation and affinity measures
US9349165B2 (en) * 2013-10-23 2016-05-24 Adobe Systems Incorporated Automatically suggesting regions for blur kernel estimation
KR102125775B1 (ko) * 2014-02-24 2020-06-23 삼성전자주식회사 배제 픽셀 데이터를 보상하여 영상을 생성하는 방법 및 그것을 이용하는 영상 생성 장치
KR102368625B1 (ko) * 2015-07-23 2022-03-02 삼성전자주식회사 디지털 촬영 장치 및 그 방법
US10062151B2 (en) 2016-01-21 2018-08-28 Samsung Electronics Co., Ltd. Image deblurring method and apparatus
WO2018150695A1 (ja) * 2017-02-17 2018-08-23 富士フイルム株式会社 画像処理装置、画像処理方法、およびカメラシステム
CN106851115B (zh) * 2017-03-31 2020-05-26 联想(北京)有限公司 一种图像处理方法和装置
US11935285B1 (en) * 2017-06-02 2024-03-19 Apple Inc. Real-time synthetic out of focus highlight rendering
JP7027737B2 (ja) 2017-09-05 2022-03-02 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2019124708A1 (en) * 2017-12-19 2019-06-27 Samsung Electronics Co., Ltd. Method and apparatus for reconstruction of original images from modified images
GB2569547B (en) * 2017-12-19 2021-05-12 Samsung Electronics Co Ltd Reconstruction of original images from modified images
US10992845B1 (en) 2018-09-11 2021-04-27 Apple Inc. Highlight recovery techniques for shallow depth of field rendering
CN111598884A (zh) * 2020-05-21 2020-08-28 北京世纪好未来教育科技有限公司 图像数据处理方法、设备及计算机存储介质
US20220012853A1 (en) * 2020-07-09 2022-01-13 Technoimaging, Llc Joint minimum entropy method for simultaneous processing and fusion of multi-physics data and images
KR20220078283A (ko) 2020-12-03 2022-06-10 삼성전자주식회사 뉴럴 네트워크 프로세서를 구비하는 이미지 처리 장치 및 이의 동작 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060017837A1 (en) * 2004-07-22 2006-01-26 Sightic Vista Ltd. Enhancing digital photography
US20060187308A1 (en) * 2005-02-23 2006-08-24 Lim Suk H Method for deblurring an image
WO2007119680A1 (ja) * 2006-04-11 2007-10-25 Panasonic Corporation 撮像装置
CN101119448A (zh) * 2006-07-31 2008-02-06 株式会社理光 图像处理装置和方法,成像装置以及计算机程序产品
CN101222584A (zh) * 2007-01-12 2008-07-16 三洋电机株式会社 晃动检测装置、晃动修正装置及方法
US20080240607A1 (en) * 2007-02-28 2008-10-02 Microsoft Corporation Image Deblurring with Blurred/Noisy Image Pairs

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4410989B2 (ja) 2002-12-12 2010-02-10 キヤノン株式会社 画像処理装置及び画像復号処理装置
US8264576B2 (en) * 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US7551772B2 (en) 2004-11-30 2009-06-23 Hewlett-Packard Development Company, L.P. Blur estimation in a digital image
US7773115B2 (en) * 2004-12-15 2010-08-10 Texas Instruments Incorporated Method and system for deblurring digital camera images using reference image and motion estimation
KR100747719B1 (ko) 2005-06-24 2007-08-08 엠텍비젼 주식회사 조도에 따른 가변적 보간 방법, 장치 및 이를 구현하기위한 프로그램이 기록된 기록매체
JP4187004B2 (ja) 2006-04-17 2008-11-26 ソニー株式会社 撮像装置および撮像装置の露光制御方法
KR101091913B1 (ko) 2006-06-27 2011-12-08 삼성테크윈 주식회사 촬영장치의 역광보정방법
US7769241B2 (en) * 2007-01-09 2010-08-03 Eastman Kodak Company Method of sharpening using panchromatic pixels
JP5213670B2 (ja) * 2008-01-16 2013-06-19 三洋電機株式会社 撮像装置及びぶれ補正方法
KR101391432B1 (ko) * 2008-01-22 2014-05-07 삼성전기주식회사 영상 획득 장치 및 그 방법과 영상 처리 장치 및 그 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060017837A1 (en) * 2004-07-22 2006-01-26 Sightic Vista Ltd. Enhancing digital photography
US20060187308A1 (en) * 2005-02-23 2006-08-24 Lim Suk H Method for deblurring an image
WO2007119680A1 (ja) * 2006-04-11 2007-10-25 Panasonic Corporation 撮像装置
CN101119448A (zh) * 2006-07-31 2008-02-06 株式会社理光 图像处理装置和方法,成像装置以及计算机程序产品
CN101222584A (zh) * 2007-01-12 2008-07-16 三洋电机株式会社 晃动检测装置、晃动修正装置及方法
US20080240607A1 (en) * 2007-02-28 2008-10-02 Microsoft Corporation Image Deblurring with Blurred/Noisy Image Pairs

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103608823A (zh) * 2011-07-08 2014-02-26 高通股份有限公司 用于从图像确定文本信息的并行处理方法和设备
CN103608823B (zh) * 2011-07-08 2017-09-01 高通股份有限公司 用于从图像确定文本信息的并行处理方法和设备
CN103390380A (zh) * 2012-05-10 2013-11-13 乐金显示有限公司 图像质量处理方法及使用该方法的显示装置
CN103390380B (zh) * 2012-05-10 2016-03-16 乐金显示有限公司 图像质量处理方法及使用该方法的显示装置
CN104851079A (zh) * 2015-05-06 2015-08-19 中国人民解放军国防科学技术大学 基于噪声/模糊图像对的低照度车牌图像恢复方法
CN105141857A (zh) * 2015-09-21 2015-12-09 广东欧珀移动通信有限公司 图像处理方法和装置
CN111033559A (zh) * 2017-09-05 2020-04-17 索尼公司 用于图像模糊校正的图像处理、图像处理方法和程序
CN110062164A (zh) * 2019-04-22 2019-07-26 深圳市商汤科技有限公司 视频图像处理方法及装置
CN113992848A (zh) * 2019-04-22 2022-01-28 深圳市商汤科技有限公司 视频图像处理方法及装置
CN113992847A (zh) * 2019-04-22 2022-01-28 深圳市商汤科技有限公司 视频图像处理方法及装置
CN112907818A (zh) * 2021-01-20 2021-06-04 广东便捷神科技股份有限公司 一种广告营销类语音信息的处理方法
CN112907818B (zh) * 2021-01-20 2022-06-24 广东便捷神科技股份有限公司 一种广告营销类语音信息的处理方法

Also Published As

Publication number Publication date
EP2189939A2 (en) 2010-05-26
KR20100056167A (ko) 2010-05-27
EP2189939B1 (en) 2016-05-11
KR101574733B1 (ko) 2015-12-04
US20100123807A1 (en) 2010-05-20
EP2189939A3 (en) 2015-06-10
US8184182B2 (en) 2012-05-22
CN101742123B (zh) 2013-11-27

Similar Documents

Publication Publication Date Title
CN101742123B (zh) 图像处理设备和方法
US7496287B2 (en) Image processor and image processing program
CN103945145B (zh) 处理图像的设备和方法
KR102474715B1 (ko) 매크로포토그래피를 위한 컬러 및 모노 이미지들의 시차 마스크 융합
JP7077395B2 (ja) 多重化高ダイナミックレンジ画像
US8482620B2 (en) Image enhancement based on multiple frames and motion estimation
US8559751B2 (en) Method and device for removing motion blur effects
JP2010166558A (ja) 撮像装置
JP2010141653A (ja) 画像処理装置及び撮像装置
JP2009207118A (ja) 撮像装置及びぶれ補正方法
CN102480595B (zh) 图像处理设备和图像处理方法
CN102082912A (zh) 图像拍摄装置及图像处理方法
Im et al. Improved elastic registration for removing ghost artifacts in high dynamic imaging
Vijay et al. Non-uniform deblurring in HDR image reconstruction
JP4958806B2 (ja) ぶれ検出装置、ぶれ補正装置及び撮像装置
US20080055431A1 (en) Dark frame subtraction using multiple dark frames
Zhang et al. Deep motion blur removal using noisy/blurry image pairs
US20110085026A1 (en) Detection method and detection system of moving object
JP2019110430A (ja) 制御装置、撮像装置、制御方法およびプログラム
WO2021186999A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US11798146B2 (en) Image fusion architecture
Sörös et al. Multiframe visual-inertial blur estimation and removal for unmodified smartphones
Tico et al. Robust method of digital image stabilization
JP2023525846A (ja) 情報処理装置及び方法
JP6331363B2 (ja) 被写体特定装置、撮像装置およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant