CN102090068A - 利用不同分辨率的图像形成改良图像 - Google Patents

利用不同分辨率的图像形成改良图像 Download PDF

Info

Publication number
CN102090068A
CN102090068A CN200980126512XA CN200980126512A CN102090068A CN 102090068 A CN102090068 A CN 102090068A CN 200980126512X A CN200980126512X A CN 200980126512XA CN 200980126512 A CN200980126512 A CN 200980126512A CN 102090068 A CN102090068 A CN 102090068A
Authority
CN
China
Prior art keywords
images
image
low
indication
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200980126512XA
Other languages
English (en)
Other versions
CN102090068B (zh
Inventor
J·N·博德
A·D·恩格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of CN102090068A publication Critical patent/CN102090068A/zh
Application granted granted Critical
Publication of CN102090068B publication Critical patent/CN102090068B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876—Recombination of partial images to recreate the original image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

在相同时间段内获取场景的多个图像。所述多个图像的大部分图像为用比所述多个图像的其他图像低的分辨率获得的低分辨率图像。至少通过针对所述低分辨率图像的至少一些图像之间的运动进行修正来形成图像的修正集。另外，至少通过将所述图像的修正集中的至少一个图像的至少一部分(a)与所述多个图像的所述其他图像的至少一个图像的至少一部分(b)合并，来形成合成图像。所述合成图像存储在处理器可访问存储器***中。所述合成图像展现了改良的图像质量，包括相对于传统技术减少的运动模糊、更高的信噪比以及更高的分辨率。

Description

利用不同分辨率的图像形成改良图像
技术领域
本发明涉及从多个图像中生成改良的图像。更具体地，涉及使用多个图像来形成具有减少的运动模糊和减少的噪声的改良图像。
背景技术
在图像捕捉过程中运动时的弱光摄像引起图像中的运动模糊是要解决的问题。运动可以是被成像的整个场景一起运动的全局变化，或者是场景的一个或多个部分相对于剩余场景以不同速度或不同方向运动的局部变化。全局运动是因为在图像捕捉过程中场景和相机之间的相对运动。局部运动是因为场景内的物体相对于场景的其他部分运动。在场景的不同部分中可以发生不同的局部运动。
在曝光时间短、运动缓慢的情况中，单个图像捕捉可以用于捕捉具有良好图像质量的图像。然而，因为得到高信噪比的图像所需的曝光时间相对于在图像捕捉过程中出现的运动变得更长，或可用光减少，捕捉的图像质量以图像中的运动模糊增加以及噪声增加的形式降低。
对于消费者的数码相机，有像素的尺寸随时间变得越来越小的趋势，这减少了在曝光过程中捕捉光的可用区域，从而噪声变成大问题。可以增加曝光时间来补偿较小的像素，但是另一方面运动模糊会变成大问题。因此，用于增加像素对光的灵敏度的方法已描述于Hamilton的美国专利申请No.11/191,729(代理机构号91045)中，其在图像传感器中增加了全色像素。因为运动相对于曝光时间或可用光的减少而增加，可以进行一系列的折衷。可以在摄像空间中进行一些折衷以增加空间分辨率、时间分辨率或图像质量，但是重要的是要注意到，有收获也会损失。例如，可以减少曝光时间来减少运动模糊从而增加时间分辨率，但是代价是增加了图像中的噪声。闪光灯是减少图像中的噪声的有效方式，并且通过更短的曝光时间，增加时间分辨率，但是代价是不均匀照明和红眼。可以在曝光过程中使用基于光学的图像稳定器以延长曝光时间来减少图像中的噪声，同时减少运动模糊以及增加空间分辨率。然而，基于光学的图像稳定器只能用于减少来自相机运动(全局运动)的运动模糊。可以通过像素合并(binning，即，将相邻像素彼此连接到一起，因此相邻像素上的电荷被加在一起，信号增强)增加像素的有效尺寸来减少曝光时间。然而，伴随像素合并的是空间分辨率的减小。可以用多个低分辨率的视频图像来形成具有改良的图像质量的单个图像，同时保持空间分辨率并提供时间分辨率和曝光时间之间的平衡。通过对每个图像使用更短的曝光时间，在给定时间内读取多个图像可以减少运动模糊，然而，每个图像会变得噪声更大。通过将多个图像彼此对准来修正各个图像捕捉之间的运动，然后将各个图像加到一起(堆叠)，可以减少所形成的单个图像中的噪声。
虽然多个低分辨率视频图像可以相对快速(通常为30-60个图像/秒)的读出，且所述图像通常具有更低的噪声，因为像素通常被像素合并，但是形成的单个图像被限制为相对低的分辨率。相反，多个高分辨率图像可以用于形成高分辨率单个图像。然而，高分辨率图像通常噪声更大，因为像素更小，更显著的，由于硬件限制，需要相对大量的时间来读取多个高分辨率图像(通常1.5-7个图像/秒)。另外，由于图像捕捉之间的显著运动，对准图像的问题变得更大。
因此，本领域需要改良的技术方案来组合多个图像以形成改良的图像，特别是在场景中出现运动的情况中。
发明内容
通过根据本发明各实施例的用于形成图像的***和方法，上述问题得到解决，且在本领域中实现了一种技术方案。在本发明的一些实施例中，在相同的时间段内获取场景的多个图像，其中所述多个图像的大部分图像为以比所述多个图像的其他图像更低的分辨率获得的低分辨率图像。所述低分辨率图像的至少一些可以为视频图像或预览图像，可以在获取所述多个图像的所述其他图像之前获取所述低分辨率图像。在一些实施例中，所述低分辨率图像具有与所述多个图像的所述其他图像相同或更长的曝光时间。在一些实施例中，所述多个图像的所述其他图像只包括单个高分辨率图像。至少通过修正出现在所述低分辨率图像的至少一些之间的运动来形成图像的修正集。另外，至少通过将所述图像的修正集中的至少一个图像的至少一部分(a)与所述多个图像的所述其他图像的至少一个的至少一部分(b)相合并来形成合成图像。进一步地，所述合成图像存储在处理器可访问存储器***中。所述合成图像展现了改良的图像质量，包括相对于传统技术的减少的运动模糊、更高的信噪比以及更高的分辨率。
在一些实施例中，形成图像的修正集包括将运动修正后的所述低分辨率图像合并到单个低分辨率图像，其中所述图像的修正集只包括单个低分辨图像。在一些实施例中，形成图像的修正集还包括对准所述低分辨率图像中的至少一些内的特征，以使这些图像彼此偏移，其中对准发生在合并所述低分辨率图像之前。
在一些实施例中，所述低分辨率图像保存在轮询缓存器中。这些实施例有助于防止用于捕捉多个低分辨率图像的时间造成快门时滞(shutter lag)。
在一些实施例中，收到部分按下捕捉按钮信号(partially-depressed-capture-button signal)会获取所述低分辨率图像，收到全按下捕捉按钮信号(fully-depressed-capture-button signal)会获取所述多个图像的所述其他图像。
在一些实施例中，例如所述低分辨率图像为视频图像的实施例，在获取所述低分辨率图像的同时获取音频数据。在这些情况中，以将所述音频数据和所述低分辨率图像链接到所述合成图像的方式，将所述音频数据和所述低分辨率数据存储在处理器可访问存储器***中。所述实施例提供了伴随所述合成图像的视频和音频参考。
除了上述实施例，通过参考附图以及研究如下详细说明，其他实施例将变得明显。
附图说明
通过结合附图描述的示例性实施例的详细描述，本发明将更容易理解，其中：
图1显示了根据本发明实施例的用于形成图像的***；
图2为根据本发明实施例，获取多个图像的集合的过程的流程图，所述多个图像的大部分图像比其他图像的分辨率低；
图3为根据本发明实施例，从多个图像的捕捉集形成一个图像的过程的流程图；
图4为根据本发明实施例，从多个图像的获取集形成一个图像的过程的示意图；
图5为根据本发明的另一实施例，用于从多个图像的获取集形成一个图像的另一过程的示意图；以及
图6显示了根据本发明的各实施例的图像处理工作流程，其中在各个点***了例如图3、4和5中所示的过程。
应理解附图用于描述本发明的概念，可能没有按比例绘制。
具体实施方式
本发明的实施例涉及获取或捕捉场景的多个图像，其中所述多个图像形成了由低分辨率图像和较少数量的高分辨率图像组成的捕捉集。所有图像在相对短的时间段内获得，从而可以认为它们彼此之间是同时的。低分辨率图像与高分辨率图像具有相同或更长的曝光时间以及由于传感器上的像素合并造成的相对更大的像素。因此，低分辨率图像在每个图像中具有更高的信噪比、更低的分辨率、相同或更大的运动模糊。相反，与低分辨率图像相比，高分辨率图像具有由于传感器上更少的像素合并造成的更高分辨率、更低信噪比、相同或更小的运动模糊。然后将捕捉集中的图像的至少一部分合并到一起来形成具有改良的图像质量(更高的分辨率、减少的运动模糊、以及增加的信噪比)的合成图像。合成图像中的运动模糊被减少是通过：(a)进行合并以针对获取捕捉集过程中发生的运动进行修正之前，将捕捉集中的图像彼此偏移；(b)利用具有减少的运动模糊的高分辨率图像以针对低分辨率图像中的运动模糊进行修正；或者结合(a)和(b)。
在通常的数码相机内，低分辨率图像和高分辨率图像通常都可以被捕捉到。高分辨率图像通常以图像传感器的全分辨率提供，而低分辨率图像通过传感器上的像素合并或抽取(decimating)来提供。
像素合并涉及将相邻像素电子地连接到一起，从而相邻像素的电荷加到一起，从而增加了信噪比还有效地增加了像素尺寸，同时减少了传感器的分辨率(减少了像素的数量)。抽取涉及重置一些像素上的电荷，因此不利用这些抽取的像素的像素数据。为了增加信噪比，本发明的实施例采用了像素合并以产生捕捉集中的低分辨率图像。在一些条件中，例如弱光下，甚至可以将高分辨率图像像素合并以增加图像中的信噪比，然而，像素合并等级将小于针对低分辨率图像所使用的。
由于数码相机的硬件限制，对处理路径的时机有限制。快速帧速率捕捉多个图像容易获得低分辨率图像。另外，高信噪比图像容易获得具有更长的曝光时间的低分辨率图像。多个图像之间的运动修正减少了如果用与捕捉集中的多个图像的结合的曝光时间相等的曝光时间来捕捉单个图像时可能发生的运动模糊。然而，精细的边缘细节必须来自于高分辨率图像。
在本发明的各实施例中，可以在高像素合并视频模式或预览模式中获取低分辨率图像，其中快速地连续获取图像，例如30-120个图像/秒。相反，可以在全分辨率模式或低像素合并模式中慢速地捕捉高分辨率图像。另外，以相比于通常由自动曝光***针对场景中呈现的摄像条件所计算的曝光时间更短的曝光时间来获取高分辨率图像。通常，多个图像的获取速率首先受曝光时间限制，另一方面受图像传感器可以被读取以及图像被存储的速度限制，所述速度由图像中的像素的数量确定。因此，具有更少像素的低分辨率图像比具有更多像素的高分辨率图像可以更快速地被读取和存储。视频图像的像素数量和全分辨率图像中的像素数量之间的差通常为10X至20X。因此，为了减少多个图像捕捉集的捕捉时间，有利地，使用更大数量的低分辨率图像和更小数量的高分辨率图像。因此，本发明的实施例涉及包括多个低分辨率图像以及更少数量(或单个)的高分辨率图像的捕捉集。
在获取捕捉集中的图像的过程中，尽可能地快速获取低分辨率图像，以减少获取捕捉集的过程中场景中的运动和可能发生在图像之间的相机相对于场景的运动的影响。即使快速地获取了低分辨率图像，用于每个低分辨率图像的曝光时间可以与用于高分辨率图像的曝光时间相等或更长，这可能导致每个低分辨率图像中相同或更大的运动模糊。可以基于场景中存在的光的量和检测到的运动的量来选择曝光时间。对低分辨率图像和高分辨率图像均使用相同的曝光时间可以产生具有均匀锐度的合成图像，而对低分辨率图像使用更长的曝光时间可以产生具有最高信噪比和最低色度噪声的合成图像。最终结果是，由于相同或更长的曝光时间以及来自像素合并的有效的更大的像素，使得低分辨率图像具有更高的信噪比，代价是具有更低的分辨率和相同或更大的运动模糊。相反，选择用于高分辨率图像的曝光时间比通常针对成像条件所使用的短，以减少运动模糊，同时获得更低的信噪比。然后可以由具有高信噪比的多个低分辨率图像以及一个或多个具有低信噪比和减少的运动模糊的高分辨率图像组成捕捉集。
另外，本发明的实施例可以包括利用轮询缓冲器，其中可以存储捕捉集中的低分辨率图像。使用轮询缓冲器的好处是可以在获取高分辨率图像之前连续获取并读取低分辨率图像至轮询缓冲器中。这样，获取低分辨率图像的时间不会造成操作者可以察觉的快门时滞。快门时滞是操作者所察觉的当捕捉按钮全按下时的时间与图像被实际捕捉到的时间之间的延迟。实际上，当相机检测到操作者正准备捕捉图像时，这是通过操作者部分按下捕捉按钮或相机检测到操作者将相机放置到捕捉位置实现，则开始获取低分辨率图像并读入轮询缓冲器。当操作者用信号通知图像捕捉的时刻时(通过全按下捕捉按钮)，则停止将低分辨率图像捕捉到轮询缓冲器，然后捕捉高分辨率图像。这样，可察觉的快门时滞只是捕捉高分辨率图像所需的时间。
进一步，本发明公开了除了使用低分辨率图像来产生具有改良的图像质量的图像之外，还可以将低分辨率图像连同合成图像一起存储以提供对合成图像的参考。这提供了视频参考给产生的具有改良的图像质量的静止图像。对此，可以捕捉同步的音频并与低分辨率图像一起存储。
图1显示了根据本发明实施例的用于形成图像的***100。***100包括数据处理***110、******120、用户接口***130以及处理器可访问存储器***140。处理器可访问存储器***140、******120和用户接口***130可通信地连接到数据处理***110。尽管本发明未如此限制，整个***100可以是静态式数码相机、数字摄像机、或任何其他数字图像获取***或装置。可选地，可以只有***100的一部分驻留在数字图像获取装置中，例如******110，而***100的其他部分可以驻留在更普通的数据处理***内，例如计算机***。
数据处理***110包括一个或多个数据处理装置，所述装置实现或者有利于实现包括图2-5中所描述的示例过程的本发明各实施例的过程。术语“数据处理装置”或“数据处理器”意指包括任何数据处理装置，例如中央处理单元(“CPU”)或用于处理数据、管理数据或操作数据的通过电、磁、光学、生物部件或其他方式实现的任何其他装置。所述数据处理装置可以驻留在例如台式计算机、笔记本电脑、大型计算机、个人数字助理、黑莓TM、数码相机或手机中。应注意，除非上下文中明确指出或需要，词语“或”以非排他性的理解在本公开中使用。
处理器可访问存储器***140包括被配置为存储信息的一个或多个处理器可访问存储器，所述信息包括执行或有利于执行包括图2-5中所描述的示例过程的本发明各实施例的过程所需的信息。处理器可访问存储器***140可以是分布式处理器可访问存储器***，包括通过多个计算机和/或装置可通信地连接到数据处理***110的多个处理器可访问存储器。另一方面，处理器可访问存储器***140不必然是分布式处理器可访问存储器***，因此，可以包括位于单个数据处理器或装置内的一个或多个处理器可访问存储器。
术语“处理器可访问存储器”意指包括任何处理器可访问数据存储装置，无论是易失性的或非易失性的、电的、磁的、光学的等，包括但不限于：寄存器、软盘、硬盘、CD、DVD、闪存、ROM和RAM。
术语“可通信地连接”意指包括装置、数据处理器或可以对数据进行通信的程序之间任何类型的连接，无论是有线的或无线的。进一步地，术语“可通信地连接”意指包括在单个数据处理器内的装置或程序之间的连接，位于不同的数据处理器内的装置或程序之间的连接，以及根本不位于数据处理器内的装置之间的连接。就这点而言，尽管处理器可访问存储器***140显示为与数据处理***110分离，本领域技术人员应知晓处理器可访问存储器***140可以完全或部分地位于数据处理***110内。进一步就这点而言，尽管******120和用户接口***130显示为与数据处理***110分离，本领域技术人员应知晓所述***的一个或两个可以完全或部分地位于数据处理***110内。
******120可以包括配置为提供数字图像至数据处理***110的一个或多个装置。例如，******120可以包括数字摄像机、手机、普通数码相机、或其他数据处理器。数据处理***110收到来自******120中的装置的数字内容记录之后，可以将所述数字内容记录存储到处理器可访问存储器***140中。
用户接口***130可以包括鼠标、键盘、触摸屏、另一个计算机或数据从其输入到数据处理***110的任何其他装置或装置的组合。就这点而言，尽管******120显示为与用户接口***130分离，******120也可以作为一部分包括在用户接口***130内。
用户接口***130还可以包括显示装置、处理器可访问存储器或通过数据处理***110将数据输出到的任何装置或装置的组合。就这点而言，如果用户接口***130包括处理器可访问存储器，该存储器可以是处理器可访问存储器***140的一部分，即使用户接口***130和处理器可访问存储器***140在图1中显示为分离的。
图2为根据本发明的实施例的获取多个图像集的过程的流程图，所述多个图像集的大部分图像比其他图像分辨率低。在步骤210，操作者通过将相机上的捕捉按钮从S0位置(非按下位置)推到S1位置(部分按下位置)来开始获取过程，从而发送部分按下捕捉按钮信号至相机中的数据处理器，如同操作者编辑图像。然后数据处理器指示相机开始连续地将多个低分辨率图像获取到相机上的轮询缓冲器中，如步骤220所示。轮询缓冲器能存储至少3张或更多低分辨率图像。应注意，与此同时，相机中的数据处理器还通常将完成自动对焦和自动曝光。当操作者识别出了获取时刻时，操作者将捕捉按钮从S1推到S2(完全按下位置)，从而发送完全按下捕捉按钮信号至相机中的数据处理器，如步骤230所示。在此，在步骤240中，数据处理器指示相机停止连续获取或者捕捉低分辨率图像至轮询缓冲器，并开始获取高分辨率图像。然后在步骤250，数据处理器指示相机存储由多个低分辨率图像和该高分辨率图像组成的捕捉集中的多个图像。虽然这里所述的本发明仅获取了捕捉集中的单个高分辨率图像，但是捕捉集中包括超过一个的高分辨率图像也在本发明的保护范围内。应注意，如同本发明内的实施例所描述的，存储的来自轮询缓冲器的低分辨率图像在时间上超前于该高分辨率图像，因为它们是在步骤230之前捕捉的。然而，本发明也包括在该高分辨率图像之后捕捉低分辨率图像的方法，例如当相机被直接从S0致动到S2时。捕捉集中的多个图像由存储的该高分辨率图像和存储的低分辨率图像组成。
捕捉集的一个例子是如下针对10兆像素的数码相机。当操作者将捕捉按钮从S0推到S1时，数据处理器指示相机开始将低分辨率视频图像连续获取到轮询缓冲器中。视频图像为9X像素合并，从而每个视频图像的分辨率大约为1兆像素。以30张图像/秒的速度来获取视频图像。取决于场景内的光线水平，可以每张1/30秒或更少的曝光时间来获取视频图像。轮询缓冲器足够大以同时存储10张视频图像。一旦轮询缓冲器满了，在存储新的视频图像之前删除最老的视频图像，连续进行该过程直到操作者将捕捉按钮从S1推到S2。当捕捉按钮被推到S2时，捕捉了单个高分辨率图像。可以全分辨率或10兆像素来获取该高分辨率图像。针对高分辨率图像的曝光时间可以是1/30秒或更少，使得针对低分辨率图像的曝光时间基本上等于高分辨率图像的曝光时间。为了减少高分辨率图像中的运动模糊，曝光时间可以是1/60秒或更少。那么捕捉集由单个10兆像素图像和十个1兆像素图像组成，其中该十个1兆像素图像在时间上超前于该单个10兆像素图像。然后数据处理器指示相机存储该捕捉集中的多个图像。
图3为根据本发明的实施例并由数据处理器指示的从多个图像的捕捉集形成单个改良的图像的过程的流程图。以由多个图像组成的捕捉集中存储的图像开始步骤310。在步骤320，分析捕捉集中的多个图像以识别图像之间的运动。有多种方法可用于分析捕捉集中的图像以识别图像之间的运动。在Deever的美国专利申请No.11/130,690(代理机构号89105)中，描述了一种基于块的方法来关联图像以识别图像之间的运动并消除视频序列中的抖动。该技术非常适用于图像之间的运动相对均匀的图像。Zhao的美国专利申请2003/0213892描述了一种用于识别图像之间的运动的方法，其中所述图像的各部分之间的运动不同。
在步骤330，基于来自数据处理器的指令，将图像横向平移或彼此偏移以对准图像内的共同特征并修正识别出的图像之间的运动，以形成图像的修正集。在对准过程中，将多个图像平移以与相同的单个基准图像对准。该单个基准图像优选地为高分辨率图像。然后在步骤340，通过将图像的修正集的一部分与高分辨率图像的一部分合并来合成出改良的图像，其中该改良的图像的一部分至少具有高信噪比或减少的运动模糊。可以通过将捕捉集中的多个图像内的公共特征的对准部分的像素值相加来实现合并。
图4为根据本发明的实施例，从捕捉集中的多个图像的获取集形成改良的单个图像的进一步的过程的示意图。在步骤410，提供多个低分辨率图像来用于图像处理。在步骤420，针对图像之间的运动来修正所述低分辨率图像。步骤420包括对低分辨率图像之间的运动进行分析。还应注意到，步骤420还可以包括对例如通过移动场景内的物体产生的低分辨率图像内的运动进行分析。基于如下所述来选择哪些低分辨率图像将被用于合成图像中：运动分析(针对低分辨率图像之间的运动以及针对低分辨率图像内的运动)，以及所选择的低分辨率图像彼此对准的好坏。如果一个低分辨率图像具有太多的运动或如果其没有很好地对准，则不用它来形成合成图像。在步骤430，将修正的低分辨率图像合并以形成单个合成的低分辨率图像。在合并步骤中，数据处理器可以指示该合成的低分辨率图像由捕捉集中的某些图像的一部分组成，以补偿场景内的运动物体。然后在步骤440，对该单个合成的低分辨率图像上采样以将低分辨率图像中的像素数量增加到与高分辨率图像中的像素数量相同。用于形成上采样图像的插值方法可以是双三次或任何其他本领域技术人员所公知的。在步骤460提供高分辨率图像来用于图像处理。在步骤450将该上采样图像与该高分辨率图像对准。步骤450可以包括模糊高分辨率图像的亮度或绿色通道，以将边缘细节调制为更类似于该上采样图像。步骤450中的对准步骤产生了对准映射，用于将来自该上采样图像的色彩应用到该高分辨率图像上。在步骤470，从该高分辨率图像(步骤460)和该上采样图像(步骤440)产生色差图像，然后与来自步骤450的该对准映射相结合以形成合成的色差。对于给定像素应用色差可以是80％来自该上采样图像像素值以及20％来自该高分辨率图像像素值的平均值，或者是该上采样图像和该高分辨率图像的其他比重的组合。然后在步骤480将该色差图像转换为合成的彩色图像，其中该合成的彩色图像由该上采样图像的一部分和该高分辨率图像的一部分组成。
图5为根据本发明的另一实施例，用于从捕捉集中的多个图像的获取集形成改良的单个图像的另一过程的示意图。与图4中所示的方法相似，在步骤410呈现的低分辨率图像在步骤420中针对图像之间的运动被修正，并在步骤430中用于形成低分辨率合成图像，在步骤440该低分辨率合成图像被上采样来匹配该高分辨率图像。然后在步骤450将该上采样图像与在步骤460中呈现的高分辨率图像对准。然而，在步骤570，该上采样图像的色彩或色度部分与该高分辨率图像的黑和白或亮度部分相合并，以在步骤580形成具有改良的图像质量的合成的彩色图像。
应注意，相比于静止图像，通常用不同的屏幕高宽比来捕捉视频图像。如果捕捉集中的低分辨率图像是通过视频成像路径获取的，则从多个图像捕捉集产生的合成图像可能被限制为视频图像的屏幕高宽比。可选地，可以用高分辨率图像的屏幕高宽比和更高等级的像素合并来获取低分辨率图像，从而合成图像将是高分辨率图像的屏幕高宽比。
图6显示了根据本发明的各实施例，由数据处理器指示的图像处理工作流程，其中例如图3、4和5中所示的过程可以***各个点。步骤610为图像获取步骤，其中捕捉集中的多个图像如图2所示进行获取和存储。步骤620修正来自传感器的暗电流类型的噪声。步骤630修正传感器上的缺陷，包括坏点和坏列。步骤640为噪声减小步骤，其基于包括色彩滤波器阵列的影响的像素数据。步骤650对像素数据插值以获得针对每个像素的完整色彩信息。步骤660对插值的像素数据进行分析以识别图像内的边缘。步骤670为噪声减小步骤，其基于只包括色度通道的该插值的像素数据。步骤680为应用数字缩放以限定将被全处理的图像的部分。步骤690针对场景中的普通照明进行修正。步骤691是色彩修正步骤。步骤692将图像从红/绿/蓝转换为YCrCb(其中Y为明亮(亮度)，Cb为减蓝亮度(B-Y)，Cr为减红亮度(R-Y))。在步骤693，增强图像中的物体的边缘。在步骤694，将图像压缩为JPEG文件或其他压缩文件格式。在步骤695，存储处理后的图像。基于该图像处理链，可以在任何噪声减小之前执行如图3、4和5中所示的对捕捉集中的多个图像的处理，以减少要在步骤610和620之间被图像处理的图像数量。另一个选择是，在从捕捉集中的多个图像的每个中消除了传感器相关噪声之后，如步骤640和650之间的步骤，再处理捕捉集中的多个图像。一个可选的选择是，在对所述多个图像进行边缘识别以辅助对运动进行修正之后，如步骤660和670之间的步骤，再执行捕捉集中的多个图像的图像处理。又一选择是，当消除了捕捉集中的每个图像中的多数噪声时再清除色度通道噪声之后，如步骤670和680之间的步骤，再进行捕捉集中的多个图像的图像处理。又一选择是，在对捕捉集中的图形进行全色彩修正和边缘增强之后，如步骤693和694之间的步骤，再进行捕捉集中的多个图像的图像处理。上面列出的对捕捉集中的多个图像进行图像处理的所有情况将得到具有相似的改良的图像质量的最终图像，不同选择之间的差别在于图像处理过程中所需的计算功率水平和存储多个图像所需的计算存储器的大小。
根据本发明的一些实施例，可以在处理路径中提供多个噪声消除操作以进一步改良信噪比。有空间噪声清除，因为捕捉集中的大部分图像为具有合并像素的低分辨率图像。有时间噪声消除，因为多个低分辨率图像针对图像之间的运动被修正，然后被相加来产生低分辨率合成图像。有针对低分辨率合成图像的上采样噪声清除，因为从低分辨率到高分辨率的上采用过程不会引入高频噪声。将上采样图像对准到高分辨率图像时还有另一时间噪声清除。将低分辨率色差应用到高分辨率色差图像时还有另一空间噪声清除。可以想到，可以将其他的噪声清除步骤应用到在整个图像处理过程中产生的各个图像。
产生的合成的彩色图像可以表征为具有如下质量：类似于低分辨率图像的高信噪比；类似于高分辨率图像的减少的运动模糊；类似于高分辨率图像的分辨率；以及类似于捕捉单个高分辨率图像的快门时滞。
部件列表
100  用于形成图像的***
110  数据处理***
120  ******
130  用户接口***
140  处理器可访问存储器***
210  步骤
220  步骤
230  步骤
240  步骤
250  步骤
310  步骤
320  步骤
330  步骤
340  步骤
410  步骤
420  步骤
430  步骤
440  步骤
450  步骤
460  步骤
470  步骤
480  步骤
570  步骤
580  步骤
610  步骤
620  步骤
630  步骤
640  步骤
650  步骤
660  步骤
670  步骤
680  步骤
690  步骤
691  步骤
692  步骤
693  步骤
694  步骤
695  步骤。

Claims (22)

1.一种至少部分由数据处理***实现的方法，所述方法用于形成图像，所述方法包括以下步骤：
指示在相同的时间段内获取场景的多个图像，其中所述多个图像的大部分图像为以比所述多个图像的其他图像更低的分辨率获得的低分辨率图像；
指示至少通过修正所述低分辨率图像中的至少一些图像之间的运动来形成图像的修正集；
指示至少通过将所述图像的修正集中的至少一个图像的至少一部分(a)与所述多个图像的所述其他图像的至少一个图像的至少一部分(b)相合并，来形成合成图像；以及
指示存储所述合成图像至处理器可访问存储器***。
2.根据权利要求1所述的方法，其中指示形成图像的修正集的步骤还包括，指示将运动修正后的所述低分辨率图像合并到单个低分辨率图像中，其中所述图像的修正集只包括所述单个低分辨率图像。
3.根据权利要求2所述的方法，其中指示形成图像的修正集的步骤还包括，将所述低分辨率图像中的至少一些图像内的特征对准以使得这些图像彼此偏移，并且其中所述对准发生在合并所述低分辨率图像之前。
4.根据权利要求3所述的方法，其中执行所述低分辨率图像的对准从而将特征与所述多个图像中的所述其他图像之一相对准。
5.根据权利要求1所述的方法，其中所述多个图像中的所述其他图像只包括单个高分辨率图像。
6.根据权利要求1所述的方法，其中指示获取的步骤还包括，指示在获取所述多个图像的所述其他图像之前获取所述低分辨率图像。
7.根据权利要求6所述的方法，其中指示获取的步骤还包括，指示将所述低分辨率图像存储到轮询缓冲器中。
8.根据权利要求6所述的方法，还包括接收部分按下捕捉按钮信号的步骤，这使得指示获取所述低分辨率图像，其中所述方法还包括在收到部分按下捕捉按钮信号之后接收完全按下捕捉按钮信号的步骤，且其中接收完全按下捕捉按钮信号使得指示获取所述多个图像的所述其他图像。
9.根据权利要求1所述的方法，其中所述低分辨率图像的至少一些图像为视频图像或预览图像。
10.根据权利要求8所述的方法，
其中所述低分辨率图像为视频图像，
其中指示获取的步骤还包括，指示获取在获取所述低分辨率图像的同时获取音频数据，以及
其中所述方法还包括，指示以将所述视频数据和所述低分辨率图像链接至所述合成图像的方式在所述处理器可访问存储器***中存储所述音频数据和所述低分辨率图像的步骤。
11.根据权利要求1所述的方法，其中所述低分辨率图像具有实质上与所述多个图像的所述其他图像相同的曝光时间。
12.根据权利要求1所述的方法，其中，其中所述低分辨率图像具有比所述多个图像的所述其他图像更长的曝光时间。
13.根据权利要求1所述的方法，其中指示形成图像的修正集的步骤、指示形成合成图像的步骤、以及指示存储合成图像的步骤发生于在所述多个图像的任一个上进行噪声减小处理之前。
14.根据权利要求1所述的方法，其中指示形成图像的修正集的步骤、指示形成合成图像的步骤、以及指示存储合成图像的步骤发生于从所述多个图像的每一个消除图像-传感器相关噪声之后。
15.根据权利要求1所述的方法，其中指示形成图像的修正集的步骤、指示形成合成图像的步骤、以及指示存储合成图像的步骤发生于从所述多个图像的每一个识别出边缘之后。
16.根据权利要求1所述的方法，其中指示形成图像的修正集的步骤、指示形成合成图像的步骤、以及指示存储合成图像的步骤发生于从所述多个图像被全色彩修正和边缘增强之后。
17.一种存储指令的处理器可访问存储器***，所述指令配置为使得数据处理***实现用于形成图像的方法，其中所述指令包括：
用于在相同时间段内获取场景的多个图像的指令，其中所述多个图像的大部分图像为以比所述多个图像的其他图像更低的分辨率获得的低分辨率图像；
至少通过修正所述低分辨率图像中的至少一些图像之间的运动来形成图像的修正集的指令；
至少通过将所述图像的修正集中的至少一个图像的至少一部分(a)与所述多个图像的所述其他图像的至少一个的至少一部分(b)相合并来形成合成图像的指令；以及
存储所述合成图像至处理器可访问存储器***的指令。
18.根据权利要求17所述的存储器***，其中所述多个图像的所述其他图像只包括单个高分辨率图像。
19.根据权利要求17所述的存储器***，其中获取指令还包括，用于在获取所述多个图像的所述其他图像之前获取所述低分辨率图像的指令。
20.一种***，包括：
数据处理***；以及
存储器***，其可通信地连接到所述数据处理***并存储指令，所述指令配置为使得所述数据处理***实现用于形成图像的方法，其中所述指令包括：
用于在相同时间段内获取场景的多个图像的指令，其中所述多个图像的大部分图像为以比所述多个图像的其他图像更低的分辨率获得的低分辨率图像；
至少通过修正所述低分辨率图像中的至少一些图像之间的运动来形成图像的修正集的指令；
至少通过将所述图像的修正集中的至少一个图像的至少一部分(a)与所述多个图像的所述其他图像的至少一个的至少一部分(b)相合并来形成合成图像的指令；以及
存储所述合成图像至处理器可访问存储器***的指令。
21.根据权利要求20所述的***，其中所述多个图像的所述其他图像只包括单个高分辨率图像。
22.根据权利要求20所述的***，其中获取指令还包括，用于在获取所述多个图像的所述其他图像之前获取所述低分辨率图像的指令。
CN200980126512XA 2008-08-01 2009-07-21 利用不同分辨率的图像形成改良图像的方法 Active CN102090068B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/184,446 US8130278B2 (en) 2008-08-01 2008-08-01 Method for forming an improved image using images with different resolutions
US12/184,446 2008-08-01
PCT/US2009/004204 WO2010014157A1 (en) 2008-08-01 2009-07-21 Improved image formation using different resolution images

Publications (2)

Publication Number Publication Date
CN102090068A true CN102090068A (zh) 2011-06-08
CN102090068B CN102090068B (zh) 2013-07-10

Family

ID=41059503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980126512XA Active CN102090068B (zh) 2008-08-01 2009-07-21 利用不同分辨率的图像形成改良图像的方法

Country Status (6)

Country Link
US (1) US8130278B2 (zh)
EP (1) EP2308236B1 (zh)
JP (1) JP5346082B2 (zh)
CN (1) CN102090068B (zh)
TW (1) TWI452539B (zh)
WO (1) WO2010014157A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833471A (zh) * 2011-06-15 2012-12-19 奥林巴斯映像株式会社 摄像装置和摄像方法
CN103888689A (zh) * 2014-03-13 2014-06-25 北京智谷睿拓技术服务有限公司 图像采集方法及图像采集装置
CN104836997A (zh) * 2014-02-10 2015-08-12 钰创科技股份有限公司 增加图像获取***侦测范围的方法及其相关图像获取***
CN104918027A (zh) * 2014-03-11 2015-09-16 索尼公司 用于生成数字处理图片的方法、电子装置和服务器
CN105190716A (zh) * 2013-03-14 2015-12-23 微软技术许可有限责任公司 相机非触摸开关
CN105190426A (zh) * 2013-03-11 2015-12-23 德克萨斯仪器股份有限公司 飞行时间传感器装仓
CN105791659A (zh) * 2014-12-19 2016-07-20 联想(北京)有限公司 图像处理方法和电子设备
CN107148648A (zh) * 2014-10-29 2017-09-08 汤姆逊许可公司 估计图像序列的两个不同颜色分级版本之间的颜色映射的方法和设备
WO2018137267A1 (zh) * 2017-01-25 2018-08-02 华为技术有限公司 图像处理方法和终端设备
CN109074630A (zh) * 2016-05-20 2018-12-21 上海安科迪智能科技有限公司 具有分布式存储器的阵列照相机成像***
US10321072B2 (en) 2014-03-13 2019-06-11 Beijing Zhigu Rui Tuo Tech Co., Ltd Image obtaining apparatus and method for obtaining an image based on pixel binning
CN110944160A (zh) * 2019-11-06 2020-03-31 维沃移动通信有限公司 一种图像处理方法及电子设备
US10750116B2 (en) 2014-05-22 2020-08-18 Microsoft Technology Licensing, Llc Automatically curating video to fit display time
CN112188106A (zh) * 2014-05-08 2021-01-05 索尼公司 信息处理装置和信息处理方法
WO2021218551A1 (zh) * 2020-04-28 2021-11-04 华为技术有限公司 拍照方法、装置、终端设备及存储介质
CN114697561A (zh) * 2020-12-29 2022-07-01 恒景科技股份有限公司 通过环境切换对图像传感器自动曝光控制的方法和设备
CN115988311A (zh) * 2021-10-14 2023-04-18 荣耀终端有限公司 图像处理方法与电子设备

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101041366B1 (ko) * 2007-11-02 2011-06-14 주식회사 코아로직 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법
KR101023946B1 (ko) * 2007-11-02 2011-03-28 주식회사 코아로직 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법
US8625934B2 (en) * 2008-01-28 2014-01-07 Pixart Imaging Inc. Method and apparatus for detecting displacement with sub-pixel accuracy
US7886072B2 (en) 2008-06-12 2011-02-08 Apple Inc. Network-assisted remote media listening
JP5413002B2 (ja) * 2008-09-08 2014-02-12 ソニー株式会社 撮像装置および方法、並びにプログラム
JP2010141653A (ja) * 2008-12-12 2010-06-24 Sanyo Electric Co Ltd 画像処理装置及び撮像装置
KR101594291B1 (ko) * 2009-03-09 2016-02-16 삼성전자주식회사 디지털 영상 처리장치 및 그 제어방법
US8224082B2 (en) * 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8068153B2 (en) * 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
US8045024B2 (en) * 2009-04-15 2011-10-25 Omnivision Technologies, Inc. Producing full-color image with reduced motion blur
US8203633B2 (en) * 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
US8237831B2 (en) * 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
US8125546B2 (en) * 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
US8253832B2 (en) * 2009-06-09 2012-08-28 Omnivision Technologies, Inc. Interpolation for four-channel color filter array
JP5281495B2 (ja) * 2009-06-18 2013-09-04 キヤノン株式会社 画像処理装置およびその方法
RU2426264C2 (ru) * 2009-07-20 2011-08-10 Дмитрий Валерьевич Шмунк Способ улучшения изображений
KR101614914B1 (ko) * 2009-07-23 2016-04-25 삼성전자주식회사 모션 적응적 고대비 영상 획득 장치 및 방법
US8724928B2 (en) 2009-08-31 2014-05-13 Intellectual Ventures Fund 83 Llc Using captured high and low resolution images
KR101843561B1 (ko) * 2009-10-26 2018-03-30 가부시키가이샤 한도오따이 에네루기 켄큐쇼 표시 장치 및 반도체 장치
US8615111B2 (en) * 2009-10-30 2013-12-24 Csr Technology Inc. Method and apparatus for image detection with undesired object removal
US8179445B2 (en) * 2010-03-03 2012-05-15 Eastman Kodak Company Providing improved high resolution image
US8345971B2 (en) * 2010-06-28 2013-01-01 The Hong Kong Polytechnic University Method and system for spatial-temporal denoising and demosaicking for noisy color filter array videos
JP5940974B2 (ja) * 2010-11-18 2016-06-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 撮像装置、撮像方法
JP5978949B2 (ja) * 2012-03-16 2016-08-24 富士通株式会社 画像合成装置及び画像合成用コンピュータプログラム
TWI574251B (zh) * 2012-05-29 2017-03-11 欣德洺企業有限公司 顯示器像素驅動系統及顯示器子像素驅動流程
US9160912B2 (en) 2012-06-08 2015-10-13 Apple Inc. System and method for automatic image capture control in digital imaging
US20140270688A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Personal Video Replay
US9304089B2 (en) 2013-04-05 2016-04-05 Mitutoyo Corporation System and method for obtaining images with offset utilized for enhanced edge resolution
US8979398B2 (en) 2013-04-16 2015-03-17 Microsoft Technology Licensing, Llc Wearable camera
US9066007B2 (en) 2013-04-26 2015-06-23 Skype Camera tap switch
TWI602153B (zh) * 2013-07-09 2017-10-11 聚晶半導體股份有限公司 影像去雜訊化方法與影像去雜訊化裝置
US20150097978A1 (en) * 2013-10-07 2015-04-09 Qualcomm Incorporated System and method for high fidelity, high dynamic range scene reconstruction with frame stacking
US9426365B2 (en) 2013-11-01 2016-08-23 The Lightco Inc. Image stabilization related methods and apparatus
US9478010B2 (en) 2013-12-12 2016-10-25 Google Technology Holdings LLC Generating an enhanced image of a predetermined scene from a plurality of images of the predetermined
KR102165610B1 (ko) 2014-04-23 2020-10-14 삼성전자주식회사 엑스선 영상 장치 및 엑스선 영상 장치의 영상 처리 방법
US9503644B2 (en) 2014-05-22 2016-11-22 Microsoft Technology Licensing, Llc Using image properties for processing and editing of multiple resolution images
US9451178B2 (en) 2014-05-22 2016-09-20 Microsoft Technology Licensing, Llc Automatic insertion of video into a photo story
EP3192250B1 (en) * 2014-09-12 2019-05-29 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20160115675A1 (en) * 2014-10-28 2016-04-28 Marcus Quigley Method for automated control of a combined greywater/stormwater system with forecast integration
CN104748678B (zh) * 2015-03-08 2017-06-13 大连理工大学 高温物体测量中图像质量补偿方法
KR102489279B1 (ko) * 2016-02-04 2023-01-18 삼성전자주식회사 이미지 처리장치 및 방법
US10062156B2 (en) * 2016-02-25 2018-08-28 Kla-Tencor Corporation Method and system for detecting defects on a substrate
CN106357967B (zh) * 2016-11-29 2018-01-19 广东欧珀移动通信有限公司 控制方法、控制装置和电子装置
US10650505B2 (en) 2017-07-12 2020-05-12 Tata Consultancy Services Limited Method and system for generating high resolution image by fusing low resolution images
JP6930605B2 (ja) * 2017-12-14 2021-09-01 日本電気株式会社 画像処理装置、画像処理方法および画像処理プログラム
US10764507B1 (en) * 2019-04-18 2020-09-01 Kneron (Taiwan) Co., Ltd. Image processing system capable of generating a snapshot image with high image quality by using a zero-shutter-lag snapshot operation

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2373946A (en) * 2001-03-29 2002-10-02 Snell & Wilcox Ltd Method of synthesizing motion blur in a video sequence
US6519288B1 (en) * 1998-03-06 2003-02-11 Mitsubishi Electric Research Laboratories, Inc. Three-layer scaleable decoder and method of decoding
US20040013319A1 (en) * 2002-07-19 2004-01-22 Wenstrand John S. Resolution and image quality improvements for small image sensors
EP1501288A2 (en) * 2003-07-22 2005-01-26 OmniVision Technologies, Inc. CMOS image sensor using high frame rate with frame addition and movement compensation
WO2006063978A1 (en) * 2004-12-15 2006-06-22 Thomson Licencing Method and apparatus for processing video image signals
US20070147820A1 (en) * 2005-12-27 2007-06-28 Eran Steinberg Digital image acquisition system with portrait mode
US7596177B2 (en) * 2005-06-22 2009-09-29 Panasonic Corporation Image generation apparatus and image generation method

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS592227B2 (ja) 1978-08-21 1984-01-17 株式会社日立製作所 雑音除去方式
US5600731A (en) 1991-05-09 1997-02-04 Eastman Kodak Company Method for temporally adaptive filtering of frames of a noisy image sequence using motion estimation
US5657402A (en) 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
US5325449A (en) 1992-05-15 1994-06-28 David Sarnoff Research Center, Inc. Method for fusing images and apparatus therefor
JPH05328127A (ja) 1992-05-20 1993-12-10 Nikon Corp 画像処理装置
EP0664525B1 (en) * 1993-07-31 2002-11-27 Sony Corporation Device and method for detecting image matching
US5442407A (en) 1994-03-22 1995-08-15 Matsushita Electric Corporation Of America Video signal noise reduction system using time-varying filter coefficients
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
EP0868815A2 (en) 1996-10-24 1998-10-07 Koninklijke Philips Electronics N.V. Noise filtering
US6281942B1 (en) 1997-08-11 2001-08-28 Microsoft Corporation Spatial and temporal filtering mechanism for digital motion video signals
JP4284570B2 (ja) 1999-05-31 2009-06-24 ソニー株式会社 撮像装置及びその方法
US6650704B1 (en) 1999-10-25 2003-11-18 Irvine Sensors Corporation Method of producing a high quality, high resolution image from a sequence of low quality, low resolution images that are undersampled and subject to jitter
US6888566B2 (en) 1999-12-14 2005-05-03 Canon Kabushiki Kaisha Method and apparatus for uniform lineal motion blur estimation using multiple exposures
JP2001285684A (ja) * 2000-03-30 2001-10-12 Minolta Co Ltd 電子カメラ
US7657123B2 (en) 2001-10-03 2010-02-02 Microsoft Corporation Text document capture with jittered digital camera
US7064779B1 (en) 2001-10-23 2006-06-20 Ess Technology, Inc. Imaging system combining multiple still images for higher resolution image output
US7061524B2 (en) 2001-11-13 2006-06-13 The Board Of Trustees Of The Leland Stanford Junior University Motion/saturation detection system and method for synthesizing high dynamic range motion blur free images from multiple captures
US7084910B2 (en) 2002-02-08 2006-08-01 Hewlett-Packard Development Company, L.P. System and method for using multiple images in a digital image capture device
US20030213892A1 (en) 2002-05-17 2003-11-20 Sarnoff Corporation Method and apparatus for determining optical flow
WO2004001667A2 (en) * 2002-06-21 2003-12-31 The Trustees Of Columbia University In The City Of New York Systems and methods for de-blurring motion blurred images
JP4701598B2 (ja) * 2003-01-07 2011-06-15 セイコーエプソン株式会社 静止画像生成装置、静止画像生成方法、静止画像生成プログラム、および静止画像生成プログラムを記録した記録媒体
US7489829B2 (en) 2003-03-11 2009-02-10 Sightic Vista Ltd. Adaptive low-light image processing
WO2004114677A1 (ja) * 2003-06-23 2004-12-29 Sony Corporation 画像処理方法および装置、並びにプログラム
US8593542B2 (en) * 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US7596284B2 (en) 2003-07-16 2009-09-29 Hewlett-Packard Development Company, L.P. High resolution image reconstruction
US20050157949A1 (en) 2003-09-30 2005-07-21 Seiji Aiso Generation of still image
JP4461937B2 (ja) * 2003-09-30 2010-05-12 セイコーエプソン株式会社 低解像度の複数の画像に基づく高解像度の画像の生成
US8570389B2 (en) 2004-07-22 2013-10-29 Broadcom Corporation Enhancing digital photography
US20060062303A1 (en) * 2004-09-17 2006-03-23 Sony Corporation Hybrid global motion estimator for video encoding
US7602438B2 (en) 2004-10-19 2009-10-13 Eastman Kodak Company Method and apparatus for capturing high quality long exposure images with a digital camera
US20060114479A1 (en) 2004-11-26 2006-06-01 Sozotek, Inc. Accelerated image enhancement
US20060152596A1 (en) 2005-01-11 2006-07-13 Eastman Kodak Company Noise cleaning sparsely populated color digital images
JP2006221220A (ja) * 2005-02-08 2006-08-24 Seiko Epson Corp 複数の低解像度画像を用いた高解像度画像の生成
US20060239579A1 (en) 2005-04-22 2006-10-26 Ritter Bradford A Non Uniform Blending of Exposure and/or Focus Bracketed Photographic Images
WO2006134923A1 (ja) * 2005-06-14 2006-12-21 Nikon Corporation 画像処理装置、コンピュータプログラム製品および画像処理方法
JP4631558B2 (ja) * 2005-06-22 2011-02-16 株式会社ニコン 撮像装置および画像処理プログラム
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
KR20080034508A (ko) 2005-08-08 2008-04-21 요셉 러브너 적응형 노출 제어
EP1956839A4 (en) * 2005-11-29 2010-03-17 Pioneer Corp RECORDING DEVICE, REPRODUCING DEVICE, RECORDING METHOD AND PROGRAM, AND COMPUTER-READABLE RECORDING MEDIUM
EP2204772A1 (en) * 2005-11-30 2010-07-07 Nikon Corporation Image processing method, image processing program, image processing device, and imaging device
JPWO2007074605A1 (ja) * 2005-12-26 2009-06-04 株式会社ニコン 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
JP4620607B2 (ja) * 2006-02-24 2011-01-26 株式会社モルフォ 画像処理装置
JP4879261B2 (ja) * 2006-03-03 2012-02-22 オリンパス株式会社 撮像装置、高解像度化処理方法、高解像度化処理プログラム、及び記録媒体
JP4757085B2 (ja) * 2006-04-14 2011-08-24 キヤノン株式会社 撮像装置及びその制御方法、画像処理装置、画像処理方法、及びプログラム
JP5018775B2 (ja) * 2006-06-20 2012-09-05 株式会社ニコン 画像処理方法、画像処理装置、及び画像処理プログラム
JP5012805B2 (ja) * 2006-09-14 2012-08-29 株式会社ニコン 画像処理装置、電子カメラおよび画像処理プログラム
JP5211589B2 (ja) * 2006-09-14 2013-06-12 株式会社ニコン 画像処理装置、電子カメラ、および画像処理プログラム
JP5055571B2 (ja) * 2006-09-14 2012-10-24 株式会社ニコン 画像処理装置、電子カメラ、および画像処理プログラム
EP2059027A4 (en) 2006-09-14 2012-08-08 Nikon Corp IMAGE PROCESSING DEVICE, ELECTRONIC CAMERA, AND IMAGE PROCESSING PROGRAM
US7602418B2 (en) * 2006-10-11 2009-10-13 Eastman Kodak Company Digital image with reduced object motion blur
US7876956B2 (en) 2006-11-10 2011-01-25 Eastman Kodak Company Noise reduction of panchromatic and color image
US7769241B2 (en) * 2007-01-09 2010-08-03 Eastman Kodak Company Method of sharpening using panchromatic pixels
US8149283B2 (en) * 2007-01-23 2012-04-03 Nikon Corporation Image processing device, electronic camera, image processing method, and image processing program
US7916971B2 (en) * 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
US7705889B2 (en) * 2007-06-15 2010-04-27 Sony Corporation Shutter time compensation
US7817187B2 (en) * 2007-06-27 2010-10-19 Aptina Imaging Corporation Image blur correction using a secondary camera
US8170097B2 (en) * 2007-12-04 2012-05-01 Sony Corporation Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in series with video

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6519288B1 (en) * 1998-03-06 2003-02-11 Mitsubishi Electric Research Laboratories, Inc. Three-layer scaleable decoder and method of decoding
GB2373946A (en) * 2001-03-29 2002-10-02 Snell & Wilcox Ltd Method of synthesizing motion blur in a video sequence
US20040013319A1 (en) * 2002-07-19 2004-01-22 Wenstrand John S. Resolution and image quality improvements for small image sensors
EP1501288A2 (en) * 2003-07-22 2005-01-26 OmniVision Technologies, Inc. CMOS image sensor using high frame rate with frame addition and movement compensation
WO2006063978A1 (en) * 2004-12-15 2006-06-22 Thomson Licencing Method and apparatus for processing video image signals
US7596177B2 (en) * 2005-06-22 2009-09-29 Panasonic Corporation Image generation apparatus and image generation method
US20070147820A1 (en) * 2005-12-27 2007-06-28 Eran Steinberg Digital image acquisition system with portrait mode

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833471B (zh) * 2011-06-15 2015-04-29 奥林巴斯映像株式会社 摄像装置和摄像方法
CN102833471A (zh) * 2011-06-15 2012-12-19 奥林巴斯映像株式会社 摄像装置和摄像方法
CN105190426B (zh) * 2013-03-11 2019-03-05 德克萨斯仪器股份有限公司 飞行时间传感器装仓
CN105190426A (zh) * 2013-03-11 2015-12-23 德克萨斯仪器股份有限公司 飞行时间传感器装仓
CN105190716A (zh) * 2013-03-14 2015-12-23 微软技术许可有限责任公司 相机非触摸开关
CN104836997B (zh) * 2014-02-10 2017-04-12 钰立微电子股份有限公司 增加图像获取***侦测范围的方法及其相关图像获取***
CN104836997A (zh) * 2014-02-10 2015-08-12 钰创科技股份有限公司 增加图像获取***侦测范围的方法及其相关图像获取***
CN104918027B (zh) * 2014-03-11 2019-05-03 索尼公司 用于生成数字处理图片的方法、电子装置和服务器
CN104918027A (zh) * 2014-03-11 2015-09-16 索尼公司 用于生成数字处理图片的方法、电子装置和服务器
US9888186B2 (en) 2014-03-13 2018-02-06 Beijing Zhigu Rui Tuo Tech Co., Ltd Image acquisition method and image acquisition apparatus
CN103888689B (zh) * 2014-03-13 2017-10-31 北京智谷睿拓技术服务有限公司 图像采集方法及图像采集装置
US10321072B2 (en) 2014-03-13 2019-06-11 Beijing Zhigu Rui Tuo Tech Co., Ltd Image obtaining apparatus and method for obtaining an image based on pixel binning
WO2015135394A1 (en) * 2014-03-13 2015-09-17 Beijing Zhigu Rui Tuo Tech Co., Ltd Image acquisition method and image acquisition apparatus
CN103888689A (zh) * 2014-03-13 2014-06-25 北京智谷睿拓技术服务有限公司 图像采集方法及图像采集装置
US11405565B2 (en) 2014-05-08 2022-08-02 Sony Group Corporation Information processing device and information processing method
CN112188106A (zh) * 2014-05-08 2021-01-05 索尼公司 信息处理装置和信息处理方法
CN112188106B (zh) * 2014-05-08 2022-12-27 索尼公司 信息处理装置和信息处理方法
US10750116B2 (en) 2014-05-22 2020-08-18 Microsoft Technology Licensing, Llc Automatically curating video to fit display time
US11184580B2 (en) 2014-05-22 2021-11-23 Microsoft Technology Licensing, Llc Automatically curating video to fit display time
CN107148648B (zh) * 2014-10-29 2019-07-12 汤姆逊许可公司 估计图像序列的两个不同颜色分级版本之间的颜色映射的方法和设备
CN107148648A (zh) * 2014-10-29 2017-09-08 汤姆逊许可公司 估计图像序列的两个不同颜色分级版本之间的颜色映射的方法和设备
CN105791659A (zh) * 2014-12-19 2016-07-20 联想(北京)有限公司 图像处理方法和电子设备
CN105791659B (zh) * 2014-12-19 2020-10-27 联想(北京)有限公司 图像处理方法和电子设备
CN109074630A (zh) * 2016-05-20 2018-12-21 上海安科迪智能科技有限公司 具有分布式存储器的阵列照相机成像***
WO2018137267A1 (zh) * 2017-01-25 2018-08-02 华为技术有限公司 图像处理方法和终端设备
CN109863742A (zh) * 2017-01-25 2019-06-07 华为技术有限公司 图像处理方法和终端设备
CN110944160A (zh) * 2019-11-06 2020-03-31 维沃移动通信有限公司 一种图像处理方法及电子设备
WO2021218551A1 (zh) * 2020-04-28 2021-11-04 华为技术有限公司 拍照方法、装置、终端设备及存储介质
CN114697561A (zh) * 2020-12-29 2022-07-01 恒景科技股份有限公司 通过环境切换对图像传感器自动曝光控制的方法和设备
CN114697561B (zh) * 2020-12-29 2024-04-26 恒景科技股份有限公司 通过环境切换对图像传感器自动曝光控制的方法和设备
CN115988311A (zh) * 2021-10-14 2023-04-18 荣耀终端有限公司 图像处理方法与电子设备

Also Published As

Publication number Publication date
CN102090068B (zh) 2013-07-10
US8130278B2 (en) 2012-03-06
TW201011695A (en) 2010-03-16
EP2308236B1 (en) 2016-05-25
TWI452539B (zh) 2014-09-11
US20100026839A1 (en) 2010-02-04
EP2308236A1 (en) 2011-04-13
WO2010014157A1 (en) 2010-02-04
JP5346082B2 (ja) 2013-11-20
JP2011530208A (ja) 2011-12-15

Similar Documents

Publication Publication Date Title
CN102090068B (zh) 利用不同分辨率的图像形成改良图像的方法
CN111698434B (zh) 图像处理设备及其控制方法和计算机可读存储介质
JP4008778B2 (ja) 撮像装置
CN103477626B (zh) 图像处理设备以及图像处理方法
KR101303410B1 (ko) 촬상장치 및 촬상방법
CN113508416B (zh) 图像融合处理模块
US10095941B2 (en) Vision recognition apparatus and method
US9413922B2 (en) Photographing apparatus and method for synthesizing images
JP2012050073A (ja) 撮像装置及び画像合成プログラム
JP2010028608A (ja) 画像処理装置、撮像装置、再生装置及び画像処理方法
JP5862071B2 (ja) 画像処理装置、撮像装置およびプログラム
CN101854469A (zh) 图像处理设备、图像处理方法和计算机程序
JP6742863B2 (ja) 顕微鏡画像処理装置、方法およびプログラム
JP4534750B2 (ja) 画像処理装置および画像処理プログラム
JP2011041143A (ja) 画像処理装置
JP2009194786A (ja) 対象物検出装置及び撮像装置
JP2013055459A (ja) 撮像装置、画像処理装置およびプログラム
CN105794193A (zh) 图像处理设备、图像处理方法和程序
JP7476361B2 (ja) 情報処理装置、撮像装置、情報処理方法、及びプログラム
JP5515653B2 (ja) 撮像装置及び画像処理装置
JP2024099637A (ja) 情報処理装置、撮像装置、情報処理方法、及びプログラム
JP2003224857A (ja) インタレース転送方式の撮像装置および撮像方法
JP2012222509A (ja) 画像処理装置及び画像処理プログラム
JP2012199819A (ja) 撮像装置、撮像方法及び撮像処理の制御プログラム
CN118042288A (zh) 图像处理设备和方法、摄像设备以及计算机可读介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: HAOWEI TECH CO., LTD.

Free format text: FORMER OWNER: EASTMAN KODAK COMPANY (US) 343 STATE STREET, ROCHESTER, NEW YORK

Effective date: 20110628

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: NEW YORK, THE USA TO: CALIFORNIA, THE USA

TA01 Transfer of patent application right

Effective date of registration: 20110628

Address after: California, USA

Applicant after: Haowei Tech Co., Ltd.

Address before: American New York

Applicant before: Eastman Kodak Co.

C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: OmniVision Technologies, Inc.

Address before: California, USA

Patentee before: Haowei Tech Co., Ltd.

CP01 Change in the name or title of a patent holder