CN101485199A - 用于静态相机运动的视频校正的方法和设备 - Google Patents

用于静态相机运动的视频校正的方法和设备 Download PDF

Info

Publication number
CN101485199A
CN101485199A CNA2007800249262A CN200780024926A CN101485199A CN 101485199 A CN101485199 A CN 101485199A CN A2007800249262 A CNA2007800249262 A CN A2007800249262A CN 200780024926 A CN200780024926 A CN 200780024926A CN 101485199 A CN101485199 A CN 101485199A
Authority
CN
China
Prior art keywords
video camera
motion
camera system
camera
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800249262A
Other languages
English (en)
Other versions
CN101485199B (zh
Inventor
乔治·C·约翰
多依娜·I·彼得雷斯库
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motorola Mobility LLC
Google Technology Holdings LLC
Original Assignee
Motorola Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motorola Inc filed Critical Motorola Inc
Publication of CN101485199A publication Critical patent/CN101485199A/zh
Application granted granted Critical
Publication of CN101485199B publication Critical patent/CN101485199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

公开了包括移动成像设备的设备，该移动成像设备具有存储器、视频相机***以及静态相机***。视频相机***可以被配置用于视频成像，并且被配置用于生成运动检测输出。应用可以被存储在该设备的存储器中，并且被配置用于处理视频相机***的运动检测输出，以形成用于静态相机***的运动校正输入。该静态相机***被配置用于静态摄像成像，并且被配置用于处理运动校正输入。还公开了包括静态相机***和视频相机***的移动成像设备的方法。一种方法包括处理视频相机***的序列图像数据，以生成运动检测输出；处理该运动检测输出，以形成运动校正输入；以及基于该运动校正输入，由静态相机***处理静态图像校正。

Description

用于静态相机运动的视频校正的方法和设备
技术领域
本公开涉及在移动通信设备中的静态图像捕获，更具体地，涉及将视频数据用于在具有两个相机的移动通信设备中的第二相机***中的运动补偿的方法和设备。
背景技术
手持设备的制造商，包括移动通信设备的那些制造商，正在日益向他们的设备添加功能性。例如，如今交付的许多移动通信设备包括了相机。诸如静态和视频数字相机的图像捕获设备日益被并入诸如无线通信设备的手持设备。诸如移动通信设备制造商的手持设备制造商可以将静态和视频数字相机并入一个设备中。用户可以在他们的无线通信设备上捕获静态和视频数字图像，并且将文件发射给接收者。随着在包括图像捕获设备的各种技术领域中取得的进步，新的和改进的特征正在被稳步并入移动通信设备的相机中。
虽然存在倾向于包括更多特征和对当前特征进行改进的趋势，但也存在倾向于更小的移动通信设备的趋势。随着移动通信设备技术的持续改进，这些设备已经变得越来越小。因此，当在较小的设备中添加新的特征和对当前特征进行改进时，较少和/或较小硬件和软件组件是理想的。较少硬件组件可以为消费者提供成本优势。
在一个移动通信设备中，静态和视频相机可以指向该设备的相反方向。也就是说，用于视频会议的视频相机可以与显示器和包括导航输入键的键盘在同一表面上，因此，在用户观看显示器时，指向用户的方向。静态相机可以从该设备的背侧指向远离的方向。在这种方式下，当拍摄静态照片时，用户可以在显示器上观看用户的目标物的数字重现图像，非常像数码相机的观察屏。在一个移动通信设备中，静态和视频相机可以从该设备指向相反的方向。
常见的是，静态和视频图像序列均受不希望的运动的影响。具体而言，手抖动在由利用诸如蜂窝电话的手持设备中并入的相机捕获的静态照片中和视频中引入不期望的运动。其他不希望的运动的原因可以包括图像捕获设备的震动、波动或微振动。
视频和静态相机均可以具有诸如加速度计的运动检测硬件。它们也可以具有运动校正应用，以针对静态相机的图像的运动进行校正，或针对视频相机的图像序列的运动进行校正。在具有静态相机和视频相机的手持设备中，减少在静态相机中的运动检测和校正所需要的组件数目将是有益的。具体而言，提高手持设备的静态相机的运动校正的速度可能是有益的。
附图说明
在附图的所有独立视图中，相同的引用标识指相同的或功能类似的元件，这些附图与下文的详细描述一起，被并入本说明书中并且形成其一部分，用于进一步说明各种实施例，并且解释根据本发明的各种原理和优势。
图1描绘了具有前表面和其上的视频相机的移动通信设备；
图2描绘了具有静态相机的移动通信设备的后表面；
图3描绘了移动通信设备的侧视图，示出了在其前表面上的视频相机和在其后表面上的静态相机；
图4示出了在手持设备的视频相机的指向方向上的用户以及在同一手持设备的静态相机的指向方向上的场景或目标物；以及
图5是说明如此处所描述的方法的实施例的流程图。
本领域的技术人员应当理解，图中的元件是出于简明和清楚的目的被示出，并且不必按比例绘制。例如，图中某些元件的尺寸相对于其他元件可能被放大，以有助于改善对本发明的实施例的理解。
具体实施方式
在视频相机中，帧捕获可以比静态捕获更快，从而要比静态相机更好地避免运动模糊。在静态照片中，使用视频相机的运动检测和校正可以是有利的。在该设备的第二视频相机中，使用视频相机的运动检测和校正以补偿运动也可以是有利的。使用同一手持设备的另一视频相机的视频帧捕获特征，可以提高运动估计的速度，从而改善由手持设备的静态相机拍摄的静态摄像或视频相机的视频摄像的校正操作。在移动通信设备的一个实施例中，视频相机和第二相机***可以从该设备指向相反的方向。例如，当使用手持设备的静态相机时，视频相机可以指向用户的面部方向。在如此处所公开的方法和设备的一个实施例中，诸如通过视频相机***跟踪该移动成像设备的用户的面部特征，以生成用于静态摄像中的运动校正的运动检测输出的运动校正方法。在另一实施例中，基于全局运动估计的运动检测可以生成用于静态摄像中的运动校正的运动检测输出。在又一实施例中，当手持设备具有两个视频相机，所描述的第一视频相机的运动检测过程可以应用于第二视频相机。通过第一视频相机的运动检测的应用，可以避免在静态相机或第二视频相机中使用诸如加速度计的硬件。
所公开的是包括移动成像设备的设备，移动成像设备包括视频相机和静态相机或第二视频相机。出于简明目的，在下面的公开中，将参考静态相机***，讨论作为静态相机***或第二视频相机***的第二相机***。应理解的是，对静态相机***的参考，也可以应用于第二视频相机***。
视频相机***处在与第二相机***相反的外壳的侧面，其被配置用于视频成像，并且被进一步配置用于生成运动检测输出。可以将应用存储在该设备的存储器中，该应用被配置用于处理该视频相机***的运动检测输出，以形成用于静态相机***的运动校正输入。静态相机***被配置用于静态摄像成像，并且被配置用于处理运动校正输入。
还公开了包括静态相机***和视频相机***的移动成像设备的方法。一种方法包括处理视频相机***的序列图像数据，以生成运动检测输出；处理该运动检测输出，以形成运动校正输入；以及基于运动校正输入，由静态相机***处理静态图像校正。
提供了立即公开，以给与能力的方式，进一步解释制造和使用根据本发明的各种实施例的最佳模式。提供该公开进一步用于提高对本发明原理和其优势的理解和评价，而不是以任何方式限制本发明。本发明仅由所附的权利要求，包括对该申请的任何修改，以及如所发布的那些权利要求的等效内容来定义。
还应理解的是，关系术语的使用，如果有，诸如第一和第二、顶和底等仅用于将一个实体或动作与另一个实体或动作区别开，而并不必要求或暗示在这种实体或动作之间的任何实际的这种关系或顺序。术语“包括”或其任何其他变形，旨在涵盖非排他性内含物，从而包括一系列元件的过程、方法、物件、或装置并不仅包括那些元件，而是可以包括未明确列出的或这种过程、方法、物件、或装置所固有的其他元件。在没有更多约束的情况下，以“包括…一”开始的元件并不排除在包括该元件的过程、方法、物件、或装置中存在另外的相同元件。
最好利用或在软件程序或指令和诸如专用IC的集成电路(IC)中实施许多本发明的功能性以及许多本发明的原理。预期的是，本领域的一个普通技术人员，尽管可能付出很大努力并且具有在由例如可用时间、当前技术以及经济考虑驱动下的许多设计选择，当在此处所公开的概念和原理的指导下，将能够以最少的实验，生成这种软件指令和程序以及IC。因此，为了简短以及使根据本发明的原理和概念被模糊的风险最小化，对这种软件和IC的进一步讨论，如果有，将限于和优选实施例中的原理和概念相关的要点。
图1描绘了具有前表面103和其上的视频相机104的移动通信设备102。简单地转到图2，该图描绘了具有静态相机206的移动通信设备202的外壳的后表面205。也示出了通常在移动通信设备背部的电池座208。当可以使用该设备时，视频相机104可以对特定目标物拍摄特写或详细图像，具体地，用户的面部。静态相机206可以拍摄用户视野的图像。
移动通信设备102可以被实施为蜂窝电话(也称为移动电话)。移动通信设备102代表多种设备，这些设备已经被开发用于各种网络。这种手持通信设备包括，例如，蜂窝电话、消息收发设备、个人数字助理(PAD)、并入通信调制解调器的笔记本或膝上型计算机、移动数据终端、专用游戏设备、并入无线调制解调器的视频游戏设备等。任何这些便携设备可以被称为移动台或用户设备。此处，无线通信技术可以包括，例如，语音通信、传送数字数据的能力、SMS消息收发、因特网接入、多媒体内容访问和/或因特网协议语音(VoIP)。
移动通信设备102的前表面103可以包括显示器110、键盘112和可以被视为键盘112的一部分的导航键集合114。该设备可以包括收发器116、控制器或处理器117、存储器118和模块119。虽然被表示为该设备的单一处理器117以及该设备的单一存储器118，但是这二者中的每一个在该设备中均可以具有多个。具体而言，视频相机104和静态相机206(参见图2)可以具有其自己的相关联的处理器和存储器。
中央处理器117或相机处理器可以从模块119接收指令，这些指令可以存储在该设备的任何存储器中。模块119可以包括跟踪模块130、面部跟踪模块132、来自特征跟踪模块134的运动矢量、来自图像数据模块136的运动矢量、全局运动矢量模块138、运动输出处理模块140和图像或图像序列校正模块144。这些模块能够执行如此处所描述的方法的某些过程。这些模块可以在以诸如一个或多个预存储的指令集合的形式的软件和/或硬件中实施，其可以有助于如在下文讨论的移动台或电子设备的操作。这些模块可以在工厂安装，或者可以在分销之后，通过例如下载操作进行安装。下文将更加详细地讨论根据这些模块的操作。
图3描绘了移动通信设备302的侧视图，示出了被布置在其前表面303上的视频相机304和被布置在其后表面305上的静态相机306。视频相机304和静态相机306可以分别与前表面303和后表面305齐平。它们从设备表面延伸是出于说明的目的。视频相机304和静态相机306也可以分别相对于外壳的前表面303和后表面305被固定。类似地，进一步描绘了前表面303，示出了显示器310和键盘312。在一个实施例中，视频相机***304是低分辨率视频相机***，并且静态相机***306是高分辨率静态相机***。
图4示出了在手持设备402的视频相机404指向方向422上的用户420，以及在同一手持设备402的静态相机指向方向428上的场景或目标物426。来自视频相机404的视频流的运动矢量信息450能够以多种方式被发射到静态相机406。例如，视频相机404可以具有它自己的处理器和存储器，用来处理视频相机***404的运动检测输出，以形成用于静态相机***406的运动校正输入。在另一实施例中，手持设备的中央处理器和存储器可以处理视频相机***404的运动检测输出，以形成用于静态相机***406的运动校正输入。在又一实施例中，静态相机可以具有它自己的处理器和存储器，用于处理视频相机***404的运动检测输出，以形成用于静态相机***406的运动校正输入。
相应地，被配置用于视频成像的视频相机***还可以被配置用于生成运动检测输出，运动检测输出可以由存储在存储器中的应用来处理，该应用被配置用于处理视频相机***的运动检测输出，以形成用于静态相机***的运动校正输入。被配置用于静态摄像成像的静态相机***可以进一步被配置用于处理运动校正输入。
在手持设备的处理器和存储器的任何设置中，运动检测和校正应用或算法可以被配置以使用视频相机的视频帧捕获特征，来提供静态相机的运动校正。在一个实施例中，可以使用用户的面部特征来检测手持设备的运动。视频相机***能够生成图像帧423，并且该视频相机***的算法可以被配置用于估计帧之间的运动矢量，以及生成将在下文详细讨论的全局运动矢量。然后，来自视频相机的全局运动矢量可以被算术地变换来表示在帧捕获期间静态相机的移动。通过确定全局运动矢量，从而确定视频相机的移动，可以将适当的运动补偿算法应用于校正静态相机的模糊。
手持设备的控制器可以被配置用于将从视频相机***的图像帧423生成的全局运动矢量，变换成静态相机***的运动矢量，以生成变换的运动矢量(多个)425。手持设备的控制器被配置用于识别变换的运动矢量425。手持设备的控制器能够基于变换的运动矢量425处理运动补偿算法，以针对静态相机406的模糊或运动进行校正。
如前面所描述的，可以将应用配置成处理视频相机***404的运动检测输出，以形成用于静态相机***406的运动校正输入。当捕获视频时，自动图像稳定化能够移除非期望的运动的影响(尤其是，与人手移动相关联的抖动)。在没有例如三角架的机械稳定化的情况下，无法将手持相机保持在稳定位置产生了两种主要影响。首先，当拍摄高分辨率的静态图片时，图像捕获需要达几秒钟，并且手抖动导致模糊的图片。第二，当捕获视频时，手抖动产生非期望的全局图片移动。
非期望的图像运动可以被表示为相对于该相机镜头主轴的旋转和/或平移。不自觉的手移动的频率通常为2Hz左右。如下文详细描述的，当一个移动物体在一个稳定的背景前面时，可以针对视频背景执行稳定化。通过评估该背景而非该图像序列的全部图像，可以将非有意的运动作为稳定化的目标，而有意的(即期望的)运动可以基本不受影响。在另一实施例中，当针对获得接近完全对焦的图像的中央部分执行稳定化时，可以针对视频前景执行稳定化。被配置用于处理视频相机***的运动检测输出以形成用于静态相机***的运动校正输入的应用的详细描述，在2005年9月30日提交的题为SYSTEM ANDMETHOD FOR VIDEO STABILIZATION的美国专利申请序列号No.11/241,666中作了描述，并且通过引用在此并入。
如上所述，为了确定全局运动矢量，用于评估和稳定化处理的方法和电路可以包括将背景与前景区别开来。可以不同的方式将背景和前景区别开，此处描述了多种方式。在至少一个实施例中，通过将帧序列的帧的拐角区隔离开来，且然后形成对应于拐角区的背景像素域，可以确定背景。可以包括预定数目的背景像素域，诸如拐角区。
由视频相机生成的图像序列可以被稳定使运动冻结。从帧的时间序列可以形成图像序列，每个帧具有一个区域。该图像通常是二维像素阵列。如上所述，帧的区域通常可以被分成前景区域部分和背景区域部分。从帧的背景区域部分，选择背景像素域用于评估。使用该背景像素域来生成评估，用于随后的稳定化处理，在选择帧的子序列的相对应的对之间，计算该评估。在一个实施例中，确定帧序列的帧的拐角区，并且形成背景像素域以对应于拐角区。
在帧的时间序列的背景像素域中的像素阵列之间的明显位移，是运动的指示。通过计算水平和垂直位移矢量，可以确定这种明显位移。通过考虑背景像素域而非整个区域的位移，可以提供低的计算复杂性。在稳定化中，背景像素域位移的计算结果于是可以被转换成全局运动矢量，以被作为整体应用于帧序列的图像。基于背景评估应用稳定化处理包括计算应用于帧的全局运动矢量。计算全局运动矢量包括确定垂直位移分量的中间范围值的平均，以及水平位移分量的中间范围值的平均。除了沿着三个轴的平移之外，全局运动矢量还可以包括沿着三个轴的旋转。相应地，可以存在六个分量，即使如果面部特征跟踪不可用，可以优选地估计视频流的X和Y分量。
如上文所详细描述的，全局运动矢量可以被定义为从一帧至另一帧的二维(水平和垂直)位移或三维位移(包括z轴)，其是通过考虑子图像，从背景像素域评估出来的。使用面部跟踪，使用上面所述的六个分量中的全部或一些，可以处理估计。此外，定义了一个误差准则，并且针对不同的运动矢量候选确定该准则的值。具有最低的准则值的候选可以被选择为子图像的结果。最常用的准则是绝对差之和。用于水平和垂直方向的运动矢量的选择可以单独计算，并且使用这些分量可以定义全局二维或三维运动矢量。
例如，在为每个子图像所选择的候选中的中位水平值，以及在为每个子图像所选择的候选中的中位垂直值，可以被选择为该全局运动矢量的两个分量。这样，通过将图像分成子图像、为子图像计算运动矢量、并且使用评估或决策过程从子图像确定整个图像全局运动，可以计算全局运动。图像序列的图像可以相应地被转变，将外部边界的一部分或全部消除，以减少或消除该图像序列的非有意的运动。通过视频相机404的处理器、中央处理器117(参见图1)或静态相机406的处理器的稳定化处理，可以基于上述对由视频相机404所捕获的帧序列中的帧的评估而被应用。
依靠静态相机相对于视频相机的方位，可以计算几何变换，以估计对应于已知的视频相机移动的静态相机的移动。然后，可以将该计算的静态相机运动矢量用于诸如去卷积的各种数学算法中，以针对运动模糊进行校正。
图5是说明了如上所述的方法500的一个实施例的流程图。如此处所描述的，运动检测可以是基于面部特征跟踪或全局估计。应理解的是，其他运动检测和校正过程也在本讨论的范围内。无论如何，根据序列图像数据处理模块130(参见图1)，发起530处理序列图像数据以生成运动检测输出。
处理由视频相机对眼睛和/或鼻子和/或身体移动的跟踪532。用户面部特征的移动可以由视频相机***404跟踪(参见图4)。根据面部跟踪模块132(参见图1)，可以跟踪诸如眼睛和/或鼻子的面部特征的移动或头部的移动或其他身体运动，以生成运动检测输出。为了处理面部或身体移动，多个视频帧和普通模型可以被用于构造物体的四边形或矩形3D网格，跟踪物体，诸如其图像正由指向他或她的方向的视频相机捕获的用户。由标准视频解码器提供的实时运动矢量被用于估计并跟踪在该网格上的几个定义的点。利用这一数据，实时跟踪物体的位置或表情，以确定其身体和面部的移动。
通过如上所述跟踪人类特征533，可以确定能否估计运动矢量。如果结果为肯定的，那么，根据从特征跟踪生成运动矢量的模块134(参见图1)，通过人类特征跟踪534，可以估计运动矢量。如果结果为否定的，那么，根据从序列图像生成运动矢量的模块136，可以在序列图像数据之间估计运动矢量536。根据全局运动矢量模块138，可以生成全局运动矢量538。
特征跟踪运动矢量534或全局运动矢量538可以被变换成静态相机***的运动矢量，以根据运动输出处理模块140，生成用于静态图像校正的变换的运动矢量540。然后，静态图像校正可以包括由静态相机***识别变换的运动542。根据图像运动校正模块144(参见图1)，可以由静态相机***基于运动校正输入来处理图像校正544。
在包括视频和静态相机的手持设备中，视频相机的运动校正应用可以被应用于由静态相机运动所引起的图像模糊。上文描述了多个运动校正应用。应理解的是，视频相机的任何运动校正应用可以被应用于由静态相机所引起的图像模糊，包括具有硬件解决方案的那些。视频相机的运动校正的使用，可以改善静态相机或第二视频相机的运动校正速度。相应地，用于静态相机的硬件可以从设备中消除。
本公开旨在解释如何制造和使用根据本技术的各种实施例，而非限制其真实的、预期的以及公平的范围和精神。前面的描述并非旨在是穷尽的或限于所公开的精确形式。根据上述的教导，各种修改和变化是可能的。实施例(多个)被选择和描述以提供对所描述的技术的原理和其实际应用的最佳阐释，以及使本领域的一个普通技术人员能够以各种实施例以及利用适合于预期特定使用的各种修改，来使用本技术。所有这种修改和变化在本发明的范围内，本发明的范围由在本专利申请未决期间可以被修改的附属权利要求，以及当根据附属权利要求的公平、合法、公正享有权力的范围进行解释时的附属权利要求的等效内容来确定。

Claims (24)

1.一种具有存储器、视频相机***和第二相机***的移动成像设备，所述设备包括：
被配置用于视频成像的所述视频相机***，所述视频相机***被配置用于生成运动检测输出；
存储在存储器中的应用，所述应用被配置用于处理所述视频相机***的所述运动检测输出，以形成用于所述第二相机***的运动校正输入；以及
被配置用于静态摄像成像的静态相机***，所述第二相机***被配置用于处理所述运动校正输入。
2.权利要求1所述的设备，其中，所述静态相机被配置来应用所述应用，以接收所述视频相机***的运动检测输出，并且生成运动校正输入。
3.权利要求1所述的设备，进一步包括：
控制器，其被配置来应用所述应用，以接收所述视频相机***的运动检测输出，并且生成运动校正输入。
4.权利要求1所述的设备，进一步包括：
所述移动成像***的外壳，该外壳包括至少两个侧面；
其中：
所述视频相机***被布置在所述两个侧面的第一侧面上；
并且
所述第二相机***被布置在所述两个侧面的第二侧面上。
5.权利要求4所述的设备，其中，所述第一侧面和所述第二侧面是相对的侧面，面对相反的方向。
6.权利要求4所述的设备，其中，将所述第一侧面上的所述视频相机***相对于所述第二侧面上的所述第二相机***固定。
7.权利要求1所述的设备，其中，所述视频相机***是低分辨率视频相机***，并且所述静态相机***是高分辨率第二相机***。
8.权利要求1所述的设备，其中，所述视频相机***生成图像帧，并且其中，所述视频相机***被配置用于在帧之间估计运动矢量，并且生成全局运动矢量。
9.权利要求8所述的设备，其中，所述控制器被配置用于将所述视频相机***的所述全局运动矢量变换成所述静态相机***的运动矢量，以生成变换的运动矢量。
10.权利要求9所述的设备，其中，所述静态相机***被配置用于识别变换的运动矢量。
11.权利要求1所述的设备，其中，所述静态相机***处理运动补偿算法，以针对模糊进行校正。
12.权利要求1所述的设备，其中，所述运动成像设备的用户包括面部特征，所述视频相机***被配置用于通过跟踪所述面部特征的移动来检测运动，以生成运动检测输出。
13.权利要求1所述的设备，其中，所述第二相机***是静态相机或视频相机。
14.一种移动成像设备的方法，该移动成像设备包括视频相机***和第二相机***，所述方法包括：
处理所述视频相机***的所述序列图像数据，以生成运动检测输出；
处理所述运动检测输出以形成运动校正输入；以及
基于所述运动校正输入，处理用于所述第二相机***的图像校正。
15.权利要求14所述的方法，其中，所述运动检测输出包括：
在序列图像数据之间估计运动矢量；以及
生成全局运动矢量。
16.权利要求15所述的方法，其中，处理所述运动检测输出以形成运动校正输入包括：
由所述控制器将所述全局运动矢量变换成所述第二相机***的运动矢量，以生成变换的运动矢量。
17.权利要求14所述的方法，其中，处理静态图像校正包括：
由所述第二相机***识别变换的运动矢量。
18.权利要求14所述的方法，其中，所述移动成像设备的用户包括面部特征，所述方法包括：
由所述视频相机***跟踪所述面部特征的移动，来生成运动检测输出。
19.权利要求14所述的方法，其中，所述移动成像***的外壳包括第一侧面和第二侧面，所述方法进一步包括：
将所述视频相机***布置在所述第一侧面上，以指向第一方向；以及
将所述第二相机***布置在所述第二侧面上，以指向第二方向。
20.权利要求14所述的方法，其中，所述第二相机***是静态相机或视频相机。
21.一种具有视频相机***和第二相机***的移动成像设备，所述设备包括：
运动检测模块，其被配置用于基于在所述视频相机***运动时所捕获的视频序列，生成运动检测输出；以及
运动校正模块，其被配置用于接收所述运动检测输出，并且形成用于所述第二相机***的运动校正输入。
22.权利要求21所述的设备，其中：
所述运动检测输出基于从由所述视频相机***捕获的序列图像帧生成的全局运动矢量的公式；
以及
所述运动校正输入基于以所述全局运动矢量为基础的变换的运动矢量的公式。
23.权利要求21所述的设备，其中，所述移动成像设备的用户包括面部特征，所述设备进一步包括；
所述视频相机***的面部特征跟踪模块，跟踪所述面部特征的移动以生成运动检测输出。
24.权利要求21所述的设备，其中，所述第二相机***是静态相机或视频相机。
CN2007800249262A 2006-06-30 2007-03-22 用于静态相机运动的视频校正的方法和设备 Active CN101485199B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/427,864 US7626612B2 (en) 2006-06-30 2006-06-30 Methods and devices for video correction of still camera motion
US11/427,864 2006-06-30
PCT/US2007/064663 WO2008005595A2 (en) 2006-06-30 2007-03-22 Methods and devices for video correction of still camera motion

Publications (2)

Publication Number Publication Date
CN101485199A true CN101485199A (zh) 2009-07-15
CN101485199B CN101485199B (zh) 2011-09-07

Family

ID=38877367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800249262A Active CN101485199B (zh) 2006-06-30 2007-03-22 用于静态相机运动的视频校正的方法和设备

Country Status (3)

Country Link
US (1) US7626612B2 (zh)
CN (1) CN101485199B (zh)
WO (1) WO2008005595A2 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102883099A (zh) * 2011-07-14 2013-01-16 ***通信有限公司 一种拍摄防抖方法及装置
CN104995905A (zh) * 2013-02-20 2015-10-21 索尼公司 图像处理设备、拍摄控制方法和程序
CN107071263A (zh) * 2016-12-30 2017-08-18 努比亚技术有限公司 一种图像处理方法及终端
CN108366899A (zh) * 2017-08-02 2018-08-03 深圳前海达闼云端智能科技有限公司 一种图像处理方法、***以及智能导盲装置
CN111479035A (zh) * 2020-04-13 2020-07-31 Oppo广东移动通信有限公司 图像处理方法、电子装置及计算机可读存储介质

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3676360B2 (ja) * 2003-02-25 2005-07-27 松下電器産業株式会社 画像撮像処理方法
US9769354B2 (en) 2005-03-24 2017-09-19 Kofax, Inc. Systems and methods of processing scanned data
US8571346B2 (en) * 2005-10-26 2013-10-29 Nvidia Corporation Methods and devices for defective pixel detection
US8588542B1 (en) 2005-12-13 2013-11-19 Nvidia Corporation Configurable and compact pixel processing apparatus
US8737832B1 (en) 2006-02-10 2014-05-27 Nvidia Corporation Flicker band automated detection system and method
US8509313B2 (en) * 2006-10-10 2013-08-13 Texas Instruments Incorporated Video error concealment
US8923400B1 (en) 2007-02-16 2014-12-30 Geo Semiconductor Inc Method and/or apparatus for multiple pass digital image stabilization
US8149911B1 (en) * 2007-02-16 2012-04-03 Maxim Integrated Products, Inc. Method and/or apparatus for multiple pass digital image stabilization
US8396321B1 (en) * 2007-04-25 2013-03-12 Marvell International Ltd. Method and apparatus for processing image data from a primary sensor and a secondary sensor
US8174555B2 (en) 2007-05-30 2012-05-08 Eastman Kodak Company Portable video communication system
JP4924228B2 (ja) * 2007-06-19 2012-04-25 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US7817187B2 (en) * 2007-06-27 2010-10-19 Aptina Imaging Corporation Image blur correction using a secondary camera
KR101378880B1 (ko) * 2007-07-13 2014-03-28 엘지전자 주식회사 카메라를 구비한 휴대 단말기
US8724895B2 (en) 2007-07-23 2014-05-13 Nvidia Corporation Techniques for reducing color artifacts in digital images
US7843462B2 (en) * 2007-09-07 2010-11-30 Seiko Epson Corporation System and method for displaying a digital video sequence modified to compensate for perceived blur
US8698908B2 (en) 2008-02-11 2014-04-15 Nvidia Corporation Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera
US9379156B2 (en) 2008-04-10 2016-06-28 Nvidia Corporation Per-channel image intensity correction
EP3144050B1 (en) * 2008-04-30 2018-12-05 Exxonmobil Upstream Research Company Method for removal of oil from utility gas stream
US8199212B2 (en) * 2008-05-03 2012-06-12 Olympus Imaging Corp. Image recording and playback device, and image recording and playback method
US8675091B2 (en) * 2008-12-15 2014-03-18 Nvidia Corporation Image data processing with multiple cameras
US8700072B2 (en) 2008-12-23 2014-04-15 At&T Mobility Ii Llc Scalable message fidelity
US9767354B2 (en) 2009-02-10 2017-09-19 Kofax, Inc. Global geographic information retrieval, validation, and normalization
US9576272B2 (en) 2009-02-10 2017-02-21 Kofax, Inc. Systems, methods and computer program products for determining document validity
US8749662B2 (en) 2009-04-16 2014-06-10 Nvidia Corporation System and method for lens shading image correction
KR101608761B1 (ko) * 2009-05-28 2016-04-04 엘지전자 주식회사 이동단말기 및 그 제어방법
US8498493B1 (en) * 2009-06-02 2013-07-30 Imagination Technologies Limited Directional cross hair search system and method for determining a preferred motion vector
KR101078057B1 (ko) * 2009-09-08 2011-10-31 주식회사 팬택 영상인식기법을 이용한 촬영 제어 기능을 구비한 이동단말 및 영상인식기법을 이용한 촬영 제어 시스템
US8698918B2 (en) 2009-10-27 2014-04-15 Nvidia Corporation Automatic white balancing for photography
US8411750B2 (en) * 2009-10-30 2013-04-02 Qualcomm Incorporated Global motion parameter estimation using block-based motion vectors
US8314865B2 (en) 2009-12-23 2012-11-20 Nokia Corporation Lens shading correction
US8547440B2 (en) 2010-01-29 2013-10-01 Nokia Corporation Image correction for image capturing with an optical image stabilizer
US8451994B2 (en) 2010-04-07 2013-05-28 Apple Inc. Switching cameras during a video conference of a multi-camera mobile device
US8428390B2 (en) 2010-06-14 2013-04-23 Microsoft Corporation Generating sharp images, panoramas, and videos from motion-blurred videos
DE102010038341B4 (de) 2010-07-23 2023-12-07 Robert Bosch Gmbh Videoüberwachungssystem sowie Verfahren zur Konfiguration eines Videoüberwachungssystems
US8274552B2 (en) * 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US8705894B2 (en) 2011-02-15 2014-04-22 Digital Optics Corporation Europe Limited Image rotation from local motion estimates
US8587666B2 (en) * 2011-02-15 2013-11-19 DigitalOptics Corporation Europe Limited Object detection from image profiles within sequences of acquired digital images
US8587665B2 (en) * 2011-02-15 2013-11-19 DigitalOptics Corporation Europe Limited Fast rotation estimation of objects in sequences of acquired digital images
US8384787B2 (en) * 2011-02-24 2013-02-26 Eastman Kodak Company Method for providing a stabilized video sequence
GB2492529B (en) 2011-05-31 2018-01-10 Skype Video stabilisation
GB201116566D0 (en) * 2011-09-26 2011-11-09 Skype Ltd Video stabilisation
GB2497507B (en) 2011-10-14 2014-10-22 Skype Received video stabilisation
US9165187B2 (en) 2012-01-12 2015-10-20 Kofax, Inc. Systems and methods for mobile image capture and processing
US10146795B2 (en) 2012-01-12 2018-12-04 Kofax, Inc. Systems and methods for mobile image capture and processing
US9798698B2 (en) 2012-08-13 2017-10-24 Nvidia Corporation System and method for multi-color dilu preconditioner
US9508318B2 (en) 2012-09-13 2016-11-29 Nvidia Corporation Dynamic color profile management for electronic devices
US9307213B2 (en) 2012-11-05 2016-04-05 Nvidia Corporation Robust selection and weighting for gray patch automatic white balancing
US9208536B2 (en) 2013-09-27 2015-12-08 Kofax, Inc. Systems and methods for three dimensional geometric reconstruction of captured image data
US9355312B2 (en) 2013-03-13 2016-05-31 Kofax, Inc. Systems and methods for classifying objects in digital images captured using mobile devices
US20140316841A1 (en) 2013-04-23 2014-10-23 Kofax, Inc. Location-based workflows and services
EP2992481A4 (en) 2013-05-03 2017-02-22 Kofax, Inc. Systems and methods for detecting and classifying objects in video captured using mobile devices
US20140333782A1 (en) * 2013-05-07 2014-11-13 Texas Instruments Incorporated View-assisted image stabilization system and method
US9826208B2 (en) 2013-06-26 2017-11-21 Nvidia Corporation Method and system for generating weights for use in white balancing an image
US9756222B2 (en) 2013-06-26 2017-09-05 Nvidia Corporation Method and system for performing white balancing operations on captured images
KR102063102B1 (ko) * 2013-08-19 2020-01-07 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
WO2015073920A1 (en) 2013-11-15 2015-05-21 Kofax, Inc. Systems and methods for generating composite images of long documents using mobile video data
KR102154802B1 (ko) 2014-02-11 2020-09-11 삼성전자주식회사 전자 장치의 촬영 방법 및 그 전자 장치
EP3211904A4 (en) * 2014-10-20 2018-04-25 Sony Corporation Receiving device, transmitting device, and data processing method
US9760788B2 (en) 2014-10-30 2017-09-12 Kofax, Inc. Mobile document detection and orientation based on reference object characteristics
US20170351932A1 (en) * 2014-12-19 2017-12-07 Nokia Technologies Oy Method, apparatus and computer program product for blur estimation
US9992394B2 (en) 2015-03-18 2018-06-05 Gopro, Inc. Dual-lens mounting for a spherical camera
US9977226B2 (en) 2015-03-18 2018-05-22 Gopro, Inc. Unibody dual-lens mount for a spherical camera
US10447926B1 (en) * 2015-06-19 2019-10-15 Amazon Technologies, Inc. Motion estimation based video compression and encoding
US10165186B1 (en) 2015-06-19 2018-12-25 Amazon Technologies, Inc. Motion estimation based video stabilization for panoramic video from multi-camera capture device
US10242285B2 (en) 2015-07-20 2019-03-26 Kofax, Inc. Iterative recognition-guided thresholding and data extraction
US10467465B2 (en) 2015-07-20 2019-11-05 Kofax, Inc. Range and/or polarity-based thresholding for improved data extraction
US9779296B1 (en) 2016-04-01 2017-10-03 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
CN107040722B (zh) 2017-04-27 2019-02-15 维沃移动通信有限公司 一种拍摄方法及移动终端
US10803350B2 (en) 2017-11-30 2020-10-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
US11721712B2 (en) 2018-08-31 2023-08-08 Gopro, Inc. Image capture device

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5331365A (en) * 1990-10-15 1994-07-19 Olympus Optical Co., Ltd. Camera shaking detection apparatus
EP0831644A3 (en) * 1996-09-20 2000-01-12 Sony Corporation Image shake discriminator and stabilizer
US5832115A (en) * 1997-01-02 1998-11-03 Lucent Technologies Inc. Ternary image templates for improved semantic compression
JPH11298869A (ja) * 1998-04-14 1999-10-29 Canon Inc 通信端末及びそれを有するビデオフォン装置
FI109742B (fi) * 1999-10-26 2002-09-30 Nokia Corp Matkaviestin
JP3546784B2 (ja) 1999-12-14 2004-07-28 日本電気株式会社 携帯端末
US6834128B1 (en) * 2000-06-16 2004-12-21 Hewlett-Packard Development Company, L.P. Image mosaicing system and method adapted to mass-market hand-held digital cameras
JP2003032542A (ja) * 2001-07-19 2003-01-31 Mitsubishi Electric Corp 撮像装置
AU2003272202A1 (en) * 2002-06-21 2004-01-06 The Trustees Of Columbia University In The City Of New York Systems and methods for de-blurring motion blurred images
US20050237424A1 (en) * 2002-08-05 2005-10-27 Koninklijke Philips Electronics N.V. Device for mobile image communication
JP3914855B2 (ja) * 2002-10-15 2007-05-16 パナソニック モバイルコミュニケーションズ株式会社 携帯端末
JP3948387B2 (ja) * 2002-10-24 2007-07-25 松下電器産業株式会社 ディジタルカメラおよびディジタルカメラ付き携帯電話装置
JP2004304560A (ja) * 2003-03-31 2004-10-28 Fujitsu Ltd 電子装置
US7440634B2 (en) * 2003-06-17 2008-10-21 The Trustees Of Columbia University In The City Of New York Method for de-blurring images of moving objects
KR100810310B1 (ko) 2003-08-29 2008-03-07 삼성전자주식회사 조도차가 다른 영상의 재구성 장치 및 방법
KR100605935B1 (ko) 2003-10-31 2006-08-02 삼성전자주식회사 동영상 촬영 방법
KR100677303B1 (ko) * 2003-12-26 2007-02-05 엘지전자 주식회사 휴대 단말기
DE602005004496T2 (de) * 2004-12-28 2009-02-19 Seiko Epson Corp. Abbildungsgerät und tragbare Vorrichtung sowie tragbares Telefon damit
KR100703402B1 (ko) * 2005-03-24 2007-04-03 삼성전자주식회사 다방향으로 촬영되는 카메라 렌즈 모듈을 구비한 휴대단말기
US7724284B2 (en) * 2005-09-29 2010-05-25 Aptina Imaging Corporation Multi-camera system and method having a common processing block

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102883099A (zh) * 2011-07-14 2013-01-16 ***通信有限公司 一种拍摄防抖方法及装置
WO2013007164A1 (zh) * 2011-07-14 2013-01-17 ***通信集团公司 一种拍摄防抖方法及装置
CN102883099B (zh) * 2011-07-14 2015-03-11 ***通信有限公司 一种拍摄防抖方法及装置
CN104995905A (zh) * 2013-02-20 2015-10-21 索尼公司 图像处理设备、拍摄控制方法和程序
US10171728B2 (en) 2013-02-20 2019-01-01 Sony Corporation Image processing device, photographing control method, and program
CN104995905B (zh) * 2013-02-20 2019-05-31 索尼公司 图像处理设备、拍摄控制方法和程序
US10638035B2 (en) 2013-02-20 2020-04-28 Sony Corporation Image processing devices, image processing method, and non-transitory computer-readable medium
CN107071263A (zh) * 2016-12-30 2017-08-18 努比亚技术有限公司 一种图像处理方法及终端
CN107071263B (zh) * 2016-12-30 2020-02-18 努比亚技术有限公司 一种图像处理方法及终端
CN108366899A (zh) * 2017-08-02 2018-08-03 深圳前海达闼云端智能科技有限公司 一种图像处理方法、***以及智能导盲装置
CN111479035A (zh) * 2020-04-13 2020-07-31 Oppo广东移动通信有限公司 图像处理方法、电子装置及计算机可读存储介质
CN111479035B (zh) * 2020-04-13 2022-10-18 Oppo广东移动通信有限公司 图像处理方法、电子装置及计算机可读存储介质

Also Published As

Publication number Publication date
WO2008005595A2 (en) 2008-01-10
CN101485199B (zh) 2011-09-07
US7626612B2 (en) 2009-12-01
WO2008005595A3 (en) 2008-03-20
US20080004073A1 (en) 2008-01-03

Similar Documents

Publication Publication Date Title
CN101485199B (zh) 用于静态相机运动的视频校正的方法和设备
US10217200B2 (en) Joint video stabilization and rolling shutter correction on a generic platform
US8130277B2 (en) Method and system for intelligent and efficient camera motion estimation for video stabilization
US20210343041A1 (en) Method and apparatus for obtaining position of target, computer device, and storage medium
US9824426B2 (en) Reduced latency video stabilization
US20070076982A1 (en) System and method for video stabilization
US9055217B2 (en) Image compositing apparatus, image compositing method and program recording device
CN110322542A (zh) 重建真实世界3d场景的视图
WO2015044518A1 (en) Method and apparatus for video anti-shaking
KR20090019197A (ko) 손떨림에 의한 움직임 추정 장치 및 방법, 그를 이용한영상 촬상 장치
JP2006287921A (ja) 動画生成装置、動画生成方法、及びプログラム
KR20180102639A (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체
CN113099122A (zh) 拍摄方法、装置、设备和存储介质
CN113160277A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN113438409B (zh) 延迟校准方法、装置、计算机设备和存储介质
JP2007104516A (ja) 画像処理装置、および、画像処理方法、プログラム、並びに、記録媒体
CN113489909A (zh) 拍摄参数的确定方法、装置及电子设备
CN105791659A (zh) 图像处理方法和电子设备
CN113891005B (zh) 拍摄方法、装置及电子设备
CN112672058B (zh) 拍摄方法及装置
CN115589532A (zh) 防抖处理方法、装置、电子设备和可读存储介质
CN114286011A (zh) 对焦方法和装置
CN113807124B (zh) 图像处理方法、装置、存储介质及电子设备
CN113327228B (zh) 图像处理方法和装置、终端和可读存储介质
Vijayaratnam et al. A latency compensation framework for video transmission based on frame extrapolation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MOTOROLA MOBILITY, INC.

Free format text: FORMER OWNER: MOTOROLA INC.

Effective date: 20110125

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20110125

Address after: Illinois State

Applicant after: MOTOROLA MOBILITY, Inc.

Address before: Illinois State

Applicant before: Motorola, Inc.

C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
C56 Change in the name or address of the patentee
CP01 Change in the name or title of a patent holder

Address after: Illinois State

Patentee after: MOTOROLA MOBILITY LLC

Address before: Illinois State

Patentee before: MOTOROLA MOBILITY, Inc.

TR01 Transfer of patent right

Effective date of registration: 20160308

Address after: California, USA

Patentee after: Google Technology Holdings LLC

Address before: Illinois State

Patentee before: MOTOROLA MOBILITY LLC