CN108702453B - 用于校正所采集的图像的方法 - Google Patents

用于校正所采集的图像的方法 Download PDF

Info

Publication number
CN108702453B
CN108702453B CN201780012215.7A CN201780012215A CN108702453B CN 108702453 B CN108702453 B CN 108702453B CN 201780012215 A CN201780012215 A CN 201780012215A CN 108702453 B CN108702453 B CN 108702453B
Authority
CN
China
Prior art keywords
image
measurements
line
device motion
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780012215.7A
Other languages
English (en)
Other versions
CN108702453A (zh
Inventor
P·斯特克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fotonation Ltd
Original Assignee
Fotonation Ireland Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fotonation Ireland Ltd filed Critical Fotonation Ireland Ltd
Publication of CN108702453A publication Critical patent/CN108702453A/zh
Application granted granted Critical
Publication of CN108702453B publication Critical patent/CN108702453B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689Motion occurring during a rolling shutter mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20201Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

本发明公开了一种校正由图像采集设备获得的图像的方法,所述方法包括获得在图像的每行的曝光期间的设备运动的连续测量结果(Gn)。与所述图像的每行的曝光时间(te)成比例地选择积分范围(idx)。在整个所述积分范围内对图像的每行的设备运动的所累积的测量结果(Cn)取平均,以提供在图像的每行的曝光期间的设备运动的连续经滤波的测量结果
Figure DDA0001769497460000011
使用所述经滤波的测量结果
Figure DDA0001769497460000012
针对设备运动来校正所述图像。

Description

用于校正所采集的图像的方法
技术领域
本发明涉及用于校正所采集的图像的方法。
背景技术
参见图1,图像采集设备10通常包括图像处理流水线(IPP)12,该图像处理流水线从图像传感器(未示出)获取采集的图像数据,对原始图像数据进行基本处理诸如色彩平衡,并经由***总线20向***存储器14写入采集的图像或图像的部分。可通过IPP 12在24fps多至60fps甚至240fps的帧速率下采集图像帧。
此类图像采集设备10可包括下游专用图像处理单元,该下游专用图像处理单元可分析采集的图像并处理此类图像以从图像提取信息或校正图像。此类处理可包括面部检测和跟踪、对象识别或失真校正,诸如PCT专利申请WO2014/005783(参考:FN-384)中所公开的。在本说明书中,此类处理单元(其可为专用硬件模块或通用中央处理单元(CPU))被指示为处理单元(PU)16,该处理单元能够运行低级固件/软件,或者就CPU、应用软件而言,能够从存储器14获取图像信息并进一步处理图像。
在本说明书中,我们参考由IPP 12提供的图像,然而应当理解,这些图像可包括单独采集的图像或视频序列内的图像。
众所周知,图像采集设备10包括惯性测量单元(IMU)18,这些惯性测量单元记录图像采集期间的设备运动的轨迹,使得一个或多个处理单元16能够使用该信息来校正所采集的图像以考虑由图像捕获期间的无意识或不期望的设备运动引起的模糊或者稳定视频序列,例如,如US2006/140503以及Sung Hee&Park Marc Levoy“Gyro-Based Multi-ImageDeconvolution for Removing Handshake Blur”,pp 3366-3373,Conference onComputer Vision and Pattern Recognition,23-28June 2014(Sung Hee和Park MarcLevoy,“用于去除手抖动模糊的基于陀螺仪的多图像去卷积”,第3366-3373页,计算机视觉与模式识别会议,2014年6月23-28日)中所公开。IMU 18可包括
陀螺仪、加速度计和磁力计的任何组合。通常,无意识或不期望的设备运动模糊是由人手抖动或颤抖引起的,这不同于摄影师或摄像师在试图模拟运动模糊或捕获运动对象的图像时所使用的有意扫掠运动。
参见图2(a),一些图像采集设备采用滚动快门技术,其中在连续曝光间隔期间从图像传感器读取图像的一条或多条线(一行或多行)。图像传感器的每条线或每组线R1,R2,R3,R4…在特定时间段tI1内曝光,这意味着光强度对该时间段积分。如果采集设备在曝光时间期间运动,则总线曝光是来自不同方向的光之和。如果图像采集设备在使用滚动快门的图像采集期间受到相对高频的振动运动,即频率(f)高于该图像帧的总曝光时间tf,则场景内的纵向直边可看起来如线22所指示的那样振荡。
让我们首先假定IMU样本与图像传感器的每个(每组)线R1,R2,R3,R4 的曝光开始之间完全同步。当曝光时间非常短时,即在振动频率(f)小于1/tI1的情况下(其中tI1是线的曝光时间),所捕获的图像表示给定相机取向的短暂时刻。在这种情况下,在给定(组)线(每条线大体呈线性或至少是单调的)的曝光时间期间,图像特征的运动与IMU传感器所记录的运动有很好的相关性。因此,通过将IMU信号延迟曝光时间tI1的1/2,可根据IMU传感器数据来校正这种图像。
然而,在曝光时间延长(tI2>tI1)的情况下,这种校正变得不合适。因此参见图2(b),在没有校正的情况下使用滚动快门(其中振动处于高于1/tI2的频率(f))捕获的垂直线呈现为图像内的模糊线24。根据IMU传感器数据执行的校正此时开始引入过度补偿,这在极端情况下会使经校正的结果看起来更糟,具体方式是使线24进一步失真,沿相反方向拉伸该线的交替段而不使线细节去模糊。
因此虽然即使采用tI2>tI1的长曝光图像仍可适当地补偿相对较慢(较低频率)的相机运动,但如果相机在高于1/t(图像线的曝光时间)的频率下振动,则过度补偿特别明显。
这在无人机载相机中成为了特别的问题,其中由无人机旋翼所引起的振动可为大约100Hz的级别。对于在高光水平下采集的图像而言,可采用少至1ms的曝光时间,因此这些图像的常规校正不受振动的影响。然而,对于在光线较弱的环境中采集的图像而言,可需要多至30ms左右的曝光水平,并且如果使用常规技术校正,这些图像可严重失真。
这促使人们通过使校正幅度成为曝光时间的直接函数(即,与曝光时间成比例地抑制校正程度)来解决上述问题。然而,这不能提供令人满意的解决方案,因为这会以相同方式影响所有振动频率,故而例如受到低频率抖动的较长曝光图像的校正变得特别不令人满意。
发明内容
根据本发明,提供了根据权利要求1所述的校正图像的方法。
实施方案对惯性测量单元所提供的数据进行滤波,以便对可受到比图像传感器的读出频率更高的振动频率的、具有不同曝光时间的图像提供稳定作用。
本发明基于以下观察结果:对于较长曝光时间的图像而言,机械振动(通常大于人手抖动或颤抖频率且例如由无人机电机引起)会引起所采集的图像(包括视频序列内的图像)内的振荡运动模糊。
使用本发明的实施方案对受到高频振动的此类较长曝光时间的图像的校正不必从该图像去除高频运动模糊,但这会防止该图像的进一步失真。
无法使用通常内置于设备IMU内的陀螺仪中的低通滤波器实现相同的结果。这些低通滤波器意在防止采样所引起的任何混叠伪像并降低信号噪声。通常,它们为惯性导航之类的应用或依赖于设备取向的应用提供若干预定义的滤波器设置,其中所测量的信号的频率分量相对较低。这些滤波器被实现为具有相位延迟的IIR滤波器,该相位延迟与曝光时间不相关并且对于不同信号频率而言可不同。
附图说明
现在将参考附图以举例的方式来描述本发明的实施方案,在附图中:
图1是根据本发明的实施方案的图像采集设备的框图;并且
图2示出了在来自滚动快门曝光的相应图像的曝光期间采集设备运动的效应。
具体实施方式
在本发明的实施方案中,IMU传感器数据对所采集的图像的线的曝光时间积分,故而趋于对设备运动的记录取平均。因此,针对在图像的每条线的曝光时间期间的平均相机取向来计算对该线的校正。重要的是,积分器的范围(或积分器的拐角频率)是图像曝光时间的函数。
在一个实施方案中,IMU传感器数据包括陀螺仪样本并且方法操作如下:
1.将连续陀螺仪样本Gn添加到累加缓冲区,其中每个新元素是当前值Gn与添加到该缓冲区的所有先前样本值之和。与样本Gn相对应的累加值表示为Cn
2.按如下方式根据陀螺仪采样频率F和曝光时间te来计算累加缓冲区的指数:idx=F*te
3.计算平均陀螺仪速率:
Figure GDA0001769497510000044
4.平均速率
Figure GDA0001769497510000041
用作相机取向的数值积分。正是这些经滤波的值
Figure GDA0001769497510000042
随后用于代替对应初始样本Gn的轨迹以便以其他常规方式校正图像的对应线。可以看出,该滤波模式不需要任何附加校正,并且将自动地适应于改变曝光时间。
可以看出,对于短曝光图像而言,idx将较短,因此曝光时间期间的设备运动的线性近似值
Figure GDA0001769497510000043
将提供与初始样本G类似的值,故而将适用于校正此类图像。另一方面,当曝光时间增加时,取平均将具有不过度校正受到高频振动的图像的效应,但仍可为受到人手抖动或颤抖的图像提供有用的校正。
虽然已就陀螺仪样本描述了上述示例,但在需要完全传感器融合的具体实施中,相同技术可应用于来自所有IMU传感器(陀螺仪、加速度计、磁力计)的样本值。
不论图像是否是使用滚动快门技术采集的,均可采用上述方法。在图像的线被连续地曝光的情况下,可采用如上那样滤波的连续对应IMU测量结果来校正在这些线的曝光期间的设备运动;而对于所有线被同时曝光的图像而言,将如上那样滤波的相同IMU测量结果应用于所有线。
上述经滤波的IMU传感器信号可用于诸如名称为“A method of stabilizing asequence of images”(稳定图像序列的方法)的美国申请no.15/048,149(参考号:FN-474-US)中所公开的电子图像稳定(EIS)方案,以代替常规用于减轻由图像捕获期间的相机的高频振动引起的问题的原始传感器信号。

Claims (5)

1.一种校正由图像采集设备获得的图像的方法,包括:
对于所述图像的每行而言,获得在所述行的曝光期间的设备运动的一个或多个连续测量结果Gn
选择积分范围idx,所述积分范围按如下方式根据设备运动的所述测量结果的采样频率F和所述图像的每个所述行的曝光时间te来计算:idx=F*te
在整个所述积分范围内对所述图像的每个所述行的设备运动的所累积的测量结果Cn取平均,其中Cn=Cn-1+Gn,方式如下:
Figure FDA0001769497500000011
其中Cn是与测量结果Gn相对应的所累积的值,并且Cn-idx是与所述积分范围开始时的测量结果Gn-idx相对应的所累积的值,以提供所述图像的每个所述行的设备运动的连续经滤波的测量结果
Figure FDA0001769497500000012
以及
使用所述经滤波的测量结果
Figure FDA0001769497500000013
针对设备运动来校正所述图像。
2.根据权利要求1所述的方法,其中设备运动的所述测量结果包括以下任何一者:陀螺仪、加速度计或磁力计测量结果。
3.根据权利要求1所述的方法,其中所述图像包括静态图像或图像序列内的图像。
4.根据权利要求1所述的方法,其中所述图像的所述行在连续曝光时间tI期间采集,设备运动的所述测量结果与相应曝光时间相对应。
5.一种用于图像采集设备的处理单元,所述处理单元被布置为根据权利要求1所述的方法来校正图像。
CN201780012215.7A 2016-02-19 2017-02-09 用于校正所采集的图像的方法 Active CN108702453B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/048,224 US9934559B2 (en) 2016-02-19 2016-02-19 Method for correcting an acquired image
US15/048,224 2016-02-19
PCT/EP2017/052822 WO2017140566A1 (en) 2016-02-19 2017-02-09 A method for correcting an acquired image

Publications (2)

Publication Number Publication Date
CN108702453A CN108702453A (zh) 2018-10-23
CN108702453B true CN108702453B (zh) 2020-05-15

Family

ID=58044046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780012215.7A Active CN108702453B (zh) 2016-02-19 2017-02-09 用于校正所采集的图像的方法

Country Status (4)

Country Link
US (3) US9934559B2 (zh)
EP (1) EP3417607B1 (zh)
CN (1) CN108702453B (zh)
WO (1) WO2017140566A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017032468A1 (en) * 2015-08-26 2017-03-02 Fotonation Limited Image processing apparatus
US9934559B2 (en) * 2016-02-19 2018-04-03 Fotonation Limited Method for correcting an acquired image
US11477382B2 (en) 2016-02-19 2022-10-18 Fotonation Limited Method of stabilizing a sequence of images
US10663751B2 (en) 2016-06-16 2020-05-26 Fotonation Limited Gimbal adjustment system
US10474148B2 (en) * 2016-07-27 2019-11-12 General Electric Company Navigating an unmanned aerial vehicle
US10179607B2 (en) * 2016-08-03 2019-01-15 Aptiv Technologies Limited Lane keeping system for autonomous vehicle in wind conditions using vehicle roll
US20180302455A1 (en) * 2017-04-18 2018-10-18 Facebook, Inc. Systems and methods for adjusting video transmission bitrates

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101059339A (zh) * 2007-04-30 2007-10-24 中国科学院合肥物质科学研究院 基于结构光技术的野外泥石流运动测量***及方法
CN101755448A (zh) * 2007-07-20 2010-06-23 伊斯曼柯达公司 校正曝光期间的成像设备运动
CN105191283A (zh) * 2013-03-29 2015-12-23 索尼公司 摄像装置、固体摄像元件、相机模块、电子设备及摄像方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4310645B2 (ja) * 2004-12-28 2009-08-12 ソニー株式会社 撮像画像信号の歪み補正方法および撮像画像信号の歪み補正装置
US7796872B2 (en) * 2007-01-05 2010-09-14 Invensense, Inc. Method and apparatus for producing a sharp image from a handheld device containing a gyroscope
US9100514B2 (en) * 2009-10-28 2015-08-04 The Trustees Of Columbia University In The City Of New York Methods and systems for coded rolling shutter
US8913140B2 (en) * 2011-08-15 2014-12-16 Apple Inc. Rolling shutter reduction based on motion sensors
US8786716B2 (en) * 2011-08-15 2014-07-22 Apple Inc. Rolling shutter reduction based on motion sensors
US8976254B2 (en) * 2012-06-08 2015-03-10 Apple Inc. Temporal aliasing reduction and coding of upsampled video
US8928730B2 (en) * 2012-07-03 2015-01-06 DigitalOptics Corporation Europe Limited Method and system for correcting a distorted input image
US9280810B2 (en) * 2012-07-03 2016-03-08 Fotonation Limited Method and system for correcting a distorted input image
CN104364608B (zh) * 2013-04-15 2017-11-24 松下知识产权经营株式会社 距离测定装置以及距离测定方法
US9491360B2 (en) * 2013-06-06 2016-11-08 Apple Inc. Reference frame selection for still image stabilization
US10298843B2 (en) * 2014-04-22 2019-05-21 Sony Semiconductor Solutions Corporation Image processing device, image processing method, and electronic apparatus for motion detection in image
US9674438B2 (en) * 2014-07-06 2017-06-06 Apple Inc. Low light video image stabilization strength modulation
GB201412818D0 (en) * 2014-07-18 2014-09-03 Omg Plc Minimisation of blur in still image capture
JP2016046555A (ja) * 2014-08-20 2016-04-04 株式会社リコー 撮像装置、画像処理方法及び画像処理プログラム
US9596411B2 (en) * 2014-08-25 2017-03-14 Apple Inc. Combined optical and electronic image stabilization
FR3027143B1 (fr) * 2014-10-10 2016-11-11 Parrot Appareil mobile, notamment drone a voilure tournante, muni d'une camera video delivrant des sequences d'images corrigees dynamiquement de l'effet "wobble"
US9743001B1 (en) * 2016-02-19 2017-08-22 Fotonation Limited Method of stabilizing a sequence of images
US9934559B2 (en) * 2016-02-19 2018-04-03 Fotonation Limited Method for correcting an acquired image
US10911680B2 (en) * 2018-12-28 2021-02-02 Intel Corporation Method and system of geolocation and attitude correction for mobile rolling shutter cameras
US10983363B2 (en) * 2019-09-19 2021-04-20 Fotonation Limited Method for stabilizing a camera frame of a video sequence

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101059339A (zh) * 2007-04-30 2007-10-24 中国科学院合肥物质科学研究院 基于结构光技术的野外泥石流运动测量***及方法
CN101755448A (zh) * 2007-07-20 2010-06-23 伊斯曼柯达公司 校正曝光期间的成像设备运动
CN105191283A (zh) * 2013-03-29 2015-12-23 索尼公司 摄像装置、固体摄像元件、相机模块、电子设备及摄像方法

Also Published As

Publication number Publication date
US20180330478A1 (en) 2018-11-15
US20200143523A1 (en) 2020-05-07
EP3417607B1 (en) 2020-11-25
CN108702453A (zh) 2018-10-23
US10515439B2 (en) 2019-12-24
EP3417607A1 (en) 2018-12-26
US11257192B2 (en) 2022-02-22
WO2017140566A1 (en) 2017-08-24
US9934559B2 (en) 2018-04-03
US20170243330A1 (en) 2017-08-24

Similar Documents

Publication Publication Date Title
CN108702453B (zh) 用于校正所采集的图像的方法
JP4500875B2 (ja) モーションブラー効果を除去する方法および装置
US9596411B2 (en) Combined optical and electronic image stabilization
US9253402B2 (en) Video anti-shaking method and video anti-shaking device
US20120307086A1 (en) Video Stabilization
WO2004056089A2 (en) Image stabilisation system and method
JP5499050B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
KR102331538B1 (ko) 영상 안정화 방법, 장치 및 컴퓨터 기록매체
US20150310594A1 (en) Method for imaging processing, and image processing device
JP2007114466A (ja) 手ぶれ補正機能を有する撮影装置
JP2012058545A (ja) 撮像装置
DE102014207703A1 (de) Bildaufnahmevorrichtung, verfahren zu deren steuerung, und speichermedium
JP2011114407A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
KR20150024733A (ko) 왜곡제거장치 및 방법
JP3740398B2 (ja) 振れ補正装置、振れ補正装置に適用される制御装置、振れ補正装置に適用される制御方法、振れ補正装置に適用される制御プログラム、撮像装置
US20110293197A1 (en) Image processing apparatus and method
US11956539B2 (en) Correction control apparatus, image capturing apparatus, control method, and recording medium
KR101248225B1 (ko) 팬, 틸트, 줌 기능을 갖는 돔 카메라에서의 영상 디블러링 방법
CN115396594A (zh) 视频拍摄的方法、装置、电子设备
JP2017216657A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2007221710A (ja) 画像処理装置、撮影装置、画像処理方法、および、制御プログラム
JP2012054902A (ja) 画像ブレ軽減法
KR20120116181A (ko) 흔들림 보정 장치 및 이를 포함하는 디지털 촬영장치
JP2007158772A (ja) 撮像装置、撮像方法及びそのプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant