CN105577984A - 复合mems-imu的电子稳像装置 - Google Patents

复合mems-imu的电子稳像装置 Download PDF

Info

Publication number
CN105577984A
CN105577984A CN201510992472.4A CN201510992472A CN105577984A CN 105577984 A CN105577984 A CN 105577984A CN 201510992472 A CN201510992472 A CN 201510992472A CN 105577984 A CN105577984 A CN 105577984A
Authority
CN
China
Prior art keywords
imu
mems
imageing sensor
electronic image
stabilization device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510992472.4A
Other languages
English (en)
Inventor
刘东升
唐湘成
曾晶
肖柯
雍杨
黄正中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South West Institute of Technical Physics
Original Assignee
South West Institute of Technical Physics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South West Institute of Technical Physics filed Critical South West Institute of Technical Physics
Priority to CN201510992472.4A priority Critical patent/CN105577984A/zh
Publication of CN105577984A publication Critical patent/CN105577984A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开的一种复合MEMS-IMU的电子稳像装置，旨在提供一种结构简单，成本低，稳像精度高，抗干扰能力强，图像处理运动估计运算量小的电子稳像装置，本发明通过下述技术方案予以实现：图像传感器读出电路(3)、信号处理器(4)和MEMS-IMU(5)与电路组件(6)构成一体；图像传感器(2)将光学镜头(1)入射的光信号转化为电信号，输送至读出电路输出原始视频图像数据；信号处理器在图像电子稳像的信号处理中融入MEMS-IMU的惯性测量信息，将上述原始视频图像数据和MEMS-IMU输出的惯性测量数据进行融合，利用MEMS-IMU信息解算出摄像机的运动向量,通过自适应卡尔曼滤波分离出抖动分量,对原始视频数据进行运动补偿输出稳定的视频数据。

Description

复合MEMS-IMU的电子稳像装置
技术领域
本发明涉及图像处理领域中一种将MEMS-IMU与图像信息融合的电子稳像装置。
背景技术
稳像技术广泛应用于机器人远程遥控***、观瞄***、视频监控***以及图像导航***等,是目标检测与跟踪的关键预处理技术,是移动成像***不可缺少的一种重要视频增强技术。获取稳定清晰的视频输出对其后续工作的展开具有重要意义。摄像***的工作环境很多时候不可控，不可避免的受到载体振动的影响，造成对视频图像不稳定的抖动干扰，比如安装在车辆、飞机、舰船等运动跟踪***的摄像装置，因载体姿态变动受到振动干扰，造成拍摄的图像模糊不清，可能导致目标识别时产生虚警和漏警或更严重的后果；有效消除因摄像装置抖动而造成的图像抖动，同时又能保留其固有的正常运动，且不降低视频图像的质量，是视频图像稳像领域的关键。稳像技术的发展经历了机械稳像,光学稳像和电子稳像三大阶段。机械稳像是将摄像机固定在稳定伺服平台上，通过伺服控制转动平台达到稳像效果，其精度要受到***精度的影响，控制***复杂；光学稳像是通过光路中光学元件对扰动进行补偿，使入射光线照在CCD或红外传感器的相同的位置上，这种方式对制造技术要求较高、结构复杂以及成本较高；电子稳像技术的研究始于20世纪80年代中期，电子稳像是集电子学、计算机、图像识别等技术于一体，直接确定图像序列帧间映射关系并进行补偿的新一代序列图像稳定技术，旨在消除视频序列中的随机运动。与传统的机械和光学稳像***相比，电子稳像***具有易于操作、稳像精度高、体积小、重量轻、能耗低以及高智能化的实时处理等优点，利用电子稳像技术实现视频图像序列稳定是现代稳像技术的发展方向之一。商用摄像机、监视器的嵌入式电子稳像***也成为目前电子稳像技术的研究热点。
电子稳像***结构主要由运动估计、运动滤波和图像补偿等三大模块组成。电子稳像的运动估计是指图像帧间全局运动的估计，运动估计约占整个稳像过程计算量的70％以上。帧间全局运动向量包括抖动分量和相机主动运动分量，将抖动分量分离出来的过程即是运动滤波。运动滤波的原理主要基于两种方式，一种是将抖动看作噪声干扰，采用低通FIR滤波器、卡尔曼滤波器等；另一种是从运动学角度分析，应用曲线拟合模拟出一条光滑路径，作为相机扫描运动的轨迹。图像补偿是根据分离出的抖动运动向量对每帧图像做几何变换。新图像帧中的像素值需要通过灰度插值确定，常用插值方法有最近邻插值、双线性插值和立方卷积插值。
发明内容
本发明目的是针对现有技术存在的不足之处，提供一种结构简单，成本低，稳像精度高，抗干扰能力强，图像处理运动估计运算量小的电子稳像装置，并且能够具备比常规单一依靠图像信息处理的电子稳像装置更强的适应能力。
本发明的目的是通过下述技术方案实现的。一种复合MEMS-IMU的电子稳像装置，包括光学镜头1、图像传感器2、图像传感器读出电路3、信号处理器4和MEMS-IMU5，其特征在于：图像传感器读出电路3、信号处理器4和MEMS-IMU5构成一体电路组件6；图像传感器2将光学镜头1入射的光信号转化为电信号，输送至读出电路3输出原始视频图像数据；信号处理器4在图像电子稳像的信号处理中，融入MEMS-IMU的惯性测量信息，将上述原始视频图像数据和MEMS-IMU5输出的惯性测量数据进行融合，利用MEMS-IMU5信息解算出摄像机的运动向量,通过自适应卡尔曼滤波分离出抖动分量,对原始视频数据进行运动补偿输出稳定的视频数据。
本发明相比于现有技术具有如下有益效果：
结构简单，成本低。本发明将读出电路3、信号处理器4和MEMS-IMU5与电路组件6构成一体，结构简单，并将光学镜头1、图像传感器2和电路组件6装配成为整体固件，安装在摄像机9的内框架上，确保图像传感器2与MEMS-IMU5能够保持固定的坐标连接关系，所构成的复合MEMS-IMU电子稳像装置成本低。通过MEMS-IMU和图像这两类异质传感器的信息融合，具备比常规单一依靠依靠图像信息稳像的或机械稳像的稳像装置更强的处理能力，可以有效解决单纯靠图像信息难以克服的景深、旋转、误差累计等技术难题；同时有效解决了单一机械稳像装置面临的控制***复杂、结构复杂、高成本等问题。
稳像精度高，抗干扰能力强。本发明图像传感器2将光学镜头1入射的光信号转化为电信号，输送至读出电路3输出原始视频图像数据；通过MEMS-IMU与图像信息融合减小图像处理运算量和误差，提高了稳定精度和抗干扰能力。由于MEMS-IMU的惯性测量信息采样速率远高于图像信息数据，因此图像稳像的信号处理中融入MEMS-IMU的惯性测量信息，不仅能够提高数据的更新率，更有利于提高稳像精度。通过图像与MEMS-IMU惯性信息的异质信息融合，实现两种稳像方式的优势互补，可得到更高质量、更稳定的稳像效果。
图像处理运动估计运算量小。本发明信号处理器4在图像电子稳像的信号处理中融入的MEMS-IMU的惯性测量信息，利用MEMS-IMU信息解算出摄像机的运动向量,通过自适应卡尔曼滤波分离出抖动分量,对原始视频数据进行运动补偿输出稳定的视频数据，可减小图像处理运动估计的运算量，且提高了运动向量估计的精度，可将节省的运算资源用于运动滤波和图像补偿，达到减小图像信息和质量损失的目的，提高稳像的稳定性和抗干扰能力。
附图说明
下图结合附图和实施例进一步说明本发明，但并不因此将本发明限制在所属的实施例范围之中。
图1是本发明复合MEMS-IMU的电子稳像装置的组成原理示意图。
图2是图1各组件信号流向示意图。
图3是本发明的第一个实施例的组成关系示意图。
图4是本发明的第二个实施例的组成关系示意图。
图中：1光学镜头；2图像传感器；3图像传感器读出电路；4信号处理器；5MEMS-IMU；6电路组件；7摄像机；8可将光变焦镜头；9大面阵可见光CCD/CMOS图像传感器；10大面阵可见光CCD/CMOS图像传感器读出电路；11红外定焦镜头；12非制冷红外图像传感器；13红外读出电路。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
参阅图1、图2。在以下描述的实施例中，复合MEMS-IMU的电子稳像装置由光学镜头1、图像传感器2、图像传感器读出电路3、信号处理器4和MEMS-IMU5及摄像机结构框架7构成。其中，光学镜头1、图像传感器2和电路组件6装配成为整体固件，安装在摄像机7的内框架上，确保图像传感器2与MEMS-IMU5能够保持固定的坐标连接关系。工作过程中，图像传感器2将入射的光信号转化为电信号，输送至可见光图像传感器读出电路3，该输出电路将电信号转化为输出的原始视频图像数据；原始视频图像数据和MEMS-IMU的惯性测量数据输送至信号处理器4，信号处理器4在图像电子稳像的信号处理中，融入MEMS-IMU的惯性测量信息，将上述原始视频图像数据和MEMS-IMU5输出的惯性测量数据进行融合。信号处理器4利用MEMS-IMU信息解算出摄像机的运动向量,通过自适应卡尔曼滤波分离出抖动分量,对原始视频数据进行运动补偿输出稳定的视频数据。光学镜头1可以是可见光变焦镜头8或红外定焦镜头11，图像传感器可以是大面阵可见光CCD/COMS图像传感器9或非制冷红外图像传感器12，图像传感器读出电路3可以是大面阵可见光CCD/COMS图像传感器读出电路10或红外读出电路13，其中可见光变焦镜头8或红外定焦镜头11顺次串联大面阵可见光CCD/COMS图像传感器9或非制冷红外图像传感器12、大面阵可见光CCD/COMS图像传感器读出电路10或红外读出电路13和信号处理器4，安装在摄像机7的内框架上，MEMS-IMU5的中心与大面阵可见光CCD/COMS图像传感器9或非制冷红外图像传感器12中心对齐并与大面阵可见光CCD/COMS图像传感器读出电路10或红外读出电路13联接信号处理器4构成复合MEMS-IMU的电子稳像装置。
在图3所示实施例1中，复合MEMS-IMU的电子稳像装置是由可见光变焦镜头8、大面阵可见光CCD/COMS图像传感器9、大面阵可见光CCD/COMS图像传感器读出电路10，大面阵可见光CCD/COMS图像传感器读出电路10、信号处理器4和MEMS-IMU5及摄像机结构框架7构成的。可见光变焦镜头8、CCD/COMS图像传感器9和MEMS-IMU5装配成为整体固件，确保CCD/COMS图像传感器9与MEMS-IMU5能够保持固定的坐标连接关系。工作过程中，CCD/COMS图像传感器9将入射的光信号转化为电信号，输送至大面阵可见光CCD/COMS图像传感器读出电路10，该输出电路将电信号转化为输出的原始视频图像数据；原始视频图像数据和MEMS-IMU的惯性测量数据输送至信号处理器4，信号处理器4将上述原始视频图像数据和MEMS-IMU5输出的惯性测量数据进行融合，利用MEMS-IMU信息解算出摄像机的运动向量,通过自适应卡尔曼滤波分离出抖动分量,采用双线性插值方法对原始视频数据进行运动补偿，最终输出稳定的视频数据。
在图4所示实施例2中，复合MEMS-IMU的电子稳像装置是由红外定焦镜头11、非制冷红外图像传感器12、红外读出电路13，信号处理器4和MEMS-IMU5及摄像机结构框架7构成的。红外定焦镜头11顺次串联非制冷红外图像传感器12、红外读出电路13和信号处理器4，安装在摄像机7的内框架上，MEMS-IMU5位于红外读出电路13上方并联接信号处理器4构成复合MEMS-IMU的电子稳像装置。
非制冷图像传感器12和MEMS-IMU5装配成为整体固件，确保非制冷图像传感器12与MEMS-IMU5能够保持固定的坐标连接关系。工作过程中，非制冷图像传感器12将入射的光信号转化为电信号，输送至红外读出电路13，该输出电路将电信号转化为输出的原始视频图像数据输送至信号处理器4；同时MEMS-IMU的惯性测量数据输送至信号处理器4，信号处理器4将上述原始视频图像数据和MEMS-IMU5输出的惯性测量数据进行融合，利用MEMS-IMU信息解算出摄像机的运动向量,通过自适应卡尔曼滤波分离出抖动分量,采用双线性插值方法对原始视频数据进行运动补偿输出稳定的视频数据。

Claims (10)

1.一种复合MEMS-IMU的电子稳像装置，包括：光学镜头(1)、图像传感器(2)、图像传感器读出电路(3)、信号处理器(4)和MEMS-IMU(5)，其特征在于：图像传感器读出电路(3)、信号处理器(4)和MEMS-IMU(5)构成一体电路组件(6)；图像传感器(2)将光学镜头1入射的光信号转化为电信号，输送至读出电路(3)输出原始视频图像数据；信号处理器(4)在图像电子稳像的信号处理中，融入MEMS-IMU的惯性测量信息，将上述原始视频图像数据和MEMS-IMU(5)输出的惯性测量数据进行融合，利用MEMS-IMU(5)信息解算出摄像机的运动向量,通过自适应卡尔曼滤波分离出抖动分量,对原始视频数据进行运动补偿输出稳定的视频数据。
2.如权利要求1所述的复合MEMS-IMU的电子稳像装置，其特征在于：光学镜头(1)、图像传感器(2)和电路组件(6)装配成为整体固件，安装在摄像机(7)的内框架上，确保图像传感器(2)与MEMS-IMU(5)能够保持固定的坐标连接关系。
3.如权利要求1所述的复合MEMS-IMU的电子稳像装置，其特征在于：信号处理器(4)利用MEMS-IMU信息解算出摄像机的运动向量,通过自适应卡尔曼滤波分离出抖动分量,对原始视频数据进行运动补偿输出稳定的视频数据。
4.如权利要求1所述的复合MEMS-IMU的电子稳像装置，其特征在于：所述的复合MEMS-IMU的电子稳像装置是由可见光变焦镜头(8)、大面阵可见光CCD/COMS图像传感器(9)、大面阵可见光CCD/COMS图像传感器读出电路(10)、信号处理器(4)和MEMS-IMU(5)及摄像机结构框架(7)构成的。
5.如权利要求4所述的复合MEMS-IMU的电子稳像装置，其特征在于：可见光变焦镜头(8)顺次串联大面阵可见光CCD/COMS图像传感器(9)、大面阵可见光CCD/COMS图像传感器读出电路(10)和信号处理器(4)，安装在摄像机(7)的内框架上，MEMS-IMU(5)的中心与大面阵可见光CCD/COMS图像传感器(9)中心对齐并与大面阵可见光CCD/COMS图像传感器读出电路(10)联接信号处理器(4)构成复合MEMS-IMU的电子稳像装置。
6.如权利要求4所述的复合MEMS-IMU的电子稳像装置，其特征在于：可见光变焦镜头(8)、CCD/COMS图像传感器(9)和MEMS-IMU(5)装配成为整体固件，确保CCD/COMS图像传感器(9)与MEMS-IMU(5)能够保持固定的坐标连接关系。
7.如权利要求4所述的复合MEMS-IMU的电子稳像装置，其特征在于：工作过程中，CCD/COMS图像传感器(9)将入射的光信号转化为电信号，输送至大面阵可见光CCD/COMS图像传感器读出电路(10)将电信号转化为输出的原始视频图像数据。
8.如权利要求1所述的复合MEMS-IMU的电子稳像装置，其特征在于：复合MEMS-IMU的电子稳像装置是由红外定焦镜头(11)、非制冷红外图像传感器(12)、红外读出电路(13)，信号处理器(4)和MEMS-IMU(5)及摄像机结构框架(7)构成的。
9.如权利要求8所述的复合MEMS-IMU的电子稳像装置，其特征在于：非制冷图像传感器(12)和MEMS-IMU(5)装配成为整体固件，确保非制冷图像传感器(12)与MEMS-IMU(5)能够保持固定的坐标连接关系。
10.如权利要求4或8所述的复合MEMS-IMU的电子稳像装置，其特征在于：可见光变焦镜头(8)或红外定焦镜头(11)顺次串联CCD/COMS图像传感器(9)或非制冷红外图像传感器(12)、大面阵可见光CCD/COMS图像传感器读出电路(10)或红外读出电路(13)和信号处理器(4)，安装在摄像机(7)的内框架上，MEMS-IMU(5)的中心与大面阵可见光CCD/COMS图像传感器(9)或非制冷红外图像传感器(12)中心对齐并与大面阵可见光CCD/COMS图像传感器读出电路(10)或红外读出电路(13)联接信号处理器(4)构成复合MEMS-IMU的电子稳像装置。
CN201510992472.4A 2015-12-27 2015-12-27 复合mems-imu的电子稳像装置 Pending CN105577984A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510992472.4A CN105577984A (zh) 2015-12-27 2015-12-27 复合mems-imu的电子稳像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510992472.4A CN105577984A (zh) 2015-12-27 2015-12-27 复合mems-imu的电子稳像装置

Publications (1)

Publication Number Publication Date
CN105577984A true CN105577984A (zh) 2016-05-11

Family

ID=55887604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510992472.4A Pending CN105577984A (zh) 2015-12-27 2015-12-27 复合mems-imu的电子稳像装置

Country Status (1)

Country Link
CN (1) CN105577984A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107727141A (zh) * 2017-09-28 2018-02-23 河南汇纳科技有限公司 一种多目标感知的智能传感器的应用方法
CN110312068A (zh) * 2018-03-20 2019-10-08 罗伯特·博世有限公司 图像捕获设备和处理方法
CN111405186A (zh) * 2020-03-31 2020-07-10 维沃移动通信（杭州）有限公司 摄像模组以及电子设备
CN115623295A (zh) * 2022-10-09 2023-01-17 云科智控(武汉)科技有限公司 一种车辆辅助驾驶***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040001705A1 (en) * 2002-06-28 2004-01-01 Andreas Soupliotis Video processing system and method for automatic enhancement of digital video
CN101692692A (zh) * 2009-11-02 2010-04-07 彭健 电子稳像方法及***
CN102821252A (zh) * 2011-06-06 2012-12-12 苹果公司 使用图像稳定来校正卷帘式快门
US20130128121A1 (en) * 2010-09-14 2013-05-23 Aseem O. Agarwala Methods and Apparatus for Video Completion
WO2015013534A1 (en) * 2013-07-24 2015-01-29 Mourikis Anastasios I Method for camera motion estimation and correction
CN104460685A (zh) * 2014-11-21 2015-03-25 南京信息工程大学 一种四旋翼飞行器的控制***及其控制方法
CN204836312U (zh) * 2015-08-17 2015-12-02 北京贯中精仪科技有限公司 一种捷联式图像稳定装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040001705A1 (en) * 2002-06-28 2004-01-01 Andreas Soupliotis Video processing system and method for automatic enhancement of digital video
CN101692692A (zh) * 2009-11-02 2010-04-07 彭健 电子稳像方法及***
US20130128121A1 (en) * 2010-09-14 2013-05-23 Aseem O. Agarwala Methods and Apparatus for Video Completion
CN102821252A (zh) * 2011-06-06 2012-12-12 苹果公司 使用图像稳定来校正卷帘式快门
WO2015013534A1 (en) * 2013-07-24 2015-01-29 Mourikis Anastasios I Method for camera motion estimation and correction
CN104460685A (zh) * 2014-11-21 2015-03-25 南京信息工程大学 一种四旋翼飞行器的控制***及其控制方法
CN204836312U (zh) * 2015-08-17 2015-12-02 北京贯中精仪科技有限公司 一种捷联式图像稳定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王洪: "航空光电平台图像稳定技术研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107727141A (zh) * 2017-09-28 2018-02-23 河南汇纳科技有限公司 一种多目标感知的智能传感器的应用方法
CN110312068A (zh) * 2018-03-20 2019-10-08 罗伯特·博世有限公司 图像捕获设备和处理方法
CN111405186A (zh) * 2020-03-31 2020-07-10 维沃移动通信（杭州）有限公司 摄像模组以及电子设备
CN115623295A (zh) * 2022-10-09 2023-01-17 云科智控(武汉)科技有限公司 一种车辆辅助驾驶***
CN115623295B (zh) * 2022-10-09 2024-05-24 云科智控(武汉)科技有限公司 一种车辆辅助驾驶***

Similar Documents

Publication Publication Date Title
Gehrig et al. Dsec: A stereo event camera dataset for driving scenarios
CN109410130B (zh) 图像处理方法和图像处理装置
US10911680B2 (en) Method and system of geolocation and attitude correction for mobile rolling shutter cameras
US10560633B2 (en) Apparatus and methods for rolling shutter compensation for multi-camera systems
US8139823B2 (en) Method for capturing images comprising a measurement of local motions
CN101911671B (zh) 摄像装置和光轴控制方法
CN103017730B (zh) 一种单摄像头测距的方法和***
CN105577984A (zh) 复合mems-imu的电子稳像装置
CN110248048B (zh) 一种视频抖动的检测方法及装置
US20140347439A1 (en) Mobile device and system for generating panoramic video
CN107222662A (zh) 一种基于改进的klt和卡尔曼滤波的电子稳像方法
CN103841297A (zh) 一种适用于合成运动摄像载体的电子稳像方法
US11042984B2 (en) Systems and methods for providing image depth information
CN107122770A (zh) 多目相机***、智能驾驶***、汽车、方法和存储介质
Chen et al. Esvio: Event-based stereo visual inertial odometry
US11509813B2 (en) Image processing device
CN114600417B (zh) 同步装置、同步方法以及存储有同步程序的存储装置
Cai et al. Sea-skyline-based image stabilization of a buoy-mounted catadioptric omnidirectional vision system
Yabuki et al. Real-time video stabilization on an FPGA
WO2017010314A1 (ja) 撮像装置および撮像方法、並びにプログラム
Zhao et al. A fast traffic video stabilization method based on trajectory derivatives
US10313654B1 (en) Image processing method, electronic device, and non-transitory computer readable storage medium
Kornilova et al. Real-time digital video stabilization using MEMS-sensors
US20200128183A1 (en) Prominent region detection in scenes from sequence of image frames
CN102073988B (zh) 一种基于普通精度陀螺的电子减抖方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160511