CN106023192A - 一种图像采集平台的时间基准实时标定方法及*** - Google Patents
一种图像采集平台的时间基准实时标定方法及*** Download PDFInfo
- Publication number
- CN106023192A CN106023192A CN201610327892.5A CN201610327892A CN106023192A CN 106023192 A CN106023192 A CN 106023192A CN 201610327892 A CN201610327892 A CN 201610327892A CN 106023192 A CN106023192 A CN 106023192A
- Authority
- CN
- China
- Prior art keywords
- feature point
- frame image
- time
- current frame
- fisrt feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像采集平台的时间基准实时标定方法及***，该方法应用于移动终端中，包括下述步骤：S1获取当前帧图像及前N帧图像；S2提取当前帧图像中的第一特征点，以形成第一特征点集合及参考帧图像中的第二特征点，以形成第二特征点集合；S3将第一特征点集合中的第一特征点与第二特征点集合中的第二特征点进行匹配过滤，以获取第一特征点对集合；S4根据第一特征点对集合获取当前帧图像的平均整***移；S5.提取当前帧图像的陀螺传感器的陀螺数据，根据陀螺数据获取当前帧图像的姿态整***移；S6依据Kalman滤波方法获取相机的时间戳与陀螺传感器的时间戳之间的时间差，并对时间差进行标定执行S1。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种基于移动终端图像采集平台的时间基准实时标定方法及***。
背景技术
随着电子技术的快速发展，人们利用移动终端、无人机等移动端平台进行视频采集的应用越来越多。但是，由于移动终端或无人机采集的视频容易出现抖动视觉效果差通常不能正常使用，需要对采集的视频进行稳像处理。根据原理的不同视频图像采集平台的稳像方法主要包括三类分别是：机械稳像、光学稳像和电子稳像。
机械稳像是利用减震平台或机械云台被动的抵消各种抖动，其优势在于能够较好的抵消大部分抖动，具有优秀的稳像效果，因而常用在专业的视频录制设备上，但是存在结构复杂、体积和重量大、代价高等缺点；光学稳像是利用补偿镜片等光学器件在光路上对外界抖动进行主动补偿，所以体积和重量可以做的比较小，但其抗抖动能力较弱，且对镜头的制作工艺要求较高；相比于前面两种“硬”稳像方法，电子稳像则是通过“软”的方法来消除抖动，即通过应用数字图像处理技术来对图像帧进行变换从而达到稳像的目的，因此电子稳像具有结构简单、体积重量小、代价低、稳像范围广等优点。
目前的电子稳像主要包括抖动估计、平滑滤波、抖动补偿三部分，依据抖动估计方式的不同，还可以进一步细分为纯图像电子稳像方法和基于陀螺的电子稳像方法。
纯图像电子稳像方法仅利用图像自身特征信息来估计像机的抖动量，虽然具有无需其他任何额外设备的优点，但正因为其仅利用图像自身特征来估计运动，所以一方面对图像成像有要求，即图像要具备丰富的特征信息，例如对于天空或者大海等单一背景则会失效；另一方面由于时刻需要对图像进行大量的特征提取、特征匹配等工作，所以计算复杂，能耗较高，而对于移动平台来说一般对功率要求较高。
基于陀螺的电子稳像方法则利用陀螺传感器来估计像机抖动量。目前的微机电***(MEMS,Micro-Electro-Mechanical System)陀螺传感器的体积、重量以及成本越来越小，已经普遍应用在移动终端、无人机等各类运动平台上。例如，一片MPU6500芯片仅具有3mm×3mm×0.9mm的大小，却能以8000Hz的速率同时给出3轴加速度计和3轴陀螺仪的实时采样数据。
综上所述，基于陀螺的电子稳像方法更适用于移动平台的数字图像采集任务。但是，直接由陀螺输出得到的姿态信息并不等于像机平台自身的姿态信息，这主要表现在两个方面：即由于陀螺坐标系与像机坐标系不平行引起的空间变换姿态差，以及由于陀螺传感器时间戳与像机传感器时间戳不同步引起的时间偏置姿态差。由于陀螺传感器和像机坐标系为固联结构，且大多数设备上的陀螺坐标系和像机坐标系都基本平行，所以空间变换姿态差可以通过乘以一个旋转矩阵来解决；但是对于时间偏置姿态差并没有明确的解决方案。
发明内容
针对现有的移动平台的数字图像采集***无法克服时间偏置姿态差的问题，现提供一种旨在实现可实时获取相机的时间戳与陀螺传感器的时间戳之间的时间差的图像采集平台的时间基准实时标定方法及***。
具体技术方案如下：
一种图像采集平台的时间基准实时标定方法，应用于移动终端，所述移动终端中设置有相机和陀螺传感器，包括下述步骤：
S1.获取当前帧图像及前N帧图像，所述前N帧图像为在当前帧图像之前的第N帧图像，将所述前N帧图像作为参考帧图像；
S2.提取所述当前帧图像中的第一特征点，以形成第一特征点集合及所述参考帧图像中的第二特征点，以形成第二特征点集合；
S3.将所述第一特征点集合中的所述第一特征点与所述第二特征点集合中的所述第二特征点进行匹配过滤，以获取第一特征点对集合；
S4.根据所述第一特征点对集合获取所述当前帧图像的平均整***移；
S5.提取所述当前帧图像的所述陀螺传感器的陀螺数据，根据所述陀螺数据获取所述当前帧图像的姿态整***移；
S6.根据所述平均整***移和所述姿态整***移，依据Kalman滤波方法获取所述相机的时间戳与所述陀螺传感器的时间戳之间的时间差，并对所述时间差进行标定，返回执行步骤S1。
优选的，所述步骤S3包括：
S31.采用随机抽样一致算法对所述当前帧图像中的所述第一特征点集合中的所述第一特征点及所述参考帧图像的所述第二特征点集合中的所述第二特征点逐个进行双向匹配，以获取第二特征点对集合，所述第二特征点对集合包括复数个特征点对，每个特征点对包括一所述第一特征点和与所述第一特征点一一对应的所述第二特征点；
S32.将所述第二特征点对集合中的每个所述特征点对逐对进行单应矩阵计算，判断计算行列式是否符合预设条件，所有未被标记的所述第一特征点对组成所述第一特征点对集合。
优选的，所述预设条件为：所述行列式大于等于0.7，或所述行列式小于等于1.3。
优选的，所述步骤S4包括：
S41.提取所述第一特征点对集合中所述当前帧图像的所述第一特征点，根据所述第一特征点计算所述当前帧图像的中心位置坐标；
S42.提取所述第一特征点对集合中所述参考帧图像的所述第二特征点，根据所述第二特征点计算所述参考帧图像的中心位置坐标；
S43.根据所述当前帧图像的中心位置坐标及所述参考帧图像的中心位置坐标，计算所述当前帧图像的所述平均整***移。
优选的，所述步骤S5包括：
S51.以所述参考帧图像到所述当前帧图像的时间间隔为第一时间参数，根据所述陀螺数据获取获取相应的俯仰角变化量和偏航角变化量，根据所述俯仰角变化量和所述偏航角变化量获取第一整***移；
S52.以所述参考帧图像到所述当前帧图像时间间隔为偏移量与所述第一时间参数相加，获取相应的俯仰角变化量和偏航角变化量，根据所述俯仰角变化量和所述偏航角变化量获取第二整***移；
所述姿态整***移包括第一整***移和所述第二整***移。
优选的，在所述步骤S6中，所述Kalman滤波方法采用梯度估计、滤波增益估计、滤波计算和方差修正以获取所述相机的时间戳与所述陀螺传感器的时间戳之间的时间差。
一种图像采集平台的时间基准实时标定***，应用于移动终端，所述移动终端中设置有相机和陀螺传感器，包括：
一获取单元，用以获取当前帧图像及参考帧图像，所述前N帧图像为在当前帧图像之前的第N帧图像，将所述前N帧图像作为参考帧图像；
一提取单元，连接所述获取单元，用以提取所述当前帧图像中的第一特征点，以形成第一特征点集合及所述参考帧图像中的第二特征点，以形成第二特征点集合；
一匹配单元，连接所述提取单元，用以将所述第一特征点集合中的所述第一特征点与所述第二特征点集合中的所述第二特征点进行匹配过滤，以获取第一特征点对集合；
一第一处理单元，连接所述匹配单元，用以根据所述第一特征点对集合获取所述当前帧图像的平均整***移；
一第二处理单元，提取所述当前帧图像的所述陀螺传感器的陀螺数据，根据所述陀螺数据获取所述当前帧图像的姿态整***移；
一控制单元，分别连接所述第一处理单元和所述第二处理单元，用以根据所述平均整***移和所述姿态整***移，依据Kalman滤波方法获取所述相机的时间戳与所述陀螺传感器的时间戳之间的时间差，并对所述时间差进行标定。
优选的，所述匹配单元采用随机抽样一致算法对所述当前帧图像中的所述第一特征点集合中的所述第一特征点及所述参考帧图像的所述第二特征点集合中的所述第二特征点逐个进行双向匹配，以获取第二特征点对集合，所述第二特征点对集合包括复数个特征点对，每个特征点对包括一所述第一特征点和与所述第一特征点一一对应的所述第二特征点；将所述第二特征点对集合中的每个所述特征点对逐对进行单应矩阵计算，判断计算行列式是否符合预设条件，所有未被标记的所述第一特征点对组成所述第一特征点对集合。
优选的，所述预设条件为：所述行列式大于等于0.7，或所述行列式小于等于1.3。
优选的，所述第一处理单元提取所述第一特征点对集合中所述当前帧图像的所述第一特征点，根据所述第一特征点计算所述当前帧图像的中心位置坐标；提取所述第一特征点对集合中所述参考帧图像的所述第二特征点，根据所述第二特征点计算所述参考帧图像的中心位置坐标；根据所述当前帧图像的中心位置坐标及所述参考帧图像的中心位置坐标，计算所述当前帧图像的所述平均整***移。
优选的，所述第二处理单元以所述参考帧图像到所述当前帧图像的时间间隔为第一时间参数，根据所述陀螺数据获取获取相应的俯仰角变化量和偏航角变化量，根据所述俯仰角变化量和所述偏航角变化量获取第一整***移；以所述参考帧图像到所述当前帧图像时间间隔为偏移量与所述第一时间参数相加，获取相应的俯仰角变化量和偏航角变化量，根据所述俯仰角变化量和所述偏航角变化量获取第二整***移；所述姿态整***移包括第一整***移和所述第二整***移。
优选的，所述Kalman滤波方法采用梯度估计、滤波增益估计、滤波计算和方差修正以获取所述相机的时间戳与所述陀螺传感器的时间戳之间的时间差。
上述技术方案的有益效果：
1)图像采集平台的时间基准实时标定方法可实时获取相机的时间戳与陀螺传感器的时间戳之间的偏差量以进行实时标定，通过将所述第一特征点集合与所述第二特征点集合进行匹配过滤，消除了错误匹配的情况提高了匹配的精确度，利用Kalman滤波方法保证了相机的时间戳与陀螺传感器的时间戳之间的偏差量的收敛性；
2)图像采集平台的时间基准实时标定***通过匹配单元对当前帧图像及参考帧图像进行特征点匹配，提高了匹配精度，消除了错误匹配的情况；采用控制单元可根据平均整***移和所述姿态整***移获取相机的时间戳与所述陀螺传感器的时间戳之间的偏差量，且具有收敛性，保证了相机的时间戳与所述陀螺传感器的时间戳之间时间差的准确性。
附图说明
图1为本发明所述的图像采集平台的时间基准实时标定方法的一种实施例的方法流程图；
图2为相邻帧之间单应矩阵的行列式曲线图；
图3为相邻帧之间的平均整位移；
图4为获取当前帧图像的所述平均整***移的流程图；
图5为获取姿态整***移的流程图；
图6为本发明所述的图像采集平台的时间基准实时标定***的一种实施例的模块图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
如图1所示，一种图像采集平台的时间基准实时标定方法，应用于移动终端，所述移动终端中设置有相机和陀螺传感器，包括下述步骤：
S1.获取当前帧图像及前N帧图像，所述前N帧图像为在当前帧图像之前的第N帧图像，将所述前N帧图像作为参考帧图像；
S2.提取所述当前帧图像中的第一特征点，以形成第一特征点集合及所述参考帧图像中的第二特征点，以形成第二特征点集合；
S3.将所述第一特征点集合中的所述第一特征点与所述第二特征点集合中的所述第二特征点进行匹配过滤，以获取第一特征点对集合；
S4.根据所述第一特征点对集合获取所述当前帧图像的平均整***移；
S5.提取所述当前帧图像的所述陀螺传感器的陀螺数据，根据所述陀螺数据获取所述当前帧图像的姿态整***移；
S6.根据所述平均整***移和所述姿态整***移，依据Kalman滤波方法获取所述相机的时间戳与所述陀螺传感器的时间戳之间的时间差，并对所述时间差进行标定，返回执行步骤S1。
进一步地，在步骤S2中可采用特征点检测算法(Speeded Up RobustFeatures，简称SURF)对当前帧图像及参考帧图像进行特征点检测，以获取大量特征点的坐标位置，即当前帧图像中的第一特征点集合及参考帧图像的第二特征点集合，这些特征点的运动基本能够反映出对应图像帧的整体运动大小。
在本实施例中，图像采集平台的时间基准实时标定方法可实时获取相机的时间戳与陀螺传感器的时间戳之间的偏差量以进行实时标定，通过将第一特征点集合与第二特征点集合进行匹配过滤，消除了错误匹配的情况提高了匹配的精确度，利用Kalman滤波方法保证了相机的时间戳与陀螺传感器的时间戳之间的偏差量的收敛性。
在优选的实施例中，步骤S3包括：
S31.采用随机抽样一致算法(Random Sample Consensus，简称RANSAC)对当前帧图像中的第一特征点集合中的所述第一特征点及参考帧图像的第二特征点集合中的所述第二特征点逐个进行双向匹配，以获取第二特征点对集合，所述第二特征点对集合包括复数个特征点对，每个特征点对包括一所述第一特征点和与所述第一特征点一一对应的所述第二特征点；
S32.将所述第二特征点对集合中的每个所述特征点对逐对进行单应矩阵计算，判断计算行列式是否符合预设条件，所有未被标记的所述第一特征点对组成所述第一特征点对集合。
进一步地，参考帧图像为前一帧图像。
在本实施例中，在步骤S31中将当前帧图像的特征点与前一帧特图像的征点进行对称双向匹配，以剔除不匹配的特征点；利用RANSAC算法对相邻两帧图像进行特征点匹配，为了最大程度的减小误配率，匹配时进行的是对称双向匹配，即首先找到当前帧图像中每个特征点在前一帧图像中的最佳匹配，然后再对前一帧图像中的每个特征点找到其在当前帧中的最佳匹配，当且仅当一组“特征点对”互为对方的最佳匹配时，才接受该组“特征点对”，否则，剔除该组“特征点对”。
对于某些相邻帧图像仍然会出现特征点整体匹配错误的情况，因此采用步骤S32提高特征点对匹配的精确度。由于相邻两帧图像的间隔时间极短(例如帧率为30fps的图像采集设备，其帧间隔只有33ms)，对于相邻的两帧图像来说，整体的单应变换不大，也就是说相邻帧图像的单应矩阵一般接近于单位矩阵，其行列式应在1附近。基于这个标准，可以方便高效的将匹配错误的图像帧标记出来。
在步骤S32中，利用匹配后的特征点对计算单应矩阵H，然后依据单应矩阵H的行列式det(H)与1的偏差来决定匹配的正确与否，标记行列式det(H)<0.7和行列式det(H)>1.3的帧号，将符合预设条件：行列式大于等于0.7，或行列式小于等于1.3的所有特征点对组合成第一特征点对集合。
在优选的实施例中，步骤S4包括：
S41.提取第一特征点对集合中当前帧图像的第一特征点，根据第一特征点计算当前帧图像的中心位置坐标；
S42.提取第一特征点对集合中参考帧图像的第二特征点，根据第二特征点计算参考帧图像的中心位置坐标；
S43.根据当前帧图像的中心位置坐标及参考帧图像的中心位置坐标，计算当前帧图像的平均整***移。
在本实施例中，当参考帧图像为前一帧图像时，在步骤S41中对当前帧图像中所有匹配的特征点坐标进行平均运算，以获取当前帧图像的中心位置坐标rCenterNow；在步骤S42中对前一帧图像中所有匹配的特征点坐标进行平均运算，以获取前一帧图像的中心位置坐标rCenterLast；在步骤S43中由相邻帧中心位置坐标的位置变化得到当前帧图像的平均整***移rPixel，即当前帧图像的平均整***移rPixel＝前一帧图像的中心位置坐标rCenterLast-当前帧图像的中心位置坐标rCenterNow。
如图2所示给出了步骤S3中相邻帧之间单应矩阵的行列式曲线，可见，根据图2中给出的单应矩阵的行列式可以简单快速的检测出同名特征点错配帧，如图3所示为相邻帧之间的平均整位移，其中错配帧的平均整***移均有明显的毛刺点，其中帧号表示每一帧图像的序号。
如图4所示表示从步骤S1至步骤S4中为获取当前帧图像的平均整***移的流程图。在优选的实施例中，步骤S5包括：
S51.以参考帧图像到当前帧图像的时间间隔为第一时间参数，根据陀螺数据获取获取相应的俯仰角变化量和偏航角变化量，根据俯仰角变化量和偏航角变化量获取第一整***移；
S52.以参考帧图像到当前帧图像时间间隔为偏移量与第一时间参数相加，获取相应的俯仰角变化量和偏航角变化量，根据俯仰角变化量和偏航角变化量获取第二整***移；
姿态整***移包括第一整***移和第二整***移。
如图5所示表示步骤S5中获取姿态整***移的流程图。
在本实施例中，当参考帧图像为前一帧图像时，在步骤S51中对陀螺传感器的陀螺数据进行帧间隔时间内的滑动积分，分别得到前一帧图像到当前帧图像的时间间隔内(即第一时间参数t)的俯仰角变化量dAPitch(t)和偏航角变化量dAYaw(t)，则图像帧第一整***移rGyro＝f*(dAPitch(t)+dAYaw(t))，其中f为像机的等效焦距；在步骤S52中，对步骤S51中的时间变量(第一时间参数t)进行一个dt大小的偏移(即相邻帧图像的时间间隔)，重新计算俯仰角的变化量dAPitch(t+dt)和偏航角的变化量dAYaw(t+dt)，从而得到图像帧第二整***移rGyro2＝f*(dAPitch(t+dt)+dAYaw(t+dt))，其中f为像机的等效焦距。
在优选的实施例中，在步骤S6中，Kalman滤波方法采用梯度估计、滤波增益估计、滤波计算和方差修正以获取相机的时间戳与陀螺传感器的时间戳之间的时间差。
在本实施例中，设状态量X＝(f,td)T，其中，f表示像机的等效焦距，td表示相机的时间戳与陀螺传感器的时间戳之间的时间差，以步骤S43中得到的当前帧图像的平均整***移rPixel和步骤S51中得到的图像帧第一整***移rGyro、步骤S52中得到的图像帧第二整***移rGyro2为输入，利用Kalman滤波方法对初始状态值进行迭代更新，Kalman滤波方法的具体步骤如下；
量测方程梯度估计：
Hx＝-[rGyro；f*(rGyro-rGyro2)/dt]，
滤波增益估计：
K＝(P+Q)*HxT/(Hx*(P+Q)*HxT+R)，
滤波计算：
X＝X-K*(rPixel-f*rGyro)，
方差修正：
P＝(I-K*Hx)*(P+Q)，
其中，Q为动态方程噪声方差，R为量测方程噪声方差；
在本技术方案中，每获取一当前帧图像及参考帧图像，则执行步骤S1至步骤S6，直至相机的时间戳与陀螺传感器的时间戳之间的时间差td和像机的等效焦距f的变化量小于设定的阈值，即可认为滤波结果已经收敛，输出相机的时间戳与陀螺传感器的时间戳之间的时间差td和像机的等效焦距f的值。
如图6所示，一种图像采集平台的时间基准实时标定***，应用于移动终端，所述移动终端中设置有相机和陀螺传感器，包括：
一获取单元2，用以获取当前帧图像及参考帧图像，所述前N帧图像为在当前帧图像之前的第N帧图像，将所述前N帧图像作为参考帧图像；
一提取单元1，连接获取单元2，用以提取当前帧图像中的第一特征点，以形成第一特征点集合及参考帧图像中的第二特征点，以形成第二特征点集合；
一匹配单元4，连接提取单元1，用以将第一特征点集合中的所述第一特征点与第二特征点集合中的所述第二特征点进行匹配过滤，以获取第一特征点对集合；
一第一处理单元5，连接匹配单元4，用以根据第一特征点对集合获取当前帧图像的平均整***移；
一第二处理单元3，提取当前帧图像的陀螺传感器的陀螺数据，根据陀螺数据获取当前帧图像的姿态整***移；
一控制单元6，分别连接第一处理单元5和第二处理单元3，用以根据平均整***移和姿态整***移，依据Kalman滤波方法获取相机的时间戳与陀螺传感器的时间戳之间的时间差，并对时间差进行标定。
进一步地，提取单元1可采用特征点检测算法(Speeded Up RobustFeatures，简称SURF)对当前帧图像及参考帧图像进行特征点检测，以获取大量特征点的坐标位置，即当前帧图像中的第一特征点集合及参考帧图像的第二特征点集合，这些特征点的运动基本能够反映出对应图像帧的整体运动大小。
在本实施例中，图像采集平台的时间基准实时标定***通过匹配单元4对当前帧图像及参考帧图像进行特征点匹配，提高了匹配精度，消除了错误匹配的情况；采用控制单元6可根据平均整***移和姿态整***移获取相机的时间戳与陀螺传感器的时间戳之间的偏差量，且具有收敛性，保证了相机的时间戳与陀螺传感器的时间戳之间时间差的准确性。
在优选的实施例中，匹配单元4采用随机抽样一致算法对所述当前帧图像中的所述第一特征点集合中的所述第一特征点及所述参考帧图像的所述第二特征点集合中的所述第二特征点逐个进行双向匹配，以获取第二特征点对集合，所述第二特征点对集合包括复数个特征点对，每个特征点对包括一所述第一特征点和与所述第一特征点一一对应的所述第二特征点；将所述第二特征点对集合中的每个所述特征点对逐对进行单应矩阵计算，判断计算行列式是否符合预设条件，所有未被标记的所述第一特征点对组成所述第一特征点对集合。
进一步地，参考帧图像为前一帧图像。
在本实施例中，在匹配单元4中将当前帧图像的特征点与前一帧特图像的征点进行对称双向匹配，以剔除不匹配的特征点；利用RANSAC算法对相邻两帧图像进行特征点匹配，为了最大程度的减小误配率，匹配时进行的是对称双向匹配，即首先找到当前帧图像中每个特征点在前一帧图像中的最佳匹配，然后再对前一帧图像中的每个特征点找到其在当前帧中的最佳匹配，当且仅当一组“特征点对”互为对方的最佳匹配时，才接受该组“特征点对”，否则，剔除该组“特征点对”。
对于某些相邻帧图像仍然会出现特征点整体匹配错误的情况，因此采用单应矩阵计算提高特征点对匹配的精确度。由于相邻两帧图像的间隔时间极短(例如帧率为30fps的图像采集设备，其帧间隔只有33ms)，对于相邻的两帧图像来说，整体的单应变换不大，也就是说相邻帧图像的单应矩阵一般接近于单位矩阵，其行列式应在1附近。基于这个标准，可以方便高效的将匹配错误的图像帧标记出来。
单应矩阵计算利用匹配后的特征点对计算单应矩阵H，然后依据单应矩阵H的行列式det(H)与1的偏差来决定匹配的正确与否，标记行列式det(H)<0.7和行列式det(H)>1.3的帧号，将符合预设条件：行列式大于等于0.7，或行列式小于等于1.3的所有特征点对组合成第一特征点对集合。
在优选的实施例中，第一处理单元5提取第一特征点对集合中当前帧图像的第一特征点，根据第一特征点计算当前帧图像的中心位置坐标；提取第一特征点对集合中参考帧图像的第二特征点，根据第二特征点计算参考帧图像的中心位置坐标；根据当前帧图像的中心位置坐标及参考帧图像的中心位置坐标，计算当前帧图像的平均整***移。
在本实施例中，当参考帧图像为前一帧图像时，对当前帧图像中所有匹配的特征点坐标进行平均运算，以获取当前帧图像的中心位置坐标rCenterNow；对前一帧图像中所有匹配的特征点坐标进行平均运算，以获取前一帧图像的中心位置坐标rCenterLast；由相邻帧中心位置坐标的位置变化得到当前帧图像的平均整***移rPixel，即当前帧图像的平均整***移rPixel＝前一帧图像的中心位置坐标rCenterLast-当前帧图像的中心位置坐标rCenterNow。
在优选的实施例中，第二处理单元3以参考帧图像到当前帧图像的时间间隔为第一时间参数，根据陀螺数据获取获取相应的俯仰角变化量和偏航角变化量，根据俯仰角变化量和偏航角变化量获取第一整***移；以参考帧图像到当前帧图像时间间隔为偏移量与第一时间参数相加，获取相应的俯仰角变化量和偏航角变化量，根据俯仰角变化量和偏航角变化量获取第二整***移；姿态整***移包括第一整***移和第二整***移。
在本实施例中，当参考帧图像为前一帧图像时，对陀螺传感器的陀螺数据进行帧间隔时间内的滑动积分，分别得到前一帧图像到当前帧图像的时间间隔内(即第一时间参数t)的俯仰角变化量dAPitch(t)和偏航角变化量dAYaw(t)，则图像帧第一整***移rGyro＝f*(dAPitch(t)+dAYaw(t))，其中f为像机的等效焦距；对步骤S51中的时间变量(第一时间参数t)进行一个dt大小的偏移(即相邻帧图像的时间间隔)，重新计算俯仰角的变化量dAPitch(t+dt)和偏航角的变化量dAYaw(t+dt)，从而得到图像帧第二整***移rGyro2＝f*(dAPitch(t+dt)+dAYaw(t+dt))，其中f为像机的等效焦距。
在优选的实施例中，Kalman滤波方法采用梯度估计、滤波增益估计、滤波计算和方差修正以获取相机的时间戳与陀螺传感器的时间戳之间的时间差。
在本技术方案中，综合利用了SURF特征点检测方法和RANSAC随机抽样一致算法(特征点对称双向匹配方法)，大大增加了特征点提取和匹配的健壮性；针对实际应用中由于视场畸变较大或特征点数量较少等原因引起的极个别帧整体匹配错误的情况，提出了利用单应矩阵行列式进行阈值判断的方法，进一步消除了错误匹配情况，为后续基于kalman滤波方法的时间对齐方法提供了收敛性保证。
本发明通过利用序列图像中相邻帧之间整***移量与像机姿态中俯仰、偏航变化的线性关系，构造kalman滤波的状态方程和量测方程。相比于传统的离线标定方法，本发明不仅能够进行实时标定，而且对初值要求低，原理简单，计算量小，从而能够广泛的应用在大量移动平台端的电子稳像应用中。
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。
Claims (12)
1.一种图像采集平台的时间基准实时标定方法，应用于移动终端，所述移动终端中设置有相机和陀螺传感器，其特征在于，包括下述步骤：
S1.获取当前帧图像及前N帧图像，所述前N帧图像为在当前帧图像之前的第N帧图像，将所述前N帧图像作为参考帧图像；
S2.提取所述当前帧图像中的第一特征点，以形成第一特征点集合及所述参考帧图像中的第二特征点，以形成第二特征点集合；
S3.将所述第一特征点集合中的所述第一特征点与所述第二特征点集合中的所述第二特征点进行匹配过滤，以获取第一特征点对集合；
S4.根据所述第一特征点对集合获取所述当前帧图像的平均整***移；
S5.提取所述当前帧图像的所述陀螺传感器的陀螺数据，根据所述陀螺数据获取所述当前帧图像的姿态整***移；
S6.根据所述平均整***移和所述姿态整***移，依据Kalman滤波方法获取所述相机的时间戳与所述陀螺传感器的时间戳之间的时间差，并对所述时间差进行标定，返回执行步骤S1。
2.如权利要求1所述的图像采集平台的时间基准实时标定方法，其特征在于，所述步骤S3包括：
S31.采用随机抽样一致算法对所述当前帧图像中的所述第一特征点集合中的所述第一特征点及所述参考帧图像的所述第二特征点集合中的所述第二特征点逐个进行双向匹配，以获取第二特征点对集合，所述第二特征点对集合包括复数个特征点对，每个特征点对包括一所述第一特征点和与所述第一特征点一一对应的所述第二特征点；
S32.将所述第二特征点对集合中的每个所述特征点对逐对进行单应矩阵计算，判断计算行列式是否符合预设条件，所有未被标记的所述第一特征点对组成所述第一特征点对集合。
3.如权利要求2所述的图像采集平台的时间基准实时标定方法，其特征在于，所述预设条件为：所述行列式大于等于0.7，或所述行列式小于等于1.3。
4.如权利要求2所述的图像采集平台的时间基准实时标定方法，其特征在于，所述步骤S4包括：
S41.提取所述第一特征点对集合中所述当前帧图像的所述第一特征点，根据所述第一特征点计算所述当前帧图像的中心位置坐标；
S42.提取所述第一特征点对集合中所述参考帧图像的所述第二特征点，根据所述第二特征点计算所述参考帧图像的中心位置坐标；
S43.根据所述当前帧图像的中心位置坐标及所述参考帧图像的中心位置坐标，计算所述当前帧图像的所述平均整***移。
5.如权利要求1所述的图像采集平台的时间基准实时标定方法，其特征在于，所述步骤S5包括：
S51.以所述参考帧图像到所述当前帧图像的时间间隔为第一时间参数，根据所述陀螺数据获取获取相应的俯仰角变化量和偏航角变化量，根据所述俯仰角变化量和所述偏航角变化量获取第一整***移；
S52.以所述参考帧图像到所述当前帧图像时间间隔为偏移量与所述第一时间参数相加，获取相应的俯仰角变化量和偏航角变化量，根据所述俯仰角变化量和所述偏航角变化量获取第二整***移；
所述姿态整***移包括第一整***移和所述第二整***移。
6.如权利要求1所述的图像采集平台的时间基准实时标定方法，其特征在于，在所述步骤S6中，所述Kalman滤波方法采用梯度估计、滤波增益估计、滤波计算和方差修正以获取所述相机的时间戳与所述陀螺传感器的时间戳之间的时间差。
7.一种图像采集平台的时间基准实时标定***，应用于移动终端，所述移动终端中设置有相机和陀螺传感器，其特征在于，包括：
一获取单元，用以获取当前帧图像及前N帧图像，所述前N帧图像为在当前帧图像之前的第N帧图像，将所述前N帧图像作为参考帧图像；
一提取单元，连接所述获取单元，用以提取所述当前帧图像中的第一特征点，以形成第一特征点集合及所述参考帧图像中的第二特征点，以形成第二特征点集合；
一匹配单元，连接所述提取单元，用以将所述第一特征点集合中的所述第一特征点与所述第二特征点集合中的所述第二特征点进行匹配过滤，以获取第一特征点对集合；
一第一处理单元，连接所述匹配单元，用以根据所述第一特征点对集合获取所述当前帧图像的平均整***移；
一第二处理单元，提取所述当前帧图像的所述陀螺传感器的陀螺数据，根据所述陀螺数据获取所述当前帧图像的姿态整***移；
一控制单元，分别连接所述第一处理单元和所述第二处理单元，用以根据所述平均整***移和所述姿态整***移，依据Kalman滤波方法获取所述相机的时间戳与所述陀螺传感器的时间戳之间的时间差，并对所述时间差进行标定。
8.如权利要去7所述的图像采集平台的时间基准实时标定***，其特征在于，所述匹配单元采用随机抽样一致算法对所述当前帧图像中的所述第一特征点集合中的所述第一特征点及所述参考帧图像的所述第二特征点集合中的所述第二特征点逐个进行双向匹配，以获取第二特征点对集合，所述第二特征点对集合包括复数个特征点对，每个特征点对包括一所述第一特征点和与所述第一特征点一一对应的所述第二特征点；将所述第二特征点对集合中的每个所述特征点对逐对进行单应矩阵计算，判断计算行列式是否符合预设条件，所有未被标记的所述第一特征点对组成所述第一特征点对集合。
9.如权利要去8所述的图像采集平台的时间基准实时标定***，其特征在于，所述预设条件为：所述行列式大于等于0.7，或所述行列式小于等于1.3。
10.如权利要去8所述的图像采集平台的时间基准实时标定***，其特征在于，所述第一处理单元提取所述第一特征点对集合中所述当前帧图像的所述第一特征点，根据所述第一特征点计算所述当前帧图像的中心位置坐标；提取所述第一特征点对集合中所述参考帧图像的所述第二特征点，根据所述第二特征点计算所述参考帧图像的中心位置坐标；根据所述当前帧图像的中心位置坐标及所述参考帧图像的中心位置坐标，计算所述当前帧图像的所述平均整***移。
11.如权利要去7所述的图像采集平台的时间基准实时标定***，其特征在于，所述第二处理单元以所述参考帧图像到所述当前帧图像的时间间隔为第一时间参数，根据所述陀螺数据获取获取相应的俯仰角变化量和偏航角变化量，根据所述俯仰角变化量和所述偏航角变化量获取第一整***移；以所述参考帧图像到所述当前帧图像时间间隔为偏移量与所述第一时间参数相加，获取相应的俯仰角变化量和偏航角变化量，根据所述俯仰角变化量和所述偏航角变化量获取第二整***移；所述姿态整***移包括第一整***移和所述第二整***移。
12.如权利要去7所述的图像采集平台的时间基准实时标定***，其特征在于，所述Kalman滤波方法采用梯度估计、滤波增益估计、滤波计算和方差修正以获取所述相机的时间戳与所述陀螺传感器的时间戳之间的时间差。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610327892.5A CN106023192B (zh) | 2016-05-17 | 2016-05-17 | 一种图像采集平台的时间基准实时标定方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610327892.5A CN106023192B (zh) | 2016-05-17 | 2016-05-17 | 一种图像采集平台的时间基准实时标定方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106023192A true CN106023192A (zh) | 2016-10-12 |
| CN106023192B CN106023192B (zh) | 2019-04-09 |
Family
ID=57097606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610327892.5A Active CN106023192B (zh) | 2016-05-17 | 2016-05-17 | 一种图像采集平台的时间基准实时标定方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106023192B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107038736A (zh) * | 2017-03-17 | 2017-08-11 | 腾讯科技（深圳）有限公司 | 一种基于帧率的动画展示方法及终端设备 |
| CN107770437A (zh) * | 2017-09-08 | 2018-03-06 | 温州大学 | 无人机摄影摄像***及其位移补偿机构 |
| CN112129317A (zh) * | 2019-06-24 | 2020-12-25 | 南京地平线机器人技术有限公司 | 信息采集时间差确定方法、装置以及电子设备、存储介质 |
| CN112184775A (zh) * | 2020-09-30 | 2021-01-05 | 苏州臻迪智能科技有限公司 | 一种生成延时拍摄视频的方法及装置 |
| CN112215899A (zh) * | 2020-09-18 | 2021-01-12 | 深圳市瑞立视多媒体科技有限公司 | 帧数据在线处理方法、装置和计算机设备 |
| WO2021119982A1 (zh) * | 2019-12-17 | 2021-06-24 | 深圳市大疆创新科技有限公司 | 图像传输***及方法、控制装置、可移动平台 |
| CN114399555A (zh) * | 2021-12-20 | 2022-04-26 | 禾多科技（北京）有限公司 | 数据在线标定方法、装置、电子设备和计算机可读介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105306804A (zh) * | 2014-07-31 | 2016-02-03 | 北京展讯高科通信技术有限公司 | 智能终端及其视频稳像方法及装置 |
-
2016
- 2016-05-17 CN CN201610327892.5A patent/CN106023192B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105306804A (zh) * | 2014-07-31 | 2016-02-03 | 北京展讯高科通信技术有限公司 | 智能终端及其视频稳像方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| ALEXANDRE KARPENKO等: "Digital Video Stabilization and Rolling Shutter Correction using Gyroscopes", 《STANFORD TECH REPORT CTSR 2011》 * |
| STEVEN RELL等: "A Non-Linear Filter for Gyroscope-Based Video Stabilization", 《PROCESSINGS OF 13TH EUROPEAN CONFERENCE ON COMPUTER VISITION》 * |
| 傅卫平等: "基于SIFT算法的图像目标匹配与定位", 《仪器仪表学报》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107038736A (zh) * | 2017-03-17 | 2017-08-11 | 腾讯科技（深圳）有限公司 | 一种基于帧率的动画展示方法及终端设备 |
| CN107770437A (zh) * | 2017-09-08 | 2018-03-06 | 温州大学 | 无人机摄影摄像***及其位移补偿机构 |
| CN107770437B (zh) * | 2017-09-08 | 2020-03-17 | 温州大学 | 无人机摄影摄像***及其位移补偿机构 |
| CN112129317A (zh) * | 2019-06-24 | 2020-12-25 | 南京地平线机器人技术有限公司 | 信息采集时间差确定方法、装置以及电子设备、存储介质 |
| WO2021119982A1 (zh) * | 2019-12-17 | 2021-06-24 | 深圳市大疆创新科技有限公司 | 图像传输***及方法、控制装置、可移动平台 |
| CN112215899A (zh) * | 2020-09-18 | 2021-01-12 | 深圳市瑞立视多媒体科技有限公司 | 帧数据在线处理方法、装置和计算机设备 |
| CN112215899B (zh) * | 2020-09-18 | 2024-01-30 | 深圳市瑞立视多媒体科技有限公司 | 帧数据在线处理方法、装置和计算机设备 |
| CN112184775A (zh) * | 2020-09-30 | 2021-01-05 | 苏州臻迪智能科技有限公司 | 一种生成延时拍摄视频的方法及装置 |
| CN114399555A (zh) * | 2021-12-20 | 2022-04-26 | 禾多科技（北京）有限公司 | 数据在线标定方法、装置、电子设备和计算机可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106023192B (zh) | 2019-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106023192A (zh) | 一种图像采集平台的时间基准实时标定方法及*** | |
| Von Stumberg et al. | Direct sparse visual-inertial odometry using dynamic marginalization | |
| CN105698765B (zh) | 双imu单目视觉组合测量非惯性系下目标物位姿方法 | |
| CN110084832B (zh) | 相机位姿的纠正方法、装置、***、设备和存储介质 | |
| US11223764B2 (en) | Method for determining bias in an inertial measurement unit of an image acquisition device | |
| CN107223330B (zh) | 一种深度信息获取方法、装置及图像采集设备 | |
| US9025859B2 (en) | Inertial sensor aided instant autofocus | |
| CN116205947B (zh) | 基于相机运动状态的双目-惯性融合的位姿估计方法、电子设备及存储介质 | |
| CN109669533B (zh) | 一种基于视觉和惯性的动作捕捉方法、装置及*** | |
| CN107941217A (zh) | 一种机器人定位方法、电子设备、存储介质、装置 | |
| US11042984B2 (en) | Systems and methods for providing image depth information | |
| CN111504312A (zh) | 一种基于视觉惯性偏振光融合的无人机位姿估计方法 | |
| CN113551665B (zh) | 一种用于运动载体的高动态运动状态感知***及感知方法 | |
| CN112577493B (zh) | 一种基于遥感地图辅助的无人机自主定位方法及*** | |
| CN111609868A (zh) | 一种基于改进光流法的视觉惯性里程计方法 | |
| CN106709222B (zh) | 基于单目视觉的imu漂移补偿方法 | |
| CN106791360A (zh) | 生成全景视频的方法及装置 | |
| CN112204946A (zh) | 数据处理方法、装置、可移动平台及计算机可读存储介质 | |
| CN108007426A (zh) | 一种摄像头测距方法和*** | |
| CN110119189B (zh) | Slam***的初始化、ar控制方法、装置和*** | |
| CN108900775A (zh) | 一种水下机器人实时电子稳像方法 | |
| CN107942090A (zh) | 一种基于模糊星图提取光流信息的航天器角速度估计方法 | |
| CN115218906A (zh) | 面向室内slam的视觉惯性融合定位方法及*** | |
| CN116958452A (zh) | 三维重建方法和*** | |
| CN109462717A (zh) | 电子稳像方法及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |