CN106251305A - 一种基于惯性测量单元imu的实时电子稳像方法 - Google Patents
一种基于惯性测量单元imu的实时电子稳像方法 Download PDFInfo
- Publication number
- CN106251305A CN106251305A CN201610609729.8A CN201610609729A CN106251305A CN 106251305 A CN106251305 A CN 106251305A CN 201610609729 A CN201610609729 A CN 201610609729A CN 106251305 A CN106251305 A CN 106251305A
- Authority
- CN
- China
- Prior art keywords
- imu
- camera
- coordinate system
- relation
- video camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000005259 measurement Methods 0.000 title claims abstract description 8
- 230000000087 stabilizing effect Effects 0.000 title claims abstract description 8
- 230000006641 stabilisation Effects 0.000 claims abstract description 11
- 238000011105 stabilization Methods 0.000 claims abstract description 11
- 230000001960 triggered effect Effects 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims abstract description 6
- 238000006243 chemical reaction Methods 0.000 claims abstract description 4
- 230000008878 coupling Effects 0.000 claims abstract description 3
- 238000010168 coupling process Methods 0.000 claims abstract description 3
- 238000005859 coupling reaction Methods 0.000 claims abstract description 3
- 230000002123 temporal effect Effects 0.000 claims abstract description 3
- 239000011159 matrix material Substances 0.000 claims description 34
- 230000006870 function Effects 0.000 claims description 11
- 230000001360 synchronised effect Effects 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims description 2
- 230000013011 mating Effects 0.000 claims description 2
- 230000008447 perception Effects 0.000 abstract description 3
- 230000008034 disappearance Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 230000000386 athletic effect Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及一种基于惯性测量单元IMU的实时电子稳像方法，其特征在于：将IMU和摄像机触发时间同步模型，将标定在同一坐标系下的IMU和摄像机同时进行运动，通过在运动过程中两坐标系产生的拐点信息进行时间配准，其具体步骤如下：其通过对IMU与摄像机坐标系之间的相对位姿标定，再通过IMU感知的自身姿态变化数据作为前后帧运动补偿的依据，进而完成电子稳像的过程；是一种不依赖于场景图像特征的电子稳像方法；尤其能有效应对场景复杂或单一而导致的特征信息匹配不准确或缺失的情况。本发明提出了IMU和摄像机的相对位姿标定，解决了IMU坐标系和摄像机坐标系之间的转换。
Description
技术领域
本发明是涉及一种通过在摄像机上搭载惯性测量单元（IMU）的方式，测量摄像机抖动，估计摄像机抖动模型，实现实时对抖动视频进行抑制的方法，特别是涉及一种基于惯性测量单元IMU的实时电子稳像方法，属于图像处理技术领域。
背景技术
摄像机在拍摄视频图像时，经常受到摄像机载体的影响导致拍摄的视频出现帧间抖动。电子稳像的目的即是通常利用图像传感器的方法计算这些抖动并抑制它们达到视频稳定的目的。该技术还广泛应用于机器视觉、图像处理、模式识别等多个领域。其主要的原理是通过对摄像机采集的原始视频序列进行预处理，利用特征点匹配关系计算相邻帧间存在的差异，对帧间进行运动估计、运动补偿及图像补偿的过程，进而输出稳定的视频序列，提高视频图像质量。但当场景中存在大范围的运动前景，或场景中存在过多相似的图像信息以及特征信息不足时，通常的电子稳像算法鲁棒性变差，不能准确的提取全局运动，无法达到稳像的效果。
发明内容
本发明的目的在于提供一种基于惯性测量单元IMU的实时电子稳像方法，是为了解决在摄像机采集的视频图像序列特征单一、相似和复杂情况下无法准确计算全局运动估计所带来的稳像难题。将IMU任意角度搭载在摄像机上，通过对IMU与摄像机坐标系之间的相对位姿标定，再通过IMU感知的自身姿态变化数据作为前后帧运动补偿的依据，进而完成电子稳像的过程；是一种不依赖于场景图像特征的电子稳像方法；尤其能有效应对场景复杂或单一而导致的特征信息匹配不准确或缺失的情况。本发明提出了IMU和摄像机的相对位姿标定，解决了IMU坐标系和摄像机坐标系之间的转换。
本发明技术方案是这样实现的：一种基于惯性测量单元IMU的实时电子稳像方法，其特征在于：将IMU和摄像机触发时间同步模型，将标定在同一坐标系下的IMU和摄像机同时进行运动，通过在运动过程中两坐标系产生的拐点信息进行时间配准，其具体步骤如下：
一、IMU与摄像机坐标系标定
1）基于张正友标定法的摄像机标定
假设成像平面上的二维点的坐标为，对应空间中的三维点的坐标表示为，通过将两个坐标进行齐次坐标转换得，此处，我们默认相机为小孔成像相机模型。3D点到图像的投影关系为：，为任意数，为根据棋盘格标定控制点坐标和图像坐标得到的单应性矩阵(由旋转、平移和相机参数组成)。和分别为摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量。已知约束条件中相互正交。则：
设是一个对称阵，可得，根据约束条件可得：
，
其中。
标定时，需要拍摄幅标定板图像用于约束参数方程。当时，可以求出线性唯一解，进而求出摄像机内外参数。
2）IMU坐标系与摄像机坐标系的相对位姿求解
把在同一姿态下IMU采集的三轴加速度数据和相机外参数据，分别作为在世界坐标系下IMU和相机的坐标点和。假设有对这样匹配的数据点，大于3，计算刚体变换关系至少需要3对这样的匹配点。已知摄像机坐标系和IMU坐标系之间存在如下的关系：
和为IMU坐标系和相机坐标系的旋转平移关系矩阵，所以根据最小二乘法将摄像机坐标系和IMU坐标系之间的关系最小化目标函数。为使得目标函数最小化得到最小目标函数。设，此时最小化目标函数变为，
这样摄像机坐标系和IMU坐标系之间仅存在旋转变换，故，则将展开式最小化就变成了第二项的最大化问题：。求解旋转矩阵R，根据旋转矩阵R和四元数之间的关系将第二项改写成。
设相机坐标系和IMU坐标系各对点的坐标分别为
，则：
由上式可知和是正交斜对称阵，最大化IMU坐标系和摄像机坐标系之间目标函数关系。通过求解摄像机数据点和数据点之间的累积和，得到正交斜对称阵的之间的关系N。求解N最大特征值所对应的特征向量得到IMU和摄像机之间的四元数。通过四元数与旋转矩阵之间的关系求解旋转矩阵R。
IMU坐标系和摄像机坐标系之间的平移关系则根据求解。
二、IMU与摄像机触发时间同步方法
利用标定好的IMU坐标系和摄像机坐标系，通过对数据的融合达到使用IMU数据解算摄像机姿态的目的。首先同步IMU和摄像机的采集频率。设IMU频率为，摄像机的频率为与的最大公约数为d，那么应满足和为满足上述条件的乘法因子。则两个不同频率的最小公倍数为。这样无论IMU还是摄像机之间的频率都成整数倍关系，设扩展后的IMU的频率范围为，摄像机的频率范围为，集合 与的个数相同，以及相邻元素之间的间隔大小相同。设与为这些扩展的点集上的自变量，由于自变量没有相应的因变量，通过插值法对其插值。
IMU同摄像机是以刚体形式连接在一起，相机的任意晃动都将在IMU上产生反应，并产生运动轨迹。对于标定在同一坐标系下的IMU和摄像机具有相同的运动轨迹。通过求解IMU和摄像机运动过程中产生的对应拐点进行时间轴上匹配，找到IMU和摄像机之间的姿态同步触发时间。
三、基于IMU的稳像方法
基于IMU的稳像方法包括如下步骤：
1）设k为参考帧，IMU第帧在IMU坐标系的旋转弧度分别为和。把弧度作为旋转向量求解旋转矩阵，并对这个向量进行规范化得到。
根据规范化向量得到模长为1的单位化弧度向量，已知斜对称矩阵可以把形式的欧拉角变成的形式并仍保留欧拉角的意义。所以由单位化弧度向量得到的斜对称矩阵w，根据和w使用罗德里格斯绕任意轴旋转的几何关系。求解得到IMU第帧所形成的单位化旋转矩阵为。
2）单应性指把第一张二维平面上的点与第二张二维平面上具有相同特征的点，进行单应性的关联。满足一个平面到另一个平面的投影映射关系。把定义为要进行视频稳像前的视频序列帧图像的特征点集，为参考帧图像的特征点集。那么就有下面的对应关系：。相机的内参矩阵为K，根据参考帧与当前帧之间的特征点集关系可以求出单应矩阵。
3）通过第帧摄像机运动姿态求解单应性矩阵作用到图像中，再通过三维欧式空间到二维欧式空间的映射关系。得到稳定的视频帧序列。从而输出稳像视频。
本发明的积极效果是通过摄像机上搭载的IMU间接获取自身的运动姿态，代替特征点获取运动姿态的方法，有效地克服了使用图像特征点信息分析容易受到场景环境限制等问题。借助搭载在摄像机上的IMU，同时采集IMU数据和视频帧序列，对IMU坐标系和摄像机坐标系进行标定，建立IMU坐标系和摄像机坐标系之间的关系模型。针对IMU和摄像机的同一姿态触发时间不同，提出时间同步模型及同步方法。进而，利用IMU自身的姿态感知间接反映出当前时刻摄像机的运动姿态变化，通过反变换模型，实现视频图像稳定。由于未使用特征点匹配，有效避免了以往方法易受到视频图像中无法足够的稳定匹配特征而导致的稳像失败的影响。解决了IMU和摄像机触发时间不同步所带来的IMU数据无法准确反映摄像机姿态问题。最后将IMU角度信息作用到摄像机生成的图像上，从而达到稳像的效果。该方法能够有效的解决由于拍摄场景非理想情况下，图像特征信息不能稳定、准确获取进而导致无法进行摄像机运动估计的问题。
附图说明
图1是本发明的整体算法流程示意图。
图2是IMU坐标系和摄像机坐标系标定示意图。
图3是IMU和摄像机异频信号同步采集方法示意图。
图4是IMU和摄像机产生同步运动拐点方法示意图。
图5是IMU和摄像机异频率信号开始时间同步方法示意图。
具体实施方式
下面结合附图对本发明进一步的详细描述，如图1所示，一种基于惯性测量单元IMU的实时电子稳像方法，其特征在于具体步骤1，IMU与摄像机标定
（1a）参照图2可知，将IMU搭载在摄像机上IMU坐标系和摄像机坐标系是不重合的，通过这两个坐标系与世界坐标系之间的关系，对IMU坐标系和摄像机坐标系进行相对位姿标定使两个坐标系重合。首先同时对IMU和摄像机进行数据采集。获取IMU的位姿输出信息和采集摄像机生成的视频图像信息。
（1b）通过张正友标定法获得空间3D点到图像的投影关系为：，根据约束条件求解摄像机的内参K与外参R。
（1c）把在同一姿态下IMU采集的三轴加速度数据和相机外参数据，分别作为在世界坐标系下IMU和相机的坐标点和。设R为IMU坐标系和相机坐标系之间的旋转关系，计算摄像机坐标系和IMU坐标系之间存在的关系：。根据最小二乘法将摄像机坐标系和IMU坐标系之间的关系最小化目标函数。
（1d）首先，设，使得摄像机坐标系和IMU坐标系之间仅存在旋转变换。
（1e）则问题转化为最大化上式子第二项，通过IMU坐标系和摄像机坐标系之间与目标函数关系。求解摄像机数据点和数据点之间的累积和，得到正交斜对称阵的之间的关系。
（1f）求解N最大特征值所对应的特征向量得到IMU和摄像机之间的四元数。通过四元数与旋转矩阵之间的关系求解旋转矩阵R。进而求出平移向量t。
（1g）参照图3，可知IMU采集数据的频率摄像机采集图像的频率是异步的。设IMU频率为，摄像机的频率为与的最大公约数为，那么应满足和为满足上述条件的乘法因子。则两个不同频率的最小公倍数为。最后利用插值法将IMU和摄像机扩展到同一频率s上，实现数据采集同步。
（1h）参照图4，将搭载有IMU的摄像机左右晃动，在晃动的过程中IMU和摄像机各个坐标轴产生运动轨迹及角度变化产生的拐点。参照图5可知，标定在同一坐标系下的IMU和摄像机应具有相同的运动轨迹。对于摄像机，利用视频图像中角点检测的方式求得的三轴角度平方和再开方作为重心，对于IMU利用自身感知到的三轴角度平方和作为重心，计算二者在同步运动过程中重心变化曲线所表现出的拐点进行匹配，得到IMU和摄像机的姿态同步触发时间。
步骤2，IMU稳像方法
（2a）利用IMU的弧度信息作为旋转向量，对这个向量进行规范化得。
（2b）单位化旋转向量把形式旋转向量变成的矩阵形式。
（2c）根据2a和2b求得的规范化向量和矩阵使用罗德里格斯绕任意轴旋转的几何关系，求解参考帧与稳像帧（当前帧）的旋转关系。
（2d）利用相机的内参矩阵K，根据参考帧与稳像帧之间的特征点集关系可以求出单应矩阵H。
（2e）通过三维欧式空间到二维欧式空间的映射关系。得到稳定的视频帧序列。从而输出稳像视频。
Claims (1)
1.一种基于惯性测量单元IMU的实时电子稳像方法，其特征在于：将IMU和摄像机触发时间同步模型，将标定在同一坐标系下的IMU和摄像机同时进行运动，通过在运动过程中两坐标系产生的拐点信息进行时间配准，其具体步骤如下：
一、IMU与摄像机坐标系标定
1）基于张正友标定法的摄像机标定
假设成像平面上的二维点的坐标为，对应空间中的三维点的坐标表示为，通过将两个坐标进行齐次坐标转换得，此处，我们默认相机为小孔成像相机模型；3D点到图像的投影关系为：，为任意数，为根据棋盘格标定控制点坐标和图像坐标得到的单应性矩阵(由旋转、平移和相机参数组成)；和分别为摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量；已知约束条件中相互正交，则：
设是一个对称阵，可得，根据约束条件可得：
，
其中；
标定时，需要拍摄幅标定板图像用于约束参数方程，当时，可以求出线性唯一解，进而求出摄像机内外参数；
2）IMU坐标系与摄像机坐标系的相对位姿求解
把在同一姿态下IMU采集的三轴加速度数据和相机外参数据，分别作为在世界坐标系下IMU和相机的坐标点和，假设有对这样匹配的数据点，大于3，计算刚体变换关系至少需要3对这样的匹配点，已知摄像机坐标系和IMU坐标系之间存在如下的关系：
和为IMU坐标系和相机坐标系的旋转平移关系矩阵，所以根据最小二乘法将摄像机坐标系和IMU坐标系之间的关系最小化目标函数，为使得目标函数最小化得到最小目标函数，设，此时最小化目标函数变为，
这样摄像机坐标系和IMU坐标系之间仅存在旋转变换，故，则将展开式最小化就变成了第二项的最大化问题：；求解旋转矩阵R，根据旋转矩阵R和四元数之间的关系将第二项改写成；
设相机坐标系和IMU坐标系各对点的坐标分别为
，则：
由上式可知和是正交斜对称阵，最大化IMU坐标系和摄像机坐标系之间目标函数关系，通过求解摄像机数据点和数据点之间的累积和，得到正交斜对称阵的之间的关系N，求解N最大特征值所对应的特征向量得到IMU和摄像机之间的四元数，通过四元数与旋转矩阵之间的关系求解旋转矩阵R；IMU坐标系和摄像机坐标系之间的平移关系则根据求解；
二、IMU与摄像机触发时间同步方法
利用标定好的IMU坐标系和摄像机坐标系，通过对数据的融合达到使用IMU数据解算摄像机姿态的目的，首先同步IMU和摄像机的采集频率，设IMU频率为，摄像机的频率为与的最大公约数为d，那么应满足和为满足上述条件的乘法因子，则两个不同频率的最小公倍数为；这样无论IMU还是摄像机之间的频率都成整数倍关系，设扩展后的IMU的频率范围为，摄像机的频率范围为，集合 与的个数相同，以及相邻元素之间的间隔大小相同，设与为这些扩展的点集上的自变量，由于自变量没有相应的因变量，通过插值法对其插值；
IMU同摄像机是以刚体形式连接在一起，相机的任意晃动都将在IMU上产生反应，并产生运动轨迹，对于标定在同一坐标系下的IMU和摄像机具有相同的运动轨迹，通过求解IMU和摄像机运动过程中产生的对应拐点进行时间轴上匹配，找到IMU和摄像机之间的姿态同步触发时间；
三、基于IMU的稳像方法
基于IMU的稳像方法包括如下步骤：
1）设k为参考帧，IMU第帧在IMU坐标系的旋转弧度分别为和；把弧度作为旋转向量求解旋转矩阵，并对这个向量进行规范化得到；
根据规范化向量得到模长为1的单位化弧度向量，已知斜对称矩阵可以把形式的欧拉角变成的形式并仍保留欧拉角的意义，所以由单位化弧度向量得到的斜对称矩阵w，根据和w使用罗德里格斯绕任意轴旋转的几何关系，求解得到IMU第帧所形成的单位化旋转矩阵为；
2）单应性指把第一张二维平面上的点与第二张二维平面上具有相同特征的点，进行单应性的关联，满足一个平面到另一个平面的投影映射关系，把定义为要进行视频稳像前的视频序列帧图像的特征点集，为参考帧图像的特征点集，那么就有下面的对应关系：；相机的内参矩阵为K，根据参考帧与当前帧之间的特征点集关系可以求出单应矩阵；
3）通过第帧摄像机运动姿态求解单应性矩阵作用到图像中，再通过三维欧式空间到二维欧式空间的映射关系，得到稳定的视频帧序列，从而输出稳像视频。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610609729.8A CN106251305B (zh) | 2016-07-29 | 2016-07-29 | 一种基于惯性测量单元imu的实时电子稳像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610609729.8A CN106251305B (zh) | 2016-07-29 | 2016-07-29 | 一种基于惯性测量单元imu的实时电子稳像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106251305A true CN106251305A (zh) | 2016-12-21 |
| CN106251305B CN106251305B (zh) | 2019-04-30 |
Family
ID=57604732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610609729.8A Expired - Fee Related CN106251305B (zh) | 2016-07-29 | 2016-07-29 | 一种基于惯性测量单元imu的实时电子稳像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106251305B (zh) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107314778A (zh) * | 2017-08-04 | 2017-11-03 | 广东工业大学 | 一种相对姿态的标定方法、装置及*** |
| CN107728182A (zh) * | 2017-09-18 | 2018-02-23 | 北京航空航天大学 | 基于相机辅助的柔性多基线测量方法和装置 |
| CN108375383A (zh) * | 2018-02-22 | 2018-08-07 | 北京航空航天大学 | 多相机辅助的机载分布式pos柔性基线测量方法和装置 |
| CN108933896A (zh) * | 2018-07-30 | 2018-12-04 | 长沙全度影像科技有限公司 | 基于惯性测量单元的全景视频稳像的方法及*** |
| CN109029433A (zh) * | 2018-06-28 | 2018-12-18 | 东南大学 | 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法 |
| CN109063703A (zh) * | 2018-06-29 | 2018-12-21 | 南京睿悦信息技术有限公司 | 基于标识识别和惯性测量单元融合的增强现实定位算法 |
| CN109074664A (zh) * | 2017-10-26 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 姿态标定方法、设备及无人飞行器 |
| CN109883452A (zh) * | 2019-04-16 | 2019-06-14 | 百度在线网络技术（北京）有限公司 | 参数标定方法和装置、电子设备、计算机可读介质 |
| CN110118572A (zh) * | 2019-05-08 | 2019-08-13 | 北京建筑大学 | 多目立体视觉与惯性导航***及相对位姿参数确定方法 |
| CN110458892A (zh) * | 2019-07-17 | 2019-11-15 | 北京自动化控制设备研究所 | 基于惯性导航的相机标定方法 |
| CN110520694A (zh) * | 2017-10-31 | 2019-11-29 | 深圳市大疆创新科技有限公司 | 一种视觉里程计及其实现方法 |
| CN110567484A (zh) * | 2019-07-25 | 2019-12-13 | 深圳市瑞立视多媒体科技有限公司 | 标定imu与刚体姿态的方法、设备以及可读存储介质 |
| CN110648370A (zh) * | 2019-09-29 | 2020-01-03 | 百度在线网络技术（北京）有限公司 | 标定数据筛选方法、装置及电子设备 |
| CN111083310A (zh) * | 2019-12-26 | 2020-04-28 | 广东弓叶科技有限公司 | 2d线阵相机和3d线阵相机数据同步的处理方法及*** |
| CN111489397A (zh) * | 2019-12-19 | 2020-08-04 | 阿里巴巴集团控股有限公司 | 一种成像设备标定方法以及装置 |
| CN111750850A (zh) * | 2019-03-27 | 2020-10-09 | 杭州海康威视数字技术股份有限公司 | 角度信息获取方法、装置和*** |
| CN112129317A (zh) * | 2019-06-24 | 2020-12-25 | 南京地平线机器人技术有限公司 | 信息采集时间差确定方法、装置以及电子设备、存储介质 |
| CN112833810A (zh) * | 2021-01-29 | 2021-05-25 | 淮北矿业股份有限公司 | 一种煤矿罐道变形监测*** |
| CN113790738A (zh) * | 2021-08-13 | 2021-12-14 | 上海智能网联汽车技术中心有限公司 | 一种基于智能云台imu的数据补偿方法 |
| CN114199281A (zh) * | 2021-12-13 | 2022-03-18 | 哈尔滨工业大学芜湖机器人产业技术研究院 | 基于速度优化的多传感器联合标定方法及*** |
| TWI819219B (zh) * | 2020-04-30 | 2023-10-21 | 鴻海精密工業股份有限公司 | 動態場景補償的拍照方法及攝像裝置 |
| CN117649454A (zh) * | 2024-01-29 | 2024-03-05 | 北京友友天宇***技术有限公司 | 双目相机外参自动校正方法、装置、电子设备及存储介质 |
| US20240244326A1 (en) * | 2020-08-12 | 2024-07-18 | Corephotonics Ltd. | Optical image stabilization in a scanning folded camera |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105208247A (zh) * | 2015-09-02 | 2015-12-30 | 长春理工大学 | 一种基于四元数的全景稳像方法 |
| EP2990765A1 (en) * | 2014-08-27 | 2016-03-02 | Kabushiki Kaisha TOPCON | Image processing device, image processing method, and program therefor |
| CN105681674A (zh) * | 2016-03-21 | 2016-06-15 | 南通大学 | 基于机械稳像和电子稳像的稳像方法及复合式稳像*** |
-
2016
- 2016-07-29 CN CN201610609729.8A patent/CN106251305B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2990765A1 (en) * | 2014-08-27 | 2016-03-02 | Kabushiki Kaisha TOPCON | Image processing device, image processing method, and program therefor |
| CN105208247A (zh) * | 2015-09-02 | 2015-12-30 | 长春理工大学 | 一种基于四元数的全景稳像方法 |
| CN105681674A (zh) * | 2016-03-21 | 2016-06-15 | 南通大学 | 基于机械稳像和电子稳像的稳像方法及复合式稳像*** |
Non-Patent Citations (3)
| Title |
|---|
| NIRMAL, K 等: "Noise modeling and analysis of an IMU-based attitude sensor: improvement of performance by filtering and sensor fusion", 《PROCEEDINGS OF SPIE》 * |
| 司书哲 等: "一种基于鲁棒背景运动估计的电子稳像算法", 《长春理工大学学报》 * |
| 杨浩 等: "摄像机和惯性测量单元的相对位姿标定方法", 《机器人》 * |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107314778B (zh) * | 2017-08-04 | 2023-02-10 | 广东工业大学 | 一种相对姿态的标定方法、装置及*** |
| CN107314778A (zh) * | 2017-08-04 | 2017-11-03 | 广东工业大学 | 一种相对姿态的标定方法、装置及*** |
| CN107728182A (zh) * | 2017-09-18 | 2018-02-23 | 北京航空航天大学 | 基于相机辅助的柔性多基线测量方法和装置 |
| CN109074664A (zh) * | 2017-10-26 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 姿态标定方法、设备及无人飞行器 |
| CN110520694A (zh) * | 2017-10-31 | 2019-11-29 | 深圳市大疆创新科技有限公司 | 一种视觉里程计及其实现方法 |
| CN108375383A (zh) * | 2018-02-22 | 2018-08-07 | 北京航空航天大学 | 多相机辅助的机载分布式pos柔性基线测量方法和装置 |
| CN108375383B (zh) * | 2018-02-22 | 2019-12-24 | 北京航空航天大学 | 多相机辅助的机载分布式pos柔性基线测量方法和装置 |
| CN109029433A (zh) * | 2018-06-28 | 2018-12-18 | 东南大学 | 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法 |
| CN109063703A (zh) * | 2018-06-29 | 2018-12-21 | 南京睿悦信息技术有限公司 | 基于标识识别和惯性测量单元融合的增强现实定位算法 |
| CN108933896B (zh) * | 2018-07-30 | 2020-10-02 | 长沙全度影像科技有限公司 | 基于惯性测量单元的全景视频稳像的方法及*** |
| CN108933896A (zh) * | 2018-07-30 | 2018-12-04 | 长沙全度影像科技有限公司 | 基于惯性测量单元的全景视频稳像的方法及*** |
| CN111750850A (zh) * | 2019-03-27 | 2020-10-09 | 杭州海康威视数字技术股份有限公司 | 角度信息获取方法、装置和*** |
| CN111750850B (zh) * | 2019-03-27 | 2021-12-14 | 杭州海康威视数字技术股份有限公司 | 角度信息获取方法、装置和*** |
| CN109883452A (zh) * | 2019-04-16 | 2019-06-14 | 百度在线网络技术（北京）有限公司 | 参数标定方法和装置、电子设备、计算机可读介质 |
| CN110118572A (zh) * | 2019-05-08 | 2019-08-13 | 北京建筑大学 | 多目立体视觉与惯性导航***及相对位姿参数确定方法 |
| CN112129317A (zh) * | 2019-06-24 | 2020-12-25 | 南京地平线机器人技术有限公司 | 信息采集时间差确定方法、装置以及电子设备、存储介质 |
| CN110458892A (zh) * | 2019-07-17 | 2019-11-15 | 北京自动化控制设备研究所 | 基于惯性导航的相机标定方法 |
| CN110567484A (zh) * | 2019-07-25 | 2019-12-13 | 深圳市瑞立视多媒体科技有限公司 | 标定imu与刚体姿态的方法、设备以及可读存储介质 |
| CN110648370A (zh) * | 2019-09-29 | 2020-01-03 | 百度在线网络技术（北京）有限公司 | 标定数据筛选方法、装置及电子设备 |
| CN110648370B (zh) * | 2019-09-29 | 2022-06-03 | 阿波罗智联(北京)科技有限公司 | 标定数据筛选方法、装置及电子设备 |
| CN111489397A (zh) * | 2019-12-19 | 2020-08-04 | 阿里巴巴集团控股有限公司 | 一种成像设备标定方法以及装置 |
| CN111083310A (zh) * | 2019-12-26 | 2020-04-28 | 广东弓叶科技有限公司 | 2d线阵相机和3d线阵相机数据同步的处理方法及*** |
| CN111083310B (zh) * | 2019-12-26 | 2022-03-08 | 广东弓叶科技有限公司 | 2d线阵相机和3d线阵相机数据同步的处理方法及*** |
| TWI819219B (zh) * | 2020-04-30 | 2023-10-21 | 鴻海精密工業股份有限公司 | 動態場景補償的拍照方法及攝像裝置 |
| US20240244326A1 (en) * | 2020-08-12 | 2024-07-18 | Corephotonics Ltd. | Optical image stabilization in a scanning folded camera |
| CN112833810A (zh) * | 2021-01-29 | 2021-05-25 | 淮北矿业股份有限公司 | 一种煤矿罐道变形监测*** |
| CN113790738A (zh) * | 2021-08-13 | 2021-12-14 | 上海智能网联汽车技术中心有限公司 | 一种基于智能云台imu的数据补偿方法 |
| CN114199281A (zh) * | 2021-12-13 | 2022-03-18 | 哈尔滨工业大学芜湖机器人产业技术研究院 | 基于速度优化的多传感器联合标定方法及*** |
| CN117649454A (zh) * | 2024-01-29 | 2024-03-05 | 北京友友天宇***技术有限公司 | 双目相机外参自动校正方法、装置、电子设备及存储介质 |
| CN117649454B (zh) * | 2024-01-29 | 2024-05-31 | 北京友友天宇***技术有限公司 | 双目相机外参自动校正方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106251305B (zh) | 2019-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106251305A (zh) | 一种基于惯性测量单元imu的实时电子稳像方法 | |
| CN107255476B (zh) | 一种基于惯性数据和视觉特征的室内定位方法和装置 | |
| US11019330B2 (en) | Multiple camera system with auto recalibration | |
| CN106525003B (zh) | 一种基于双目视觉的姿态测量方法 | |
| JP7143225B2 (ja) | 三次元再構成方法及び三次元再構成装置 | |
| CN105814401B (zh) | 图像处理装置、图像处理方法和成像装置 | |
| CN105374019B (zh) | 一种多深度图融合方法及装置 | |
| US9374571B2 (en) | Image processing device, imaging device, and image processing method | |
| WO2019219013A1 (zh) | 联合优化人体体态与外观模型的三维重建方法及*** | |
| WO2024045632A1 (zh) | 基于双目视觉和imu的水下场景三维重建方法及设备 | |
| CN110070598B (zh) | 用于3d扫描重建的移动终端及其进行3d扫描重建方法 | |
| TW201520973A (zh) | 三維立體模型之建立方法和裝置 | |
| CN107680159A (zh) | 一种基于投影矩阵的空间非合作目标三维重建方法 | |
| CN105812766B (zh) | 一种垂直视差消减方法 | |
| CN106033614B (zh) | 一种强视差下的移动相机运动目标检测方法 | |
| WO2018032841A1 (zh) | 绘制三维图像的方法及其设备、*** | |
| JP6319030B2 (ja) | 目標検出装置 | |
| CN104680544B (zh) | 基于3维流场正则化的变分场景流估计方法 | |
| BR112021008558A2 (pt) | aparelho, método de estimativa de disparidade, e produto de programa de computador | |
| CN113240597A (zh) | 基于视觉惯性信息融合的三维软件稳像方法 | |
| WO2019211970A1 (ja) | 三次元再構成方法及び三次元再構成装置 | |
| CN111145267A (zh) | 基于imu辅助的360度全景视图多相机标定方法 | |
| CN110942430A (zh) | 一种提高tof相机对运动模糊鲁棒性的方法 | |
| CN113902846B (zh) | 一种基于单目深度相机和里程传感器的室内三维建模方法 | |
| Mirisola et al. | 3D Map Registration using Vision/Laser and Inertial Sensing. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190430 Termination date: 20200729 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |