CN107801014A - 一种全景视频防抖的方法、装置及便携式终端 - Google Patents

一种全景视频防抖的方法、装置及便携式终端 Download PDF

Info

Publication number
CN107801014A
CN107801014A CN201711015180.0A CN201711015180A CN107801014A CN 107801014 A CN107801014 A CN 107801014A CN 201711015180 A CN201711015180 A CN 201711015180A CN 107801014 A CN107801014 A CN 107801014A
Authority
CN
China
Prior art keywords
gyroscope
panoramic video
matrix
portable terminal
rotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711015180.0A
Other languages
English (en)
Other versions
CN107801014B (zh
Inventor
陈聪
蔡锦霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Arashi Vision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arashi Vision Co Ltd filed Critical Arashi Vision Co Ltd
Priority to CN201711015180.0A priority Critical patent/CN107801014B/zh
Publication of CN107801014A publication Critical patent/CN107801014A/zh
Priority to EP18870179.1A priority patent/EP3703006B1/en
Priority to PCT/CN2018/110467 priority patent/WO2019080748A1/zh
Priority to JP2020519411A priority patent/JP7039691B6/ja
Priority to US16/759,315 priority patent/US11057567B2/en
Application granted granted Critical
Publication of CN107801014B publication Critical patent/CN107801014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/02—Devices characterised by the use of mechanical means
    • G01P3/16—Devices characterised by the use of mechanical means by using centrifugal forces of solid masses
    • G01P3/22—Devices characterised by the use of mechanical means by using centrifugal forces of solid masses transferred to the indicator by electric or magnetic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Gyroscopes (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

本发明适用于视频领域，提供了一种全景视频防抖的方法、装置及便携式终端。所述方法包括：实时获取便携式终端中的陀螺仪的当前状态时间戳、加速度计数值和角速度数值；利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计得到便携式终端到世界坐标系的旋转量；同步陀螺仪时间戳与全景视频帧的时间戳；对陀螺仪的状态进行四元数插值获取对应全景视频帧的旋转矩阵；根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。本发明能得到更为精确的旋转矩阵，然后根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。因此最终能稳定抖动的视频帧，能减轻VR晕动症，对大噪声场景和大部分运动场景都有很强的鲁棒性。

Description

一种全景视频防抖的方法、装置及便携式终端
技术领域
本发明属于视频领域，尤其涉及一种全景视频防抖的方法、装置及便携式终端。
背景技术
现有技术提供的全景视频，当戴上VR眼镜看时，会让人感觉恶心、眩晕，VR晕动症是一个一直未能很好解决的问题，除了硬件方面未能取得突破外，软件部分也是一个原因，特别是VR全景视频，如果使用手持式的全景相机拍摄，画面的抖动会进一步加速VR晕动症的产生。
发明内容
本发明的目的在于提供一种全景视频防抖的方法、装置、计算机可读存储介质及便携式终端，旨在解决画面的抖动会进一步加速VR晕动症的产生的问题。
第一方面，本发明提供了一种全景视频防抖的方法，所述方法包括：
实时获取便携式终端中的陀螺仪的当前状态时间戳、加速度计数值和角速度数值；
利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计得到便携式终端到世界坐标系的旋转量；
同步陀螺仪时间戳与全景视频帧的时间戳；
对陀螺仪的状态进行四元数插值获取对应全景视频帧的旋转矩阵；
根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。
第二方面，本发明提供了一种全景视频防抖的装置，所述装置包括：
获取模块，用于实时获取便携式终端中的陀螺仪的当前状态时间戳、加速度计数值和角速度数值；
估计模块，用于利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计得到便携式终端到世界坐标系的旋转量；
同步模块，用于同步陀螺仪时间戳与全景视频帧的时间戳；
插值模块，用于对陀螺仪的状态进行四元数插值获取对应全景视频帧的旋转矩阵；
旋转模块，用于根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。
第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述的全景视频防抖的方法的步骤。
第四方面，本发明提供了一种便携式终端，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上述的全景视频防抖的方法的步骤。
在本发明中，由于对陀螺仪的状态进行四元数插值获取对应全景视频帧的旋转矩阵，因此能得到更为精确的旋转矩阵。然后根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。因此最终能稳定抖动的视频帧，能减轻VR晕动症，对大噪声场景和大部分运动场景都有很强的鲁棒性。
附图说明
图1是本发明实施例一提供的全景视频防抖的方法的流程图。
图2是本发明实施例一提供的全景视频防抖的方法中的S102的流程图。
图3是本发明实施例二提供的全景视频防抖的装置的示意图。
图4是本发明实施例三提供的便携式终端的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
请参阅图1，本发明实施例一提供的全景视频防抖的方法包括以下步骤：
S101、实时获取便携式终端中的陀螺仪的当前状态时间戳、加速度计数值和角速度数值。
在本发明实施例一中，
实时获取便携式终端中的陀螺仪的加速度计数值具体可以是：利用重力感应器读取三轴加速度计数值。
实时获取便携式终端中的陀螺仪的角速度数值具体可以是：利用角速度感应器读取三轴角速度数值。
在本发明实施例一中，S101之后还可以包括以下步骤：
利用低通滤波对加速度计数值进行降噪处理。具体可以包括以下步骤：
通过公式d'i＝α·di+(1-α)·Ri·d'i-1对加速度计数值进行低通滤波降噪处理，其中，d′i表示第i时刻经过低通滤波后的加速度计数值，di表示第i时刻的加速度计数值，Ri为陀螺仪第i帧视频的相对旋转量，Ri＝exp[-ωi·Δt]×，ωi表示第i时刻的角速度数值，d′i-1表示第i-1时刻时滤波后的加速度计数值，α表示平滑因子，其中fc表示低通滤波的截止频率，Rc表示时间常数，Δt表示陀螺仪数据的采样时间间隔。
S102、利用扩展卡尔曼滤波(Extended Kalman Filtering)结合加速度计数值和角速度数值，估计得到便携式终端到世界坐标系的旋转量。
扩展卡尔曼滤波是将非线性***线性化，然后进行卡尔曼滤波，卡尔曼滤波是一种高效率的递归滤波器,它能够从一系列的不完全包含噪声的测量中，估计动态***的状态。
请参阅图2，在本发明实施例一中，S102具体可以包括以下步骤：
S1021、初始状态旋转量其中，d0为初始测得的加速度数值，g为世界坐标系重力矢量；初始过程协方差
S1022、利用角速度数值ωk计算第K时刻的状态转移矩阵Φ(ωk)；
Φ(ωk)＝exp(-[ωk·Δt]×)，其中ωk是第K时刻的角速度数值，Δt表示陀螺仪数据的采样时间间隔。
S1023、计算状态噪声的协方差矩阵Qk，更新状态旋转先验估计量和过程协方差先验估计矩阵
Qk为状态噪声的协方差矩阵；
其中，是第K-1时刻的状态旋转后验估计量；
其中，是第K-1时刻的过程协方差后验估计矩阵；
S1024、由加速度数值dk更新观测量的噪声方差矩阵Rk，计算观测转移雅克比矩阵Hk，计算当前观测量和估计观测量误差ek；
其中， α为加速度变化量的平滑因子，β为加速度模长的影响因子；
其中h为观察函数，h(q,v)＝q·g+vk，g世界坐标系下的重力矢量，q为状态量，即世界坐标系到陀螺仪坐标系的旋转量，vk为测量噪声；
S1025、更新第k时刻的最优卡尔曼增益矩阵Kk；
S1026、根据最优卡尔曼增益矩阵Kk和观测量误差ek更新便携式终端到世界坐标系的旋转后验估计量和过程协方差后验估计矩阵
S103、同步陀螺仪时间戳与全景视频帧的时间戳。
在本发明实施例一中，S103具体可以为：
同步陀螺仪时间戳与全景视频帧的时间戳，使tk≥tj>tk-1，其中tj是全景视频时间戳，tk为陀螺仪第K帧的时间戳，tk-1为陀螺仪第K-1帧的时间戳。
S104、对陀螺仪的状态进行四元数插值获取对应全景视频帧的旋转矩阵。
在本发明实施例一中，S104具体可以包括以下步骤：
计算邻近陀螺仪时间戳的相对旋转量，其中，rk为第K时刻的相对旋转量，和为第k和k-1时刻的状态后验估计量，即世界坐标系到陀螺仪坐标系的旋转量；
进行四元数插值获取全景视频帧到第k帧的相对旋转量，Rj＝γ·I+(1-γ)·rk，其中，Rj为第k帧的相对旋转量，
计算全景视频帧中第j帧视频的旋转矩阵
S105、根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。
在本发明实施例一中，S105具体可以包括以下步骤：
把经纬度二维图像上的栅格点映射到球面坐标；
遍历单位球上的所有点，利用当前的旋转矩阵对单位球上的所有点进行旋转，生成稳定的视频帧。
其中，利用当前的旋转矩阵对单位球上的所有点进行旋转具体可以采用以下的公式：其中，[x,y,z]T表示单位圆旋转之前的球面坐标，[xnew,ynew,znew]T表示旋转后的球面坐标，Qj表示当前的旋转矩阵，t表示位移向量，t＝[0,0,0]T。
实施例二：
请参阅图3，本发明实施例二提供的全景视频防抖的装置包括：
获取模块11，用于实时获取便携式终端中的陀螺仪的当前状态时间戳、加速度计数值和角速度数值；
估计模块12，用于利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计得到便携式终端到世界坐标系的旋转量；
同步模块13，用于同步陀螺仪时间戳与全景视频帧的时间戳；
插值模块14，用于对陀螺仪的状态进行四元数插值获取对应全景视频帧的旋转矩阵；
旋转模块15，用于根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。
本发明实施例二提供的全景视频防抖的装置及本发明实施例一提供的全景视频防抖的方法属于同一构思，其具体实现过程详见说明书全文，此处不再赘述。
实施例三：
本发明实施例三提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例一提供的全景视频防抖的方法的步骤。
实施例四：
图4示出了本发明实施例四提供的便携式终端的具体结构框图，一种便携式终端100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本发明实施例一提供的全景视频防抖的方法的步骤。
在本发明实施例中，由于对陀螺仪的状态进行四元数插值获取对应全景视频帧的旋转矩阵，因此能得到更为精确的旋转矩阵。然后根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。因此最终能稳定抖动的视频帧，能减轻VR晕动症，对大噪声场景和大部分运动场景都有很强的鲁棒性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种全景视频防抖的方法，其特征在于，所述方法包括：
实时获取便携式终端中的陀螺仪的当前状态时间戳、加速度计数值和角速度数值；
利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计得到便携式终端到世界坐标系的旋转量；
同步陀螺仪时间戳与全景视频帧的时间戳；
对陀螺仪的状态进行四元数插值获取对应全景视频帧的旋转矩阵；
根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。
2.如权利要求1所述的方法，其特征在于，实时获取便携式终端中的陀螺仪的加速度计数值具体是：利用重力感应器读取三轴加速度计数值；
实时获取便携式终端中的陀螺仪的角速度数值具体是：利用角速度感应器读取三轴角速度数值。
3.如权利要求1所述的方法，其特征在于，所述实时获取便携式终端中的陀螺仪的当前状态时间戳、加速度计数值和角速度数值之后，所述方法还包括：
利用低通滤波对加速度计数值进行降噪处理，具体包括：
通过公式d'i＝α·di+(1-α)·Ri·d'i-1对加速度计数值进行低通滤波降噪处理，其中，d′i表示第i时刻经过低通滤波后的加速度计数值，di表示第i时刻的加速度计数值，Ri为陀螺仪第i帧视频的相对旋转量，Ri＝exp[-ωi·Δt]×，ωi表示第i时刻的角速度数值，d′i-1表示第i-1时刻时滤波后的加速度计数值，α表示平滑因子，其中fc表示低通滤波的截止频率，Rc表示时间常数，Δt表示陀螺仪数据的采样时间间隔。
4.如权利要求1或3所述的方法，其特征在于，所述利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计得到便携式终端到世界坐标系的旋转量具体包括：
S1021、初始状态旋转量其中，d0为初始测得的加速度数值，g为世界坐标系重力矢量；初始过程协方差
S1022、利用角速度数值ωk计算第K时刻的状态转移矩阵Φ(ωk)；
Φ(ωk)＝exp(-[ωk·Δt]×)，其中ωk是第K时刻的角速度数值，Δt表示陀螺仪数据的采样时间间隔。
S1023、计算状态噪声的协方差矩阵Qk，更新状态旋转先验估计量和过程协方差先验估计矩阵
Qk为状态噪声的协方差矩阵；
其中，是第K-1时刻的状态旋转后验估计量；
其中，是第K-1时刻的过程协方差后验估计矩阵；
S1024、由加速度数值dk更新观测量的噪声方差矩阵Rk，计算观测转移雅克比矩阵Hk，计算当前观测量和估计观测量误差ek；
其中，
α为加速度变化量的平滑因子，β为加速度模长的影响因子；
其中h为观察函数，h(q,v)＝q·g+vk，g世界坐标系下的重力矢量，q为状态量，即世界坐标系到陀螺仪坐标系的旋转量，vk为测量噪声；
<mrow> <msub> <mi>e</mi> <mi>k</mi> </msub> <mo>=</mo> <msub> <mi>d</mi> <mi>k</mi> </msub> <mo>&amp;times;</mo> <mi>h</mi> <mrow> <mo>(</mo> <msubsup> <mi>q</mi> <mi>k</mi> <mo>-</mo> </msubsup> <mo>,</mo> <mn>0</mn> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
S1025、更新第k时刻的最优卡尔曼增益矩阵Kk；
<mrow> <msub> <mi>K</mi> <mi>k</mi> </msub> <mo>=</mo> <msubsup> <mi>P</mi> <mi>k</mi> <mo>-</mo> </msubsup> <mo>&amp;CenterDot;</mo> <msubsup> <mi>H</mi> <mi>k</mi> <mi>T</mi> </msubsup> <msup> <mrow> <mo>(</mo> <msub> <mi>H</mi> <mi>k</mi> </msub> <mo>&amp;CenterDot;</mo> <msubsup> <mi>P</mi> <mi>k</mi> <mo>-</mo> </msubsup> <mo>&amp;CenterDot;</mo> <msubsup> <mi>H</mi> <mi>k</mi> <mi>T</mi> </msubsup> <mo>+</mo> <msub> <mi>R</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>;</mo> </mrow>
S1026、根据最优卡尔曼增益矩阵Kk和观测量误差ek更新便携式终端到世界坐标系的旋转后验估计量和过程协方差后验估计矩阵
<mrow> <msubsup> <mi>q</mi> <mi>k</mi> <mo>+</mo> </msubsup> <mo>=</mo> <mi>exp</mi> <mrow> <mo>(</mo> <msub> <mrow> <mo>&amp;lsqb;</mo> <msub> <mi>K</mi> <mi>k</mi> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>e</mi> <mi>k</mi> </msub> <mo>&amp;rsqb;</mo> </mrow> <mo>&amp;times;</mo> </msub> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <msubsup> <mi>q</mi> <mi>k</mi> <mo>-</mo> </msubsup> <mo>,</mo> </mrow>
<mrow> <msubsup> <mi>P</mi> <mi>k</mi> <mo>+</mo> </msubsup> <mo>=</mo> <mi>exp</mi> <mrow> <mo>(</mo> <msub> <mrow> <mo>&amp;lsqb;</mo> <msub> <mi>K</mi> <mi>k</mi> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>e</mi> <mi>k</mi> </msub> <mo>&amp;rsqb;</mo> </mrow> <mo>&amp;times;</mo> </msub> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <msubsup> <mi>P</mi> <mi>k</mi> <mo>-</mo> </msubsup> <mo>&amp;CenterDot;</mo> <mi>exp</mi> <mrow> <mo>(</mo> <msub> <mrow> <mo>&amp;lsqb;</mo> <msub> <mi>K</mi> <mi>k</mi> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>e</mi> <mi>k</mi> </msub> <mo>&amp;rsqb;</mo> </mrow> <mo>&amp;times;</mo> </msub> <mo>)</mo> </mrow> <mo>.</mo> </mrow>
5.如权利要求4所述的方法，其特征在于，所述同步陀螺仪时间戳与全景视频帧的时间戳具体为：
同步陀螺仪时间戳与全景视频帧的时间戳，使tk≥tj>tk-1，其中tj是全景视频时间戳，tk为陀螺仪第K帧的时间戳，tk-1为陀螺仪第K-1帧的时间戳。
6.如权利要求5所述的方法，其特征在于，所述对陀螺仪的状态进行四元数插值获取对应全景视频帧的旋转矩阵具体包括：
计算邻近陀螺仪时间戳的相对旋转量，其中，rk为第K时刻的相对旋转量，和为第k和k-1时刻的状态后验估计量，即世界坐标系到陀螺仪坐标系的旋转量；
进行四元数插值获取全景视频帧到第k帧的相对旋转量，Rj＝γ·I+(1-γ)·rk，其中，Rj为第k帧的相对旋转量，
计算全景视频帧中第j帧视频的旋转矩阵
7.如权利要求6所述的方法，其特征在于，所述根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧具体包括：
把经纬度二维图像上的栅格点映射到球面坐标；
遍历单位球上的所有点，利用当前的旋转矩阵对单位球上的所有点进行旋转，生成稳定的视频帧；
其中，利用当前的旋转矩阵对单位球上的所有点进行旋转具体采用以下的公式：其中，[x,y,z]T表示单位圆旋转之前的球面坐标，[xnew,ynew,znew]T表示旋转后的球面坐标，Qj表示当前的旋转矩阵，t表示位移向量，t＝[0,0,0]T。
8.一种全景视频防抖的装置，其特征在于，所述装置包括：
获取模块，用于实时获取便携式终端中的陀螺仪的当前状态时间戳、加速度计数值和角速度数值；
估计模块，用于利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计得到便携式终端到世界坐标系的旋转量；
同步模块，用于同步陀螺仪时间戳与全景视频帧的时间戳；
插值模块，用于对陀螺仪的状态进行四元数插值获取对应全景视频帧的旋转矩阵；
旋转模块，用于根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的全景视频防抖的方法的步骤。
10.一种便携式终端，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的全景视频防抖的方法的步骤。
CN201711015180.0A 2017-10-25 2017-10-25 一种全景视频防抖的方法、装置及便携式终端 Active CN107801014B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201711015180.0A CN107801014B (zh) 2017-10-25 2017-10-25 一种全景视频防抖的方法、装置及便携式终端
EP18870179.1A EP3703006B1 (en) 2017-10-25 2018-10-16 Anti-shake method and apparatus for panoramic video, and portable terminal
PCT/CN2018/110467 WO2019080748A1 (zh) 2017-10-25 2018-10-16 一种全景视频防抖的方法、装置及便携式终端
JP2020519411A JP7039691B6 (ja) 2017-10-25 2018-10-16 パノラマ映像の手振れ補正方法、装置及び携帯端末
US16/759,315 US11057567B2 (en) 2017-10-25 2018-10-16 Anti-shake method and apparatus for panoramic video, and portable terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711015180.0A CN107801014B (zh) 2017-10-25 2017-10-25 一种全景视频防抖的方法、装置及便携式终端

Publications (2)

Publication Number Publication Date
CN107801014A true CN107801014A (zh) 2018-03-13
CN107801014B CN107801014B (zh) 2019-11-08

Family

ID=61547658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711015180.0A Active CN107801014B (zh) 2017-10-25 2017-10-25 一种全景视频防抖的方法、装置及便携式终端

Country Status (5)

Country Link
US (1) US11057567B2 (zh)
EP (1) EP3703006B1 (zh)
JP (1) JP7039691B6 (zh)
CN (1) CN107801014B (zh)
WO (1) WO2019080748A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108600616A (zh) * 2018-04-04 2018-09-28 深圳市极酷威视科技有限公司 一种基于rtp帧同步的视频防抖***和视频获取器材
CN109561253A (zh) * 2018-12-18 2019-04-02 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、装置及便携式终端
WO2019080748A1 (zh) * 2017-10-25 2019-05-02 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、装置及便携式终端
CN110166695A (zh) * 2019-06-26 2019-08-23 Oppo广东移动通信有限公司 摄像头防抖方法、装置、电子设备和计算机可读存储介质
WO2019174640A1 (zh) * 2018-03-16 2019-09-19 深圳岚锋创视网络科技有限公司 一种全景视频防抖方法及便携式终端
CN110351508A (zh) * 2019-08-13 2019-10-18 Oppo广东移动通信有限公司 基于录像模式的防抖处理方法和装置、电子设备
GB2575824A (en) * 2018-07-24 2020-01-29 Displaylink Uk Ltd Generating display data
CN110740247A (zh) * 2018-07-18 2020-01-31 腾讯科技（深圳）有限公司 视频增稳方法、装置、计算机设备及存储介质
CN110933309A (zh) * 2019-12-03 2020-03-27 深圳市圆周率软件科技有限责任公司 一种多目全景相机全景防抖方法及***
WO2020125130A1 (zh) * 2018-12-18 2020-06-25 影石创新科技股份有限公司 一种全景视频防抖的方法及便携式终端
CN112017215A (zh) * 2020-08-06 2020-12-01 影石创新科技股份有限公司 图像处理方法、装置、计算机可读存储介质及计算机设备
CN112188037A (zh) * 2020-09-24 2021-01-05 影石创新科技股份有限公司 生成陀螺仪旋转方向的方法及计算机设备
CN112492223A (zh) * 2019-07-23 2021-03-12 影石创新科技股份有限公司 一种相机镜头平滑处理方法、装置及便携式终端
CN114979456A (zh) * 2021-02-26 2022-08-30 影石创新科技股份有限公司 视频数据的防抖处理方法、装置、计算机设备和存储介质
CN114979615A (zh) * 2022-05-11 2022-08-30 闪耀现实(无锡)科技有限公司 用于在头戴显示设备显示画面的方法、装置及电子设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11611700B2 (en) * 2020-07-12 2023-03-21 Skydio, Inc. Unmanned aerial vehicle with virtual un-zoomed imaging
CN112660144B (zh) * 2020-12-04 2022-06-24 上汽通用五菱汽车股份有限公司 横摆角速度滤波方法、控制终端、车辆及存储介质
CN113395454B (zh) * 2021-07-06 2023-04-25 Oppo广东移动通信有限公司 图像拍摄的防抖方法与装置、终端及可读存储介质
CN114040128B (zh) * 2021-11-24 2024-03-01 视辰信息科技(上海)有限公司 时间戳延时标定方法及***、设备和计算机可读存储介质
CN116048955B (zh) * 2022-07-19 2023-10-20 荣耀终端有限公司 一种测试方法及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103813099A (zh) * 2013-12-13 2014-05-21 中山大学深圳研究院 一种基于特征点匹配的视频防抖方法
CN104869310A (zh) * 2015-05-18 2015-08-26 成都平行视野科技有限公司 基于移动设备gpu和角速度传感器的视频拍摄防抖方法
CN106210544A (zh) * 2016-08-18 2016-12-07 惠州Tcl移动通信有限公司 一种移动终端及其拍摄视频的防抖处理方法、***
CN107040694A (zh) * 2017-04-07 2017-08-11 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、***及便携式终端

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5051751A (en) 1991-02-12 1991-09-24 The United States Of America As Represented By The Secretary Of The Navy Method of Kalman filtering for estimating the position and velocity of a tracked object
CN103077509B (zh) * 2013-01-23 2015-10-28 天津大学 利用离散立方体全景图实时合成连续平滑全景视频的方法
CN104331902B (zh) 2014-10-11 2018-10-16 深圳超多维科技有限公司 目标跟踪方法、跟踪装置和3d显示方法及显示装置
US10102666B2 (en) * 2015-06-12 2018-10-16 Google Llc Electronic display stabilization for head mounted display
CN108886573A (zh) * 2016-05-20 2018-11-23 深圳市大疆灵眸科技有限公司 用于数字视频增稳的***和方法
CN107801014B (zh) 2017-10-25 2019-11-08 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、装置及便携式终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103813099A (zh) * 2013-12-13 2014-05-21 中山大学深圳研究院 一种基于特征点匹配的视频防抖方法
CN104869310A (zh) * 2015-05-18 2015-08-26 成都平行视野科技有限公司 基于移动设备gpu和角速度传感器的视频拍摄防抖方法
CN106210544A (zh) * 2016-08-18 2016-12-07 惠州Tcl移动通信有限公司 一种移动终端及其拍摄视频的防抖处理方法、***
CN107040694A (zh) * 2017-04-07 2017-08-11 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、***及便携式终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈红倩: "《计算机图形学与角色群组仿真》", 31 May 2011, 机械工业出版社 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11057567B2 (en) 2017-10-25 2021-07-06 Arashi Vision Inc. Anti-shake method and apparatus for panoramic video, and portable terminal
WO2019080748A1 (zh) * 2017-10-25 2019-05-02 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、装置及便携式终端
US11388339B2 (en) 2018-03-16 2022-07-12 Arashi Vision Inc. Anti-shake method for panoramic video, and portable terminal
JP7016965B2 (ja) 2018-03-16 2022-02-07 影石創新科技股▲ふん▼有限公司 パノラマ映像の手ぶれ補正方法及び携帯端末
WO2019174640A1 (zh) * 2018-03-16 2019-09-19 深圳岚锋创视网络科技有限公司 一种全景视频防抖方法及便携式终端
JP2021517405A (ja) * 2018-03-16 2021-07-15 影石創新科技股▲ふん▼有限公司 パノラマ映像の手ぶれ補正方法及び携帯端末
CN108600616A (zh) * 2018-04-04 2018-09-28 深圳市极酷威视科技有限公司 一种基于rtp帧同步的视频防抖***和视频获取器材
CN110740247B (zh) * 2018-07-18 2021-10-08 腾讯科技（深圳）有限公司 视频增稳方法、装置、计算机设备及存储介质
CN110740247A (zh) * 2018-07-18 2020-01-31 腾讯科技（深圳）有限公司 视频增稳方法、装置、计算机设备及存储介质
GB2575824A (en) * 2018-07-24 2020-01-29 Displaylink Uk Ltd Generating display data
US10983746B2 (en) 2018-07-24 2021-04-20 Displaylink (Uk) Limited Generating display data
GB2575824B (en) * 2018-07-24 2022-08-03 Displaylink Uk Ltd Generating display data
US11490010B2 (en) 2018-12-18 2022-11-01 Arashi Vision Inc. Panoramic video anti-shake method and portable terminal
WO2020125132A1 (zh) * 2018-12-18 2020-06-25 影石创新科技股份有限公司 一种全景视频防抖的方法及便携式终端
CN109561253A (zh) * 2018-12-18 2019-04-02 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、装置及便携式终端
WO2020125130A1 (zh) * 2018-12-18 2020-06-25 影石创新科技股份有限公司 一种全景视频防抖的方法及便携式终端
CN110166695A (zh) * 2019-06-26 2019-08-23 Oppo广东移动通信有限公司 摄像头防抖方法、装置、电子设备和计算机可读存储介质
CN112492223B (zh) * 2019-07-23 2023-05-12 影石创新科技股份有限公司 一种相机镜头平滑处理方法、装置及便携式终端
CN112492223A (zh) * 2019-07-23 2021-03-12 影石创新科技股份有限公司 一种相机镜头平滑处理方法、装置及便携式终端
CN110351508A (zh) * 2019-08-13 2019-10-18 Oppo广东移动通信有限公司 基于录像模式的防抖处理方法和装置、电子设备
CN110351508B (zh) * 2019-08-13 2021-09-28 Oppo广东移动通信有限公司 基于录像模式的防抖处理方法和装置、电子设备
CN110933309A (zh) * 2019-12-03 2020-03-27 深圳市圆周率软件科技有限责任公司 一种多目全景相机全景防抖方法及***
CN112017215A (zh) * 2020-08-06 2020-12-01 影石创新科技股份有限公司 图像处理方法、装置、计算机可读存储介质及计算机设备
CN112188037A (zh) * 2020-09-24 2021-01-05 影石创新科技股份有限公司 生成陀螺仪旋转方向的方法及计算机设备
CN112188037B (zh) * 2020-09-24 2023-03-24 影石创新科技股份有限公司 生成陀螺仪旋转方向的方法及计算机设备
CN114979456A (zh) * 2021-02-26 2022-08-30 影石创新科技股份有限公司 视频数据的防抖处理方法、装置、计算机设备和存储介质
CN114979615A (zh) * 2022-05-11 2022-08-30 闪耀现实(无锡)科技有限公司 用于在头戴显示设备显示画面的方法、装置及电子设备

Also Published As

Publication number Publication date
CN107801014B (zh) 2019-11-08
EP3703006B1 (en) 2022-08-03
EP3703006A4 (en) 2021-06-02
WO2019080748A1 (zh) 2019-05-02
US11057567B2 (en) 2021-07-06
US20200314340A1 (en) 2020-10-01
EP3703006A1 (en) 2020-09-02
JP2020536460A (ja) 2020-12-10
JP7039691B2 (ja) 2022-03-22
JP7039691B6 (ja) 2022-05-16

Similar Documents

Publication Publication Date Title
CN107801014A (zh) 一种全景视频防抖的方法、装置及便携式终端
JP6605640B2 (ja) 制約ベースの回転平滑化を介してデジタルビデオを安定化するためのシステムおよび方法
JP6941687B2 (ja) パノラマビデオジッター補正の方法、システム及び携帯端末
Karpenko et al. Digital video stabilization and rolling shutter correction using gyroscopes
CN108827341B (zh) 用于确定图像采集装置的惯性测量单元中的偏差的方法
TWI479881B (zh) 藉由結合方位感測器讀數及影像校準估計的３ｄ視訊穩定之系統、方法及電腦程式產品
JP6204585B2 (ja) マルチメディア・クリップに対するビデオ安定化の適用
CN109040525B (zh) 图像处理方法、装置、计算机可读介质及电子设备
US9838572B2 (en) Method and device for determining movement between successive video images
WO2019119597A1 (zh) 移动终端与镜头组件配合实现平面拍摄、全景拍摄的方法和镜头组件
CN109688327B (zh) 一种全景视频防抖的方法、装置及便携式终端
CN109561253B (zh) 一种全景视频防抖的方法、装置、便携式终端及存储介质
CN112188037A (zh) 生成陀螺仪旋转方向的方法及计算机设备
CN109462717A (zh) 电子稳像方法及终端
CN115373429A (zh) 云台控制方法、装置、计算机设备和存储介质
CN108337411B (zh) 移动终端与镜头组件配合实现平面拍摄的方法和镜头组件
Hanning Video stabilization and rolling shutter correction using inertial measurement sensors
CN116170689A (zh) 视频生成方法、装置、计算机设备和存储介质
Gratorp Evaluation of online hardware video stabilization on a moving platform
JP2003156317A (ja) カメラパラメータ推定方法、装置、プログラム、および記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 6, building 518000, block A, Liuzhou light Century Towers, Shenzhen, Baoan District, Guangdong Province, 601

Patentee after: Yingshi Innovation Technology Co., Ltd

Address before: 6, building 518000, block A, Liuzhou light Century Towers, Shenzhen, Baoan District, Guangdong Province, 601

Patentee before: SHENZHEN ARASHI VISION Co.,Ltd.

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20180313

Assignee: Yingshi innovation (Zhongshan) Technology Co.,Ltd.

Assignor: Yingshi Innovation Technology Co.,Ltd.

Contract record no.: X2021980003408

Denomination of invention: A method, device and portable terminal for anti shake of panoramic video

Granted publication date: 20191108

License type: Common License

Record date: 20210510