CN108337411B - 移动终端与镜头组件配合实现平面拍摄的方法和镜头组件 - Google Patents
移动终端与镜头组件配合实现平面拍摄的方法和镜头组件 Download PDFInfo
- Publication number
- CN108337411B CN108337411B CN201810037000.7A CN201810037000A CN108337411B CN 108337411 B CN108337411 B CN 108337411B CN 201810037000 A CN201810037000 A CN 201810037000A CN 108337411 B CN108337411 B CN 108337411B
- Authority
- CN
- China
- Prior art keywords
- mobile terminal
- lens
- matrix
- video frame
- lens assembly
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000011159 matrix material Substances 0.000 claims description 82
- 230000001133 acceleration Effects 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 12
- 230000005484 gravity Effects 0.000 claims description 9
- 230000007704 transition Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
- H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72406—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by software upgrading or downloading
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Environmental & Geological Engineering (AREA)
- Studio Devices (AREA)
Abstract
本发明适用于平面视频拍摄领域,提供了一种移动终端与镜头组件配合实现平面拍摄的方法和镜头组件。所述镜头组件包括安装支架、前置镜头和后置镜头,其中,安装支架的正面和背面均设有通孔,前置镜头嵌入至安装支架的正面的通孔,后置镜头嵌入至安装支架的背面的通孔,安装支架可拆卸地套设在移动终端的摄像头区域的外面,镜头组件安装至移动终端时,前置镜头覆盖移动终端的前置摄像头,后置镜头覆盖移动终端的后置摄像头,前置镜头和后置镜头均是广角镜头或鱼眼镜头;通过安装在移动终端中的平面拍摄应用程序控制移动终端的前置摄像头或后置摄像头进行拍摄,配合所述前置镜头或后置镜头实现平面视频拍摄,成本低,不需要专业的相机。
Description
技术领域
本发明属于平面视频拍摄领域,尤其涉及一种移动终端与镜头组件配合实现平面拍摄的方法和镜头组件。
背景技术
目前,广角的平面视频都是通过专业相机配合广角的镜头来拍摄的。然而,专业相机的成本很高,比较少人为了偶尔拍摄广角的平面视频而专门去买专业相机。因此,非常有必要提供一种成本低,且能与移动终端配合实现广角平面视频拍摄的镜头组件。
发明内容
本发明的目的在于提供一种移动终端与镜头组件配合实现平面拍摄的方法和镜头组件,旨在解决现有技术通过专业相机配合广角的镜头拍摄广角的平面视频,成本很高的问题。
第一方面,本发明提供了一种镜头组件,所述镜头组件包括安装支架、前置镜头和后置镜头,其中,安装支架的正面和背面均设有通孔,前置镜头嵌入至安装支架的正面的通孔,后置镜头嵌入至安装支架的背面的通孔,安装支架可拆卸地套设在移动终端的摄像头区域的外面,镜头组件安装至移动终端时,前置镜头覆盖移动终端的前置摄像头,后置镜头覆盖移动终端的后置摄像头,前置镜头和后置镜头均是广角镜头或鱼眼镜头;通过安装在移动终端中的平面拍摄应用程序控制移动终端的前置摄像头或后置摄像头进行拍摄,配合所述前置镜头或后置镜头实现平面视频拍摄。
进一步地,所述前置镜头与移动终端的前置摄像头的光轴共轴或大致平行,所述后置镜头与移动终端的后置摄像头的光轴共轴或大致平行。
第二方面,本发明还提供了一种移动终端与镜头组件配合实现平面拍摄的方法,所述方法包括:
移动终端启动安装在移动终端中的平面拍摄应用程序,所述移动终端安装有如上述的镜头组件;
移动终端实时获取移动终端中的陀螺仪的当前状态时间戳、加速度计数值和角速度数值;
移动终端利用扩展卡尔曼滤波结合加速度计数值和角速度数值,估计得到移动终端到世界坐标系的旋转量;
控制移动终端的前置摄像头经由镜头组件的前置镜头采集平面视频帧,或者控制移动终端的后置摄像头经由镜头组件的后置镜头采集平面视频帧;
移动终端同步陀螺仪时间戳与平面视频帧的时间戳;
移动终端对陀螺仪的状态进行四元数插值获取对应平面视频帧的旋转矩阵;
移动终端根据当前的旋转矩阵旋转平面视频帧,生成稳定的平面视频帧。
第三方面,本发明还提供了一种移动终端与镜头组件配合实现平面拍摄的方法,所述方法包括:
移动终端启动安装在移动终端中的平面拍摄应用程序,所述移动终端安装有如上述的镜头组件;
移动终端实时获取移动终端的当前状态时间戳、加速度计数值和角速度数值;
移动终端利用扩展卡尔曼滤波结合加速度计数值和角速度数值,估计当前状态的旋转向量;
移动终端根据当前状态的旋转向量通过罗德里格旋转公式计算得到当前的旋转矩阵;
控制移动终端的前置摄像头经由镜头组件的前置镜头采集平面视频帧,或者控制移动终端的后置摄像头经由镜头组件的后置镜头采集平面视频帧;
移动终端根据当前的旋转矩阵旋转平面视频帧,生成稳定的平面视频帧。
在本发明中,由于镜头组件包括安装支架、前置镜头和后置镜头,镜头组件安装至移动终端时,前置镜头覆盖移动终端的前置摄像头,后置镜头覆盖移动终端的后置摄像头,前置镜头和后置镜头均是广角镜头或鱼眼镜头;因此通过安装在移动终端中的平面拍摄应用程序控制移动终端的前置摄像头或后置摄像头进行拍摄,配合所述前置镜头或后置镜头实现平面视频拍摄,成本低,不需要专业的相机。
由于移动终端安装有本发明提供的镜头组件,又由于本发明的移动终端与镜头组件配合实现平面拍摄的方法中,对陀螺仪的状态进行四元数插值获取对应平面视频帧的旋转矩阵,因此能得到更为精确的旋转矩阵。然后根据当前的旋转矩阵旋转平面视频帧,生成稳定的平面视频帧。因此最终能稳定抖动的平面视频帧,对大噪声场景和大部分运动场景都有很强的鲁棒性。
另外,因为加速度计数值估计出的角度,容易受到干扰(如行走,徒步,奔跑等),随着时间的累积,角速度的累积误差会越来越大。在本发明的移动终端与镜头组件配合实现平面拍摄的方法中,由于利用扩展卡尔曼滤波结合加速度计数值和角速度数值,估计当前状态的旋转向量,并根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵,然后旋转平面视频帧,因此最终能稳定抖动的平面视频帧。
附图说明
图1是本发明实施例提供的镜头组件的主视图。
图2是本发明实施例提供的镜头组件的后视图。
图3是本发明实施例提供的镜头组件的右视图。
图4是本发明实施例提供的镜头组件的俯视图。
图5是本发明实施例提供的镜头组件的仰视图。
图6是本发明实施例提供的镜头组件的剖视图。
图7是本发明实施例提供的镜头组件与移动终端配合的主视图。
图8是本发明实施例提供的镜头组件与移动终端配合的后视图。
图9是本发明实施例提供的镜头组件与移动终端配合的俯视图。
图10是本发明实施例提供的镜头组件与移动终端配合的右视图。
图11是本发明实施例提供的第二种配合移动终端实现全景拍摄的镜头组件与移动终端(Iphone 6,Iphone 6S,Iphone 7,Iphone 8)配合的示意图。
图12是本发明实施例提供的第三种配合移动终端实现全景拍摄的镜头组件与移动终端(Iphone 6Plus,Iphone 6S Plus,Iphone 7 Plus,Iphone 8 Plus) 配合的示意图。
图13是本发明实施例提供的第四种配合移动终端实现全景拍摄的镜头组件与移动终端(Iphone X)配合的示意图。
图14是本发明实施例提供的移动终端与镜头组件配合实现平面拍摄的方法的流程图。
图15是本发明实施例提供的移动终端与镜头组件配合实现平面拍摄的方法中的S103的流程图。
图16是本发明另一实施例提供的移动终端与镜头组件配合实现平面拍摄的方法的流程图。
图17是本发明另一实施例提供的移动终端与镜头组件配合实现平面拍摄的方法中的S203的流程图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
请参阅图1至图10,本发明实施例提供的镜头组件100包括安装支架101、前置镜头102和后置镜头103,其中,安装支架101的正面和背面均设有通孔 (图未示),前置镜头102嵌入至安装支架101的正面的通孔,后置镜头103 嵌入至安装支架101的背面的通孔,安装支架101可拆卸地套设在移动终端200 的摄像头区域的外面,镜头组件100安装至移动终端200时,前置镜头102覆盖移动终端200的前置摄像头,后置镜头103覆盖移动终端200的后置摄像头,镜头组件100不遮挡移动终端200的显示屏。
在本发明实施例中,为了使拍摄的效果较佳,前置镜头102与移动终端200 的前置摄像头的光轴共轴或大致平行。后置镜头103与移动终端200的后置摄像头的光轴共轴或大致平行。
在本发明实施例中,前置镜头102通过前置镜头套筒104嵌入至安装支架 101的正面的通孔,后置镜头103通过后置镜头套筒105嵌入至安装支架101 的背面的通孔。前置镜头套筒104和后置镜头套筒105与安装支架101可以是一体的,或者,前置镜头套筒104和后置镜头套筒105分别可拆卸地固定于安装支架上,或者,前置镜头套筒104和后置镜头套筒105分别与安装支架101 固定连接。安装支架101具有环状的侧壁106,形成中空的腔体,腔体的形状与移动终端200的摄像头区域匹配,使安装支架101可固定在移动终端200的摄像头区域。
安装支架101可以具有顶壁也可以没有顶壁,图中所示为没有顶壁的安装支架(请参阅图10)。如图6和图10所示,由于移动终端的顶部通常是弧形的,为了使安装支架101的侧壁106与移动终端200更好的配合,安装支架101 的正面和背面的侧壁106向顶部的中间延伸预定距离,形成固定部107,使安装支架101不容易滑落。请参阅图5,安装支架101与移动终端200的侧面配合的侧壁106的底端设有凸起108,使安装支架101更好地固定在移动终端200。请参阅图7,安装支架101的正面还开设有与移动终端200的喇叭位置对应的通孔109,使镜头组件100不影响移动终端的喇叭播放效果。
在本发明实施例中,移动终端200可以是手机、平板电脑等。前置镜头102 和后置镜头103均可以是广角镜头或鱼眼镜头(即超广角镜头)。
图1至图10仅是与其中一款移动终端配合使用的镜头组件,对于不同的移动终端,尤其是摄像头位置不同的移动终端,本发明实施例提供的镜头组件的结构也可以作适应性的修改,如图11、12和13所示。
当将本发明实施例提供的镜头组件固定到移动终端后,当需要拍摄平面视频时,可以通过启动安装在移动终端中的平面拍摄应用程序控制移动终端的前置摄像头或后置摄像头进行拍摄,配合所述前置镜头或后置镜头实现平面拍摄,由于前置摄像头和后置摄像头分别被前置镜头和后置镜头覆盖,因此前置摄像头和后置摄像头采集的图像实际上是经前置镜头和后置镜头采集的平面视频帧,由于前置镜头和后置镜头是广角镜头或鱼眼镜头,因此能达到180度的视角。
请参阅图14,本发明实施例还提供了一种移动终端与镜头组件配合实现平面拍摄的方法,所述方法包括:
S101、移动终端启动安装在移动终端中的平面拍摄应用程序,所述移动终端安装有如本发明实施例提供的镜头组件;
在本发明实施例中,S101之后,所述方法还可以包括以下步骤:
移动终端接收用户选择的启动防抖功能的指令。
S102、移动终端实时获取移动终端中的陀螺仪的当前状态时间戳、加速度计数值和角速度数值;
在本发明实施例中,
实时获取移动终端中的陀螺仪的加速度计数值具体可以是:利用重力感应器读取三轴加速度计数值。
实时获取移动终端中的陀螺仪的角速度数值具体可以是:利用角速度感应器读取三轴角速度数值。
在本发明实施例中,S102之后还可以包括以下步骤:
利用低通滤波对加速度计数值进行降噪处理。具体可以包括以下步骤:
通过公式d'i=α·di+(1-α)·Ri·d'i-1对加速度计数值进行低通滤波降噪处理,其中,di'表示第i时刻经过低通滤波后的加速度计数值,di表示第i时刻的加速度计数值,Ri为陀螺仪第i帧视频的相对旋转量,Ri=exp[-ωi·Δt]×,ωi表示第i时刻的角速度数值,d'i-1表示第i-1时刻时滤波后的加速度计数值,α表示平滑因子,其中fc表示低通滤波的截止频率,Rc表示时间常数,Δt表示陀螺仪数据的采样时间间隔。
S103、移动终端利用扩展卡尔曼滤波结合加速度计数值和角速度数值,估计得到移动终端到世界坐标系的旋转量;
扩展卡尔曼滤波是将非线性***线性化,然后进行卡尔曼滤波,卡尔曼滤波是一种高效率的递归滤波器,它能够从一系列的不完全包含噪声的测量中,估计动态***的状态。
请参阅图15,在本发明实施例中,S103具体可以包括以下步骤:
S1032、利用角速度数值ωk计算第K时刻的状态转移矩阵Φ(ωk);
Φ(ωk)=exp(-[ωk·Δt]×),其中ωk是第K时刻的角速度数值,Δt表示陀螺仪数据的采样时间间隔。
S1034、由加速度数值dk更新观测量的噪声方差矩阵Rk,计算观测转移雅克比矩阵Hk,计算当前观测量和估计观测量误差ek;
S1035、更新第k时刻的最优卡尔曼增益矩阵Kk;
S104、控制移动终端的前置摄像头经由镜头组件的前置镜头采集平面视频帧,或者控制移动终端的后置摄像头经由镜头组件的后置镜头采集平面视频帧;
S105、移动终端同步陀螺仪时间戳与平面视频帧的时间戳;
在本发明实施例中,S105具体可以为:
移动终端同步陀螺仪时间戳与平面视频帧的时间戳,使tk≥tj>tk-1,其中 tj是平面视频帧的时间戳,tk为陀螺仪第K帧的时间戳,tk-1为陀螺仪第K-1帧的时间戳。
S106、移动终端对陀螺仪的状态进行四元数插值获取对应平面视频帧的旋转矩阵;
在本发明实施例中,S106具体可以包括以下步骤:
S107、移动终端根据当前的旋转矩阵旋转平面视频帧,生成稳定的平面视频帧。
在本发明实施例中,S107具体可以包括以下步骤:
移动终端把经纬度二维图像上的栅格点映射到球面坐标;
移动终端遍历单位球上的所有点,利用当前的旋转矩阵对单位球上的所有点进行旋转,生成稳定的平面视频帧;
其中,利用当前的旋转矩阵对单位球上的所有点进行旋转具体采用以下的公式:其中,[x,y,z]T表示单位圆旋转之前的球面坐标, [xnew,ynew,znew]T表示旋转后的球面坐标,Qj表示当前的旋转矩阵,t表示位移向量,t=[0,0,0]T。
请参阅图16,本发明另一实施例还提供了一种移动终端与镜头组件配合实现平面拍摄的方法,所述方法包括:
S201、移动终端启动安装在移动终端中的平面拍摄应用程序,所述移动终端安装有如本发明实施例提供的镜头组件;
在本发明实施例中,S201之后,所述方法还可以包括以下步骤:
移动终端接收用户选择的启动防抖功能的指令。
S202、移动终端实时获取移动终端的当前状态时间戳、加速度计数值和角速度数值;
在本发明实施例中,
实时获取移动终端的加速度计数值具体可以是:利用重力感应器读取三轴加速度计数值。
实时获取移动终端的角速度数值具体可以是:利用角速度感应器读取三轴角速度数值。
在本发明实施例中,S202之后还可以包括以下步骤:
利用低通滤波对加速度计数值和角速度数值进行降噪处理。具体可以包括以下步骤:
通过公式di'=α·di+(1-α)·di'-1分别对加速度计数值和角速度数值进行低通滤波降噪处理,其中,di表示第i时刻的加速度计数值或角速度数值;di'表示第i 时刻经过低通滤波后的加速度计数值或角速度数值;di'-1表示第i-1时刻时滤波后的加速度计数值或角速度数值;α表示平滑因子,其中fc表示低通滤波的截止频率,Rc表示时间常数,Δt表示采样时间间隔。
S203、移动终端利用扩展卡尔曼滤波结合加速度计数值和角速度数值,估计当前状态的旋转向量;
扩展卡尔曼滤波是将非线性***线性化,然后进行卡尔曼滤波,卡尔曼滤波是一种高效率的递归滤波器,它能够从一系列的不完全包含噪声的测量中,估计动态***的状态。
请参阅图17,在本发明实施例中,S203具体可以包括以下步骤:
在本发明实施例中,S2031具体可以包括以下步骤:
移动终端计算k时刻的状态转移矩阵计算观测信息矩阵其中,xk-1表示k-1时刻的移动终端的状态估计,xk表示k时刻的移动终端的状态估计,表示偏微分符号,f表示状态方程函数,x表示移动终端的状态,即三个轴方向上的旋转角度,h表示观测方程函数,xk-2表示第k-2时刻的移动终端的状态,uk-1表示第k-1时刻的角速度数值,wk-1表示k-1时刻的过程噪声,表示利用k-2时刻来预测第k-1时刻移动终端的估计状态,xk-1表示第k-1时刻的移动终端的状态,uk表示第k时刻的角速度数值,wk表示第k时刻的过程噪声,表示利用k-1时刻来预测第k时刻移动终端的估计状态, xk-2=[Xk-2,Yk-2,Zk-2]T,其中,Xk-2,Yk-2,Zk-2表示第k-2时刻参考系坐标系在X轴,Y轴,Z轴上的旋转角度,xk-1=[Xk-1,Yk-1,Zk-1]T,其中,Xk-1,Yk-1,Zk-1表示第k-1 时刻参考系坐标系在X轴,Y轴,Z轴上的旋转角度,T表示转置;
移动终端把参考系坐标系下的垂直向下的重力加速度投影到刚体坐标系下,通过公式计算预测余量其中,zk为k时刻利用低通滤波进行降噪处理后的加速度计数值,Hk是观测信息矩阵,表示观测方程zk=h(xk,g,vk)使用当前估计状态计算的雅可比(Jacobian)矩阵,其中,g表示参考坐标系下的垂直向下的重力矢量,g=[0,0,-9.81]T,vk表示为测量误差。
S2032、移动终端利用上一状态的估计误差协方差矩阵Pk-1|k-1、当前状态的状态转移矩阵Fk和过程噪声Q估计当前状态的误差协方差矩阵Pk|k-1;
在本发明实施例中,S2032具体可以利用公式计算出的状态预测估计协方差矩阵Pk|k-1,其中,Pk-1|k-1表示k-1时刻状态的估计协方差矩阵,Qk表示过程噪声的协方差矩阵,dt表示陀螺仪数据的采样间隔时间,Fk表示k时刻的状态转移矩阵,表示Fk的转置。
S2033、移动终端利用估计的当前状态的误差协方差矩阵Pk|k-1、观测矩阵 Hk和噪声方差矩阵R计算当前状态的最优卡尔曼增益矩阵Kk;
在本发明实施例中,S2033具体可以包括以下步骤:
在本发明实施例中,S2034具体可以包括以下步骤:
更新状态估计得到k时刻通过融合加速度计数值和角速度数值得到的当前状态的旋转向量更新估计协方差矩阵Pk|k, Pk|k=(I-Kk·Hk)Pk|k-1,其中I是单位矩阵,Pk|k就是下一时刻需要的估计误差协方差矩阵Pk-1|k-1。
S204、移动终端根据当前状态的旋转向量通过罗德里格旋转公式计算得到当前的旋转矩阵;
罗德里格旋转公式是计算三维空间中,一个向量绕旋转轴旋转给定角度以后得到的新向量的计算公式。这个公式使用原向量,旋转轴及它们叉积作为标架表示出旋转以后的向量。
S205、控制移动终端的前置摄像头经由镜头组件的前置镜头采集平面视频帧,或者控制移动终端的后置摄像头经由镜头组件的后置镜头采集平面视频帧;
S206、移动终端根据当前的旋转矩阵旋转平面视频帧,生成稳定的平面视频帧。
在本发明实施例中,S206具体可以包括以下步骤:
把经纬图像上的点映射到球型图像的点;
遍历单位球上的所有点,利用当前的旋转矩阵对单位球上的所有点进行旋转,生成稳定的平面视频帧。
其中,利用当前的旋转矩阵对单位球上的所有点进行旋转具体可以采用以下的公式:其中,x,y,z表示单位圆旋转之前的球面坐标, xnew,ynew,znew表示旋转后的球面坐标,Mk表示当前的旋转矩阵,t表示位移向量, t=[0,0,0]T。
在本发明中,由于镜头组件包括安装支架、前置镜头和后置镜头,镜头组件安装至移动终端时,前置镜头覆盖移动终端的前置摄像头,后置镜头覆盖移动终端的后置摄像头,前置镜头和后置镜头均是广角镜头或鱼眼镜头;因此通过安装在移动终端中的平面拍摄应用程序控制移动终端的前置摄像头或后置摄像头进行拍摄,配合所述前置镜头或后置镜头实现平面视频拍摄,成本低,不需要专业的相机。
由于移动终端安装有本发明提供的镜头组件,又由于本发明的移动终端与镜头组件配合实现平面拍摄的方法中,对陀螺仪的状态进行四元数插值获取对应平面视频帧的旋转矩阵,因此能得到更为精确的旋转矩阵。然后根据当前的旋转矩阵旋转平面视频帧,生成稳定的平面视频帧。因此最终能稳定抖动的平面视频帧,对大噪声场景和大部分运动场景都有很强的鲁棒性。
另外,因为加速度计数值估计出的角度,容易受到干扰(如行走,徒步,奔跑等),随着时间的累积,角速度的累积误差会越来越大。在本发明的移动终端与镜头组件配合实现平面拍摄的方法中,由于利用扩展卡尔曼滤波结合加速度计数值和角速度数值,估计当前状态的旋转向量,并根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵,然后旋转平面视频帧,因此最终能稳定抖动的平面视频帧。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种移动终端与镜头组件配合实现平面拍摄的方法,其特征在于,所述方法包括:
移动终端启动安装在移动终端中的平面拍摄应用程序,所述移动终端安装有镜头组件;
移动终端实时获取移动终端中的陀螺仪的当前状态时间戳、加速度计数值和角速度数值;
移动终端利用扩展卡尔曼滤波结合加速度计数值和角速度数值,估计得到移动终端到世界坐标系的旋转量;
控制移动终端的前置摄像头经由镜头组件的前置镜头采集平面视频帧,或者控制移动终端的后置摄像头经由镜头组件的后置镜头采集平面视频帧;
移动终端同步陀螺仪时间戳与平面视频帧的时间戳;
移动终端对陀螺仪的状态进行四元数插值获取对应平面视频帧的旋转矩阵;
移动终端根据当前的旋转矩阵旋转平面视频帧,生成稳定的平面视频帧;
所述镜头组件包括安装支架、前置镜头和后置镜头,其中,安装支架的正面和背面均设有通孔,前置镜头嵌入至安装支架的正面的通孔,后置镜头嵌入至安装支架的背面的通孔,安装支架可拆卸地套设在移动终端的摄像头区域的外面,镜头组件安装至移动终端时,前置镜头覆盖移动终端的前置摄像头,后置镜头覆盖移动终端的后置摄像头,前置镜头和后置镜头均是广角镜头或鱼眼镜头;通过安装在移动终端中的平面拍摄应用程序控制移动终端的前置摄像头或后置摄像头进行拍摄,配合所述前置镜头或后置镜头实现平面视频拍摄;
所述移动终端对陀螺仪的状态进行四元数插值获取对应平面视频帧的旋转矩阵具体包括:
移动终端进行四元数插值获取平面视频帧到第k帧的相对旋转量,Rj=γ·I+(1-γ)·rk,其中,Rj为第k帧的相对旋转量,其中tj是平面视频帧的时间戳,tk为陀螺仪第K帧的时间戳,tk-1为陀螺仪第K-1帧的时间戳;
2.如权利要求1所述的方法,其特征在于,所述移动终端利用扩展卡尔曼滤波结合加速度计数值和角速度数值,估计得到移动终端到世界坐标系的旋转量具体包括:
S1032、利用角速度数值ωk计算第K时刻的状态转移矩阵Φ(ωk);
Φ(ωk)=exp(-[ωk·Δt]×),其中ωk是第K时刻的角速度数值,Δt表示陀螺仪数据的采样时间间隔;
S1034、由加速度数值dk更新观测量的噪声方差矩阵Rk,计算观测转移雅克比矩阵Hk,计算当前观测量和估计观测量误差ek;
S1035、更新第k时刻的最优卡尔曼增益矩阵Kk;
3.如权利要求2所述的方法,其特征在于,所述移动终端同步陀螺仪时间戳与平面视频帧的时间戳具体为:
移动终端同步陀螺仪时间戳与平面视频帧的时间戳,使tk≥tj>tk-1。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810037000.7A CN108337411B (zh) | 2018-01-15 | 2018-01-15 | 移动终端与镜头组件配合实现平面拍摄的方法和镜头组件 |
PCT/CN2018/073444 WO2019119597A1 (zh) | 2017-12-22 | 2018-01-19 | 移动终端与镜头组件配合实现平面拍摄、全景拍摄的方法和镜头组件 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810037000.7A CN108337411B (zh) | 2018-01-15 | 2018-01-15 | 移动终端与镜头组件配合实现平面拍摄的方法和镜头组件 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108337411A CN108337411A (zh) | 2018-07-27 |
CN108337411B true CN108337411B (zh) | 2020-11-17 |
Family
ID=62924270
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810037000.7A Active CN108337411B (zh) | 2017-12-22 | 2018-01-15 | 移动终端与镜头组件配合实现平面拍摄的方法和镜头组件 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108337411B (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104064869B (zh) * | 2014-06-13 | 2016-10-05 | 北京航天万达高科技有限公司 | 基于mems惯导的双四元数动中通天线控制方法及*** |
CN105376471A (zh) * | 2015-12-21 | 2016-03-02 | 景好 | 一种基于移动平台的全景拍摄***及方法 |
CN106791360A (zh) * | 2016-11-22 | 2017-05-31 | 北京疯景科技有限公司 | 生成全景视频的方法及装置 |
CN107040694B (zh) * | 2017-04-07 | 2019-10-25 | 深圳岚锋创视网络科技有限公司 | 一种全景视频防抖的方法、***及便携式终端 |
-
2018
- 2018-01-15 CN CN201810037000.7A patent/CN108337411B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN108337411A (zh) | 2018-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11057567B2 (en) | Anti-shake method and apparatus for panoramic video, and portable terminal | |
CN109376785B (zh) | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 | |
CN107869989B (zh) | 一种基于视觉惯导信息融合的定位方法及*** | |
Joshi et al. | Image deblurring using inertial measurement sensors | |
WO2019119597A1 (zh) | 移动终端与镜头组件配合实现平面拍摄、全景拍摄的方法和镜头组件 | |
CN106525003B (zh) | 一种基于双目视觉的姿态测量方法 | |
Zhou et al. | 2D human gesture tracking and recognition by the fusion of MEMS inertial and vision sensors | |
WO2018184423A1 (zh) | 一种全景视频防抖的方法、***及便携式终端 | |
Jia et al. | Probabilistic 3-d motion estimation for rolling shutter video rectification from visual and inertial measurements | |
CN107833237B (zh) | 用于模糊视频中的虚拟对象的方法和设备 | |
CN109186592B (zh) | 用于视觉惯导信息融合的方法和装置以及存储介质 | |
CN110617813B (zh) | 单目视觉信息和imu信息相融合的尺度估计***及方法 | |
US10757333B2 (en) | Method for determining bias in an inertial measurement unit of an image acquisition device | |
US8964040B2 (en) | High dynamic range image registration using motion sensor data | |
CN108933896B (zh) | 基于惯性测量单元的全景视频稳像的方法及*** | |
CN109029425B (zh) | 一种采用区域滤波的模糊星图复原方法 | |
CN112577493B (zh) | 一种基于遥感地图辅助的无人机自主定位方法及*** | |
CN111899276A (zh) | 一种基于双目事件相机的slam方法及*** | |
CN109040525B (zh) | 图像处理方法、装置、计算机可读介质及电子设备 | |
CN109147058A (zh) | 用于视觉惯导信息融合的初始化方法和装置以及存储介质 | |
WO2020038720A1 (en) | Apparatus, method and computer program for detecting the form of a deformable object | |
CN109688327B (zh) | 一种全景视频防抖的方法、装置及便携式终端 | |
CN109561253B (zh) | 一种全景视频防抖的方法、装置、便携式终端及存储介质 | |
CN108337411B (zh) | 移动终端与镜头组件配合实现平面拍摄的方法和镜头组件 | |
CN112188037B (zh) | 生成陀螺仪旋转方向的方法及计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 518000 Guangdong, Shenzhen, Baoan District Xin'an street, Hai Xiu Road 23, 6 A 601603605, long Kong Century Towers, 601603605 Applicant after: Yingshi Innovation Technology Co., Ltd Address before: 518000 Guangdong, Shenzhen, Baoan District Xin'an street, Hai Xiu Road 23, 6 A 601603605, long Kong Century Towers, 601603605 Applicant before: SHENZHEN ARASHI VISION Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |