CN118200726A - 图像处理方法、装置及拍摄设备 - Google Patents

图像处理方法、装置及拍摄设备 Download PDF

Info

Publication number
CN118200726A
CN118200726A CN202410238649.0A CN202410238649A CN118200726A CN 118200726 A CN118200726 A CN 118200726A CN 202410238649 A CN202410238649 A CN 202410238649A CN 118200726 A CN118200726 A CN 118200726A
Authority
CN
China
Prior art keywords
matrix
predicted value
time
representing
moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410238649.0A
Other languages
English (en)
Inventor
沈靖程
魏雄
王士博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pi Technology Changzhou Co ltd
Original Assignee
Pi Technology Changzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pi Technology Changzhou Co ltd filed Critical Pi Technology Changzhou Co ltd
Priority to CN202410238649.0A priority Critical patent/CN118200726A/zh
Publication of CN118200726A publication Critical patent/CN118200726A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本申请适用于图像处理技术领域,提供了一种图像处理方法,其应用于拍摄设备,拍摄设备中设置有惯性测量单元,惯性测量单元包括角速度计,图像处理方法包括:获取ωk;根据ωk和第一预测值获取第二预测值;根据ωk计算目标状态转移矩阵,目标状态转移矩阵为第k‑1时刻到第k时刻的状态转移矩阵;根据第一预测值计算第k‑1时刻的过程噪声的协方差矩阵;根据目标状态转移矩阵、第k‑1时刻的过程噪声的协方差矩阵以及Pk‑1获取根据以及第二预测值计算根据对拍摄设备所拍摄到的图像进行旋转处理。进而能实现较好的防抖效果。

Description

图像处理方法、装置及拍摄设备
技术领域
本申请属于图像处理技术领域,尤其涉及图像处理方法、装置及拍摄设备。
背景技术
近年来,随着科学技术的不断发展,各种终端设备如雨后春笋般出现在人们的生活中,比如拍摄设备。然而,目前的拍摄设备仍存在一些缺点亟待解决。例如,一旦拍摄设备在拍摄时不稳定,便会使得整体画面(图像)抖动,导致拍摄到的视频不清晰,即导致拍摄到的视频的质量较差。故,目前的拍摄设备一般都具有防抖功能,然而,目前的拍摄设备的防抖效果仍较差。
发明内容
本申请实施例提供了一种图像处理方法、装置、拍摄设备及计算机可读存储介质,可以解决目前拍摄设备防抖效果较差问题。
第一方面,本申请实施例提供了一种图像处理方法,所述图像处理方法应用于拍摄设备,所述拍摄设备中设置有惯性测量单元,所述惯性测量单元包括角速度计,所述图像处理方法包括:获取ωk,其中,所述ωk为所述角速度计所输出的第k时刻的三轴角速度向量减去所述角速度计的零点偏置数据后所得到的三轴角速度向量,k为大于或者等于2的正整数;根据所述ωk和第一预测值获取第二预测值,所述第一预测值为所述拍摄设备在第k-1时刻的姿态对应的四元数的预测值,所述第二预测值为所述拍摄设备在第k时刻的姿态对应的四元数的预测值;根据所述ωk计算目标状态转移矩阵,所述目标状态转移矩阵为所述第k-1时刻到所述第k时刻的状态转移矩阵;根据所述第一预测值计算所述第k-1时刻的过程噪声的协方差矩阵;根据所述目标状态转移矩阵、所述第k-1时刻的过程噪声的协方差矩阵以及Pk-1获取所述Pk-1用于表示所述第k-1时刻的卡尔曼滤波器的协方差,所述/>用于表示预测到的所述第k时刻的状态协方差;根据所述/>以及所述第二预测值计算/>所述/>用于表示校正后的所述拍摄设备在所述第k时刻的姿态四元数;根据所述/>对所述拍摄设备所拍摄到的图像进行旋转处理。
在第一方面的一种可能的实现方式中,所述根据所述目标状态转移矩阵、所述第k-1时刻的过程噪声的协方差矩阵以及Pk-1获取包括:根据所述目标状态转移矩阵、所述第k-1时刻的过程噪声的协方差矩阵、Pk-1以及第一关系式获取/>所述第一关系式为其中,所述Fk用于表示所述目标状态转移矩阵,∑k-1用于表示所述第k-1时刻的过程噪声的协方差矩阵。
在第一方面的一种可能的实现方式中,所述惯性测量单元还包括加速度计和磁力计,对应地,在所述根据所述以及所述第二预测值计算/>之前,包括:通过所述加速度计的数据和所述磁力计的数据建立第k时刻对应的姿态估计状态观测方程;根据所述第k时刻对应的姿态估计状态观测方程计算卡尔曼增益,所述卡尔曼增益其中,Hk用于表示所述第k时刻对应的姿态估计状态观测方程对应的观测矩阵,Rk-1用于表示所述第k-1时刻的观测噪声的协方差矩阵;对应地,所述根据所述/>以及所述第二预测值计算/>包括:根据所述/>所述卡尔曼增益以及所述第二预测值计算/>
在第一方面的一种可能的实现方式中,在所述根据所述目标状态转移矩阵、所述第k-1时刻的过程噪声的协方差矩阵以及Pk-1获取之前,包括:基于***状态残差阈值计算∈k-1,其中,所述∈k-1用于表示所述/>对应的自适应因子,所述/>用于表示预测到的第k-1时刻的状态协方差;基于所述∈k-1获取Pk-1,其中,所述Pk-1用于表示基于所述/>计算出来的协方差,所述∈k-1、所述Pk-1、所述/>满足一下关系:
其中,Hk-1、I4×4、04×6、06×4、γ分别用于表示第k-1时刻对应的姿态估计状态观测方程对应的观测矩阵、4*4的单位矩阵、4*6的零矩阵、6*4的零矩阵、目标参数。
在第一方面的一种可能的实现方式中,在所述基于所述∈k-1获取Pk-1之前,包括:根据所述第一预测值计算目标雅可比矩阵,所述目标雅可比矩阵为所述角速度计在所述第k-1时刻的噪声协方差对应的雅可比矩阵;构建代价函数其中,||·||2为二范数,/> 表示/>Wk-1用于表示所述目标雅可比矩阵;基于所述代价函数求解J*,J*用于表示J的最优解;基于关系式J*≤γ2确定γ。
在第一方面的一种可能的实现方式中,k为大于或者等于3的正整数,在所述根据所述第k时刻对应的姿态估计状态观测方程计算卡尔曼增益之前,包括:
成立,则令Rk-1=Rk-2,其中,/>Ub、Lb分别用于表示第一指定参数、第二指定参数;
不成立,则令其中,/>δ为第三指定参数。
在第一方面的一种可能的实现方式中,所述基于***状态残差阈值计算∈k-1包括:基于***状态残差阈值和第三关系式计算∈k-1,所述第三关系式为其中/>c2用于表示***状态残差阈值,/>所述/>用于表示第k-1时刻对应的姿态估计状态观测方程。
第二方面,本申请实施例提供了一种图像处理装置,所述图像处理装置应用于拍摄设备,所述拍摄设备中设置有惯性测量单元,所述惯性测量单元包括角速度计,所述图像处理装置包括:
第一获取单元,用于获取ωk,其中,所述ωk为所述角速度计所输出的第k时刻的三轴角速度向量减去所述角速度计的零点偏置数据后所得到的三轴角速度向量,k为大于或者等于2的正整数;
第二获取单元,用于根据所述ωk和第一预测值获取第二预测值,所述第一预测值为所述拍摄设备在第k-1时刻的姿态对应的四元数的预测值,所述第二预测值为所述拍摄设备在第k时刻的姿态对应的四元数的预测值;
第一计算单元,用于根据所述ωk计算目标状态转移矩阵,所述目标状态转移矩阵为所述第k-1时刻到所述第k时刻的状态转移矩阵;
第二计算单元,用于根据所述第一预测值计算所述第k-1时刻的过程噪声的协方差矩阵;
第三获取单元,用于根据所述目标状态转移矩阵、所述第k-1时刻的过程噪声的协方差矩阵以及Pk-1获取所述Pk-1用于表示所述第k-1时刻的卡尔曼滤波器的协方差,所述/>用于表示预测到的所述第k时刻的状态协方差;
第三计算单元,用于根据所述以及所述第二预测值计算/>所述/>用于表示校正后的所述拍摄设备在所述第k时刻的姿态四元数;
旋转单元,用于根据所述对所述拍摄设备所拍摄到的图像进行旋转处理。
第三方面,本申请实施例提供了一种拍摄设备,包括惯性测量单元、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述惯性测量单元包括角速度计,所述处理器执行所述计算机程序时实现上述任一项所述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法。
可以理解的是,上述第二方面至第四方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
本申请实施例与现有技术相比存在的有益效果是:本申请实施例中的图像处理方法应用于拍摄设备,所述拍摄设备中设置有惯性测量单元,所述惯性测量单元包括角速度计,所述图像处理方法包括:获取ωk,其中,所述ωk为所述角速度计所输出的第k时刻的三轴角速度向量减去所述角速度计的零点偏置数据后所得到的三轴角速度向量,k为大于或者等于2的正整数;根据所述ωk和第一预测值获取第二预测值,所述第一预测值为所述拍摄设备在第k-1时刻的姿态对应的四元数的预测值,所述第二预测值为所述拍摄设备在第k时刻的姿态对应的四元数的预测值;根据所述ωk计算目标状态转移矩阵,所述目标状态转移矩阵为所述第k-1时刻到所述第k时刻的状态转移矩阵;根据所述第一预测值计算所述第k-1时刻的过程噪声的协方差矩阵,即能够根据所述拍摄设备在第k-1时刻的姿态对应的四元数的预测值计算出较为准确的第k-1时刻的过程噪声的协方差矩阵;然后根据所述目标状态转移矩阵、所述第k-1时刻的过程噪声的协方差矩阵以及Pk-1获取所述Pk-1用于表示所述第k-1时刻的卡尔曼滤波器的协方差,所述/>用于表示预测到的所述第k时刻的状态协方差;根据所述/>以及所述第二预测值能够较为准确地计算出/>所述/>用于表示校正后的所述拍摄设备在所述第k时刻的姿态四元数;进而根据所述/>对所述拍摄设备所拍摄到的图像进行旋转处理,从而使得拍摄设备的视频帧能够稳定,即能够实现较好的防抖效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的图像处理方法的流程示意图;
图2是本申请一实施例提供的图像处理装置的示意图;
图3是本申请一实施例提供的拍摄设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定***结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的***、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
实施例一
图1示出了本申请实施例提供的一种图像处理方法的流程示意图,该图像处理方法应用于拍摄设备,作为示例而非限定的是,所述拍摄设备为全景相机。所述拍摄设备中设置有惯性测量单元,所述惯性测量单元包括角速度计。该图像处理方法包括:步骤S101、步骤S102、步骤S103、步骤S104、步骤S105、步骤S106以及步骤S107。详述如下:
步骤S101、获取ωk,其中,所述ωk为所述角速度计所输出的第k时刻的三轴角速度向量减去所述角速度计的零点偏置数据后所得到的三轴角速度向量,k为大于或者等于2的正整数。
在本文中,第k-1时刻与所述第k时刻为相邻时刻,第k-1时刻为第k时刻的前一时刻,第k-1时刻与所述第k时刻之间的间隔时长等于所述惯性测量单元的采样间隔时长。
为了便于描述,可设置指定三轴坐标系,所述三轴包括x轴、y轴以及z轴,ωk可表示为[ωx,k,ωy,k,ωz,k]T。其中,所述角速度计的零点偏置数据包括:当所述角速度计静止时所述角速度计所输出的(信号)数据。例如,当角速度计静止时,所述角速度计输出[ωx,bias,ωy,bias,ωz,bias]T,ωx,bias、ωy,bias、ωz,bias分别用于表示角速度计静止时输出的在x轴、y轴、z轴上的角速度,ωx,k=ωx1,kx,bias,ωy,k=ωy1,ky,bias,ωz,k=ωz1,kz,bias,其中,所述ωx1,k、ωy1,k、ωz1,k分别用于表示角速度计在第k时刻输出的在x轴、y轴、z轴上的角速度。
在一些实施例中,在所述步骤S101之前,获取ω1,其中,ω1用于表示所述角速度计所输出的第1时刻的三轴角速度向量减去所述角速度计的零点偏置数据后的三轴角速度向量。ω1可表示为[ωx,1,ωy,1,ωz,1]T,所述第1时刻为所述拍摄设备开机初始化完成时刻。
在一些实施例中,所述惯性测量单元还包括加速度计和磁力计,所述图像处理方法还包括:在所述步骤S101之前,获取a1和m1,其中,a1用于表示所述加速度计所输出的第1时刻的三轴加速度向量减去所述加速度计的零点偏置数据后所得到的三轴加速度向量,所述加速度计的零点偏置数据包括:当所述加速度计静止时所述加速度计所输出的(信号)数据,所述m1用于表示所述磁力计所输出的第1时刻的三轴磁场强度向量减去所述磁力计的零点偏置数据后所得到的三轴磁场强度向量,所述磁力计的零点偏置数据包括:当所述磁力计静止时所述磁力计所输出的(信号)数据。
另,a1可表示为[ax,1,ay,1,az,1]T,ax,1、ay,1、az,1分别用于表示a1在x轴、y轴、z轴上的分量。m1可表示为[mx,1,my,1,mz,1]T,mx,1,my,1,mz,1分别用于表示m1在x轴、y轴、z轴上的分量。
可选地,所述图像处理方法还包括:计算所述拍摄设备的初始姿态,所述初始姿态为在第1时刻的姿态。
在一些实施例中,所述计算所述拍摄设备的初始姿态包括:若所述拍摄设备在第1时刻的运动幅度小于指定运动幅度,且az,1≥0,则将初始姿态确定为其中,g为重力加速度值;若所述拍摄设备在第1时刻的运动幅度小于指定运动幅度,且az,1<0,则将初始姿态确定为/>
在一些实施例中,所述计算所述拍摄设备的初始姿态包括:若所述拍摄设备在第1时刻的运动幅度大于或者等于指定运动幅度,则将初始姿态确定为[1,0,0,0]T
步骤S102、根据所述ωk和第一预测值获取第二预测值,所述第一预测值为所述拍摄设备在第k-1时刻的姿态对应的四元数的预测值,所述第二预测值为所述拍摄设备在第k时刻的姿态对应的四元数的预测值。
例如,所述第二预测值可用表示,第一预测值可表示为[qw,k-1,qx,k-1,qy,k-1,qz,k-1T
其中,ΔT用于表示所述惯性测量单元的采样间隔时长,Δθk=(ωx,kΔT)2+(ωy,kΔT)2+(ωz,kΔT)2,例如,ΔT=1.25毫秒。
步骤S103、根据所述ωk计算目标状态转移矩阵,所述目标状态转移矩阵为所述第k-1时刻到所述第k时刻的状态转移矩阵。
为了便于描述,所述目标状态转移矩阵可用Fk表示,
步骤S104、根据所述第一预测值计算所述第k-1时刻的过程噪声的协方差矩阵。
例如,所述第k-1时刻的过程噪声的协方差矩阵可用∑k-1表示,∑k-1等于乘以
其中,d1等于d2等于/>d3等于d4等于/>d5等于/>d6等于/>d7等于/>d8等于/> 分别用于表示所述角速度计在x轴、y轴、z轴的噪声密度协方差。
步骤S105、根据所述目标状态转移矩阵、所述第k-1时刻的过程噪声的协方差矩阵以及Pk-1获取所述Pk-1用于表示所述第k-1时刻的卡尔曼滤波器的协方差,所述/>用于表示预测到的所述第k时刻的状态协方差。
例如,当k等于2时,根据F1、所述第1时刻的过程噪声的协方差矩阵以及P1获取
可选地,所述步骤S105包括:根据所述目标状态转移矩阵、所述第k-1时刻的过程噪声的协方差矩阵、Pk-1以及第一关系式获取所述第一关系式为
在一些实施例中,k为2时,第1时刻的过程噪声的协方差矩阵∑1为预存的协方差矩阵。
步骤S106、根据所述以及所述第二预测值计算/>所述/>用于表示校正后的所述拍摄设备在所述第k时刻的姿态四元数。
例如,当k等于2时,根据所述以及所述第二预测值计算/>
可选地,所述惯性测量单元还包括加速度计和磁力计,对应地,在所述步骤S106之前,包括:通过所述加速度计的数据和所述磁力计的数据建立所述第k时刻对应的姿态估计状态观测方程;根据所述第k时刻对应的姿态估计状态观测方程计算卡尔曼增益,所述卡尔曼增益其中,Hk用于表示所述第k时刻对应的姿态估计状态观测方程对应的观测矩阵,Rk-1用于表示所述第k-1时刻的观测噪声的协方差矩阵;对应地,所述步骤S106包括:根据所述/>所述卡尔曼增益以及所述第二预测值计算/>
作为示例而非限定的是,所述第k时刻对应的姿态估计状态观测方程可用表示,/>可表示为[q0w,k,q0x,k,qoy,k,q0z,k]T,/>
其中,用于表示/>对应的旋转矩阵,vk-1用于表示所述加速度计和所述磁力计的测量噪声,所述加速度计的数据包括gENU,所述磁力计的数据包括mENU,gENU=[0,0,1]T为东北天坐标系下的归一化重力向量,mENU=[0,1,0]T为东北天坐标系下的归一化磁场向量,对应地,/>所述根据所述/>所述卡尔曼增益以及所述第二预测值计算/>包括:根据所述/>所述卡尔曼增益、所述第二预测值以及第二关系式计算/>所述第二关系式为/> 其中/>ak:[ax,k,ay,k,az,k]T、mk:[mx,k,my,k,mz,k]T,所述ak用于表示表示所述加速度计所输出的第k时刻的三轴加速度向量减去所述加速度计的零点偏置数据后所得到的三轴加速度向量。所述mk用于表示所述磁力计所输出的第k时刻的三轴磁场强度向量减去所述磁力计的零点偏置数据后所得到的三轴磁场强度向量。
可选地,在所述步骤S105之前,包括:
基于***状态残差阈值计算∈k-1,其中,所述∈k-1用于表示所述对应的自适应因子,所述/>用于表示预测到的第k-1时刻的状态协方差;
基于所述∈k-1获取Pk-1,其中,所述Pk-1用于表示基于所述计算出来的协方差,所述∈k-1、所述Pk-1、所述/>满足一下关系:
其中,Hk-1、I4×4、04×6、06×4、γ分别用于表示第k-1时刻对应的姿态估计状态观测方程对应的观测矩阵、4*4的单位矩阵、4*6的零矩阵、6*4的零矩阵、目标参数。
所述目标参数可被预先存储在所述拍摄设备中。
可选地,在所述基于所述∈k-1获取Pk-1之前,包括:根据所述第一预测值计算目标雅可比矩阵,所述目标雅可比矩阵为所述角速度计在所述第k-1时刻的噪声协方差对应的雅可比矩阵;构建代价函数其中,||·||2为二范数,/> 表示/>Wk-1用于表示所述目标雅可比矩阵;基于所述代价函数求解J*,J*用于表示J的最优解;基于关系式J*≤γ2确定γ。
例如,确定γ为1.52,N为一个预设的参数,
可选地,k为大于或者等于3的正整数,在所述根据所述第k时刻对应的姿态估计状态观测方程计算卡尔曼增益之前,包括:
成立,则令Rk-1=Rk-2,其中,/>Ub、Lb分别用于表示第一指定参数、第二指定参数;
不成立,则令其中,/>δ为第三指定参数。
其中,δ∈(0,1)。例如,δ=0.87,Ub=1.2、Lb=0.8。
在一些实施例中,k为大于或者等于3的正整数,所述∑k-1满足以下关系:
其中,c1为第四指定参数,/>
其中,c1被预先存储在所述拍摄设备中。例如,c1=0.87。
在一些实施例中,所述基于***状态残差阈值计算∈k-1包括:基于***状态残差阈值和第三关系式计算∈k-1,所述第三关系式为其中c2用于表示***状态残差阈值。
例如,c2=1.26。
步骤S107、根据所述对所述拍摄设备所拍摄到的图像进行旋转处理。
具体地,确定对应的旋转矩阵,基于所述旋转矩阵对所述拍摄设备所拍摄到的图像进行旋转处理,从而使得所述拍摄设备的视频帧能够稳定,即能够实现较好的防抖效果。
本申请实施例中的图像处理方法应用于拍摄设备,所述拍摄设备中设置有惯性测量单元,所述惯性测量单元包括角速度计,所述图像处理方法包括:获取ωk,其中,所述ωk为所述角速度计所输出的第k时刻的三轴角速度向量减去所述角速度计的零点偏置数据后所得到的三轴角速度向量,k为大于或者等于2的正整数;根据所述ωk和第一预测值获取第二预测值,所述第一预测值为所述拍摄设备在第k-1时刻的姿态对应的四元数的预测值,所述第二预测值为所述拍摄设备在第k时刻的姿态对应的四元数的预测值;根据所述ωk计算目标状态转移矩阵,所述目标状态转移矩阵为所述第k-1时刻到所述第k时刻的状态转移矩阵;根据所述第一预测值计算所述第k-1时刻的过程噪声的协方差矩阵,即能够根据所述拍摄设备在第k-1时刻的姿态对应的四元数的预测值计算出较为准确的第k-1时刻的过程噪声的协方差矩阵;然后根据所述目标状态转移矩阵、所述第k-1时刻的过程噪声的协方差矩阵以及Pk-1获取所述Pk-1用于表示所述第k-1时刻的卡尔曼滤波器的协方差,所述/>用于表示预测到的所述第k时刻的状态协方差;根据所述/>以及所述第二预测值能够较为准确地计算出/>所述/>用于表示校正后的所述拍摄设备在所述第k时刻的姿态四元数;进而根据所述/>对所述拍摄设备所拍摄到的图像进行旋转处理,从而使得拍摄设备的视频帧能够稳定,即能够实现较好的防抖效果。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
实施例二
对应于上文实施例所述的图像处理方法,图2示出了本申请实施例提供的图像处理装置的示意图,为了便于说明,仅示出了与本申请实施例相关的部分。
该图像处理装置2应用于拍摄设备,该拍摄设备中设置有惯性测量单元,所述惯性测量单元包括角速度计,该图像处理装置2包括:第一获取单元201、第二获取单元202、第一计算单元203、第二计算单元204、第三获取单元205、第三计算单元206以及旋转单元207,其中:
第一获取单元201用于:获取ωk,其中,所述ωk为所述角速度计所输出的第k时刻的三轴角速度向量减去所述角速度计的零点偏置数据后所得到的三轴角速度向量,k为大于或者等于2的正整数。
在一些实施例中,该图像处理装置2还包括:第四获取单元。
所述第四获取单元用于:在所述第一获取单元201执行所述获取ωk之前,获取ω1,其中,ω1用于表示所述角速度计所输出的第1时刻的三轴角速度向量减去所述角速度计的零点偏置数据后的三轴角速度向量。ω1可表示为[ωx,1,ωy,1,ωz,1]T,所述第1时刻为所述拍摄设备开机初始化完成时刻。
在一些实施例中,所述惯性测量单元还包括加速度计和磁力计,第四获取单元用于:在所述第一获取单元201执行所述获取ωk之前,获取a1和m1,其中,a1用于表示所述加速度计所输出的第1时刻的三轴加速度向量减去所述加速度计的零点偏置数据后所得到的三轴加速度向量,所述m1用于表示所述磁力计所输出的第1时刻的三轴磁场强度向量减去所述磁力计的零点偏置数据后所得到的三轴磁场强度向量。
可选地,该图像处理装置2还包括:第四计算单元。
所述第四计算单元用于:计算所述拍摄设备的初始姿态,所述初始姿态为在第1时刻的姿态。
第二获取单元202用于:根据所述ωk和第一预测值获取第二预测值,所述第一预测值为所述拍摄设备在第k-1时刻的姿态对应的四元数的预测值,所述第二预测值为所述拍摄设备在第k时刻的姿态对应的四元数的预测值。
第一计算单元203用于:根据所述ωk计算目标状态转移矩阵,所述目标状态转移矩阵为所述第k-1时刻到所述第k时刻的状态转移矩阵。
第二计算单元204用于:根据所述第一预测值计算所述第k-1时刻的过程噪声的协方差矩阵。
第三获取单元205,用于根据所述目标状态转移矩阵、所述第k-1时刻的过程噪声的协方差矩阵以及Pk-1获取所述Pk-1用于表示所述第k-1时刻的卡尔曼滤波器的协方差,所述/>用于表示预测到的所述第k时刻的状态协方差。
第三计算单元206,用于根据所述以及所述第二预测值计算/>所述/>用于表示校正后的所述拍摄设备在所述第k时刻的姿态四元数。
例如,当k等于2时,根据所述以及所述第二预测值计算/>
可选地,所述惯性测量单元还包括加速度计和磁力计,对应地,第三计算单元206在执行所述根据所述以及所述第二预测值计算/>之前,还用于通过所述加速度计的数据和所述磁力计的数据建立所述第k时刻对应的姿态估计状态观测方程;根据所述第k时刻对应的姿态估计状态观测方程计算卡尔曼增益,所述卡尔曼增益其中,Hk用于表示所述第k时刻对应的姿态估计状态观测方程对应的观测矩阵,Rk-1用于表示所述第k-1时刻的观测噪声的协方差矩阵;对应地,所述第三计算单元206在执行所述根据所述/>以及所述第二预测值计算/>时,用于根据所述所述卡尔曼增益以及所述第二预测值计算/>
可选地,在所述第三获取单元205执行所述根据所述目标状态转移矩阵、所述第k-1时刻的过程噪声的协方差矩阵以及Pk-1获取之前,还用于:基于***状态残差阈值计算∈k-1,其中,所述∈k-1用于表示所述/>对应的自适应因子,所述/>用于表示预测到的第k-1时刻的状态协方差;基于所述∈k-1获取Pk-1,其中,所述Pk-1用于表示基于所述/>计算出来的协方差,所述∈k-1、所述Pk-1、所述/>满足一下关系:
/>
其中,Hk-1、I4×4、04×6、06×4、γ分别用于表示第k-1时刻对应的姿态估计状态观测方程对应的观测矩阵、4*4的单位矩阵、4*6的零矩阵、6*4的零矩阵、目标参数。
所述目标参数可被预先存储在所述拍摄设备中。
可选地,在所述第三获取单元205执行所述基于所述∈k-1获取Pk-1之前,还用于:根据所述第一预测值计算目标雅可比矩阵,所述目标雅可比矩阵为所述角速度计在所述第k-1时刻的噪声协方差对应的雅可比矩阵;构建代价函数其中,||·||2为二范数,/> 表示/>Wk-1用于表示所述目标雅可比矩阵;基于所述代价函数求解J*,J*用于表示J的最优解;基于关系式J*≤γ2确定γ。
可选地,k为大于或者等于3的正整数,第三计算单元206在执行所述根据所述第k时刻对应的姿态估计状态观测方程计算卡尔曼增益之前,还用于:
成立,则令Rk-1=Rk-2,其中,/>Ub、Lb分别用于表示第一指定参数、第二指定参数;
不成立,则令其中,/>δ为第三指定参数。
其中,δ∈(0,1)。例如,δ=0.87,Ub=1.2、Lb=0.8。
在一些实施例中,k为大于或者等于3的正整数,所述∑k-1满足以下关系:
其中,c1为第四指定参数,/>
其中,c1被预先存储在所述拍摄设备中。例如,c1=0.87。
在一些实施例中,所述基于***状态残差阈值计算∈k-1包括:基于***状态残差阈值和第三关系式计算∈k-1,所述第三关系式为其中c2用于表示***状态残差阈值。
旋转单元207,用于根据所述对所述拍摄设备所拍摄到的图像进行旋转处理。/>
本申请实施例中的图像处理装置应用于拍摄设备,所述拍摄设备中设置有惯性测量单元,所述惯性测量单元包括角速度计,所述图像处理装置包括:第一获取单元,用于获取ωk,其中,所述ωk为所述角速度计所输出的第k时刻的三轴角速度向量减去所述角速度计的零点偏置数据后所得到的三轴角速度向量,k为大于或者等于2的正整数;第二获取单元,用于根据所述ωk和第一预测值获取第二预测值,所述第一预测值为所述拍摄设备在第k-1时刻的姿态对应的四元数的预测值,所述第二预测值为所述拍摄设备在第k时刻的姿态对应的四元数的预测值;第一计算单元,用于根据所述ωk计算目标状态转移矩阵,所述目标状态转移矩阵为所述第k-1时刻到所述第k时刻的状态转移矩阵;第二计算单元,用于根据所述第一预测值计算所述第k-1时刻的过程噪声的协方差矩阵;第三获取单元,用于根据所述目标状态转移矩阵、所述第k-1时刻的过程噪声的协方差矩阵以及Pk-1获取所述Pk-1用于表示所述第k-1时刻的卡尔曼滤波器的协方差,所述/>用于表示预测到的所述第k时刻的状态协方差;第三计算单元,用于根据所述/>以及所述第二预测值计算/>所述/>用于表示校正后的所述拍摄设备在所述第k时刻的姿态四元数;旋转单元,用于根据所述对所述拍摄设备所拍摄到的图像进行旋转处理,从而使得拍摄设备的视频帧能够稳定,即能够实现较好的防抖效果。
需要说明的是,未在本实施例中详尽描述的技术细节,可参见上述实施例一中的各个实施例所提供的图像处理方法。
实施例三
本实施例中的拍摄设备3包括:惯性测量单元30、至少一个处理器31、存储器32以及存储在所述存储器32中并可在所述至少一个处理器31上运行的计算机程序33,所述处理器31执行所述计算机程序33时实现上述任意各个图像处理方法实施例中的步骤。
所述处理器31执行所述计算机程序33时实现上述各个图像处理方法实施例中的步骤,例如图1所示的步骤S101至步骤S107。或者,处理器31执行所述计算机程序33时实现上述各装置实施例中各单元的功能,例如,图2所示单元201至207的功能。作为示例而非限定的是,所述拍摄设备3可为全景相机。
本领域技术人员可以理解,本实施例仅是拍摄设备3的举例,并不构成对拍摄设备3的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
所称处理器31可以是中央处理单元(Central Processing Unit,CPU),该处理器31还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器32在一些实施例中可以是所述拍摄设备3的内部存储单元,例如拍摄设备3的硬盘或内存。所述存储器32在另一些实施例中也可以是所述拍摄设备3的外部存储设备,例如所述拍摄设备3上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器32还可以既包括所述拍摄设备3的内部存储单元也包括外部存储设备。所述存储器32用于存储操作***、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如所述计算机程序33的程序代码等。所述存储器32还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序33,所述计算机程序33被处理器31执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序33产品,当计算机程序33产品在拍摄设备3上运行时,使得拍摄设备3执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序33来指令相关的硬件来完成,所述的计算机程序33可存储于一计算机可读存储介质中,该计算机程序33在被处理器31执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序33包括计算机程序33代码,所述计算机程序33代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序33代码携带到拍摄设备3的任何实体或装置、记录介质、计算机存储器32、只读存储器32(ROM,Read-Only Memory)、随机存取存储器32(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/网络设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/网络设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像处理方法,其特征在于,所述图像处理方法应用于拍摄设备,所述拍摄设备中设置有惯性测量单元,所述惯性测量单元包括角速度计,所述图像处理方法包括:
获取ωk,其中,所述ωk为所述角速度计所输出的第k时刻的三轴角速度向量减去所述角速度计的零点偏置数据后所得到的三轴角速度向量,k为大于或者等于2的正整数;
根据所述ωk和第一预测值获取第二预测值,所述第一预测值为所述拍摄设备在第k-1时刻的姿态对应的四元数的预测值,所述第二预测值为所述拍摄设备在第k时刻的姿态对应的四元数的预测值;
根据所述ωk计算目标状态转移矩阵,所述目标状态转移矩阵为所述第k-1时刻到所述第k时刻的状态转移矩阵;
根据所述第一预测值计算所述第k-1时刻的过程噪声的协方差矩阵;
根据所述目标状态转移矩阵、所述第k-1时刻的过程噪声的协方差矩阵以及Pk-1获取所述Pk-1用于表示所述第k-1时刻的卡尔曼滤波器的协方差,所述/>用于表示预测到的所述第k时刻的状态协方差;
根据所述以及所述第二预测值计算/>所述/>用于表示校正后的所述拍摄设备在所述第k时刻的姿态四元数;
根据所述对所述拍摄设备所拍摄到的图像进行旋转处理。
2.如权利要求1所述的图像处理方法,其特征在于,所述根据所述目标状态转移矩阵、所述第k-1时刻的过程噪声的协方差矩阵以及Pk-1获取包括:
根据所述目标状态转移矩阵、所述第k-1时刻的过程噪声的协方差矩阵、Pk-1以及第一关系式获取所述第一关系式为/>其中,所述Fk用于表示所述目标状态转移矩阵,∑k-1用于表示所述第k-1时刻的过程噪声的协方差矩阵。
3.如权利要求1所述的图像处理方法,其特征在于,所述惯性测量单元还包括加速度计和磁力计,对应地,在所述根据所述以及所述第二预测值计算/>之前,包括:
通过所述加速度计的数据和所述磁力计的数据建立第k时刻对应的姿态估计状态观测方程;
根据所述第k时刻对应的姿态估计状态观测方程计算卡尔曼增益,所述卡尔曼增益其中,Hk用于表示所述第k时刻对应的姿态估计状态观测方程对应的观测矩阵,Rk-1用于表示所述第k-1时刻的观测噪声的协方差矩阵;
对应地,所述根据所述以及所述第二预测值计算/>包括:
根据所述所述卡尔曼增益以及所述第二预测值计算/>
4.如权利要求1所述的图像处理方法,其特征在于,在所述根据所述目标状态转移矩阵、所述第k-1时刻的过程噪声的协方差矩阵以及Pk-1获取之前,包括:
基于***状态残差阈值计算∈k-1,其中,所述∈k-1用于表示所述对应的自适应因子,所述/>用于表示预测到的第k-1时刻的状态协方差;
基于所述∈k-1获取Pk-1,其中,所述Pk-1用于表示基于所述计算出来的协方差,所述∈k-1、所述Pk-1、所述/>满足一下关系:
其中,Hk-1、I4×4、04×6、06×4、γ分别用于表示第k-1时刻对应的姿态估计状态观测方程对应的观测矩阵、4*4的单位矩阵、4*6的零矩阵、6*4的零矩阵、目标参数。
5.如权利要求4所述的图像处理方法,其特征在于,在所述基于所述∈k-1获取Pk-1之前,包括:
根据所述第一预测值计算目标雅可比矩阵,所述目标雅可比矩阵为所述角速度计在所述第k-1时刻的噪声协方差对应的雅可比矩阵;
构建代价函数其中,||·||2为二范数,/>表示/>Wk-1用于表示所述目标雅可比矩阵;
基于所述代价函数求解J*,J*用于表示J的最优解;
基于关系式J*≤γ2确定γ。
6.如权利要求3所述的图像处理方法,其特征在于,k为大于或者等于3的正整数,在所述根据所述第k时刻对应的姿态估计状态观测方程计算卡尔曼增益之前,包括:
成立,则令Rk-1=Rk-2,其中,/>Ub、Lb分别用于表示第一指定参数、第二指定参数;
不成立,则令其中,/>δ为第三指定参数。
7.如权利要求4所述的图像处理方法,其特征在于,所述基于***状态残差阈值计算∈k-1包括:
基于***状态残差阈值和第三关系式计算∈k-1,所述第三关系式为其中/>c2用于表示***状态残差阈值,/>所述/>用于表示第k-1时刻对应的姿态估计状态观测方程。
8.一种图像处理装置,其特征在于,所述图像处理装置应用于拍摄设备,所述拍摄设备中设置有惯性测量单元,所述惯性测量单元包括角速度计,所述图像处理装置包括:
第一获取单元,用于获取ωk,其中,所述ωk为所述角速度计所输出的第k时刻的三轴角速度向量减去所述角速度计的零点偏置数据后所得到的三轴角速度向量,k为大于或者等于2的正整数;
第二获取单元,用于根据所述ωk和第一预测值获取第二预测值,所述第一预测值为所述拍摄设备在第k-1时刻的姿态对应的四元数的预测值,所述第二预测值为所述拍摄设备在第k时刻的姿态对应的四元数的预测值;
第一计算单元,用于根据所述ωk计算目标状态转移矩阵,所述目标状态转移矩阵为所述第k-1时刻到所述第k时刻的状态转移矩阵;
第二计算单元,用于根据所述第一预测值计算所述第k-1时刻的过程噪声的协方差矩阵;
第三获取单元,用于根据所述目标状态转移矩阵、所述第k-1时刻的过程噪声的协方差矩阵以及Pk-1获取所述Pk-1用于表示所述第k-1时刻的卡尔曼滤波器的协方差,所述/>用于表示预测到的所述第k时刻的状态协方差;
第三计算单元,用于根据所述以及所述第二预测值计算/>所述/>用于表示校正后的所述拍摄设备在所述第k时刻的姿态四元数;
旋转单元,用于根据所述对所述拍摄设备所拍摄到的图像进行旋转处理。
9.一种拍摄设备,包括惯性测量单元、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述惯性测量单元包括角速度计,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN202410238649.0A 2024-03-01 2024-03-01 图像处理方法、装置及拍摄设备 Pending CN118200726A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410238649.0A CN118200726A (zh) 2024-03-01 2024-03-01 图像处理方法、装置及拍摄设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410238649.0A CN118200726A (zh) 2024-03-01 2024-03-01 图像处理方法、装置及拍摄设备

Publications (1)

Publication Number Publication Date
CN118200726A true CN118200726A (zh) 2024-06-14

Family

ID=91393947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410238649.0A Pending CN118200726A (zh) 2024-03-01 2024-03-01 图像处理方法、装置及拍摄设备

Country Status (1)

Country Link
CN (1) CN118200726A (zh)

Similar Documents

Publication Publication Date Title
CN110246147B (zh) 视觉惯性里程计方法、视觉惯性里程计装置及移动设备
US11057567B2 (en) Anti-shake method and apparatus for panoramic video, and portable terminal
EP3528489A1 (en) Method and system for panoramic video stabilization, and portable terminal
CN104396231B (zh) 图像处理装置和图像处理方法
US20060170784A1 (en) Image capturing device, correction device, mobile phone, and correcting method
CN108827341B (zh) 用于确定图像采集装置的惯性测量单元中的偏差的方法
US20110129166A1 (en) Image processing apparatus and image processing method
CN110686676A (zh) 机器人重定位方法、装置及机器人
CN108921898B (zh) 摄像机位姿确定方法、装置、电子设备和计算机可读介质
CN107942090B (zh) 一种基于模糊星图提取光流信息的航天器角速度估计方法
CN107370941A (zh) 一种信息处理方法及电子设备
CN114338994A (zh) 光学防抖方法、装置、电子设备和计算机可读存储介质
US20230362317A1 (en) Method for generating rotation direction of gyroscope and computer device
CN113438409B (zh) 延迟校准方法、装置、计算机设备和存储介质
CN112287792B (zh) 采集人脸图像的方法、装置及电子设备
CN117278854A (zh) 一种视频防抖方法、装置、电子设备及存储介质
CN118200726A (zh) 图像处理方法、装置及拍摄设备
Magerand et al. A generic rolling shutter camera model and its application to dynamic pose estimation
CN115014421A (zh) 传感器数据的校准方法和装置、防抖方法和摄像模组
CN113301249B (zh) 全景视频处理方法、装置、计算机设备和存储介质
CN115396597A (zh) 视频防抖拼接方法及相关设备
CN115049697A (zh) 视觉测速方法、装置、设备和存储介质
CN117915201A (zh) 视频数据处理方法、装置及拍摄设备
CN117750202A (zh) 图像处理方法、装置及拍摄设备
CN117939295A (zh) 图像处理方法、装置及拍摄设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination