CN114500842A - 视觉惯性标定方法及其装置 - Google Patents

视觉惯性标定方法及其装置 Download PDF

Info

Publication number
CN114500842A
CN114500842A CN202210096751.2A CN202210096751A CN114500842A CN 114500842 A CN114500842 A CN 114500842A CN 202210096751 A CN202210096751 A CN 202210096751A CN 114500842 A CN114500842 A CN 114500842A
Authority
CN
China
Prior art keywords
parameter
image data
target motion
calibration
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210096751.2A
Other languages
English (en)
Inventor
叶伟文
周强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202210096751.2A priority Critical patent/CN114500842A/zh
Publication of CN114500842A publication Critical patent/CN114500842A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种视觉惯性标定方法及其装置，属于视觉技术领域。该方法包括：在通过位移台带动电子设备按照目标运动参数据旋转的过程中，获取所述电子设备的图像传感器采集的图像数据和所述电子设备的惯性测量单元采集的姿态数据；基于反映所述图像数据、所述姿态数据和所述目标运动参数间关系的设定约束条件，根据所述图像数据、所述姿态数据和所述目标运动参数，确定标定参数的参数值；其中，所述标定参数为通过所述惯性测量单元采集的姿态数据对所述图像传感器采集的图像数据进行防抖补偿的参数；将确定的所述参数值保存在所述电子设备中以供进行所述防抖补偿。

Description

视觉惯性标定方法及其装置
技术领域
本申请属于视觉技术领域，具体涉及一种视觉惯性标定方法及其装置。
背景技术
随着移动互联网和智能设备的高度普及，拍摄视频已经成为人们记录和分享生活的新形式。
在拍摄视频的过程中，移动设备不可避免地会发生抖动，影响拍摄效果。对此，通常采用惯性测量单元(Inertial Measurement Unit，IMU)进行运动估计，并根据估计结果补偿防抖处理，以解决移动设备的防抖问题。
为了获得更好的防抖效果，在移动设备出厂时，需要对移动设备进行视觉惯性标定校准。相关技术中，一般通过人为手持制造抖动，并将图像传感器获得的前后帧的特征点与惯性测量单元的运动轨迹进行匹配，以实现移动设备的视觉惯性标定校准。但是，这种方式校准精度较差，影响防抖效果。
发明内容
本申请实施例的目的是提供一种视觉惯性标定方法及其装置，能够解决现有技术的视觉惯性标定校准方式存在的校准精度差的问题。
第一方面，本申请实施例提供了一种视觉惯性标定方法，该方法包括：
在通过位移台带动电子设备按照目标运动参数旋转的过程中，获取所述电子设备的图像传感器采集的图像数据和所述电子设备的惯性测量单元采集的姿态数据；
基于反映所述图像数据、所述姿态数据和所述目标运动参数间关系的设定约束条件，根据所述图像数据、所述姿态数据和所述目标运动参数，确定标定参数的参数值；其中，所述标定参数为通过所述惯性测量单元采集的姿态数据对所述图像传感器采集的图像数据进行防抖补偿的参数；
将确定的所述参数值保存在所述电子设备中以供进行所述防抖补偿。
第二方面，本申请实施例提供了一种视觉惯性标定装置，所述装置包括：
获取模块，用于在通过位移台带动电子设备按照目标运动参数旋转的过程中，获取所述电子设备的图像传感器采集的图像数据和所述电子设备的惯性测量单元采集的姿态数据；
确定模块，用于基于反映所述图像数据、所述姿态数据和所述目标运动参数间关系的设定约束条件，根据所述图像数据、所述姿态数据和所述目标运动参数，确定标定参数的参数值；其中，所述标定参数为通过所述惯性测量单元采集的姿态数据对所述图像传感器采集的图像数据进行防抖补偿的参数；
存储模块，用于将确定的所述参数值保存在所述电子设备中以供进行所述防抖补偿。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中，通过位移台控制电子设备按照目标运动参数旋转，基于反映图像数据、姿态数据和目标运动参数间关系的设定约束条件，根据电子设备的图像传感器采集的图像数据、电子设备的惯性测量单元采集的姿态数据和位移台的目标运动参数，确定标定参数的参数值，这样，将电子设备的姿态数据与已知的位移台的目标运动参数进行匹配，以及将图像数据中特征点的运动轨迹与已知的位移台的目标运动参数进行匹配，可以实现对电子设备视觉惯性标定校准，并且可以获得高精度的标定结果，进而根据获得的标定参数对图像传感器采集的图像数据进行防抖补偿，能够提高电子设备的防抖效果。
附图说明
图1是本申请实施例提供的一种视觉惯性标定方法的流程示意图；
图2是本申请实施例提供的图像传感器坐标系、惯性测量单元坐标系和位移台坐标系之间的相对关系的示意图；
图3是本申请实施例提供的一种视觉惯性标定装置的结构示意图；
图4是本申请实施例提供的一种电子设备的结构示意图；
图5是本申请实施例提供的另一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
在拍摄视频的过程中，电子设备不可避免地会发生抖动，影响拍摄效果。对此，通常采用惯性测量单元(IMU)进行运动估计，并根据估计结果补偿防抖处理，以解决移动设备的防抖问题。
然而，惯性测量单元坐标系与图像传感器坐标系之间呈一定夹角，惯性测量单元采集姿态数据的时间与图像传感器采集图像数据的时间存在一定的时间延迟。因此，为了提高电子设备的防抖效果，在电子设备出厂时，需要进行视觉惯性标定校准处理，即，对惯性测量单元坐标系和图像传感器的同步性的校准，以及惯性测量单元采集姿态数据的时间戳与图像传感器采集图像数据的时间戳的同步性的校准。
相关技术中，电子设备的视觉惯性标定校准通常在室外进行，由人为手持制造抖动，并将图像传感器获得的前后帧的特征点与惯性测量单元的运动轨迹进行匹配，以实现移动设备的视觉惯性标定校准。但是，这种方式校准精度较差，影响防抖效果。
为了解决上述问题，本申请实施例提供了一种视觉惯性标定校准方法，通过位移台控制电子设备按照目标运动参数旋转，基于反映图像数据、姿态数据和目标运动参数间关系的设定约束条件，根据图像数据、姿态数据和目标运动参数，确定标定参数的参数值，以完成视觉惯性标定校准，可以获得高精度的标定结果，从而提高电子设备的防抖效果。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的视觉惯性标定方法进行详细地说明。
请参见图1，其是本申请实施例提供的一种视觉惯性标定方法，该方法可以包括步骤1100-步骤1300，以下予以详细说明。
步骤1100，在通过位移台带动电子设备按照目标运动参数旋转的过程中，获取所述电子设备的图像传感器采集的图像数据和所述电子设备的惯性测量单元采集的姿态数据。
在本实施例中，位移台可以用于带动电子设备按照目标运动参数旋转。位移台例如可以是六轴六足位移台。示例性地，位移台可以带动电子设备进行不同频率不同角度的旋转运动。目标运动参数可以根据电子设备的抖动数据进行设置。位移台的目标运动参数例如可以是位移台的旋转角度。
电子设备的图像传感器采集的图像数据可以是电子设备的图像传感器拍摄的视频，即，视频帧序列。该图像数据可以包括N帧图像，其中，N为大于1的正整数。
电子设备的惯性测量单元采集的姿态数据可以用于指示电子设备的图像传感器采集图像数据时的姿态。
步骤1200，基于反映所述图像数据、所述姿态数据和所述目标运动参数间关系的设定约束条件，根据所述图像数据、所述姿态数据和所述目标运动参数，确定标定参数的参数值；其中，所述标定参数为通过所述惯性测量单元采集的姿态数据对所述图像传感器采集的图像数据进行防抖补偿的参数。
在本实施例中，设定约束条件可以反映电子设备的图像传感器采集的图像数据、电子设备的惯性测量单元采集的姿态数据和位移台的目标运动参数之间的转换关系。
标定参数可以为通过惯性测量单元采集的姿态数据对图像传感器采集的图像数据进行防抖补偿的参数。示例性地，标定参数可以包括所述图像数据与所述姿态数据间的坐标转换参数，以及所述图像数据与所述姿态数据间的时延参数。
在本实施例中，图像数据与姿态数据之间的坐标转换参数，可以是根据位移台的目标运动参数与惯性测量单元采集的姿态数据之间的坐标转换参数、和图像传感器采集的图像数据与位移台的目标运动参数之间的坐标转换参数确定得到的。请参见图2，其是本申请实施例提供的图像传感器坐标系、惯性测量单元坐标系和位移台坐标系之间的相对关系的示意图像。
示例性地，位移台的目标运动参数与惯性测量单元采集的姿态数据之间的坐标转换参数例如可以是旋转变换矩阵RDOF-IMU；图像传感器采集的图像数据与位移台的目标运动参数之间的坐标转换参数例如可以是旋转变换矩阵RCam-DOF；图像数据与姿态数据之间坐标转换参数为RCam-DOF*RDOF-IMU。
在本申请的一些实施例中，所述设定约束条件包括反映所述姿态数据与所述目标运动参数间第一距离的第一约束条件；以及，反映所述目标运动参数与所述图像数据间第二距离的第二约束条件。
在本实施例中，第一约束条件可以反映惯性测量单元采集的姿态数据与位移台的目标运动参数之间的第一距离。
在本实施例中，可以根据第一约束条件，构建第一损失函数。第一损失函数如公式(1)所示：
S＝∑||RDOF-IMU*AIMU-ADOF||2 (1)
其中，S为第一损失函数的第一损失值，RDOF-IMU为惯性测量单元坐标系相对于位移台坐标系的旋转变换矩阵，AIMU为惯性测量单元采集的姿态数据，ADOF为位移台的目标运动参数。
在该实施例中，惯性测量单元采集的姿态数据可以是由积分计算得到的旋转姿态信息。例如，该姿态数据的计算公式(2)如下：
AIMU＝∑ωi*Δt1 (2)
其中，AIMU为惯性测量单元采集的姿态数据，ωi为电子设备的旋转的瞬时角速度，Δt1为相邻两次采集的电子设备旋转的角速度的时间间隔。
在该实施例中，惯性测量单元坐标系相对于位移台坐标系的旋转变换矩阵可以根据惯性测量单元坐标系相对于位移台坐标系的三轴夹角转换得到。其中，惯性测量单元坐标系相对于位移台坐标系的三轴夹角为：θDOF-IMU＝(θx，θy，θz)。例如，该惯性测量单元坐标系相对于位移台坐标系的旋转变换矩阵的计算公式(3)-公式(6)如下：
RDOF-IMu＝RzRyRx (3)
Figure BDA0003488475710000061
Figure BDA0003488475710000062
Figure BDA0003488475710000063
其中，RDOF-IMU为惯性测量单元坐标系相对于位移台坐标系的旋转变换矩阵，Rx为惯性测量单元坐标系相对于位移台坐标系的x轴的旋转变换矩阵，Ry为惯性测量单元坐标系相对于位移台坐标系的y轴的旋转变换矩阵，Rz为惯性测量单元坐标系相对于位移台坐标系的z轴的旋转变换矩阵，θx为惯性测量单元坐标系相对于位移台坐标系的x轴的夹角，θy为惯性测量单元坐标系相对于位移台坐标系的y轴的夹角，θy为惯性测量单元坐标系相对于位移台坐标系的z轴的夹角。
示例性地，第一约束条件可以是惯性测量单元采集的姿态数据与位移台的目标运动参数之间的第一距离小于或等于第一阈值。参见公式(1)，即第一损失函数的第一损失值S小于或等于第一阈值。示例性地，第一约束条件可以是惯性测量单元采集的姿态数据与位移台的目标运动参数之间的第一距离为最小值。
在本实施例中，第二约束条件可以反映目标运动参数与图像数据间第二距离。图像数据可以包括当前帧图像和下一帧图像，也就是说，第二约束条件可以反映目标特征点在当前帧图像和下一帧图像中的运动轨迹与位移台的运动轨迹之间的第二距离。其中，目标特征点可以是当前帧图像和下一帧图像中匹配成功的特征点。将当前帧图像和下一帧图像进行特征点匹配，以确定目标特征点。
示例性地，可以根据第二约束条件，构建第二损失函数。第二损失函数如公式(7)所示：
M＝∑||xj-ro-xi||2 (7)
其中，M为第二损失函数的第二损失值；xi为目标特征点在当前帧图像中的图像坐标，即，xi＝(xi，yi)；xj-ro为下一帧图像中的目标特征点与当前帧图像中的目标特征点的位置关系。
在该实施例中，下一帧图像中的目标特征点与当前帧图像中的目标特征点的位置关系的计算公式(8)如下：
xj-ro＝K(RjRCam-DOF)(RiRCam-DOF)TK-1xi (8)
其中，xj-ro为下一帧图像中的目标特征点与当前帧图像中的目标特征点的位置关系；RCam-DOF为位移台坐标系相对于图像传感器坐标系的旋转变换矩阵；Ri为图像传感器采集当前帧图像的采集时间对应的位移台的旋转角度，具体地，可以根据图像数据与姿态数据间的时延参数Δt查找与xi对应的位移台输出的旋转角度Ri；Rj为图像传感器采集下一帧图像的采集时间对应的位移台的旋转角度，具体地，可以根据图像数据与姿态数据间的时延参数Δt查找与xj对应的位移台输出的旋转角度Rj；K为电子设备的相机的内参数。
在该实施例中，位移台坐标系相对于图像传感器坐标系的旋转变换矩阵，可以根据位移台坐标系相对于图像传感器坐标系的三轴夹角转换得到。其中，位移台坐标系相对于图像传感器坐标系的三轴夹角为：θCam-DOF＝(θx′，θy′，θz′)，其中，θx′为位移台坐标系相对于图像传感器坐标系的x轴的夹角，θy′为位移台坐标系相对于图像传感器坐标系的y轴的夹角，θz′为位移台坐标系相对于图像传感器坐标系的z轴的夹角。
示例性地，该位移台坐标系相对于图像传感器坐标系的旋转变换矩阵的计算公式(9)如下：
RCam-DOF＝Rz′Ry′Rx′ (9)
其中，RCam-DOF为位移台坐标系相对于图像传感器坐标系的旋转变换矩阵，Rx′为位移台坐标系相对于图像传感器坐标系的x轴的旋转变换矩阵，Ry′为位移台坐标系相对于图像传感器坐标系的y轴的旋转变换矩阵，Rz’为位移台坐标系相对于图像传感器坐标系的z轴的旋转变换矩阵。
示例性地，第二约束条件可以是目标运动参数与图像数据间第二距离小于或等于第二阈值。参见公式(7)，即第二损失函数的第二损失值M小于或等于第二阈值。示例性地，第二约束条件可以是目标运动参数与图像数据间第二距离为最小值。
在本实施例中，通过设置第一约束条件，可以使得电子设备的惯性测量单元采集的姿态数据尽可能接近位移台的目标运动参数，通过设置第二约束条件，可以使得图像数据中特征点的运动轨迹尽可能接近位移台的运动轨迹，从而可以实现对电子设备的图像传感器和惯性测量单元的标定校准，具有较高的校准精度。
在本申请的一些实施例中，所述设定约束条件为所述第一约束条件和所述第二约束条件的加权之和满足设定的收敛条件。
在本实施例中，根据收敛条件可以是反映惯性测量单元采集的姿态数据与位移台的目标运动参数之间的第一距离和反映目标运动参数与图像数据间第二距离的加权之和小于等于第三阈值。
示例性地，该收敛条件可以通过以下公式(10)表示：
w1S+w2M (10)
其中，S为反映惯性测量单元采集的姿态数据与位移台的目标运动参数之间的第一距离的第一损失函数，M为反映目标运动参数与图像数据间第二距离的第二损失函数，w1、w2为权重系数。例如，第一损失函数的权重系数w1为1，第一损失函数的权重系数的w2为2。需要说明的是，第一损失函数的权重系数w1、第一损失函数的权重系数的w2可以根据实际需要进行设置，本实施例对此不做具体限定。
在本申请的一些实施例中，所述基于反映所述图像数据、所述姿态数据和所述目标运动参数间关系的设定约束条件，根据所述图像数据、所述姿态数据和所述目标运动参数，确定标定参数的参数值可以进一步包括：根据所述图像数据、所述姿态数据和所述目标运动参数，确定对应所述第一距离的第一参数的参数值和对应所述第二距离的第二参数的参数值；根据所述第一参数的参数值和所述第二参数的参数值，获得所述标定参数的参数值。
在本实施例中，对应第一距离的第一参数可以是惯性测量单元坐标系相对于位移台坐标系的三轴夹角。对应第二距离的第二参数可以是位移台坐标系相对于图像传感器坐标系的三轴夹角。
标定参数包括图像数据与所述姿态数据间的坐标转换参数、以及图像数据与所述姿态数据间的时延参数。图像数据与所述姿态数据间的坐标转换参数的参数值可以是惯性测量单元坐标系相对于位移台坐标系的旋转变换矩阵与位移台坐标系相对于图像传感器坐标系的旋转变换矩阵的乘积。
在一个实施例中，根据所述第一参数的参数值和所述第二参数的参数值，获得所述标定参数的参数值，可以包括：根据惯性测量单元坐标系相对于位移台坐标系的三轴夹角，确定惯性测量单元坐标系相对于位移台坐标系的旋转变换矩阵；根据位移台坐标系相对于图像传感器坐标系的三轴夹角，确定位移台坐标系相对于图像传感器坐标系的旋转变换矩阵；根据惯性测量单元坐标系相对于位移台坐标系的旋转变换矩阵和位移台坐标系相对于图像传感器坐标系的旋转变换矩阵，确定标定参数的参数值。
以公式(10)为例，优化第一损失函数和第二损失函数，使得第一损失值与第二损失值的加权求和的值为最小值，获取与该最小值对应的惯性测量单元坐标系相对于位移台坐标系的三轴夹角、和位移台坐标系相对于图像传感器坐标系的三轴夹角；根据惯性测量单元坐标系相对于位移台坐标系的三轴夹角，确定惯性测量单元坐标系相对于位移台坐标系的旋转变换矩阵；根据位移台坐标系相对于图像传感器坐标系的三轴夹角，确定位移台坐标系相对于图像传感器坐标系的旋转变换矩阵；将惯性测量单元坐标系相对于位移台坐标系的旋转变换矩阵与位移台坐标系相对于图像传感器坐标系的旋转变换矩阵乘积，作为标定参数的参数值。
在步骤1200之后，执行步骤1300，将确定的所述参数值保存在所述电子设备中以供进行所述防抖补偿。
在本申请实施例中，通过位移台控制电子设备按照预设的目标运动参数旋转，基于反映图像数据、姿态数据和目标运动参数间关系的设定约束条件，根据电子设备的图像传感器采集的图像数据、电子设备的惯性测量单元采集的姿态数据和位移台的目标运动参数，确定标定参数的参数值，这样，将电子设备的姿态数据与已知的位移台的目标运动参数进行匹配，以及将图像数据中特征点的运动轨迹与已知的位移台的目标运动参数进行匹配，可以实现对电子设备视觉惯性标定校准，并且可以获得高精度的标定结果，进而根据获得的标定参数对图像传感器采集的图像数据进行防抖补偿，能够提高电子设备的防抖效果。
本申请实施例提供的视觉惯性标定方法，执行主体可以为视觉惯性标定装置。本申请实施例中以视觉惯性标定装置执行视觉惯性标定的方法为例，说明本申请实施例提供的视觉惯性标定的装置。
参见图3，本申请实施例还提供一种视觉惯性标定装置300，该视觉惯性标定装置300包括获取模块301、确定模块302和存储模块303。
该获取模块301，用于在通过位移台带动电子设备按照目标运动参数旋转的过程中，获取所述电子设备的图像传感器采集的图像数据和所述电子设备的惯性测量单元采集的姿态数据；
该确定模块302，用于基于反映所述图像数据、所述姿态数据和所述目标运动参数间关系的设定约束条件，根据所述图像数据、所述姿态数据和所述目标运动参数，确定标定参数的参数值；其中，所述标定参数为通过所述惯性测量单元采集的姿态数据对所述图像传感器采集的图像数据进行防抖补偿的参数；
该存储模块303，用于将确定的所述参数值保存在所述电子设备中以供进行所述防抖补偿。
可选地，所述标定参数包括所述图像数据与所述姿态数据间的坐标转换参数，以及所述图像数据与所述姿态数据间的时延参数。
可选地，所述设定约束条件包括反映所述姿态数据与所述目标运动参数间第一距离的第一约束条件；以及，反映所述目标运动参数与所述图像数据间第二距离的第二约束条件。
可选地，所述设定约束条件为所述第一约束条件和所述第二约束条件的加权之和满足设定的收敛条件。
可选地，所述确定模块，包括：第一确定单元，用于根据所述图像数据、所述姿态数据和所述目标运动参数，确定对应所述第一距离的第一参数的参数值和对应所述第二距离的第二参数的参数值；参数获取单元，用于根据所述第一参数的参数值和所述第二参数的参数值，获得所述标定参数的参数值。
在本申请实施例中，通过位移台控制电子设备按照目标运动参数旋转，基于反映图像数据、姿态数据和目标运动参数间关系的设定约束条件，根据电子设备的图像传感器采集的图像数据、电子设备的惯性测量单元采集的姿态数据和位移台的目标运动参数，确定标定参数的参数值，这样，将电子设备的姿态数据与已知的位移台的目标运动参数进行匹配，以及将图像数据中特征点的运动轨迹与已知的位移台的目标运动参数进行匹配，可以实现对电子设备视觉惯性标定校准，并且可以获得高精度的标定结果，进而根据获得的标定参数对图像传感器采集的图像数据进行防抖补偿，能够提高电子设备的防抖效果。
本申请实施例中的视觉惯性标定装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的视觉惯性标定装置可以为具有操作***的装置。该操作***可以为安卓(Android)操作***，可以为ios操作***，还可以为其他可能的操作***，本申请实施例不作具体限定。
本申请实施例提供的视觉惯性标定装置能够实现图1的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图4所示，本申请实施例还提供一种电子设备400，包括处理器401和存储器402，存储器402上存储有可在所述处理器401上运行的程序或指令，该程序或指令被处理器401执行时实现上述视觉惯性标定方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
图5为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备500包括但不限于：射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、以及处理器510等部件。
本领域技术人员可以理解，电子设备500还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理***与处理器510逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器510，用于在通过位移台带动电子设备按照目标运动参数旋转的过程中，获取所述电子设备的图像传感器采集的图像数据和所述电子设备的惯性测量单元采集的姿态数据；基于反映所述图像数据、所述姿态数据和所述目标运动参数间关系的设定约束条件，根据所述图像数据、所述姿态数据和所述目标运动参数，确定标定参数的参数值；其中，所述标定参数为通过所述惯性测量单元采集的姿态数据对所述图像传感器采集的图像数据进行防抖补偿的参数；存储器509，用于将确定的所述参数值保存在所述电子设备中以供进行所述防抖补偿。
可选地，所述标定参数包括所述图像数据与所述姿态数据间的坐标转换参数，以及所述图像数据与所述姿态数据间的时延参数。
可选地，所述设定约束条件包括反映所述姿态数据与所述目标运动参数间第一距离的第一约束条件；以及，反映所述目标运动参数与所述图像数据间第二距离的第二约束条件。
可选地，所述设定约束条件为所述第一约束条件和所述第二约束条件的加权之和满足设定的收敛条件。
可选地，处理器510在根据所述图像数据、所述姿态数据和所述目标运动参数，确定标定参数的参数值时，用于：根据所述图像数据、所述姿态数据和所述目标运动参数，确定对应所述第一距离的第一参数的参数值和对应所述第二距离的第二参数的参数值；根据所述第一参数的参数值和所述第二参数的参数值，获得所述标定参数的参数值。
在本申请实施例中，通过位移台控制电子设备按照目标运动参数旋转，基于反映图像数据、姿态数据和目标运动参数间关系的设定约束条件，根据电子设备的图像传感器采集的图像数据、电子设备的惯性测量单元采集的姿态数据和位移台的目标运动参数，确定标定参数的参数值，这样，将电子设备的姿态数据与已知的位移台的目标运动参数进行匹配，以及将图像数据中特征点的运动轨迹与已知的位移台的目标运动参数进行匹配，可以实现对电子设备视觉惯性标定校准，并且可以获得高精度的标定结果，进而根据获得的标定参数对图像传感器采集的图像数据进行防抖补偿，能够提高电子设备的防抖效果。
应理解的是，本申请实施例中，输入单元504可以包括图形处理器(GraphicsProcessing Unit，GPU)5041和麦克风5042，图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元506可包括显示面板5061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板5061。用户输入单元507包括触控面板5071以及其他输入设备5072中的至少一种。触控面板5071，也称为触摸屏。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
存储器509可用于存储软件程序以及各种数据。存储器509可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作***、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器509可以包括易失性存储器或非易失性存储器，或者，存储器509可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(ProgrammableROM，PROM)、可擦除可编程只读存储器(ErasablePROM，EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器509包括但不限于这些和任意其它适合类型的存储器。
处理器510可包括一个或多个处理单元；可选的，处理器510集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作***、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器510中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述视觉惯性标定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述视觉惯性标定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。
本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述视觉惯性标定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种视觉惯性标定方法，其特征在于，所述方法包括：
在通过位移台带动电子设备按照目标运动参数旋转的过程中，获取所述电子设备的图像传感器采集的图像数据和所述电子设备的惯性测量单元采集的姿态数据；
基于反映所述图像数据、所述姿态数据和所述目标运动参数间关系的设定约束条件，根据所述图像数据、所述姿态数据和所述目标运动参数，确定标定参数的参数值；其中，所述标定参数为通过所述惯性测量单元采集的姿态数据对所述图像传感器采集的图像数据进行防抖补偿的参数；
将确定的所述参数值保存在所述电子设备中以供进行所述防抖补偿。
2.根据权利要求1所述的方法，其特征在于，所述标定参数包括所述图像数据与所述姿态数据间的坐标转换参数，以及所述图像数据与所述姿态数据间的时延参数。
3.根据权利要求1所述的方法，其特征在于，所述设定约束条件包括反映所述姿态数据与所述目标运动参数间第一距离的第一约束条件；以及，反映所述目标运动参数与所述图像数据间第二距离的第二约束条件。
4.根据权利要求3所述的方法，其特征在于，所述设定约束条件为所述第一约束条件和所述第二约束条件的加权之和满足设定的收敛条件。
5.根据权利要求3所述的方法，其特征在于，所述根据所述图像数据、所述姿态数据和所述目标运动参数，确定标定参数的参数值包括：
根据所述图像数据、所述姿态数据和所述目标运动参数，确定对应所述第一距离的第一参数的参数值和对应所述第二距离的第二参数的参数值；
根据所述第一参数的参数值和所述第二参数的参数值，获得所述标定参数的参数值。
6.一种视觉惯性标定装置，其特征在于，所述装置包括：
获取模块，用于在通过位移台带动电子设备按照目标运动参数旋转的过程中，获取所述电子设备的图像传感器采集的图像数据和所述电子设备的惯性测量单元采集的姿态数据；
确定模块，用于基于反映所述图像数据、所述姿态数据和所述目标运动参数间关系的设定约束条件，根据所述图像数据、所述姿态数据和所述目标运动参数，确定标定参数的参数值；其中，所述标定参数为通过所述惯性测量单元采集的姿态数据对所述图像传感器采集的图像数据进行防抖补偿的参数；
存储模块，用于将确定的所述参数值保存在所述电子设备中以供进行所述防抖补偿。
7.根据权利要求6所述的装置，其特征在于，所述标定参数包括所述图像数据与所述姿态数据间的坐标转换参数，以及所述图像数据与所述姿态数据间的时延参数。
8.根据权利要求6所述的装置，其特征在于，所述设定约束条件包括反映所述姿态数据与所述目标运动参数间第一距离的第一约束条件；以及，反映所述目标运动参数与所述图像数据间第二距离的第二约束条件。
9.根据权利要求8所述的装置，其特征在于，所述设定约束条件为所述第一约束条件和所述第二约束条件的加权之和满足设定的收敛条件。
10.根据权利要求8所述的装置，其特征在于，所述确定模块，包括：
第一确定单元，用于根据所述图像数据、所述姿态数据和所述目标运动参数，确定对应所述第一距离的第一参数的参数值和对应所述第二距离的第二参数的参数值；
参数获取单元，用于根据所述第一参数的参数值和所述第二参数的参数值，获得所述标定参数的参数值。
CN202210096751.2A 2022-01-25 2022-01-25 视觉惯性标定方法及其装置 Pending CN114500842A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210096751.2A CN114500842A (zh) 2022-01-25 2022-01-25 视觉惯性标定方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210096751.2A CN114500842A (zh) 2022-01-25 2022-01-25 视觉惯性标定方法及其装置

Publications (1)

Publication Number Publication Date
CN114500842A true CN114500842A (zh) 2022-05-13

Family

ID=81477175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210096751.2A Pending CN114500842A (zh) 2022-01-25 2022-01-25 视觉惯性标定方法及其装置

Country Status (1)

Country Link
CN (1) CN114500842A (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106595640A (zh) * 2016-12-27 2017-04-26 天津大学 基于双imu和视觉融合的动基座上物体相对姿态测量方法及***
US9805512B1 (en) * 2015-11-13 2017-10-31 Oculus Vr, Llc Stereo-based calibration apparatus
CN110118572A (zh) * 2019-05-08 2019-08-13 北京建筑大学 多目立体视觉与惯性导航***及相对位姿参数确定方法
CN110378968A (zh) * 2019-06-24 2019-10-25 深圳奥比中光科技有限公司 相机和惯性测量单元相对姿态的标定方法及装置
CN110430365A (zh) * 2019-08-26 2019-11-08 Oppo广东移动通信有限公司 防抖方法、装置、计算机设备和存储介质
CN111147741A (zh) * 2019-12-27 2020-05-12 Oppo广东移动通信有限公司 基于对焦处理的防抖方法和装置、电子设备、存储介质
CN111246100A (zh) * 2020-01-20 2020-06-05 Oppo广东移动通信有限公司 防抖参数的标定方法、装置和电子设备
WO2020124517A1 (zh) * 2018-12-21 2020-06-25 深圳市大疆创新科技有限公司 拍摄设备的控制方法、拍摄设备的控制装置及拍摄设备
CN111551191A (zh) * 2020-04-28 2020-08-18 浙江商汤科技开发有限公司 传感器外参数标定方法及装置、电子设备和存储介质
CN111595362A (zh) * 2020-06-05 2020-08-28 联想(北京)有限公司 一种惯性测量单元的参数标定方法、装置及电子设备
CN111750853A (zh) * 2020-06-24 2020-10-09 国汽(北京)智能网联汽车研究院有限公司 一种地图建立方法、装置及存储介质
CN111928847A (zh) * 2020-09-22 2020-11-13 蘑菇车联信息科技有限公司 惯性测量单元位姿数据优化方法、装置及电子设备
CN112204946A (zh) * 2019-10-28 2021-01-08 深圳市大疆创新科技有限公司 数据处理方法、装置、可移动平台及计算机可读存储介质
US11019265B1 (en) * 2020-11-04 2021-05-25 Bae Systems Information And Electronic Systems Integration Inc. Optimized motion compensation via fast steering mirror and roll axis gimbal
US20210182633A1 (en) * 2019-12-14 2021-06-17 Ubtech Robotics Corp Ltd Localization method and helmet and computer readable storage medium using the same
CN113551665A (zh) * 2021-06-25 2021-10-26 中国科学院国家空间科学中心 一种用于运动载体的高动态运动状态感知***及感知方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9805512B1 (en) * 2015-11-13 2017-10-31 Oculus Vr, Llc Stereo-based calibration apparatus
CN106595640A (zh) * 2016-12-27 2017-04-26 天津大学 基于双imu和视觉融合的动基座上物体相对姿态测量方法及***
WO2020124517A1 (zh) * 2018-12-21 2020-06-25 深圳市大疆创新科技有限公司 拍摄设备的控制方法、拍摄设备的控制装置及拍摄设备
CN110118572A (zh) * 2019-05-08 2019-08-13 北京建筑大学 多目立体视觉与惯性导航***及相对位姿参数确定方法
CN110378968A (zh) * 2019-06-24 2019-10-25 深圳奥比中光科技有限公司 相机和惯性测量单元相对姿态的标定方法及装置
CN110430365A (zh) * 2019-08-26 2019-11-08 Oppo广东移动通信有限公司 防抖方法、装置、计算机设备和存储介质
CN112204946A (zh) * 2019-10-28 2021-01-08 深圳市大疆创新科技有限公司 数据处理方法、装置、可移动平台及计算机可读存储介质
US20210182633A1 (en) * 2019-12-14 2021-06-17 Ubtech Robotics Corp Ltd Localization method and helmet and computer readable storage medium using the same
CN111147741A (zh) * 2019-12-27 2020-05-12 Oppo广东移动通信有限公司 基于对焦处理的防抖方法和装置、电子设备、存储介质
CN111246100A (zh) * 2020-01-20 2020-06-05 Oppo广东移动通信有限公司 防抖参数的标定方法、装置和电子设备
CN111551191A (zh) * 2020-04-28 2020-08-18 浙江商汤科技开发有限公司 传感器外参数标定方法及装置、电子设备和存储介质
CN111595362A (zh) * 2020-06-05 2020-08-28 联想(北京)有限公司 一种惯性测量单元的参数标定方法、装置及电子设备
CN111750853A (zh) * 2020-06-24 2020-10-09 国汽(北京)智能网联汽车研究院有限公司 一种地图建立方法、装置及存储介质
CN111928847A (zh) * 2020-09-22 2020-11-13 蘑菇车联信息科技有限公司 惯性测量单元位姿数据优化方法、装置及电子设备
US11019265B1 (en) * 2020-11-04 2021-05-25 Bae Systems Information And Electronic Systems Integration Inc. Optimized motion compensation via fast steering mirror and roll axis gimbal
CN113551665A (zh) * 2021-06-25 2021-10-26 中国科学院国家空间科学中心 一种用于运动载体的高动态运动状态感知***及感知方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
方明;田颖;: "基于IMU-Camera标定的鲁棒电子稳像方法", 信息与控制, no. 02, 15 April 2018 (2018-04-15) *

Similar Documents

Publication Publication Date Title
CN109644231A (zh) 移动设备的改进的视频稳定性
US20230037922A1 (en) Image display method and apparatus, computer device, and storage medium
CN113194263B (zh) 枪球联动控制方法、装置、计算机设备和存储介质
JP2017073753A (ja) 補正方法、プログラム及び電子機器
JP2023502635A (ja) 較正方法および装置、プロセッサ、電子機器、記憶媒体
CN110956666A (zh) 运动数据标定方法、装置、终端设备及存储介质
CN112907652B (zh) 相机姿态获取方法、视频处理方法、显示设备和存储介质
CN116079697B (zh) 一种基于图像的单目视觉伺服方法、装置、设备及介质
CN113556464A (zh) 拍摄方法、装置及电子设备
JP2022531186A (ja) 情報処理方法、装置、電子機器、記憶媒体およびプログラム
CN110954134A (zh) 陀螺仪偏差校正方法、校正***、电子设备及存储介质
CN110096134B (zh) 一种vr手柄射线抖动矫正方法、装置、终端和介质
CN114040113A (zh) 图像处理方法及其装置
CN107145706B (zh) 虚拟现实vr设备融合算法性能参数的评估方法及装置
WO2023179440A1 (zh) 拍摄装置的控制方法、控制装置、拍摄装置和电子设备
WO2023241495A1 (zh) 拍摄方法及其装置
CN115379118B (zh) 摄像头切换方法、装置、电子设备和可读存储介质
CN114500842A (zh) 视觉惯性标定方法及其装置
CN111275769A (zh) 一种单目视觉参数的校正方法及装置
US20230377278A1 (en) Smooth object correction for augmented reality devices
CN115205419A (zh) 即时定位与地图构建方法、装置、电子设备及可读存储介质
CN114785957A (zh) 拍摄方法及其装置
CN115373429A (zh) 云台控制方法、装置、计算机设备和存储介质
CN110180185B (zh) 一种时间延迟测量方法、装置、***及存储介质
CN114339051A (zh) 拍摄方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination