CN114323010A - 初始特征确定方法、装置、电子设备及存储介质 - Google Patents

初始特征确定方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114323010A
CN114323010A CN202111681779.4A CN202111681779A CN114323010A CN 114323010 A CN114323010 A CN 114323010A CN 202111681779 A CN202111681779 A CN 202111681779A CN 114323010 A CN114323010 A CN 114323010A
Authority
CN
China
Prior art keywords
coordinate system
image
initial
time
moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111681779.4A
Other languages
English (en)
Other versions
CN114323010B (zh
Inventor
贺一家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202111681779.4A priority Critical patent/CN114323010B/zh
Publication of CN114323010A publication Critical patent/CN114323010A/zh
Application granted granted Critical
Publication of CN114323010B publication Critical patent/CN114323010B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本公开关于一种初始特征确定方法、装置、电子设备及存储介质,涉及计算机技术领域。该方法包括:获取相对姿态以及目标三维点在多个图像中的位置信息;根据该相对姿态、该目标三维点在多个图像中的位置信息、多个图像时刻中每个图像时刻的第一坐标系相对于初始第一坐标系的姿态、该多个图像时刻中每个图像时刻与初始时刻之间的时间差、第一图像时刻与第二图像时刻之间的时间差以及该第一图像时刻的第一坐标系与该第二图像时刻的第一坐标系之间的第一加速度积分,确定初始速度特征以及初始重力特征。本公开中,电子设备能够准确、有效地确定出初始速度特征以及初始重力特征,进而能够准确地确定出电子设备在三维空间中的运动轨迹。

Description

初始特征确定方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机技术领域,尤其涉及一种初始特征确定方法、装置、电子设备及存储介质。
背景技术
目前,在视觉惯导里程计***中,可以通过获取设备(或机体)的初始状态(例如初始速度等),进而确定设备在三维空间中的运动轨迹。具体的,通常假设该设备的初始状态为静止状态,即以该设备的初始速度为0,确定该设备在三维空间中的运动轨迹。
但是,现有应用场景中,设备的初始状态不一定都是静止的。如果仍将设备的初始速度定义为0,可能不能准确地反映设备的初始状态,进而无法准确地确定出设备在三维空间中的运动轨迹。
发明内容
本公开提供一种初始特征确定方法、装置、电子设备及存储介质,解决了现有技术中将设备的初始速度定义为0,可能不能准确地反映设备的初始状态,进而无法准确地确定出设备在三维空间中的运动轨迹的技术问题。
本公开实施例的技术方案如下:
根据本公开实施例的第一方面,提供一种初始特征确定方法。该方法可以包括:获取相对姿态以及目标三维点在多个图像中的位置信息,该相对姿态为在同一时刻下第一坐标系相对于第二坐标系的姿态,该第一坐标系为电子设备包括的图像传感器对应的坐标系,该第二坐标系为该电子设备包括的惯性传感器对应的坐标系,该多个图像为该图像传感器在多个图像时刻分别采集到的图像,其中,每个图像时刻为该图像传感器采集一个图像的时刻;确定该多个图像时刻中每个图像时刻的第一坐标系相对于初始第一坐标系的姿态、该多个图像时刻中每个图像时刻与初始时刻之间的时间差、第一图像时刻与第二图像时刻之间的时间差以及该第一图像时刻的第一坐标系与该第二图像时刻的第一坐标系之间的第一加速度积分,该第一图像时刻为该多个图像时刻中的一个,该第二图像时刻为该多个图像时刻中除该第一图像时刻之外的时刻,该初始时刻为该多个图像时刻中的第一个时刻,该初始第一坐标系为该初始时刻的第一坐标系;根据该相对姿态、该目标三维点在多个图像中的位置信息、该多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的姿态、该多个图像时刻中每个图像时刻与该初始时刻之间的时间差、该第一图像时刻与该第二图像时刻之间的时间差以及该第一图像时刻的第一坐标系与该第二图像时刻的第一坐标系之间的第一加速度积分,确定初始速度特征以及初始重力特征,该初始速度特征为该电子设备在该初始时刻的速度特征,该初始重力特征为该电子设备在该初始时刻的重力特征。
可选地,上述多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的姿态包括该多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征,上述初始特征确定方法还包括:获取该电子设备在多个数据时刻中每个数据时刻的角速度,该多个数据时刻为该惯性传感器采集电子设备的速度数据的时刻;确定该多个数据时刻中任意两个相邻数据时刻之间的时间差;确定该多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征具体包括:根据该电子设备在多个数据时刻中每个数据时刻的角速度以及该多个数据时刻中任意两个相邻数据时刻之间的时间差,确定该多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征,该多个图像时刻中任意两个相邻图像时刻之间的时间差大于该任意两个相邻数据时刻之间的时间差。
可选地,上述相对姿态包括在同一时刻下第一坐标系相对于第二坐标系的平移特征,上述初始特征确定方法还包括:获取该电子设备在该多个数据时刻中每个数据时刻的加速度;确定该多个数据时刻中每个数据时刻相对于该初始第一坐标系的旋转特征;确定该第一图像时刻的第一坐标系与该第二图像时刻的第一坐标系之间的第一加速度积分具体包括:根据该电子设备在该多个数据时刻中每个数据时刻的加速度、该多个数据时刻中每个数据时刻相对于该初始第一坐标系的旋转特征、该多个数据时刻中任意两个相邻数据时刻之间的时间差、该多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征以及在同一时刻下第一坐标系相对于第二坐标系的平移特征,确定该第一图像时刻的第一坐标系与该第二图像时刻的第一坐标系之间的第一加速度积分。
可选地,上述根据该电子设备在多个数据时刻中每个数据时刻的角速度以及该多个数据时刻中任意两个相邻数据时刻之间的时间差,确定该多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征具体包括:根据第k个数据时刻的角速度以及该多个数据时刻中任意两个相邻数据时刻之间的时间差,确定第j个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征,该第j个图像时刻为该多个图像时刻中的一个,该第k个数据时刻为第i个图像时刻与该第j个图像时刻之间包括的n个数据时刻中的一个,该第i个图像时刻为该多个图像时刻中除该第j个图像时刻之外的时刻,i≥1,j≥2,n≥1,1≤k≤n。
可选地,上述根据该电子设备在该多个数据时刻中每个数据时刻的加速度、该多个数据时刻中每个数据时刻相对于该初始第一坐标系的旋转特征、该多个数据时刻中任意两个相邻数据时刻之间的时间差、该多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征以及该在同一时刻下第一坐标系相对于第二坐标系的平移特征,确定该第一图像时刻的第一坐标系与该第二图像时刻的第一坐标系之间的第一加速度积分具体包括:根据该多个数据时刻中任意两个相邻数据时刻之间的时间差、第k个数据时刻的第一坐标系相对于该初始第一坐标系的旋转特征、该电子设备在该第k个数据时刻的加速度、第f个数据时刻的第一坐标系相对于该初始第一坐标系的旋转特征以及该电子设备在该第f个数据时刻的加速度,确定第j个图像时刻的第一坐标系与该初始第一坐标系之间的第二加速度积分,该第k个数据时刻为第i个图像时刻与该第j个图像时刻之间包括的n个数据时刻中的一个,该第f个数据时刻为该第i个图像时刻与该第k个数据时刻之间包括的m个数据时刻中的一个,该第j个图像时刻为该多个图像时刻中的一个,该第i个时刻为该多个图像时刻中除该第j个图像时刻之外的时刻,i≥1,j≥2,n≥1,1≤k≤n,1≤m≤k,1≤f≤m;根据该第j个图像时刻的第一坐标系与该初始第一坐标系之间的第二加速度积分、该第i个图像时刻的第一坐标系与该初始第一坐标系之间的第二加速度积分、该第j个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征、该第i个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征以及该同一时刻下第一坐标系相对于第二坐标系的平移特征,确定该第i个图像时刻的第一坐标系与该第j个图像时刻的第一坐标系之间的第一加速度积分。
可选地,上述多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的姿态包括该多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征和平移特征,该相对姿态包括在同一时刻下第一坐标系相对于第二坐标系的平移特征以及在同一时刻下第一坐标系相对于第二坐标系的旋转特征;上述该根据该相对姿态、该目标三维点在多个图像中的位置信息、该多个图像时刻中每个图像时刻的第一坐标系相对于初始第一坐标系的姿态、该每个图像时刻与初始时刻之间的时间差、该第一图像时刻与该第二图像时刻之间的时间差以及该第一图像时刻的第一坐标系与该第二图像时刻之间的第一加速度积分,确定初始速度特征以及初始重力特征具体包括:根据预设非单位模长法向量、第i个图像时刻的第一坐标系相对于该初始第一坐标系的平移特征、该第i个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征、该在同一时刻下第一坐标系相对于第二坐标系的平移特征、该在同一时刻下第一坐标系相对于第二坐标系的旋转特征、该目标三维点在第i个图像中的位置信息、第j个图像时刻的第一坐标系相对于该初始第一坐标系的平移特征、该第j个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征、该目标三维点在第j个图像中的位置信息、该第i个图像时刻与该第j个图像时刻之间的时间差、该第j个图像时刻与该初始时刻之间的时间差、该第i个图像时刻与该初始时刻之间的时间差以及该第i个图像时刻的第一坐标系与该第j个图像时刻的第一坐标系之间的第一加速度积分,确定该初始速度特征以及该初始重力特征,该第j个图像时刻为该多个图像时刻中的一个,该第i个时刻为该多个图像时刻中除该第j个图像时刻之外的时刻,i≥1,j≥2。
可选地,上述初始特征确定方法还包括:根据目标平面的单位法向量以及该目标平面与该初始第一坐标系之间的相对距离,确定该预设非单位模长法向量,该目标平面为该目标三维点对应的平面。
根据本公开实施例的第二方面,提供一种初始特征确定装置。该装置可以包括:获取模块和确定模块;该获取模块,被配置为获取相对姿态以及目标三维点在多个图像中的位置信息,该相对姿态为在同一时刻下第一坐标系相对于第二坐标系的姿态,该第一坐标系为电子设备包括的图像传感器对应的坐标系,该第二坐标系为该电子设备包括的惯性传感器对应的坐标系,该多个图像为该图像传感器在多个图像时刻分别采集到的图像,其中,每个图像时刻为该图像传感器采集一个图像的时刻;该确定模块,被配置为确定该多个图像时刻中每个图像时刻的第一坐标系相对于初始第一坐标系的姿态、该多个图像时刻中每个图像时刻与初始时刻之间的时间差、第一图像时刻与第二图像时刻之间的时间差以及该第一图像时刻的第一坐标系与该第二图像时刻的第一坐标系之间的第一加速度积分,该第一图像时刻为该多个图像时刻中的一个,该第二图像时刻为该多个图像时刻中除该第一图像时刻之外的时刻,该初始时刻为该多个图像时刻中的第一个时刻,该初始第一坐标系为该初始时刻的第一坐标系;该确定模块,还被配置为根据该相对姿态、该目标三维点在多个图像中的位置信息、该多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的姿态、该多个图像时刻中每个图像时刻与该初始时刻之间的时间差、该第一图像时刻与该第二图像时刻之间的时间差以及该第一图像时刻的第一坐标系与该第二图像时刻的第一坐标系之间的第一加速度积分,确定初始速度特征以及初始重力特征,该初始速度特征为该电子设备在该初始时刻的速度特征,该初始重力特征为该电子设备在该初始时刻的重力特征。
可选地,上述多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的姿态包括该多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征;该获取模块,还被配置为获取该电子设备在多个数据时刻中每个数据时刻的角速度,该多个数据时刻为该惯性传感器采集电子设备的速度数据的时刻;该确定模块,还被配置为确定该多个数据时刻中任意两个相邻数据时刻之间的时间差;该确定模块,具体被配置为根据该电子设备在多个数据时刻中每个数据时刻的角速度以及该多个数据时刻中任意两个相邻数据时刻之间的时间差,确定该多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征,该多个图像时刻中任意两个相邻图像时刻之间的时间差大于该任意两个相邻数据时刻之间的时间差。
可选地,上述相对姿态包括在同一时刻下第一坐标系相对于第二坐标系的平移特征;
该获取模块,还被配置为获取该电子设备在该多个数据时刻中每个数据时刻的加速度;该确定模块,还被配置为确定该多个数据时刻中每个数据时刻相对于该初始第一坐标系的旋转特征;该确定模块,具体还被配置为根据该电子设备在该多个数据时刻中每个数据时刻的加速度、该多个数据时刻中每个数据时刻相对于该初始第一坐标系的旋转特征、该多个数据时刻中任意两个相邻数据时刻之间的时间差、该多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征以及在同一时刻下第一坐标系相对于第二坐标系的平移特征,确定该第一图像时刻的第一坐标系与该第二图像时刻的第一坐标系之间的第一加速度积分。
可选地,该确定模块,具体还被配置为根据第k个数据时刻的角速度以及该多个数据时刻中任意两个相邻数据时刻之间的时间差,确定第j个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征,该第k个数据时刻为第i个图像时刻与该第j个图像时刻之间包括的n个数据时刻中的一个,该第i个图像时刻为该多个图像时刻中除该第j个图像时刻之外的时刻,i≥1,j≥2,n≥1,1≤k≤n。
可选地,该确定模块,具体还被配置为根据该多个数据时刻中任意两个相邻数据时刻之间的时间差、第k个数据时刻的第一坐标系相对于该初始第一坐标系的旋转特征、该电子设备在该第k个数据时刻的加速度、第f个数据时刻的第一坐标系相对于该初始第一坐标系的旋转特征以及该电子设备在该第f个数据时刻的加速度,确定第j个图像时刻的第一坐标系与该初始第一坐标系之间的第二加速度积分,该第k个数据时刻为第i个图像时刻与该第j个图像时刻之间包括的n个数据时刻中的一个,该第f个数据时刻为该第i个图像时刻与该第k个数据时刻之间包括的m个数据时刻中的一个,该第j个图像时刻为该多个图像时刻中的一个,该第i个时刻为该多个图像时刻中除该第j个图像时刻之外的时刻,i≥1,j≥2,n≥1,1≤k≤n,1≤m≤k,1≤f≤m;该确定模块,具体还被配置为根据该第j个图像时刻的第一坐标系与该初始第一坐标系之间的第二加速度积分、该第i个图像时刻的第一坐标系与该初始第一坐标系之间的第二加速度积分、该第j个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征、该第i个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征以及该同一时刻下第一坐标系相对于第二坐标系的平移特征,确定该第i个图像时刻的第一坐标系与该第j个图像时刻的第一坐标系之间的第一加速度积分。
可选地,上述多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的姿态包括该多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征和平移特征,该相对姿态包括在同一时刻下第一坐标系相对于第二坐标系的平移特征以及在同一时刻下第一坐标系相对于第二坐标系的旋转特征;该确定模块,具体被配置为根据预设非单位模长法向量、第i个图像时刻的第一坐标系相对于该初始第一坐标系的平移特征、该第i个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征、该在同一时刻下第一坐标系相对于第二坐标系的平移特征、该在同一时刻下第一坐标系相对于第二坐标系的旋转特征、该目标三维点在第i个图像中的位置信息、第j个图像时刻的第一坐标系相对于该初始第一坐标系的平移特征、该第j个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征、该目标三维点在第j个图像中的位置信息、该第i个图像时刻与该第j个图像时刻之间的时间差、该第j个图像时刻与该初始时刻之间的时间差、该第i个图像时刻与该初始时刻之间的时间差以及该第i个图像时刻的第一坐标系与该第j个图像时刻的第一坐标系之间的第一加速度积分,确定该初始速度特征以及该初始重力特征,该第j个图像时刻为该多个图像时刻中的一个,该第i个时刻为该多个图像时刻中除该第j个图像时刻之外的时刻,i≥1,j≥2。
可选地,该确定模块,还被配置为根据目标平面的单位法向量以及该目标平面与该初始第一坐标系之间的相对距离,确定该预设非单位模长法向量,该目标平面为该目标三维点对应的平面。
根据本公开实施例的第三方面,提供一种电子设备,可以包括:处理器和被配置为存储处理器可执行指令的存储器;其中,处理器被配置为执行所述指令,以实现上述第一方面中任一种可选地初始特征确定方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,计算机可读存储介质上存储有指令,当该计算机可读存储介质中的指令由电子设备执行时,使得该电子设备能够执行上述第一方面中任一种可选地初始特征确定方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,该计算机程序产品包括计算机指令,当该计算机指令在电子设备上运行时,使得该电子设备执行如第一方面中任一种可选地初始特征确定方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
基于上述任一方面,本公开中,电子设备可以获取相对姿态以及目标三维点在多个图像中的位置信息,然后确定多个图像时刻中每个图像时刻的第一坐标系相对于初始第一坐标系的姿态,该多个图像时刻中每个图像时刻与初始时刻之间的时间差、第一图像时刻与第二图像时刻之间的时间差以及该第一图像时刻的第一坐标系与该第二图像时刻的第一坐标系之间的第一加速度积分,进而确定该电子设备在该初始时刻的速度特征以及该电子设备在该初始时刻的重力特征。本公开实施例中,电子设备通过确定不同图像时刻的第一坐标系相对于初始第一坐标系的姿态,即确定不同图像时刻图像传感器的姿态变换情况;以及确定该多个图像时刻中任意两个图像时刻(即第一图像时刻与第二图像时刻)的第一坐标系之间的第一加速度积分以及该任意两个图像时刻之间时间差;能够准确、有效地确定出可以反映电子设备的初始状态的初始速度特征以及初始重力特征,进而基于该初始速度特征以及该初始重力特征能够准确地确定出电子设备在三维空间中的运动轨迹。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1示出了本公开实施例提供的一种初始特征确定方法的流程示意图;
图2示出了本公开实施例提供的又一种初始特征确定方法的流程示意图;
图3示出了本公开实施例提供的又一种初始特征确定方法的流程示意图;
图4示出了本公开实施例提供的又一种初始特征确定方法的流程示意图;
图5示出了本公开实施例提供的又一种初始特征确定方法的流程示意图;
图6示出了本公开实施例提供的又一种初始特征确定方法的流程示意图;
图7示出了本公开实施例提供的又一种初始特征确定方法的流程示意图;
图8示出了本公开实施例提供的一种初始特征确定装置的结构示意图;
图9示出了本公开实施例提供的又一种初始特征确定装置的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
还应当理解的是,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其他特征、整体、步骤、操作、元素和/或组件的存在或添加。
本公开所涉及的数据可以为经用户授权或者经过各方充分授权的数据。
如背景技术中所描述,由于现有技术中通常将设备的初始速度定义为0但是设备的初始状态不一定都是静止的,可能不能准确地反映设备的初始状态,进而无法准确地确定出设备在三维空间中的运动轨迹。基于此,本公开实施例提供一种初始特征确定方法,能够准确、有效地确定出可以反映电子设备的初始状态的初始速度特征以及初始重力特征,进而基于该初始速度特征以及该初始重力特征能够准确地确定出电子设备在三维空间中的运动轨迹。
本公开实施例提供的初始特征确定方法、装置、电子设备及存储介质,应用于需要确定某一个设备(例如手机等电子设备)的运动轨迹场景中。当电子设备获取到相对姿态以及目标三维点在多个图像中的位置信息时,可以依据本公开实施例提供的方法,确定该电子设备在初始时刻的速度特征和该电子设备在初始时刻的重力特征。
需要说明的是,执行本公开提供的初始特征确定方法的电子设备可以是手机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobilepersonal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digitalassistant,PDA)、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备等可以安装并使用内容社区应用的设备,本公开对电子设备的具体形态不作特殊限制。其可以与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互。
如图1所示,本公开实施例提供的初始特征确定方法可以包括S101-S103。
S101、电子设备获取相对姿态以及目标三维点在多个图像中的位置信息。
其中,该相对姿态为在同一时刻下第一坐标系相对于第二坐标系的姿态,该第一坐标系为电子设备包括的图像传感器对应的坐标系,该第二坐标系为该电子设备包括的惯性传感器对应的坐标系,该多个图像为该图像传感器在多个图像时刻分别采集的图像,其中,每个图像时刻为该图像传感器采集一个图像的时刻。
应理解,该电子设备中包括该图像传感器和该惯性传感器。当该电子设备处于持续运动的状态中时,该图像传感器会在该多个图像时刻分别采集一个图像即得到上述多个图像,该多个图像可以理解为该电子设备在该多个图像时刻采集到的场景图像或环境图像,该目标三维点为多个场景图像中共同存在的特征点,或者也可以理解为该多个图像中均包括该目标三维点。
可以理解的是,由于该电子设备处于持续运动的状态中,因此该图像传感器和该惯性传感器也处于持续运动的状态,即该图像传感器以及该惯性传感器的位置和姿态一直在变化。并且由于图像传感器和惯性传感器均包括在该电子设备中,以及在该电子设备中所处的位置(具体为在该电子设备的内部结构中所处的位置)不同,如此本公开实施例中可以为图像传感器和惯性传感器定义不同的坐标系,即定义上述第一坐标系和第二坐标系,以结合该第一坐标系以及该第二坐标系,进而确定该电子设备的运动轨迹。
需要说明的是,由于电子设备在制造完成(或生产出厂)之后,该图像传感器与该惯性传感器在该电子设备中的相对位置关系就已经固定。因此,在上述同一时刻下(或者也可以理解为当该电子设备位于任何一个位置时)该第一坐标系相对于该第二坐标系的姿态(即该相对姿态)保持不变。电子设备可以直接测量并获取该相对姿态。
可选地,本公开实施例中的图像传感器可以为相机或摄像头,惯性传感器可以为惯性测量单元(inertial measurement unit,IMU)。
S102、电子设备确定多个图像时刻中每个图像时刻的第一坐标系相对于初始第一坐标系的姿态、多个图像时刻中每个图像时刻与初始时刻之间的时间差、第一图像时刻与第二图像时刻之间的时间差以及第一图像时刻的第一坐标系与第二图像时刻的第一坐标系之间的第一加速度积分。
其中,该第一图像时刻为上述多个图像时刻中的一个,该第二图像时刻为该多个图像时刻中除该第一图像时刻之外的时刻,该初始时刻为该多个图像时刻中的第一个时刻,该第一初始坐标系为该初始时刻的第一坐标系。
结合上述实施例的描述,应理解,电子设备(包括图像传感器)处于持续运动的状态中,即图像传感器的位置和姿态会一直发生变化。本公开实施例中,上述多个图像时刻中每个图像时刻均可以对应一个第一坐标系,即该每个图像坐标系的第一坐标系;该多个图像时刻中每个图像时刻的第一坐标系用于表征该图像传感器在该每个图像时刻的姿态。
可以理解的是,该初始第一坐标系用于表征该图像传感器在该初始时刻的姿态,也可以理解为该图像传感器的初始状态。本公开实施例中,该多个图像时刻中每个图像时刻的第一坐标系相对于初始第一坐标系的姿态用于表征该图像传感器在该每个图像时刻相较于该图像传感器在该初始时刻的姿态变化情况。
本公开实施例中,电子设备还可以将该初始第一坐标系确定为世界坐标系,如此电子设备确定多个图像时刻中每个图像时刻的第一坐标系相对于初始第一坐标系的姿态,即为确定该多个图像时刻中每个图像时刻的第一坐标系相对于该世界坐标系的姿态。
S103、电子设备根据相对姿态、目标三维点在多个图像中的位置信息、多个图像时刻中每个图像时刻的第一坐标系相对于初始第一坐标系的姿态、多个图像时刻中每个图像时刻与初始时刻之间的时间差、第一图像时刻与第二图像时刻之间的时间差以及第一图像时刻的坐标系与第二图像时刻的第一坐标系之间的第一加速度积分,确定初始速度特征以及初始重力特征。
其中,该初始速度特征为该电子设备在该初始时刻的速度特征,该初始重力特征为该电子设备在该初始时刻的重力特征。
可选地,该初始速度特征以及该初始重力特征均可以为一个三维向量。
上述实施例提供的技术方案至少能够带来以下有益效果:由S101-S103可知,电子设备可以获取相对姿态以及目标三维点在多个图像中的位置信息,然后确定多个图像时刻中每个图像时刻的第一坐标系相对于初始第一坐标系的姿态,该多个图像时刻中每个图像时刻与初始时刻之间的时间差、第一图像时刻与第二图像时刻之间的时间差以及该第一图像时刻的第一坐标系与该第二图像时刻的第一坐标系之间的第一加速度积分,进而确定该电子设备在该初始时刻的速度特征以及该电子设备在该初始时刻的重力特征。本公开实施例中,电子设备通过确定不同图像时刻的第一坐标系相对于初始第一坐标系的姿态,即确定不同图像时刻图像传感器的姿态变换情况;以及确定该多个图像时刻中任意两个图像时刻(即第一图像时刻与第二图像时刻)的第一坐标系之间的第一加速度积分以及该任意两个图像时刻之间时间差;能够准确、有效地确定出可以反映电子设备的初始状态的初始速度特征以及初始重力特征,进而基于该初始速度特征以及该初始重力特征能够准确地确定出电子设备在三维空间中的运动轨迹。
结合图1,如图2所示,在本公开实施例的一种实现方式中,上述多个图像时刻中每个图像时刻的第一坐标系相对于初始第一坐标系的姿态包括该多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征,本公开实施例提供的初始特征确定方法还可以包括S104-S105。
S104、电子设备获取电子设备在多个数据时刻中每个数据时刻的角速度。
其中,该多个数据时刻为上述惯性传感器采集该电子设备的速度数据的时刻。
应理解,本公开实施例中包括图像时刻和数据时刻两种时刻。具体的,如上述实施例中的描述,一个图像时刻为上述图像传感器采集图像的时刻,即图像传感器在一个图像时刻采集一个图像。该多个数据时刻为该惯性传感器采集该电子设备的速度数据的时刻,即该惯性传感器在一个数据时刻采集一个(或一次)速度数据。
本公开实施例中,该惯性传感器中可以包括陀螺仪,电子设备可以通过该陀螺仪测量并获取该电子设备在该多个数据时刻中每个数据时刻的角速度,该角速度属于上述速度数据中的一种。
S105、电子设备确定多个数据时刻中任意两个相邻数据时刻之间的时间差。
应理解,电子设备(具体为惯性传感器)在采集电子设备的速度数据时是均匀采集的,即惯性传感器间隔一次预设时长采集一次电子设备的速度数据,该预设时长即为该任意两个相邻数据时刻之间的时间差。
示例性的,假设该多个数据时刻中按照时间先后顺序包括第一数据时刻、第二数据时刻、第三数据时刻以及第四数据时刻。该第一数据时刻与该第二数据时刻之间的时间差与该第二数据时刻与该第三数据时刻之间的时间差(或该第三数据时刻与该第四数据时刻之间的时间差)相同,该第一数据时刻与该第二数据时刻之间的时间差(或者该第二数据时刻与该第三数据时刻之间的时间差,该第三数据时刻与该第四数据时刻之间的时间差)即为该任意两个相邻数据时刻之间的时间差。
继续如图2所示,确定多个图像时刻中每个图像时刻的第一坐标系相对于初始第一坐标系的旋转特征,具体包括S1021。
S1021、电子设备根据电子设备在多个数据时刻中每个数据时刻的角速度以及多个数据时刻中任意两个相邻数据时刻之间的时间差,确定多个图像时刻中每个图像时刻的第一坐标系相对于初始第一坐标系的旋转特征。
其中,上述多个图像时刻中任意两个相邻图像时刻之间的时间差大于该任意两个相邻数据时刻之间的时间差。
应理解,电子设备在多个数据时刻中每个数据时刻的角速度可以表征电子设备运动时的旋转情况,进而电子设备可以基于该旋转情况确定该多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征。
上述实施例提供的技术方案至少能够带来以下有益效果:由S104-S105,以及S1021可知,电子设备可以获取该电子设备在多个数据时刻中每个数据时刻的角速度,并且确定该多个数据时刻中任意两个相邻数据时刻之间的时间差;由于该多个数据时刻中每个数据时刻的角速度可以表征该电子设备运动时的旋转情况,如此电子设备基于该旋转情况确定该多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征,能够合理、准确地确定出不同图像时刻时图像传感器相对于初始时刻时图像传感器的姿态变化情况(具体为旋转情况),进而提升确定初始速度特征和初始重力特征的准确性。
结合图2,如图3所示,在本公开实施例的一种实现方式中,上述相对姿态包括在同一时刻下第一坐标系相对于第二坐标系的平移特征,本公开实施例提供的初始特征确定方法还包括:S106-S107。
S106、电子设备获取电子设备在多个数据时刻中每个数据时刻的加速度。
应理解,该加速度也数据上述速度数据中的一种。
本公开实施例中,上述惯性传感器中还可以包括加速度计。具体的,电子设备可以通过该加速度计测量并获取该电子设备在该多个数据时刻中每个数据时刻的加速度。
S107、电子设备确定多个数据时刻中每个数据时刻相对于初始第一坐标系的旋转特征。
结合上述实施例的描述,应理解该多个数据时刻中每个数据时刻相对于该初始第一坐标系的旋转特征可以表征该电子设备在该每个数据时刻相对于该电子设备在上述初始时刻(也可以理解为该电子设备的初始状态)的旋转情况。
继续如图3所示,确定第一图像时刻的第一坐标系与第二图像时刻的第一坐标系之间的第一加速度积分,具体可以包括S1022。
S1022、电子设备根据电子设备在多个数据时刻中每个数据时刻的加速度、多个数据时刻中每个数据时刻相对于初始第一坐标系的旋转特征、多个数据时刻中任意两个相邻数据时刻之间的时间差、多个图像时刻中每个图像时刻的第一坐标系相对于初始第一坐标系的旋转特征以及在同一时刻下第一坐标系相对于第二坐标系的平移特征,确定第一图像时刻的第一坐标系与第二图像时刻的第一坐标系之间的第一加速度积分。
结合上述实施例的描述,应理解,该第一坐标系为上述图像传感器对应的坐标系,该第二坐标系为上述惯性传感器对应的坐标系。
具体的,电子设备可以根据电子设备在多个数据时刻中每个数据时刻的加速度、该多个数据时刻中每个数据时刻相对于该初始第一坐标系的旋转特征、该多个数据时刻中任意两个相邻数据时刻之间的时间差确定该多个图像时刻中每个图像时刻的第一坐标系与该初始第一坐标系之间的第二加速度积分,然后结合该多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征以及在同一时刻下第一坐标系相对于第二坐标系的平移特征,确定该第一图像时刻的第一坐标系与该第二图像时刻的第一坐标系之间的第一加速度积分。
上述实施例提供的技术方案至少能够带来以下有益效果:由S106-S107,以及S1022可知,电子设备可以获取该电子设备在多个数据时刻中每个数据时刻的加速度,并且确定该多个数据时刻中每个数据时刻相对于初始第一坐标系的旋转特征;然后该电子设备根据该电子设备在该多个数据时刻中每个数据时刻的加速度、该多个数据时刻中每个数据时刻相对于该初始第一坐标系的旋转特征、该多个数据时刻中任意两个相邻数据时刻之间的时间差、多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征以及在同一时刻下第一坐标系相对于第二坐标系的平移特征,确定第一图像时刻的第一坐标系与第二图像时刻的第一坐标系之间的第一加速度积分,能够准确有效地确定多个图像时刻中任意两个图像时刻(例如第一图像时刻与第二图像时刻)的第一坐标系之间的第一加速度积分,进而提升确定初始速度特征和初始重力特征的准确性。
结合图2,如图4所示,在本公开实施例的一种实现方式中,上述根据电子设备在多个数据时刻中每个数据时刻的角速度以及多个数据时刻中任意两个相邻数据时刻之间的时间差,确定多个图像时刻中每个图像时刻的第一坐标系相对于初始第一坐标系的旋转特征,具体可以包括S1021a。
S1021a、电子设备根据第k个数据时刻的角速度以及多个数据时刻中任意两个相邻数据时刻之间的时间差,确定第j个图像时刻的第一坐标系相对于初始第一坐标系的旋转特征。
其中,该第j个图像时刻为该多个图像时刻中的一个,该第k个数据时刻为第i个图像时刻与该第j个图像时刻之间包括的n个数据时刻中的一个,该第i个图像时刻为该多个图像时刻中除该第j个图像时刻之外的时刻,i≥1,j≥2,n≥1,1≤k≤n。
在本公开实施例的一种实现方式中,电子设备可以确定该第j个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征满足下述公式:
Figure BDA0003445490650000111
其中,Rb1bj表示该第j个图像时刻的第一坐标系相对于与该初始第一坐标系的旋转特征,ωk表示该第k个数据时刻的角速度,Δt表示该多个数据时刻中任意两个相邻数据时刻之间的时间差。
在一种可选的实现方式中,本公开中的旋转特征也可以理解为旋转矩阵,即该多个图像时刻中每个图像时刻的第一坐标系相对于初始第一坐标系的旋转特征为该多个图像时刻中每个图像时刻的第一坐标系相对于初始第一坐标系的旋转矩阵。
本公开实施例,上述多个图像时刻中任意两个相邻图像时刻之间的时间差可以大于该多个数据时刻中任意两个相邻数据时刻之间的时间差。例如,该任意两个相邻图像时刻之间的时间差可以为1min(分钟),该任意两个相邻数据时刻之间的时间差可以为10s(秒),即任意两个相邻图像时刻之间可以包括6个数据时刻。
上述实施例提供的技术方案至少能够带来以下有益效果:由S1021a可知,电子设备可以根据k个数据时刻的角速度以及多个数据时刻中任意两个相邻数据时刻之间的时间差,确定第j个图像时刻的第一坐标系相对于与初始第一坐标系的旋转特征。由于该第j个图像时刻为多个图像时刻中的一个,如此电子设备可以准确地确定出该多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的旋转矩阵,能够提升该每个图像时刻的第一坐标系相对于该初始第一坐标系的旋转矩阵的确定效率。
结合图3,如图5所示,在本公开实施例的一种实现方式中,上述根据电子设备在多个数据时刻中每个数据时刻的加速度、多个数据时刻中每个数据时刻相对于初始第一坐标系的旋转特征、多个数据时刻中任意两个相邻数据时刻之间的时间差、多个图像时刻中每个图像时刻的第一坐标系相对于初始第一坐标系的旋转特征以及在同一时刻下第一坐标系相对于第二坐标系的平移特征,确定第一图像时刻的第一坐标系与第二图像时刻的第一坐标系之间的第一加速度积分,具体可以包括S1022a-S1022b。
S1022a、电子设备根据多个数据时刻中任意两个相邻数据时刻之间的时间差、第k个数据时刻的第一坐标系相对于初始第一坐标系的旋转特征、电子设备在第k个数据时刻的加速度、第f个数据时刻的第一坐标系相对于初始第一坐标系的旋转特征以及电子设备在第f个数据时刻的加速度,确定第j个图像时刻的第一坐标系与初始第一坐标系之间的第二加速度积分。
其中,该第k个数据时刻为第i个图像时刻与该第j个图像时刻之间包括的n个数据时刻中的一个,该第f个数据时刻为该第i个图像时刻与该第k个数据时刻之间包括的m个数据时刻中的一个,该第j个图像时刻为该多个图像时刻中的一个,该第i个时刻为该多个图像时刻中除该第j个图像时刻之外的时刻,i≥1,j≥2,n≥1,1≤k≤n,1≤m≤k,1≤f≤m。
S1022b、电子设备根据第j个图像时刻的第一坐标系与初始第一坐标系之间的第二加速度积分、第i个图像时刻的第一坐标系与初始第一坐标系之间的第二加速度积分、第j个图像时刻的第一坐标系相对于初始第一坐标系的旋转特征、第i个图像时刻的第一坐标系相对于初始第一坐标系的旋转特征以及同一时刻下第一坐标系相对于第二坐标系的平移特征,确定第i个图像时刻的第一坐标系与第j个图像时刻的第一坐标系之间的第一加速度积分。
可以理解的是,电子设备可以先确定该第j个图像时刻的第一坐标系与该初始第一坐标系之间的第二加速度积分,然后再确定该第i个图像时刻的第一坐标系与该第j个图像时刻的第一坐标系之间的第一加速度积分。
在公开实施例的一种实现方式中,电子设备可以确定该第i个图像时刻的第一坐标系与该第j个图像时刻的第一坐标系之间的第一加速度积分满足下述公式:
Sij=Δp1j-Δp1i+(Rb1bj-Rb1bi)pbc (2)
其中,Sij表示该第i个图像时刻的第一坐标系与该第j个图像时刻的第一坐标系之间的第一加速度积分,Δp1j用于表征该第j个图像时刻的第一坐标系与该初始第一坐标系之间的第二加速度积分,Δp1i用于表征该第i个图像时刻的第一坐标系与该初始第一坐标系之间的第二加速度积分,Rb1bj表示该第j个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征,Rb1bi表示该第i个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征,pbc表示在同一时刻下第一坐标系相对于第二坐标系的平移特征。
在本公开实施例的另一种实现方式中,该电子设备还可以确定该第j个图像时刻的第一坐标系与该初始第一坐标系之间的第二加速度积分满足下述公式:
Figure BDA0003445490650000121
其中,Δp1j用于表征该第j个图像时刻的第一坐标系与该初始第一坐标系之间的第二加速度积分,Δt表示该多个数据时刻中任意两个相邻数据时刻之间的时间差,Rb1bk表示第k个数据时刻的第一坐标系相对于该初始第一坐标系的旋转特征,ak表示该电子设备在该第k个数据时刻的加速度,Rb1bf表示第f个数据时刻的第一坐标系相对于该初始第一坐标系的旋转特征,af表示该电子设备在该第f个数据时刻的加速度。
结合上述实施例的描述,应理解,该第i个图像时刻与该第j个图像时刻之间可以包括n个数据时刻,该第k个数据时刻为该n个数据时刻中的一个。同理,该第i个图像时刻与该第k个数据时刻之间可以包括m个数据时刻,该第f个数据时刻为该m个数据时刻中的一个。
可以理解的是,上述第j个数据时刻可以对应上述本公开实施例中的第一图像时刻,即该第i个图像时刻可以对应上述本公开实施例中的第二图像时刻。
需要说明的是,电子设备确定第i个图像时刻的第一坐标系与该初始第一坐标系之间的第二加速度积分(即Δp1i)的方法与上述确定第j个图像时刻的第一坐标系与该初始第一坐标系之间的第二加速度积分(即Δp1j)的方法是相同或类似的,此处不再赘述。
上述实施例提供的技术方案至少能够带来以下有益效果:由S1022a-S1022b可知,电子设备可以根据多个数据时刻中任意两个相邻数据时刻之间的时间差、第k个数据时刻的第一坐标系相对于该初始第一坐标系的旋转特征、该电子设备在该第k个数据时刻的加速度、第f个数据时刻的第一坐标系相对于该初始第一坐标系的旋转特征以及该电子设备在该第f个数据时刻的加速度,确定第j个图像时刻的第一坐标系与该初始第一坐标系之间的第二加速度积分,并且根据该第j个图像时刻的第一坐标系与该初始第一坐标系之间的第二加速度积分、该第i个图像时刻的第一坐标系与该初始第一坐标系之间的第二加速度积分、该第j个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征、该第i个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征以及该同一时刻下第一坐标系相对于第二坐标系的平移特征,确定该第i个图像时刻的第一坐标系与该第j个图像时刻的第一坐标系之间的第一加速度积分。本公开实施例中,电子设备可以先确定出多个图像时刻中某一个图像时刻(例如该第j个图像时刻)的第一坐标系与该初始第一坐标系之间的第二加速度积分,然后再确定该图像时刻与该多个图像时刻中其他图像时刻(例如该第i个图像时刻)的第一坐标系之间的第一加速度积分,能够提升每一个第一加速度积分的确定效率,进而提升初始速度特征和初始重力特征的确定效率。
结合图1,如图6所示,在本公开实施例的一种实现方式中,上述多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的姿态包括该多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征和平移特征,上述相对姿态包括在同一时刻下第一坐标系相对于第二坐标系的平移特征以及在同一时刻下第一坐标系相对于第二坐标系的旋转特征。
上述根据相对姿态、所述目标三维点在多个图像中的位置信息、多个图像时刻中每个图像时刻的第一坐标系相对于初始第一坐标系的姿态、多个图像时刻中每个图像时刻与初始时刻之间的时间差、第一图像时刻与第二图像时刻之间的时间差以及第一图像时刻的第一坐标系与第二图像时刻的第一坐标系之间的第一加速度积分,确定初始速度特征以及初始重力特征具体可以包括S1031。
S1031、电子设备根据预设非单位模长法向量、第i个图像时刻的第一坐标系相对于初始第一坐标系的平移特征、第i个图像时刻的第一坐标系相对于初始第一坐标系的旋转特征、在同一时刻下第一坐标系相对于第二坐标系的平移特征、在同一时刻下第一坐标系相对于第二坐标系的旋转特征、目标三维点在第i个图像中的位置信息、第j个图像时刻的第一坐标系相对于初始第一坐标系的平移特征、第j个图像时刻的第一坐标系相对于初始第一坐标系的旋转特征、目标三维点在第j个图像中的位置信息、第i个图像时刻与第j个图像时刻之间的时间差、第j个图像时刻与初始时刻之间的时间差、第i个图像时刻与初始时刻之间的时间差以及第i个图像时刻的第一坐标系与第j个图像时刻的第一坐标系之间的第一加速度积分,确定初始速度特征以及初始重力特征。
其中,该第j个图像时刻为该多个图像时刻中的一个,该第i个时刻为该多个图像时刻中除该第j个图像时刻之外的时刻,i≥1,j≥2。
在本公开实施例的一种实现方式中,电子设备可以确定该初始速度特征以及该初始重力特征满足下述公式:
Figure BDA0003445490650000141
其中,
Figure BDA0003445490650000142
表示该预设非单位模长法向量,pb1bi表示该第i个图像时刻的第一坐标系相对于该初始第一坐标系的平移特征,Rb1bi表示该第i个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征,pbc表示该在同一时刻下第一坐标系相对于第二坐标系的平移特征,Rbc表示该在同一时刻下第一坐标系相对于第二坐标系的旋转特征,
Figure BDA0003445490650000143
表示该目标三维点在第i个图像中的位置信息,pb1bj表示该第j个图像时刻的第一坐标系相对于该初始第一坐标系的平移特征,Rb1bj表示该第j个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征,
Figure BDA0003445490650000144
表示该目标三维点在该第j个图像中的位置信息,
Figure BDA0003445490650000145
表示该初始速度特征,Δti,j表示该第i个图像时刻与该第j个图像时刻之间的时间差,gb1表示该初始重力特征,Δt1,j表示该第j个图像时刻与该初始时刻之间的时间差,Δt1,i表示该第i个图像时刻与该初始时刻之间的时间差,Sij表示该第i个图像时刻的第一坐标系与该第j个图像时刻的第一坐标系之间的第一加速度积分。
可以理解的是,上述公式中的
Figure BDA0003445490650000146
表示
Figure BDA0003445490650000147
的转置矩阵。
在一种可选的实现方式中,本公开实施例的某一平移特征可以为平移向量。例如,该第i个图像时刻的第一坐标系相对于该初始第一坐标系的平移特征可以为该第i个图像时刻的第一坐标系相对于该初始第一坐标系的平移向量。
可选地,该目标三维点在上述多个图像中的某一个图像(例如该第i个图像)中的位置信息可以为该目标三维点在该第i个图像中的坐标。
在本公开实施例的一种实现方式中,该多个图像时刻中某一个图像时刻(例如上述第j个图像时刻和/或上述第i个图像时刻)的第一坐标系相对于该初始第一坐标系的平移特征可能也是未知的,如此可能需要对该平移特征进行一定的转换,进而确定初始速度特征以及初始重力特征。
具体的,可以基于下述公式(即公式(5))对该第j个图像时刻的第一坐标系相对于该初始第一坐标系的平移特征进行转换,或者将下述公式代入上述公式(4)中,以确定该初始速度特征以及该初始重力特征。
Figure BDA0003445490650000151
其中,pb1bj表示该第j个图像时刻的第一坐标系相对于该初始第一坐标系的平移特征,pb1b1表示该初始第一坐标系相对于该初始第一坐标系的平移特征,
Figure BDA0003445490650000152
表示该电子设备在上述第k个数据时刻的速度特征,Δt表示多个数据时刻中任意两个相邻数据时刻之间的时间差,gb1表示该初始速度特征,Rb1bk表示该第k个数据时刻的第一坐标系相对于该初始第一坐标系的旋转特征,ak表示该电子设备在该第k个数据时刻的加速度,j≥2,n≥1,1≤k≤n。
上述实施例提供的技术方案至少能够带来以下有益效果:由S1031可知,电子设备可以根据预设非单位模长法向量、第i个图像时刻的第一坐标系相对于初始第一坐标系的平移特征、第i个图像时刻的第一坐标系相对于初始第一坐标系的旋转特征、在同一时刻下第一坐标系相对于第二坐标系的平移特征、在同一时刻下第一坐标系相对于第二坐标系的旋转特征、目标三维点在第i个图像中的位置信息、第j个图像时刻的第一坐标系相对于初始第一坐标系的平移特征、第j个图像时刻的第一坐标系相对于初始第一坐标系的旋转特征、目标三维点在第j个图像中的位置信息、第i个图像时刻与第j个图像时刻之间的时间差、第j个图像时刻与初始时刻之间的时间差、第i个图像时刻与初始时刻之间的时间差以及第i个图像时刻的第一坐标系与第j个图像时刻的第一坐标系之间的第一加速度积分,准确、有效地确定出初始速度特征以及初始重力特征,进而基于该初始速度特征以及该初始重力特征能够准确有效地确定出该电子设备的运动轨迹。
结合图6,如图7所示,在本公开实施例提供的初始特征确定方法还包括S108。
S108、电子设备根据目标平面的单位法向量以及目标平面与初始第一坐标系之间的相对距离,确定预设非单位模长法向量。
其中,该目标平面为上述目标三维点对应的平面。
应理解,该目标三维点可以对应多个平面,该目标平面为该多个平面中包括的三维点(或特征点)最多的平面。
在一种可选的实现方式中,电子设备可以确定预设非单位模长法向量满足下述公式:
Figure BDA0003445490650000153
其中,
Figure BDA0003445490650000161
表示该预设非单位模长法向量,x表示该目标平面的单位法向量,d表示该目标平面与上述初始第一坐标系之间的相对距离。
上述实施例提供的技术方案至少能够带来以下有益效果:由S108可知,电子设备可以根据目标平面的单位法向量以及目标平面与初始第一坐标系之间的相对距离,方便、快捷地确定出预设非单位模长法向量,进而能够快速地确定出初始速度特征以及初始重力特征。
以下以一个示例,详细说明本公开实施例中得到上述公式(4)的一种过程。
结合上述实施例的描述,应理解,图像传感器在上述多个图像时刻中每个图像时刻均会采集一个图像即得到上述多个图像。当上述目标三维点同时被该多个图像中的任意两个图像(也可以理解为任意两帧图像)观测到时(或者也可以理解为该任意两个图像中包括该目标三维点),多视角下的视觉观测可以构成下述公式(7)所示的对极几何约束:
Figure BDA0003445490650000162
其中,pb1bi表示该第i个图像时刻的第一坐标系相对于该初始第一坐标系的平移特征,Rb1bi表示该第i个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征,pbc表示该在同一时刻下第一坐标系相对于第二坐标系的平移特征,
Figure BDA0003445490650000163
表示该目标三维点在该第i个图像时刻的第一坐标系中的深度,Rbc表示该在同一时刻下第一坐标系相对于第二坐标系的旋转特征,
Figure BDA0003445490650000164
表示该目标三维点在该第i个图像中的位置信息,pb1bj表示该第j个图像时刻的第一坐标系相对于该初始第一坐标系的平移特征,Rb1bj表示该第j个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征,
Figure BDA0003445490650000165
表示该目标三维点在该第j个图像时刻的第一坐标系中的深度,
Figure BDA0003445490650000166
表示该目标三维点在该第j个图像中的位置信息,i≥1,j≥2。
需要说明的是,上述目标平面中可以包括多个三维点,该目标三维点为该多个三维点中的一个。对于其他三维点(即该多个三维点中除该目标三维点之外的三维点)而言,也应当满足上述公式(7)。
在本公开实施例的一种实现方式中,电子设备还可以确定第j个图像时刻的速度特征以及第j个图像时刻的第一坐标系相对于初始第一坐标系的平移特征,分别满足下述两个公式(即公式(8)和公式(9)):
Figure BDA0003445490650000167
其中,
Figure BDA0003445490650000168
表示该第j个图像时刻的速度特征,
Figure BDA0003445490650000169
表示该初始速度特征,gb1表示该初始重力特征,Δt1,j表示该第j个图像时刻与该初始时刻之间的时间差,Rb1bk表示该第k个数据时刻的第一坐标系相对于该初始第一坐标系的旋转特征,ak表示该电子设备在该第k个数据时刻的加速度,Δt表示该多个数据时刻中任意两个相邻数据时刻之间的时间差,该第k个数据时刻为该第i个图像时刻与该第j个图像时刻之间包括的n个数据时刻中的一个,i≥1,j≥2,n≥1,1≤k≤n。
Figure BDA0003445490650000171
其中,pb1bj表示该第j个图像时刻的第一坐标系相对于该初始第一坐标系的平移特征,pb1b1表示第1个图像时刻的第一坐标系相对于该初始第一坐标系的平移特征,
Figure BDA0003445490650000172
表示该第k个数据时刻的速度特征,Δt表示该多个数据时刻中任意两个相邻数据时刻之间的时间差,gb1表示该初始重力特征,Rb1bk表示该第k个数据时刻的第一坐标系相对于该初始第一坐标系的旋转特征,ak表示该电子设备在该第k个数据时刻的加速度,该第k个数据时刻为该第i个图像时刻与该第j个图像时刻之间包括的n个数据时刻中的一个,i≥1,j≥2,n≥1,1≤k≤n。
将公式(8)、公式(9)以及上述公式(1)代入公式(7)中,可以得到新的约束公式(10):
Figure BDA0003445490650000173
其中,
Figure BDA0003445490650000174
表示该目标三维点在该第i个图像时刻的第一坐标系中的深度,Rb1bi表示该第i个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征,Rbc表示该在同一时刻下第一坐标系相对于第二坐标系的旋转特征,
Figure BDA0003445490650000175
表示该目标三维点在该第i个图像中的位置信息,
Figure BDA0003445490650000176
表示该目标三维点在该第j个图像时刻的第一坐标系中的深度,Rb1bj表示该第j个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征,
Figure BDA0003445490650000177
表示该目标三维点在该第j个图像中的位置信息,
Figure BDA0003445490650000178
表示该初始速度特征,Δti,j表示该第i个图像时刻与该第j个图像时刻之间的时间差,gb1表示该初始重力特征,Δt1,j表示该第j个图像时刻与该初始时刻之间的时间差,Δt1,i表示该第i个图像时刻与该初始时刻之间的时间差,Sij表示该第i个图像时刻的第一坐标系与该第j个图像时刻的第一坐标系之间的第一加速度积分,i≥1,j≥2。
本公开实施例中,还考虑到平面约束。具体的,假设上述目标平面在上第一初始坐标系中可以表示为:π=[xT,d]T。其中,三维向量x表示该目标平面的单位法向量,d表示该目标平面与上述初始第一坐标系之间的相对距离。
结合上述实施例的描述,应理解,xT表示x的转置矩阵。
由于上述目标三维点落在该目标平面上,可以得到下述公式:
Figure BDA0003445490650000179
其中,x表示该目标平面的单位法向量,pb1bi表示该第i个图像时刻的第一坐标系相对于该初始第一坐标系的平移特征,Rb1bi表示该第i个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征,pbc表示该在同一时刻下第一坐标系相对于第二坐标系的平移特征,
Figure BDA00034454906500001710
表示该目标三维点在该第i个图像时刻的第一坐标系中的深度,Rbc表示该在同一时刻下第一坐标系相对于第二坐标系的旋转特征,
Figure BDA0003445490650000181
表示该目标三维点在该第i个图像中的位置信息,d表示该目标平面与该初始第一坐标系之间的相对距离,i≥1。
由此,可以得出目标三维点在第i个图像时刻的第一坐标系中的深度满足下述公式:
Figure BDA0003445490650000182
其中,
Figure BDA0003445490650000183
表示该目标三维点在该第i个图像时刻的第一坐标系中的深度,d表示该目标平面与该初始第一坐标系之间的相对距离,x表示该目标平面的单位法向量,pb1bi表示该第i个图像时刻的第一坐标系相对于该初始第一坐标系的平移特征,Rb1bi表示该第i个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征,pbc表示该在同一时刻下第一坐标系相对于第二坐标系的平移特征,Rbc表示该在同一时刻下第一坐标系相对于第二坐标系的旋转特征,
Figure BDA0003445490650000184
表示该目标三维点在该第i个图像中的位置信息,i≥1。
至此,将公式(12)代入上述公式(10)中,并且结合上述公式(6)(具体为将x转换为
Figure BDA0003445490650000185
)即可以得到上述本公开中的公式(4)。
可以理解的,在实际实施时,本公开实施例所述的电子设备可以包含有用于实现前述对应初始特征确定方法的一个或多个硬件结构和/或软件模块,这些执行硬件结构和/或软件模块可以构成一个电子设备。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的算法步骤,本公开能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本公开的范围。
基于这样的理解,本公开实施例还对应提供一种初始特征确定装置,图8示出了本公开实施例提供的初始特征确定装置的结构示意图。如图8所示,该初始特征确定装置10可以包括:获取模块101和确定模块102。
获取模块101,被配置为获取相对姿态以及目标三维点在多个图像中的位置信息,该相对姿态为在同一时刻下第一坐标系相对于第二坐标系的姿态,该第一坐标系为电子设备包括的图像传感器对应的坐标系,该第二坐标系为该电子设备包括的惯性传感器对应的坐标系,该多个图像为该图像传感器在多个图像时刻分别采集到的图像,其中,每个图像时刻为该图像传感器采集一个图像的时刻。
确定模块102,被配置为确定该多个图像时刻中每个图像时刻的第一坐标系相对于初始第一坐标系的姿态、该多个图像时刻中每个图像时刻与初始时刻之间的时间差、第一图像时刻与第二图像时刻之间的时间差以及该第一图像时刻的第一坐标系与该第二图像时刻的第一坐标系之间的第一加速度积分,该第一图像时刻为该多个图像时刻中的一个,该第二图像时刻为该多个图像时刻中除该第一图像时刻之外的时刻,该初始时刻为该多个图像时刻中的第一个时刻,该初始第一坐标系为该初始时刻的第一坐标系。
确定模块102,还被配置为根据该相对姿态、该目标三维点在多个图像中的位置信息、该多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的姿态、该多个图像时刻中每个图像时刻与该初始时刻之间的时间差、该第一图像时刻与该第二图像时刻之间的时间差以及该第一图像时刻的第一坐标系与该第二图像时刻的第一坐标系之间的第一加速度积分,确定初始速度特征以及初始重力特征,该初始速度特征为该电子设备在该初始时刻的速度特征,该初始重力特征为该电子设备在该初始时刻的重力特征。
可选地,上述多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的姿态包括该多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征。
获取模块101,还被配置为获取该电子设备在多个数据时刻中每个数据时刻的角速度,该多个数据时刻为该惯性传感器采集电子设备的速度数据的时刻。
确定模块102,还被配置为确定该多个数据时刻中任意两个相邻数据时刻之间的时间差。
确定模块102,具体被配置为根据该电子设备在多个数据时刻中每个数据时刻的角速度以及该多个数据时刻中任意两个相邻数据时刻之间的时间差,确定该多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征,该多个图像时刻中任意两个相邻图像时刻之间的时间差大于该任意两个相邻数据时刻之间的时间差。
可选地,上述相对姿态包括在同一时刻下第一坐标系相对于第二坐标系的平移特征。
获取模块101,还被配置为获取该电子设备在该多个数据时刻中每个数据时刻的加速度。
确定模块102,还被配置为确定该多个数据时刻中每个数据时刻相对于该初始第一坐标系的旋转特征。
确定模块102,具体还被配置为根据该电子设备在该多个数据时刻中每个数据时刻的加速度、该多个数据时刻中每个数据时刻相对于该初始第一坐标系的旋转特征、该多个数据时刻中任意两个相邻数据时刻之间的时间差、该多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征以及在同一时刻下第一坐标系相对于第二坐标系的平移特征,确定该第一图像时刻的第一坐标系与该第二图像时刻的第一坐标系之间的第一加速度积分。
可选地,确定模块102,具体还被配置为根据第k个数据时刻的角速度以及该多个数据时刻中任意两个相邻数据时刻之间的时间差,确定第j个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征,该第k个数据时刻为第i个图像时刻与该第j个图像时刻之间包括的n个数据时刻中的一个,该第i个图像时刻为该多个图像时刻中除该第j个图像时刻之外的时刻,i≥1,j≥2,n≥1,1≤k≤n。
可选地,确定模块102,具体还被配置为根据该多个数据时刻中任意两个相邻数据时刻之间的时间差、第k个数据时刻的第一坐标系相对于该初始第一坐标系的旋转特征、该电子设备在该第k个数据时刻的加速度、第f个数据时刻的第一坐标系相对于该初始第一坐标系的旋转特征以及该电子设备在该第f个数据时刻的加速度,确定第j个图像时刻的第一坐标系与该初始第一坐标系之间的第二加速度积分,该第k个数据时刻为第i个图像时刻与该第j个图像时刻之间包括的n个数据时刻中的一个,该第f个数据时刻为该第i个图像时刻与该第k个数据时刻之间包括的m个数据时刻中的一个,该第j个图像时刻为该多个图像时刻中的一个,该第i个时刻为该多个图像时刻中除该第j个图像时刻之外的时刻,i≥1,j≥2,n≥1,1≤k≤n,1≤m≤k,1≤f≤m。
确定模块102,具体还被配置为根据该第j个图像时刻的第一坐标系与该初始第一坐标系之间的第二加速度积分、该第i个图像时刻的第一坐标系与该初始第一坐标系之间的第二加速度积分、该第j个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征、该第i个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征以及该同一时刻下第一坐标系相对于第二坐标系的平移特征,确定该第i个图像时刻的第一坐标系与该第j个图像时刻的第一坐标系之间的第一加速度积分。
可选地,上述多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的姿态包括该多个图像时刻中每个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征和平移特征,该相对姿态包括在同一时刻下第一坐标系相对于第二坐标系的平移特征以及在同一时刻下第一坐标系相对于第二坐标系的旋转特征。
确定模块102,具体被配置为根据预设非单位模长法向量、第i个图像时刻的第一坐标系相对于该初始第一坐标系的平移特征、该第i个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征、该在同一时刻下第一坐标系相对于第二坐标系的平移特征、该在同一时刻下第一坐标系相对于第二坐标系的旋转特征、该目标三维点在第i个图像中的位置信息、第j个图像时刻的第一坐标系相对于该初始第一坐标系的平移特征、该第j个图像时刻的第一坐标系相对于该初始第一坐标系的旋转特征、该目标三维点在第j个图像中的位置信息、该第i个图像时刻与该第j个图像时刻之间的时间差、该第j个图像时刻与该初始时刻之间的时间差、该第i个图像时刻与该初始时刻之间的时间差以及该第i个图像时刻的第一坐标系与该第j个图像时刻的第一坐标系之间的第一加速度积分,确定该初始速度特征以及该初始重力特征,该第j个图像时刻为该多个图像时刻中的一个,该第i个时刻为该多个图像时刻中除该第j个图像时刻之外的时刻,i≥1,j≥2。
可选地,确定模块102,还被配置为根据目标平面的单位法向量以及该目标平面与该初始第一坐标系之间的相对距离,确定该预设非单位模长法向量,该目标平面为该目标三维点对应的平面。
如上所述,本公开实施例可以根据上述方法示例对初始特征确定装置进行功能模块的划分。其中,上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。另外,还需要说明的是,本公开实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。
关于上述实施例中的初始特征确定装置,其中各个模块执行操作的具体方式、以及具备的有益效果,均已经在前述方法实施例中进行了详细描述,此处不再赘述。
图9是本公开提供的另一种初始特征确定装置的结构示意图。如图9,该初始特征确定装置20可以包括至少一个处理器201以及用于存储处理器可执行指令的存储器203。其中,处理器201被配置为执行存储器203中的指令,以实现上述实施例中的初始特征确定方法。
另外,初始特征确定装置20还可以包括通信总线202以及至少一个通信接口204。
处理器201可以是一个处理器(central processing units,CPU),微处理单元,ASIC,或一个或多个用于控制本公开方案程序执行的集成电路。
通信总线202可包括一通路,在上述组件之间传送信息。
通信接口204,使用任何收发器一类的装置,用于与其他设备或通信网络通信,如以太网,无线接入网(radio access network,RAN),无线局域网(wireless local areanetworks,WLAN)等。
存储器203可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory,EEPROM)、只读光盘(compact disc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过总线与处理单元相连接。存储器也可以和处理单元集成在一起。
其中,存储器203用于存储执行本公开方案的指令,并由处理器201来控制执行。处理器201用于执行存储器203中存储的指令,从而实现本公开方法中的功能。
在具体实现中,作为一种实施例,处理器201可以包括一个或多个CPU,例如图9中的CPU0和CPU1。
在具体实现中,作为一种实施例,初始特征确定装置20可以包括多个处理器,例如图9中的处理器201和处理器207。这些处理器中的每一个可以是一个单核(single-CPU)处理器,也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中,作为一种实施例,初始特征确定装置20还可以包括输出设备205和输入设备206。输出设备205和处理器201通信,可以以多种方式来显示信息。例如,输出设备205可以是液晶显示器(liquid crystal display,LCD),发光二级管(light emittingdiode,LED)显示设备,阴极射线管(cathode ray tube,CRT)显示设备,或投影仪(projector)等。输入设备206和处理器201通信,可以以多种方式接受用户的输入。例如,输入设备206可以是鼠标、键盘、触摸屏设备或传感设备等。
本领域技术人员可以理解,图9中示出的结构并不构成对初始特征确定装置20的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
另外,本公开还提供一种计算机可读存储介质,包括指令,当指令由电子设备执行时,使得电子设备执行如上述实施例所提供的初始特征确定方法。
另外,本公开还提供一种计算机程序产品,包括指令,当指令由电子设备执行时,使得电子设备执行如上述实施例所提供的初始特征确定方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。

Claims (10)

1.一种初始特征确定方法,其特征在于,包括:
获取相对姿态以及目标三维点在多个图像中的位置信息,所述相对姿态为在同一时刻下第一坐标系相对于第二坐标系的姿态,所述第一坐标系为电子设备包括的图像传感器对应的坐标系,所述第二坐标系为所述电子设备包括的惯性传感器对应的坐标系,所述多个图像为所述图像传感器在多个图像时刻分别采集到的图像,其中,每个图像时刻为所述图像传感器采集一个图像的时刻;
确定所述多个图像时刻中每个图像时刻的第一坐标系相对于初始第一坐标系的姿态、所述多个图像时刻中每个图像时刻与初始时刻之间的时间差、第一图像时刻与第二图像时刻之间的时间差以及所述第一图像时刻的第一坐标系与所述第二图像时刻的第一坐标系之间的第一加速度积分,所述第一图像时刻为所述多个图像时刻中的一个,所述第二图像时刻为所述多个图像时刻中除所述第一图像时刻之外的时刻,所述初始时刻为所述多个图像时刻中的第一个时刻,所述初始第一坐标系为所述初始时刻的第一坐标系;
根据所述相对姿态、所述目标三维点在多个图像中的位置信息、所述多个图像时刻中每个图像时刻的第一坐标系相对于所述初始第一坐标系的姿态、所述多个图像时刻中每个图像时刻与所述初始时刻之间的时间差、所述第一图像时刻与所述第二图像时刻之间的时间差以及所述第一图像时刻的第一坐标系与所述第二图像时刻的第一坐标系之间的第一加速度积分,确定初始速度特征以及初始重力特征,所述初始速度特征为所述电子设备在所述初始时刻的速度特征,所述初始重力特征为所述电子设备在所述初始时刻的重力特征。
2.根据权利要求1所述的初始特征确定方法,其特征在于,所述多个图像时刻中每个图像时刻的第一坐标系相对于所述初始第一坐标系的姿态包括所述多个图像时刻中每个图像时刻的第一坐标系相对于所述初始第一坐标系的旋转特征,所述方法还包括:
获取所述电子设备在多个数据时刻中每个数据时刻的角速度,所述多个数据时刻为所述惯性传感器采集所述电子设备的速度数据的时刻;
确定所述多个数据时刻中任意两个相邻数据时刻之间的时间差;
确定所述多个图像时刻中每个图像时刻的第一坐标系相对于所述初始第一坐标系的旋转特征,包括:
根据所述电子设备在多个数据时刻中每个数据时刻的角速度以及所述多个数据时刻中任意两个相邻数据时刻之间的时间差,确定所述多个图像时刻中每个图像时刻的第一坐标系相对于所述初始第一坐标系的旋转特征,所述多个图像时刻中任意两个相邻图像时刻之间的时间差大于所述任意两个相邻数据时刻之间的时间差。
3.根据权利要求2所述的初始特征确定方法,其特征在于,所述相对姿态包括在同一时刻下第一坐标系相对于第二坐标系的平移特征,所述方法还包括:
获取所述电子设备在所述多个数据时刻中每个数据时刻的加速度;
确定所述多个数据时刻中每个数据时刻相对于所述初始第一坐标系的旋转特征;
确定所述第一图像时刻的第一坐标系与所述第二图像时刻的第一坐标系之间的第一加速度积分,包括:
根据所述电子设备在所述多个数据时刻中每个数据时刻的加速度、所述多个数据时刻中每个数据时刻相对于所述初始第一坐标系的旋转特征、所述多个数据时刻中任意两个相邻数据时刻之间的时间差、所述多个图像时刻中每个图像时刻的第一坐标系相对于所述初始第一坐标系的旋转特征以及在同一时刻下第一坐标系相对于第二坐标系的平移特征,确定所述第一图像时刻的第一坐标系与所述第二图像时刻的第一坐标系之间的第一加速度积分。
4.根据权利要求2所述的初始特征确定方法,其特征在于,所述根据所述电子设备在多个数据时刻中每个数据时刻的角速度以及所述多个数据时刻中任意两个相邻数据时刻之间的时间差,确定所述多个图像时刻中每个图像时刻的第一坐标系相对于所述初始第一坐标系的旋转特征,包括:
根据第k个数据时刻的角速度以及所述多个数据时刻中任意两个相邻数据时刻之间的时间差,确定第j个图像时刻的第一坐标系相对于所述初始第一坐标系的旋转特征,所述第j个图像时刻为所述多个图像时刻中的一个,所述第k个数据时刻为第i个图像时刻与所述第j个图像时刻之间包括的n个数据时刻中的一个,所述第i个图像时刻为所述多个图像时刻中除所述第j个图像时刻之外的时刻,i≥1,j≥2,n≥1,1≤k≤n。
5.根据权利要求3所述的初始特征确定方法,其特征在于,所述根据所述电子设备在所述多个数据时刻中每个数据时刻的加速度、所述多个数据时刻中每个数据时刻相对于所述初始第一坐标系的旋转特征、所述多个数据时刻中任意两个相邻数据时刻之间的时间差、所述多个图像时刻中每个图像时刻的第一坐标系相对于所述初始第一坐标系的旋转特征以及所述在同一时刻下第一坐标系相对于第二坐标系的平移特征,确定所述第一图像时刻的第一坐标系与所述第二图像时刻的第一坐标系之间的第一加速度积分,包括:
根据所述多个数据时刻中任意两个相邻数据时刻之间的时间差、第k个数据时刻的第一坐标系相对于所述初始第一坐标系的旋转特征、所述电子设备在所述第k个数据时刻的加速度、第f个数据时刻的第一坐标系相对于所述初始第一坐标系的旋转特征以及所述电子设备在所述第f个数据时刻的加速度,确定第j个图像时刻的第一坐标系与所述初始第一坐标系之间的第二加速度积分,所述第k个数据时刻为第i个图像时刻与所述第j个图像时刻之间包括的n个数据时刻中的一个,所述第f个数据时刻为所述第i个图像时刻与所述第k个数据时刻之间包括的m个数据时刻中的一个,所述第j个图像时刻为所述多个图像时刻中的一个,所述第i个时刻为所述多个图像时刻中除所述第j个图像时刻之外的时刻,i≥1,j≥2,n≥1,1≤k≤n,1≤m≤k,1≤f≤m;
根据所述第j个图像时刻的第一坐标系与所述初始第一坐标系之间的第二加速度积分、所述第i个图像时刻的第一坐标系与所述初始第一坐标系之间的第二加速度积分、所述第j个图像时刻的第一坐标系相对于所述初始第一坐标系的旋转特征、所述第i个图像时刻的第一坐标系相对于所述初始第一坐标系的旋转特征以及所述同一时刻下第一坐标系相对于第二坐标系的平移特征,确定所述第i个图像时刻的第一坐标系与所述第j个图像时刻的第一坐标系之间的第一加速度积分。
6.根据权利要求1-5中任一项所述的初始特征确定方法,其特征在于,所述多个图像时刻中每个图像时刻的第一坐标系相对于所述初始第一坐标系的姿态包括所述多个图像时刻中每个图像时刻的第一坐标系相对于所述初始第一坐标系的旋转特征和平移特征,所述相对姿态包括在同一时刻下第一坐标系相对于第二坐标系的平移特征以及在同一时刻下第一坐标系相对于第二坐标系的旋转特征;
所述根据所述相对姿态、所述目标三维点在多个图像中的位置信息、所述多个图像时刻中每个图像时刻的第一坐标系相对于初始第一坐标系的姿态、所述每个图像时刻与初始时刻之间的时间差、所述第一图像时刻与所述第二图像时刻之间的时间差以及所述第一图像时刻的第一坐标系与所述第二图像时刻之间的第一加速度积分,确定初始速度特征以及初始重力特征,包括:
根据预设非单位模长法向量、第i个图像时刻的第一坐标系相对于所述初始第一坐标系的平移特征、所述第i个图像时刻的第一坐标系相对于所述初始第一坐标系的旋转特征、所述在同一时刻下第一坐标系相对于第二坐标系的平移特征、所述在同一时刻下第一坐标系相对于第二坐标系的旋转特征、所述目标三维点在第i个图像中的位置信息、第j个图像时刻的第一坐标系相对于所述初始第一坐标系的平移特征、所述第j个图像时刻的第一坐标系相对于所述初始第一坐标系的旋转特征、所述目标三维点在第j个图像中的位置信息、所述第i个图像时刻与所述第j个图像时刻之间的时间差、所述第j个图像时刻与所述初始时刻之间的时间差、所述第i个图像时刻与所述初始时刻之间的时间差以及所述第i个图像时刻的第一坐标系与所述第j个图像时刻的第一坐标系之间的第一加速度积分,确定所述初始速度特征以及所述初始重力特征,所述第j个图像时刻为所述多个图像时刻中的一个,所述第i个时刻为所述多个图像时刻中除所述第j个图像时刻之外的时刻,i≥1,j≥2。
7.一种初始特征确定装置,其特征在于,包括:获取模块和确定模块;
所述获取模块,被配置为获取相对姿态以及目标三维点在多个图像中的位置信息,所述相对姿态为在同一时刻下第一坐标系相对于第二坐标系的姿态,所述第一坐标系为电子设备包括的图像传感器对应的坐标系,所述第二坐标系为所述电子设备包括的惯性传感器对应的坐标系,所述多个图像为所述图像传感器在多个图像时刻分别采集到的图像,其中,每个图像时刻为所述图像传感器采集一个图像的时刻;
所述确定模块,被配置为确定所述多个图像时刻中每个图像时刻的第一坐标系相对于初始第一坐标系的姿态、所述多个图像时刻中每个图像时刻与初始时刻之间的时间差、第一图像时刻与第二图像时刻之间的时间差以及所述第一图像时刻的第一坐标系与所述第二图像时刻的第一坐标系之间的第一加速度积分,所述第一图像时刻为所述多个图像时刻中的一个,所述第二图像时刻为所述多个图像时刻中除所述第一图像时刻之外的时刻,所述初始时刻为所述多个图像时刻中的第一个时刻,所述初始第一坐标系为所述初始时刻的第一坐标系;
所述确定模块,还被配置为根据所述相对姿态、所述目标三维点在多个图像中的位置信息、所述多个图像时刻中每个图像时刻的第一坐标系相对于所述初始第一坐标系的姿态、所述多个图像时刻中每个图像时刻与所述初始时刻之间的时间差、所述第一图像时刻与所述第二图像时刻之间的时间差以及所述第一图像时刻的第一坐标系与所述第二图像时刻的第一坐标系之间的第一加速度积分,确定初始速度特征以及初始重力特征,所述初始速度特征为所述电子设备在所述初始时刻的速度特征,所述初始重力特征为所述电子设备在所述初始时刻的重力特征。
8.一种电子设备,其特征在于,所述电子设备包括:
处理器;
被配置为存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1-6中任一项所述的初始特征确定方法。
9.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,当所述计算机可读存储介质中的指令由电子设备执行时,使得所述电子设备能够执行如权利要求1-6中任一项所述的初始特征确定方法。
10.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-6中任一项所述的初始特征确定方法。
CN202111681779.4A 2021-12-30 2021-12-30 初始特征确定方法、装置、电子设备及存储介质 Active CN114323010B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111681779.4A CN114323010B (zh) 2021-12-30 2021-12-30 初始特征确定方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111681779.4A CN114323010B (zh) 2021-12-30 2021-12-30 初始特征确定方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114323010A true CN114323010A (zh) 2022-04-12
CN114323010B CN114323010B (zh) 2024-03-01

Family

ID=81023064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111681779.4A Active CN114323010B (zh) 2021-12-30 2021-12-30 初始特征确定方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114323010B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109147058A (zh) * 2018-08-31 2019-01-04 腾讯科技(深圳)有限公司 用于视觉惯导信息融合的初始化方法和装置以及存储介质
WO2019062291A1 (zh) * 2017-09-29 2019-04-04 歌尔股份有限公司 一种双目视觉定位方法、装置及***
CN109902725A (zh) * 2019-01-31 2019-06-18 北京达佳互联信息技术有限公司 移动目标的检测方法、装置及电子设备和存储介质
CN110520694A (zh) * 2017-10-31 2019-11-29 深圳市大疆创新科技有限公司 一种视觉里程计及其实现方法
CN111383282A (zh) * 2018-12-29 2020-07-07 杭州海康威视数字技术股份有限公司 位姿信息确定方法及装置
WO2021036085A1 (zh) * 2019-08-29 2021-03-04 潍坊歌尔微电子有限公司 惯性导航***的初始对准方法、装置及电子设备
CN113436267A (zh) * 2021-05-25 2021-09-24 影石创新科技股份有限公司 视觉惯导标定方法、装置、计算机设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019062291A1 (zh) * 2017-09-29 2019-04-04 歌尔股份有限公司 一种双目视觉定位方法、装置及***
CN110520694A (zh) * 2017-10-31 2019-11-29 深圳市大疆创新科技有限公司 一种视觉里程计及其实现方法
CN109147058A (zh) * 2018-08-31 2019-01-04 腾讯科技(深圳)有限公司 用于视觉惯导信息融合的初始化方法和装置以及存储介质
CN111383282A (zh) * 2018-12-29 2020-07-07 杭州海康威视数字技术股份有限公司 位姿信息确定方法及装置
CN109902725A (zh) * 2019-01-31 2019-06-18 北京达佳互联信息技术有限公司 移动目标的检测方法、装置及电子设备和存储介质
WO2021036085A1 (zh) * 2019-08-29 2021-03-04 潍坊歌尔微电子有限公司 惯性导航***的初始对准方法、装置及电子设备
CN113436267A (zh) * 2021-05-25 2021-09-24 影石创新科技股份有限公司 视觉惯导标定方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭恩特;陈志峰;范振嘉;黄立勤;潘林;: "图像和惯性传感器相结合的摄像机定位和物体三维位置估计", 福州大学学报(自然科学版), no. 04 *

Also Published As

Publication number Publication date
CN114323010B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
US11704833B2 (en) Monocular vision tracking method, apparatus and non-transitory computer-readable storage medium
WO2020078250A1 (zh) 用于虚拟场景的数据处理方法以及设备
US11557083B2 (en) Photography-based 3D modeling system and method, and automatic 3D modeling apparatus and method
EP4105766A1 (en) Image display method and apparatus, and computer device and storage medium
US20220319050A1 (en) Calibration method and apparatus, processor, electronic device, and storage medium
CN108389264A (zh) 坐标***确定方法、装置、存储介质及电子设备
CN106097258A (zh) 一种影像处理方法及增强现实设备
CN110647212A (zh) 一种折叠角度的确定方法、装置、电子设备及存储介质
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
US20220375164A1 (en) Method and apparatus for three dimensional reconstruction, electronic device and storage medium
WO2023140990A1 (en) Visual inertial odometry with machine learning depth
CN114049401A (zh) 双目相机标定方法、装置、设备及介质
KR20230038483A (ko) 복수의 동작 추정기를 이용한 실내 포지셔닝
CN114323010B (zh) 初始特征确定方法、装置、电子设备及存储介质
CN114266876B (zh) 定位方法、视觉地图的生成方法及其装置
CN112414444A (zh) 一种数据标定方法、计算机设备、存储介质
CN109470269A (zh) 空间目标测量机构的标定方法、标定设备及标定***
CN115511701A (zh) 一种地理信息的转换方法及装置
CN113065572B (zh) 多传感器融合的数据处理方法、定位装置及虚拟现实设备
CN115205419A (zh) 即时定位与地图构建方法、装置、电子设备及可读存储介质
US20220253807A1 (en) Context aware annotations for collaborative applications
CN110675445B (zh) 一种视觉定位方法、装置及存储介质
CN117091596B (zh) 一种姿态信息获取方法以及相关设备
CN104995584A (zh) 计算磁航向
US11768217B2 (en) Sensor apparatus, information processing apparatus, method of outputting measurement data with settings, information processing method, program, and data structure of measurement data with settings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant