CN113055598A - 朝向数据补偿方法、装置、电子设备、可读存储介质 - Google Patents

朝向数据补偿方法、装置、电子设备、可读存储介质 Download PDF

Info

Publication number
CN113055598A
CN113055598A CN202110321774.4A CN202110321774A CN113055598A CN 113055598 A CN113055598 A CN 113055598A CN 202110321774 A CN202110321774 A CN 202110321774A CN 113055598 A CN113055598 A CN 113055598A
Authority
CN
China
Prior art keywords
orientation data
sequence
orientation
time
shooting time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110321774.4A
Other languages
English (en)
Other versions
CN113055598B (zh
Inventor
黄凯
王楠
章国锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to CN202110321774.4A priority Critical patent/CN113055598B/zh
Publication of CN113055598A publication Critical patent/CN113055598A/zh
Application granted granted Critical
Publication of CN113055598B publication Critical patent/CN113055598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种朝向数据补偿方法、装置、电子设备以及计算机可读存储介质,其中,补偿方法包括:获取预定时间内拍摄的图像序列的第一朝向数据序列以及拍摄时间序列;及获取所述预定时间内朝向计的第二朝向数据序列;根据所述第一朝向数据序列、所述第二朝向数据序列、所述拍摄时间序列计算得到所述朝向计的偏航角的偏移速度;根据所述偏移速度得到每一第二朝向数据对应的补偿数据;基于所述补偿数据对所述第二朝向数据序列中每一所述第二朝向数据进行补偿。用以对偏航角进行补偿,从而消除或减小偏航角偏移对追踪精度带来的负面影响。

Description

朝向数据补偿方法、装置、电子设备、可读存储介质
技术领域
本发明涉及计算机视觉技术领域,尤其是涉及一种朝向数据补偿方法、装置、电子设备、可读存储介质。
背景技术
视觉里程计技术是当前一些应用计算机视觉技术的场景的核心问题。视觉里程计技术可以在很多领域有重要应用,如AR/VR,自动驾驶技术,室内导航等。
在智能手机平台上,***是基于加速度计和陀螺仪来估计和维护手机的朝向,这种方法在手机持续的运动情况下,估计的朝向中偏航角存在着不可阻挡的持续偏移。这个持续偏移会使得朝向计中的偏航角部分的误差不断增加,最终会对视觉里程计的跟踪精度产生越来越大的负面影响。
发明内容
本发明提供一种朝向数据补偿方法,电子设备以及可读存储介质,用以消除或减小偏航角偏移对追踪精度带来的负面影响。
为解决上述技术问题,本发明提供的第一个技术方案为:提供一种朝向数据补偿方法,包括:获取预定时间内拍摄的图像序列的第一朝向数据序列以及拍摄时间序列;及获取所述预定时间内朝向计的第二朝向数据序列;根据所述第一朝向数据序列、所述第二朝向数据序列、所述拍摄时间序列计算得到所述朝向计的偏航角的偏移速度;根据所述偏移速度得到每一第二朝向数据对应的补偿数据;基于所述补偿数据对所述第二朝向数据序列中每一所述第二朝向数据进行补偿。
其中,所述根据所述第一朝向数据序列、所述第二朝向数据序列以及所述拍摄时间序列计算得到所述朝向计的偏航角的偏移速度包括:计算所述第一朝向数据序列中每一第一朝向数据与首个第一朝向数据的第一差值;及计算所述第二朝向数据序列中每一第二朝向数据与首个第二朝向数据的第二差值;及计算所述拍摄时间序列中每一拍摄时间与首个拍摄时间的拍摄时间差值;利用拍摄时间对应的所述第一差值、所述第二差值以及所述拍摄时间差值计算得到所述朝向计的偏航角的偏移速度。
其中,所述利用拍摄时间对应的所述第一差值、所述第二差值以及所述拍摄时间差值计算得到所述朝向计的偏航角的偏移速度包括:利用每一拍摄时间对应的所述第一差值、所述第二差值以及所述拍摄时间差值计算得到每一拍摄时间对应的所述朝向计的偏航角的偏移速度,根据所有拍摄时间对应的所述朝向计的偏航角的偏移速度,计算得到所述朝向计的偏航角的偏移速度。
其中,所述方法还包括:获取所述第二朝向数据序列对应的统计时间序列,所述统计时间序列中的统计时间与所述第二朝向数据序列中的第二朝向数据一一对应;所述利用每一拍摄时间对应的所述第一差值、所述第二差值以及所述拍摄时间差值计算得到每一拍摄时间对应的所述朝向计的偏航角的偏移速度包括:对于任一目标拍摄时间,根据所述目标拍摄时间对应的第一朝向数据确定对应的目标第一差值;在所述统计时间序列中确定与所述目标拍摄时间最接近的目标统计时间,并根据所述目标统计时间对应的第二朝向确定对应的目标第二差值;根据所述目标第一差值、目标第二差值、所述目标拍摄时间对应的拍摄时间差值计算得到所述目标拍摄时间对应的所述朝向计的偏航角的偏移速度。
其中,所述首个第一朝向数据与所述首个第二朝向数据对应同一时刻。
其中,所述方法该包括:获取所述第二朝向数据序列对应的统计时间序列,所述统计时间序列中的统计时间与所述第二朝向数据序列中的第二朝向数据一一对应;所述根据所述偏移速度得到每一第二朝向数据对应的补偿数据包括:计算得到所述统计时间序列中每一统计时间与首个统计时间之间的统计时间差值;根据所述统计时间差值以及所述偏移速度计算得到每一所述第二朝向数据对应的所述补偿数据。
其中,所述基于所述补偿数据对所述第二朝向数据序列中每一第二朝向数据进行补偿包括:计算每一所述第二朝向数据与所述补偿数据的乘积,得到补偿后的每一所述第二朝向数据。
其中,所述获取预定时间内拍摄的图像序列的第一朝向数据序列以及拍摄时间序列包括:获取图像序列,并获取每一图像的拍摄时间,以得到所述拍摄时间序列;利用神经网络算法对所述每一图像进行处理,以得到所述每一图像对应的第一朝向数据,并根据各第一朝向数据得到所述第一朝向数据序列。
其中,所述获取预定时间内拍摄的图像序列的第一朝向数据序列以及拍摄时间序列包括:获取图像序列,并获取每一图像的拍摄时间,以得到所述拍摄时间序列;利用神经网络算法对所述每一图像进行处理,以得到所述每一图像对应的第一朝向数据,并根据各第一朝向数据得到所述第一朝向数据序列。
为解决上述技术问题,本发明提供的第二个技术方案为:提供一种偏航角补偿装置,包括:数据获取模块,数据获取模块,用于获取预定时间内拍摄的图像序列的第一朝向数据序列以及拍摄时间序列;及获取所述预定时间内朝向计的第二朝向数据序列;速度计算模块,用于根据所述第一朝向数据序列、所述第二朝向数据序列、所述拍摄时间序列计算得到所述朝向计的偏航角的偏移速度;补偿数据计算模块,用于根据所述偏移速度得到每一第二朝向数据对应的补偿数据;补偿模块,用于基于所述补偿数据对所述第二朝向数据序列中每一所述第二朝向数据进行补偿。
为解决上述技术问题,本发明提供的第三个技术方案为:提供一种电子设备,包括:存储器及处理器,其中,所述存储器存储有程序指令,所述处理器从所述存储器调取所述程序指令以执行上述的朝向数据补偿方法。
为解决上述技术问题,本发明提供的第四个技术方案为:提供一种计算机可读存储介质,存储有程序文件,所述程序文件能够被执行以实现如上述的朝向数据补偿方法。
本发明的有益效果,区别于现有技术的情况,本发明通过计算得到朝向计的偏航角的偏移速度;根据偏移速度得到每一第二朝向数据对应的补偿数据;基于补偿数据对第二朝向数据序列中每一第二朝向数据进行补偿,以此对偏航角进行补偿,从而消除或减小偏航角偏移对追踪精度带来的负面影响。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图,其中:
图1为本发明朝向数据补偿方法的一实施例的流程示意图;
图2为图1中步骤S11的一实施例的流程示意图;
图3为图1中步骤S12的一实施例的流程示意图;
图4为图1中步骤S13的一实施例的流程示意图;
图5为本发明偏航角补偿装置的一实施例的结构示意图;
图6为本发明电子设备的一实施例的结构示意图;
图7为本发明存储介质的一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
视觉里程计技术是当前一些应用计算机视觉技术的场景的核心问题。视觉里程计技术可以在很多领域有重要应用,如AR/VR,自动驾驶技术,室内导航等。
在智能手机平台上,***是基于加速度计和陀螺仪来估计和维护手机的朝向,在底层通过一系列滤波算法估计出当前手机的朝向,并构建软件传感器朝向计,供视觉里程计算法使用。在视觉里程计算法中再次根据原始的加速度计和陀螺仪估计摄像头的朝向是冗余的,尤其是在远离底层的应用层(如非原生应用的Web端),计算时间会成倍增加,因此直接读取朝向计的读数是性能最佳的方案。然而大部分智能手机没有使用磁力计,只基于加速度计和陀螺仪来维护朝向,这种算法在偏航角这一维度不具备可观性,因此持续的运动下,估计的朝向中偏航角存在着不可阻挡的持续偏移。这个持续偏移会使得朝向计中的偏航角部分的误差不断增加,最终会对视觉里程计的跟踪精度产生越来越大的负面影响。
请参见图1,为本发明朝向数据补偿方法的第一实施例的流程示意图,包括:
步骤S11:获取预定时间内拍摄的图像序列的第一朝向数据序列以及拍摄时间序列;及获取预定时间内朝向计的第二朝向数据序列。
本实施例中,以移动终端对朝向数据补偿为例进行说明;而移动终端可以是手机、智能眼镜、手表等,在后续描述中以手机为例进行说明。手机具有摄像头,并通过摄像头在预设时间段内连续拍摄,获取在预设时间段内的所有拍摄图像,每一拍摄图像都对应记录有其拍摄时间,以形成拍摄时间序列,而这些拍摄图像则可根据拍摄时间排序形成图像序列。进一步的,手机可通过这些拍摄图像获取到对应的第一朝向数据,第一朝向数据表示手机拍摄图像时刻、手机内摄像头的朝向,该第一朝向数据可以是单位四元数的形似。
手机还具有朝向计,朝向计为具有数据处理功能的移动终端内集成的器件,可用来测量移动终端内摄像头的朝向;朝向计在每一预定时间周期中会统计其偏航角的第二朝向数据,并且每一次统计都会记录统计时的时间。其中,朝向计可以为具有数据处理功能的移动终端内集成的器件,可用来衡量移动终端内摄像头的朝向;移动终端可以是手机、智能眼镜、手表等,在后续描述中以手机为例进行说明;而第二朝向数据表示一个状态量,其表示当前时刻移动终端内摄像头的朝向,第二朝向数据可以是单位四元数的形式。
具体的,手机获取在预设时间段内朝向计统计的每一第二朝向数据以及每一第二朝向数据对应的统计时间,以得到第二朝向数据序列以及统计时间序列。例如,手机中的朝向计在9:00—9:10的周期中进行i次朝向数据数据的采集统计,得到i个第二朝向数据,分别记为qa0、qa1、qa2、qa3……qai,这些第二朝向数据采集统计时间分别记为ta0、ta1、ta2、ta3……tai;据此,将这些第二朝向数据根据时间先后进行排序,可获取9:00—9:10内的朝向计统计的第二朝向数据序列为qa=(qa0、qa1、qa2、qa3……qai),对应的统计时间序列为ta=(ta0、ta1、ta2、ta3……tai)。需要说明的是,上述的序列是根据时间先后进行排序的,当然在实际中也可以根据时间倒序的方式进行排序,又或者是随机排序,但应该理解的是,第二朝向数据序列中某一位第二朝向数据、与统计时间序列中相同位的统计时间,具有对应关系,例如,第二朝向数据序列中的第n位第二朝向数据,其统计时间即为统计时间序列中的第n位数据。
第一朝向数据以及第二朝向数据均为单位四元数,其表示一个状态量,其表示当前时刻移动终端内摄像头的朝向,而偏航角指的是相对变化,例如,时间tai与时间ta0之间的偏航角的变化记作yaw(qai-qa0)。
请结合图2,步骤S11包括:
步骤S111:获取图像序列,并获取每一图像的拍摄时间,以得到所述拍摄时间序列。
在具体实施例中,手机利用摄像头在预设时间段内连续拍摄,进而可得到获取在预设时间段内的拍摄图像,每一拍摄图像都对应记录有其拍摄时间,以形成拍摄时间序列,而这些图像可根据时间进行排序得到对应的图像序列。例如,在9:00—9:10时间段内的tv0、tv1、tv2、tv3……tvi时刻分别进行拍摄,则拍摄图像的拍摄时间序列为tv=(tv0、tv1、tv2、tv3……tvi),而这些图像可根据拍摄时间进行排序形成图像序列。
步骤S112:利用神经网络算法对每一图像进行处理,以得到每一图像对应的第一朝向数据,并根据各第一朝向数据得到第一朝向数据序列。
具体的,对于拍摄得到的图像,可以利用神经网络算法对每一拍摄图像进行处理,以得到每一图像对应的第一朝向数据,进而根据这些第一朝向数据得到图像序列对应的第一朝向数据序列。神经网络算法包括但不限于卷积神经网络算法、深度神经网络算法等。例如,9:00—9:10内的拍摄图像对应的第一朝向数据序列为qv=(qv0、qv1、qv2、qv3……qvi)。值得说明的是,利用神经网络算法对图像进行处理的过程,可以是由移动终端在本地执行;当然,也可以是由云端服务器执行,也即移动终端获得图像后,将图像发送至云端服务器,由云端服务利用神经网络算法进行处理,得到对应的第一朝向数据,再将第一朝向数据返回移动终端。通过神经网络算法梦能够准确的得到视觉图像中的朝向计的朝向数据。
步骤S12:根据第一朝向数据序列、第二朝向数据序列、拍摄时间序列计算得到朝向计的偏航角的偏移速度。
在具体实施中,可通过朝向计采集的数据估计手机的偏航角,但该估计会存在误差,也即根据朝向计估计的偏航角(后续简称为“朝向计的偏转角”)存在误差,且偏航角s持续偏移,即误差是不断累计(偏航角持续偏移);对此,可定义朝向计的偏航角的偏移速度,用于表征朝向计误差累积的速度,其中,时间tai与时间ta0之间的偏航角的变化可记作yaw(qai-qa0)。在一实施例中,可通过第一朝向数据序列、第二朝向数据序列、拍摄时间序列计算得到朝向计的偏航角的偏移速度。
具体的,请结合图3,步骤S12包括:
步骤S121:计算第一朝向数据序列中每一第一朝向数据与首个第一朝向数据的第一差值;及计算第二朝向数据序列中每一第二朝向数据与首个第二朝向数据的第二差值;及计算拍摄时间序列中每一拍摄时间与首个拍摄时间的拍摄时间差值。
在一实施例中,拍摄时间序列中的拍摄时间,以及统计时间序列中的统计时间,是以时间先后顺序进行排序的,而首个拍摄时间与首个统计时间可为同一时刻(初始时刻),也即首个第一朝向数据与首个第二朝向数据对应同一时刻,即tv0=ta0,并且,可认为此时(初始时刻)朝向计无偏航角的偏移。
具体的,计算第一朝向数据序列qv中每一第一朝向数据与首个第一朝向数据的第一差值,例如,Δv0=qv0-qv0,Δv1=qv1-qv0,Δv2=qv2-qv0,Δv3=qv3-qv0,……Δvi=qvi-qv0)。计算第二朝向数据序列中每一第二朝向数据与首个第二朝向数据的第二差值,例如,Δa0=qa0-qa0,Δa1=qa1-qa0,Δa2=qa2-qa0,Δa3=qa3-qa0,……Δai=qai-qa0)。计算拍摄时间序列中每一拍摄时间与首个拍摄时间的拍摄时间差值,例如Δtv0=tv1-tv0,Δtv1=tv2-tv0,Δtv2=tv3-tv0,……Δtvi=tvi-tv0。
步骤S122:利用拍摄时间对应的第一差值、第二差值以及拍摄时间差值计算得到朝向计的偏航角的偏移速度。
在得到各第一差值、第二差值和拍摄时间差值时,可根据第一差值、第二差值以及拍摄时间差值计算得到朝向计的偏航角的偏移速度。其中第一差值的获得源于拍摄图像,因而可认为是利用视觉定位获得的全局信息,确定出朝向计偏航角的偏移规律。
经过分析,朝向计偏航角的偏移在较短时间窗口内存在波动,但在较长的时间窗口内比较稳定,偏移的角度与时间呈线性关系,且朝向计统计第二朝向数据序列的频率较高,但是在视觉里程计实际追踪过程中,每一帧图像都对应有一个第一朝向数据,而在拍摄图像时,需要各每一预定时间进行拍摄,所以其获取第一朝向数据序列的频率较低。对此,可以是以拍摄时间为基准,针对每一拍摄时间,获取对应的第一差值和第二差值以及拍摄时间差值,并计算出得到每一拍摄时间对应的朝向计的偏航角。
具体的,对于拍摄时间序列中的任一拍摄时间,可称为目标拍摄时间;对于该目标拍摄时间,有对应的拍摄图像和第一朝向数据,并由该第一朝向数据可确定对应的第一差值,该第一差值称为目标第一差值。其次,在统计时间序列中,可确定与该目标拍摄时间最接近的目标统计时间,例如,目标拍摄时间为9点1分10秒,而统计时间序列中在9点1分10秒附近有9点1分6秒和9点1分11秒两个统计时间,则9点1分11秒为目标统计时间;确定目标统计时间后,可根据目标统计时间确定对应的第二朝向数据,并由该第二朝向数据确定对应的第二差值,该第二差值称为目标第二差值。然后,可根据目标第一差值、目标第二差值、目标拍摄时间对应的拍摄时间差值(即目标拍摄时间与首个拍摄时间的差值),确定该目标拍摄时间对应的朝向计的偏航角的偏移速度,也即偏航角的偏移速度vdi=(Δvi-Δai)/Δtvi=(yaw(qvi-qv0)-yaw(qai-qa0))/(tvi-tv0)。
对于拍摄时间序列的每一拍摄时间,均可执行上述步骤得到每个拍摄时间对应的偏航角的偏移速度,进而得到一系列偏移速度构成的偏移速度序列。然后可计算所有拍摄时间对应的朝向计的偏航角的偏移速度的平均值,进而得到朝向计在整个预设时间段的偏航角的偏移速度,即计算偏移速度序列中所有偏移速度的平均偏移速度,从而得到朝向计的偏移规律。当然,在实际中,也可以取偏移速度序列的中位数、众数等统计学指标作为朝向计的偏航角的偏移速度。
步骤S13:根据偏移速度得到每一第二朝向数据对应的补偿数据。
在确定朝向计在整个预设时间段的偏航角的偏移速度后,即可根据该偏移速度确定每一第二朝向数据对应的补偿数据。
请结合图4,步骤S13具体包括:
步骤S131:计算得到统计时间序列中每一统计时间与首个统计时间之间的统计时间差值。
具体的,计算统计时间序列中每一统计时间与首个统计时间的统计时间差值,例如,Δta0=ta1-ta0,Δta1=ta2-ta0,Δta2=ta3-ta0,……Δtai=tai-ta0。
步骤S132:根据统计时间差值以及偏移速度计算得到每一第二朝向数据对应的补偿数据。
具体的,对于朝向计统计的第二朝向数据序列中的每一第二朝向数据,都需要经过时间Δtai=tai-ta0,根据步骤S12计算得到的偏移速度,得到每一第二朝向数据对应的补偿数据为:X=vdi×Δtai,将计算得到的补偿数据转化为对应的相对旋转量,例如,Y=rot(X)。
步骤S14:基于补偿数据对第二朝向数据序列中每一第二朝向数据进行补偿。
具体的,计算每一第二朝向数据与补偿数据的乘积,进而得到补偿后的每一所述第二朝向数据。将补偿后的第二朝向数据输入视觉里程计算中,进而使得视觉定位结果更加准确。具体的,利用补偿后的第二朝向数据输入至视觉里程计技术中进行计算机视觉定位,能够使得视觉里程计的跟踪精度更加准确。
本发明通过计算得到朝向计的偏航角的偏移速度;根据偏移速度得到每一第二朝向数据对应的补偿数据;基于补偿数据对第二朝向数据序列中每一第二朝向数据进行补偿,以此对偏航角进行补偿,从而消除或减小偏航角偏移对追踪精度带来的负面影响。其利用视觉定位的全局信息弥补朝向计的偏航角持续偏移,提升视觉里程计算法的追踪精度。
请参见图5,为本发明偏航角补偿装置的结构示意图,包括:数据获取模块51、速度计算模块52、补偿数据计算模块53、补偿模块54。
其中,数据获取模块51用于获取预定时间内拍摄的图像序列的第一朝向数据序列以及拍摄时间序列;及获取所述预定时间内朝向计的第二朝向数据序列。
速度计算模块52用于根据第一朝向数据序列、第二朝向数据序列、拍摄时间序列计算得到朝向计的偏航角的偏移速度。
补偿数据计算模块53用于根据偏移速度得到每一第二朝向数据对应的补偿数据。
补偿模块54用于基于补偿数据对所述第二朝向数据序列中每一所述第二朝向数据进行补偿。在一实施例中,计算每一第二朝向数据与补偿数据的乘积,进而得到补偿后的每一所述第二朝向数据。然后可将补偿后的第二朝向数据输入视觉里程计算中,进而使得视觉定位结果更加准确。
进一步的,速度计算模块52,还用于计算所述第一朝向数据序列中每一第一朝向数据与首个第一朝向数据的第一差值;及计算所述第二朝向数据序列中每一第二朝向数据与首个第二朝向数据的第二差值;及计算所述拍摄时间序列中每一拍摄时间与首个拍摄时间的拍摄时间差值;利用拍摄时间对应的所述第一差值、所述第二差值以及所述拍摄时间差值计算得到所述朝向计的偏航角的偏移速度。
进一步的,速度计算模块52,还用于利用每一拍摄时间对应的所述第一差值、所述第二差值以及所述拍摄时间差值计算得到每一拍摄时间对应的所述朝向计的偏航角的偏移速度;根据所有拍摄时间对应的所述朝向计的偏航角的偏移速度,计算得到所述朝向计的偏航角的偏移速度。
进一步的,所述数据获取模块51,还用于获取所述第二朝向数据序列对应的统计时间序列,所述统计时间序列中的统计时间与所述第二朝向数据序列中的第二朝向数据一一对应;
速度计算模块52,还用于对于任一目标拍摄时间,根据所述目标拍摄时间对应的第一朝向数据确定对应的目标第一差值;在所述统计时间序列中确定与所述目标拍摄时间最接近的目标统计时间,并根据所述目标统计时间对应的第二朝向数据确定对应的目标第二差值;根据所述目标第一差值、目标第二差值、所述目标拍摄时间对应的拍摄时间差值计算得到所述目标拍摄时间对应的所述朝向计的偏航角的偏移速度。
进一步的,所述首个第一朝向数据与所述首个第二朝向数据对应同一时刻。
进一步的,所述数据获取模块51,还用于获取所述第二朝向数据序列对应的统计时间序列,所述统计时间序列中的统计时间与所述第二朝向数据序列中的第二朝向数据一一对应;
所述补偿数据计算模块53,还用于计算得到所述统计时间序列中每一统计时间与首个统计时间之间的统计时间差值;根据所述统计时间差值以及所述偏移速度计算得到每一所述第二朝向数据对应的所述补偿数据。
进一步的,所述补偿模块54,还用于计算每一所述第二朝向数据与所述补偿数据的乘积,得到补偿后的每一所述第二朝向数据。
进一步的,所述数据获取模块51,还用于获取图像序列,并获取每一图像的拍摄时间,以得到所述拍摄时间序列;利用神经网络算法对所述每一图像进行处理,以得到所述每一图像对应的第一朝向数据,并根据各第一朝向数据得到所述第一朝向数据序列。
上述偏航角补偿装置各模块的具体功能实现,可参见上述朝向数据补偿方法的各实施例,此处不再赘述。偏航角补偿装置通过计算得到朝向计的偏航角的偏移速度;根据偏移速度得到每一第二朝向数据对应的补偿数据;基于补偿数据对第二朝向数据序列中每一第二朝向数据进行补偿,以此对偏航角进行补偿,从而消除或减小偏航角偏移对追踪精度带来的负面影响。其利用视觉定位的全局信息弥补朝向计的偏航角持续偏移,提升视觉里程计算法的追踪精度。
请参见图6,为本发明电子设备的一实施例的结构示意图。电子设备包括相互连接的存储器202和处理器201。
存储器202用于存储实现上述设备的朝向数据补偿方法的程序指令,具体可参见上述朝向数据补偿方法的各实施例,此处不再赘述。
处理器201用于执行存储器202存储的程序指令。
其中,处理器201还可以称为CPU(Central Processing Unit,中央处理单元)。处理器201可能是一种集成电路芯片,具有信号的处理能力。处理器201还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器202可以为内存条、TF卡等,可以存储设备的电子设备中全部信息,包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在存储器中。它根据控制器指定的位置存入和取出信息。有了存储器,电子设备才有记忆功能,才能保证正常工作。电子设备的存储器按用途存储器可分为主存储器(内存)和辅助存储器(外存),也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等,能长期保存信息。内存指主板上的存储部件,用来存放当前正在执行的数据和程序,但仅用于暂时存放程序和数据,关闭电源或断电,数据会丢失。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,***服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。
请参阅图7,为本发明计算机可读存储介质的结构示意图。本申请的存储介质存储有能够实现上述所有朝向数据补偿方法的程序文件203,其中,该程序文件203可以以软件产品的形式存储在上述存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储装置包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质,或者是计算机、服务器、手机、平板等终端设备。
以上仅为本发明的实施方式,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (11)

1.一种朝向数据补偿方法,其特征在于,包括:
获取预定时间内拍摄的图像序列的第一朝向数据序列以及拍摄时间序列;及获取所述预定时间内朝向计的第二朝向数据序列;
根据所述第一朝向数据序列、所述第二朝向数据序列、所述拍摄时间序列计算得到所述朝向计的偏航角的偏移速度;
根据所述偏移速度得到每一第二朝向数据对应的补偿数据;
基于所述补偿数据对所述第二朝向数据序列中每一所述第二朝向数据进行补偿。
2.根据权利要求1所述的补偿方法,其特征在于,
所述根据所述第一朝向数据序列、所述第二朝向数据序列以及所述拍摄时间序列计算得到所述朝向计的偏航角的偏移速度包括:
计算所述第一朝向数据序列中每一第一朝向数据与首个第一朝向数据的第一差值;及计算所述第二朝向数据序列中每一第二朝向数据与首个第二朝向数据的第二差值;及计算所述拍摄时间序列中每一拍摄时间与首个拍摄时间的拍摄时间差值;
利用拍摄时间对应的所述第一差值、所述第二差值以及所述拍摄时间差值计算得到所述朝向计的偏航角的偏移速度。
3.根据权利要求2所述的补偿方法,其特征在于,
所述利用拍摄时间对应的所述第一差值、所述第二差值以及所述拍摄时间差值计算得到所述朝向计的偏航角的偏移速度包括:
利用每一拍摄时间对应的所述第一差值、所述第二差值以及所述拍摄时间差值计算得到每一拍摄时间对应的所述朝向计的偏航角的偏移速度;
根据所有拍摄时间对应的所述朝向计的偏航角的偏移速度,计算得到所述朝向计的偏航角的偏移速度。
4.根据权利要求3所述的补偿方法,其特征在于,所述方法还包括:
获取所述第二朝向数据序列对应的统计时间序列,所述统计时间序列中的统计时间与所述第二朝向数据序列中的第二朝向数据一一对应;
所述利用每一拍摄时间对应的所述第一差值、所述第二差值以及所述拍摄时间差值计算得到每一拍摄时间对应的所述朝向计的偏航角的偏移速度包括:
对于任一目标拍摄时间,根据所述目标拍摄时间对应的第一朝向数据确定对应的目标第一差值;
在所述统计时间序列中确定与所述目标拍摄时间最接近的目标统计时间,并根据所述目标统计时间对应的第二朝向数据确定对应的目标第二差值;
根据所述目标第一差值、目标第二差值、所述目标拍摄时间对应的拍摄时间差值计算得到所述目标拍摄时间对应的所述朝向计的偏航角的偏移速度。
5.根据权利要求2所述的补偿方法,其特征在于,所述首个第一朝向数据与所述首个第二朝向数据对应同一时刻。
6.根据权利要求1所述的补偿方法,其特征在于,所述方法该包括:
获取所述第二朝向数据序列对应的统计时间序列,所述统计时间序列中的统计时间与所述第二朝向数据序列中的第二朝向数据一一对应;
所述根据所述偏移速度得到每一第二朝向数据对应的补偿数据包括:
计算得到所述统计时间序列中每一统计时间与首个统计时间之间的统计时间差值;
根据所述统计时间差值以及所述偏移速度计算得到每一所述第二朝向数据对应的所述补偿数据。
7.根据权利要求6所述的补偿方法,其特征在于,
所述基于所述补偿数据对所述第二朝向数据序列中每一第二朝向数据进行补偿包括:
计算每一所述第二朝向数据与所述补偿数据的乘积,得到补偿后的每一所述第二朝向数据。
8.根据权利要求1所述的补偿方法,其特征在于,
所述获取预定时间内拍摄的图像序列的第一朝向数据序列以及拍摄时间序列包括:
获取图像序列,并获取每一图像的拍摄时间,以得到所述拍摄时间序列;
利用神经网络算法对所述每一图像进行处理,以得到所述每一图像对应的第一朝向数据,并根据各第一朝向数据得到所述第一朝向数据序列。
9.一种偏航角补偿装置,其特征在于,包括:
数据获取模块,用于获取预定时间内拍摄的图像序列的第一朝向数据序列以及拍摄时间序列;及获取所述预定时间内朝向计的第二朝向数据序列;
速度计算模块,用于根据所述第一朝向数据序列、所述第二朝向数据序列、所述拍摄时间序列计算得到所述朝向计的偏航角的偏移速度;
补偿数据计算模块,用于根据所述偏移速度得到每一第二朝向数据对应的补偿数据;
补偿模块,用于基于所述补偿数据对所述第二朝向数据序列中每一所述第二朝向数据进行补偿。
10.一种电子设备,其特征在于,包括存储器及处理器,其中,所述存储器存储有程序指令,所述处理器从所述存储器调取所述程序指令以执行如权利要求1-8任一项所述的朝向数据补偿方法。
11.一种计算机可读存储介质,其特征在于,存储有程序文件,所述程序文件能够被执行以实现如权利要求1-8任一项所述的朝向数据补偿方法。
CN202110321774.4A 2021-03-25 2021-03-25 朝向数据补偿方法、装置、电子设备、可读存储介质 Active CN113055598B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110321774.4A CN113055598B (zh) 2021-03-25 2021-03-25 朝向数据补偿方法、装置、电子设备、可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110321774.4A CN113055598B (zh) 2021-03-25 2021-03-25 朝向数据补偿方法、装置、电子设备、可读存储介质

Publications (2)

Publication Number Publication Date
CN113055598A true CN113055598A (zh) 2021-06-29
CN113055598B CN113055598B (zh) 2022-08-05

Family

ID=76515692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110321774.4A Active CN113055598B (zh) 2021-03-25 2021-03-25 朝向数据补偿方法、装置、电子设备、可读存储介质

Country Status (1)

Country Link
CN (1) CN113055598B (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1334915A (zh) * 1998-12-17 2002-02-06 株式会社东金 朝向角检测器
US20040174453A1 (en) * 2003-03-05 2004-09-09 Fuji Jukogyo Kabushiki Kaisha Image compensation apparatus
CN101460810A (zh) * 2006-04-28 2009-06-17 诺基亚公司 校准
US20110175806A1 (en) * 2010-01-06 2011-07-21 Cywee Group Ltd. Electronic device for use in motion detection and method for obtaining resultant deviation thereof
US20150298822A1 (en) * 2014-04-16 2015-10-22 Parrot Rotary-wing drone provided with a video camera delivering stabilized sequences of images
JP2017106891A (ja) * 2015-11-30 2017-06-15 株式会社リコー 慣性装置、プログラム、測位方法
US20170193830A1 (en) * 2016-01-05 2017-07-06 California Institute Of Technology Controlling unmanned aerial vehicles to avoid obstacle collision
CN107167131A (zh) * 2017-05-23 2017-09-15 北京理工大学 一种微惯性测量信息的深度融合与实时补偿的方法及***
CN107945220A (zh) * 2017-11-30 2018-04-20 华中科技大学 一种基于双目视觉的重建方法
CN108561274A (zh) * 2017-12-29 2018-09-21 华润电力风能(汕头潮南)有限公司 风机偏航校正方法及装置、计算机装置及可读存储介质
CN108737734A (zh) * 2018-06-15 2018-11-02 Oppo广东移动通信有限公司 图像补偿方法和装置、计算机可读存储介质和电子设备
JP2018190024A (ja) * 2017-04-28 2018-11-29 公立大学法人大阪市立大学 飛行体制御システム、及び飛行体
CN110377058A (zh) * 2019-08-30 2019-10-25 深圳市道通智能航空技术有限公司 一种飞行器的偏航角修正方法、装置及飞行器
US20190365479A1 (en) * 2018-05-30 2019-12-05 Auris Health, Inc. Systems and methods for location sensor-based branch prediction
CN110595464A (zh) * 2019-08-19 2019-12-20 北京数研科技发展有限公司 一种imu与视觉传感器融合定位方法和装置
CN110775288A (zh) * 2019-11-26 2020-02-11 哈尔滨工业大学(深圳) 一种基于仿生的飞行机械颈眼***及控制方法
CN111207736A (zh) * 2016-07-26 2020-05-29 广州亿航智能技术有限公司 无人机偏航角度的校准方法、***、设备和可读存储介质
JP2021028188A (ja) * 2019-08-09 2021-02-25 富士通株式会社 ドローン撮影装置及び方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1334915A (zh) * 1998-12-17 2002-02-06 株式会社东金 朝向角检测器
US20040174453A1 (en) * 2003-03-05 2004-09-09 Fuji Jukogyo Kabushiki Kaisha Image compensation apparatus
CN101460810A (zh) * 2006-04-28 2009-06-17 诺基亚公司 校准
US20110175806A1 (en) * 2010-01-06 2011-07-21 Cywee Group Ltd. Electronic device for use in motion detection and method for obtaining resultant deviation thereof
US20150298822A1 (en) * 2014-04-16 2015-10-22 Parrot Rotary-wing drone provided with a video camera delivering stabilized sequences of images
JP2017106891A (ja) * 2015-11-30 2017-06-15 株式会社リコー 慣性装置、プログラム、測位方法
US20170193830A1 (en) * 2016-01-05 2017-07-06 California Institute Of Technology Controlling unmanned aerial vehicles to avoid obstacle collision
CN111207736A (zh) * 2016-07-26 2020-05-29 广州亿航智能技术有限公司 无人机偏航角度的校准方法、***、设备和可读存储介质
JP2018190024A (ja) * 2017-04-28 2018-11-29 公立大学法人大阪市立大学 飛行体制御システム、及び飛行体
CN107167131A (zh) * 2017-05-23 2017-09-15 北京理工大学 一种微惯性测量信息的深度融合与实时补偿的方法及***
CN107945220A (zh) * 2017-11-30 2018-04-20 华中科技大学 一种基于双目视觉的重建方法
CN108561274A (zh) * 2017-12-29 2018-09-21 华润电力风能(汕头潮南)有限公司 风机偏航校正方法及装置、计算机装置及可读存储介质
US20190365479A1 (en) * 2018-05-30 2019-12-05 Auris Health, Inc. Systems and methods for location sensor-based branch prediction
CN108737734A (zh) * 2018-06-15 2018-11-02 Oppo广东移动通信有限公司 图像补偿方法和装置、计算机可读存储介质和电子设备
JP2021028188A (ja) * 2019-08-09 2021-02-25 富士通株式会社 ドローン撮影装置及び方法
CN110595464A (zh) * 2019-08-19 2019-12-20 北京数研科技发展有限公司 一种imu与视觉传感器融合定位方法和装置
CN110377058A (zh) * 2019-08-30 2019-10-25 深圳市道通智能航空技术有限公司 一种飞行器的偏航角修正方法、装置及飞行器
CN110775288A (zh) * 2019-11-26 2020-02-11 哈尔滨工业大学(深圳) 一种基于仿生的飞行机械颈眼***及控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
章孝等: "无人飞行器姿态稳定性优化控制仿真研究", 《计算机仿真》 *

Also Published As

Publication number Publication date
CN113055598B (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN111121768B (zh) 一种机器人位姿估计方法、装置、可读存储介质及机器人
EP1489381B1 (en) Method and apparatus for compensating for acceleration errors and inertial navigation system employing the same
CN113029128B (zh) 视觉导航方法及相关装置、移动终端、存储介质
CN113034594A (zh) 位姿优化方法、装置、电子设备及存储介质
CN111220155A (zh) 基于双目视觉惯性里程计估计位姿的方法、装置与处理器
CN111721305B (zh) 定位方法和装置、自动驾驶车辆、电子设备和存储介质
CN108668220B (zh) 电子设备、位置确定***、位置确定方法和存储介质
CN112762944A (zh) 零速区间检测及零速更新方法
CN114593735B (zh) 一种位姿预测方法及装置
CN114119744B (zh) 一种构建点云地图的方法、装置、设备及存储介质
CN111998870B (zh) 一种相机惯导***的标定方法和装置
CN113055598B (zh) 朝向数据补偿方法、装置、电子设备、可读存储介质
CN108668219B (zh) 电子设备、位置确定***、位置确定方法和存储介质
CN114964270B (zh) 融合定位方法、装置、车辆及存储介质
CN112461258A (zh) 一种参数修正的方法及装置
US20150142310A1 (en) Self-position measuring terminal
CN115906641A (zh) 一种基于深度学习的imu陀螺仪随机误差补偿方法及装置
CN114322996B (zh) 一种多传感器融合定位***的位姿优化方法和装置
CN115727871A (zh) 一种轨迹质量检测方法、装置、电子设备和存储介质
CN115311624A (zh) 一种边坡位移监测方法、装置、电子设备及存储介质
CN115560744A (zh) 机器人以及基于多传感器的三维建图方法、存储介质
CN111829552A (zh) 一种视觉惯性***的误差修正方法和装置
WO2022179047A1 (zh) 一种状态信息估计方法及装置
CN114964229A (zh) 航位推算方法、装置及电子设备
CN118037841A (zh) 网球三维定位方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant