CN111457913B - 交通工具导航数据融合方法、装置和*** - Google Patents

交通工具导航数据融合方法、装置和*** Download PDF

Info

Publication number
CN111457913B
CN111457913B CN201910058136.0A CN201910058136A CN111457913B CN 111457913 B CN111457913 B CN 111457913B CN 201910058136 A CN201910058136 A CN 201910058136A CN 111457913 B CN111457913 B CN 111457913B
Authority
CN
China
Prior art keywords
data
vehicle
navigation
optical flow
angular velocity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910058136.0A
Other languages
English (en)
Other versions
CN111457913A (zh
Inventor
霍盈盈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingbangda Trade Co Ltd
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Qianshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Qianshi Technology Co Ltd filed Critical Beijing Jingdong Qianshi Technology Co Ltd
Priority to CN201910058136.0A priority Critical patent/CN111457913B/zh
Publication of CN111457913A publication Critical patent/CN111457913A/zh
Application granted granted Critical
Publication of CN111457913B publication Critical patent/CN111457913B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/49—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Navigation (AREA)

Abstract

本公开公开了一种交通工具导航数据融合方法、装置和***，涉及数据处理领域。该方法包括：获取惯性传感器采集的交通工具的导航状态数据；基于导航状态数据中的惯性速度数据建立观测方程；基于观测方程对导航状态数据求偏导获取观测雅可比矩阵；基于视觉传感器采集的图像信息获取交通工具的光流速度数据；基于光流速度数据确定光流角速度数据；基于观测雅可比矩阵，利用光流角速度数据对导航状态数据进行融合，确定交通工具的融合导航数据。本公开将视觉传感器的数据与惯性传感器的数据进行融合，能够提高导航***的稳定性。

Description

交通工具导航数据融合方法、装置和***
技术领域
本公开涉及数据处理领域，尤其涉及一种交通工具导航数据融合方法、装置和***。
背景技术
目前应用于无人机上的导航模式大多为GPS(Global Positioning System，全球定位***)和IMU(Inertial measurement unit，惯性测量单元)组合。GPS能够提供精确的位置、速度信息，间隔修正IMU积分的数值，以达到组合导航的目的。由于IMU的特性，预测得到的速度、位置会随着时间的增长积累误差，GPS误差不会随时间积累，但是容易受到干扰，二者有机的结合起来，能够发挥各自的优势，在GPS短时间内受干扰情况下，纯惯性导航可以进行位置、速度解算，而在GPS状态好的情况下，间隔性修正IMU的累积误差。
但相关技术对GPS状态好坏有严格的依赖，一旦GPS受到干扰，较短时间下导航***还可正常工作，但是在GPS坏掉或长期没有GPS情况下，不能有效保证导航***正常工作，一旦GPS在无人机飞行过程中坏掉，可能会导致炸机情况的发生，带来巨大的人力、财产的损失。
发明内容
本公开要解决的一个技术问题是提供一种交通工具导航数据融合方法、装置和***，能够提高导航***的稳定性。
根据本公开一方面，提出一种交通工具导航数据融合方法，包括：获取惯性传感器采集的交通工具的导航状态数据；基于导航状态数据中的惯性速度数据建立观测方程；基于观测方程对导航状态数据求偏导获取观测雅可比矩阵；基于视觉传感器采集的图像信息获取交通工具的光流速度数据；基于光流速度数据确定光流角速度数据；基于观测雅可比矩阵，利用光流角速度数据对导航状态数据进行融合，确定交通工具的融合导航数据。
在一个实施例中，基于导航状态数据中的惯性速度数据建立观测方程包括：基于载体系到传感器系的姿态矩阵和载体系到惯性系的姿态矩阵的转置矩阵，以及导航状态数据中的惯性速度数据得到交通工具在载体系的相对速度数据，其中，导航状态数据为惯性导航状态数据；确定视觉传感器与地面的距离信息；基于交通工具在载体系的相对速度数据与距离信息的比值，确定观测方程，其中，观测方程包括交通工具在载体系的第一坐标轴角速度数据和第二坐标轴角速度数据。
在一个实施例中，基于观测方程对导航状态数据求偏导获取观测雅可比矩阵包括：基于第一坐标轴角速度数据对导航状态数据中的状态量求偏导获得第一坐标轴观测雅可比矩阵；基于第二坐标轴角速度数据对导航状态数据中的状态量求偏导获得第二坐标轴观测雅可比矩阵。
在一个实施例中，根据视觉传感器采集图像信息的时间、交通工具的倾斜角以及视觉传感器与地面的距离信息确定根据光流角速度数据是否可用；若光流角速度数据可用，则利用光流角速度数据对导航状态数据进行融合。
在一个实施例中，若惯性传感器采集状态导航数据的时间与视觉传感器采集图像信息的时间之差小于时间阈值，交通工具的倾斜角小于倾斜角阈值，并且视觉传感器与地面的距离信息大于距离阈值，则确定光流角速度数据可用。
在一个实施例中，基于观测雅可比矩阵，利用光流角速度数据对导航状态数据进行融合，确定交通工具的融合导航数据包括：基于观测雅可比矩阵和观测方程构建非线性滤波模型；将光流角速度数据和导航状态数据输入至非线性滤波模型，得到交通工具的融合导航数据。
在一个实施例中，非线性滤波模型为卡尔曼滤波模型。
根据本公开的另一方面，还提出一种交通工具导航数据融合装置，包括：导航数据获取单元，被配置为获取惯性传感器采集的交通工具的导航状态数据；观测方程建立单元，被配置为基于导航状态数据中的惯性速度数据建立观测方程；观测矩阵获取单元，被配置为基于观测方程对导航状态数据求偏导获取观测雅可比矩阵；光流速度获取单元，被配置为基于视觉传感器采集的图像信息获取交通工具的光流速度数据；光流角速度确定单元，被配置为基于光流速度数据确定光流角速度数据；导航数据融合单元，被配置为基于观测雅可比矩阵，利用光流角速度数据对导航状态数据进行融合，确定交通工具的融合导航数据。
在一个实施例中，光流角速度可用确定单元，被配置为根据视觉传感器采集图像信息的时间、交通工具的倾斜角以及视觉传感器与地面的距离信息确定根据光流角速度数据是否可用；导航数据融合单元被配置为若光流角速度数据可用，则利用光流角速度数据对导航状态数据进行融合。
根据本公开的另一方面，还提出一种交通工具导航数据融合装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行如上述的交通工具导航数据融合方法。
根据本公开的另一方面，还提出一种交通工具导航数据融合***，包括：惯性传感器，被配置为采集交通工具的导航状态数据；视觉传感器，被配置为采集图像信息，其中，根据图像信息获取交通工具的光流速度数据；以及上述交通工具导航数据融合装置。
根据本公开的另一方面，还提出一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述的交通工具导航数据融合方法的步骤。
与相关技术相比，本公开实施例基于惯性传感器采集的导航状态数据中的惯性速度数据建立观测方程，基于观测方程对导航状态数据求偏导获取观测雅可比矩阵，然后基于观测雅可比矩阵，利用视觉传感器得到的光流角速度数据对导航状态数据进行融合，确定交通工具的融合导航数据，由于将视觉传感器的数据与惯性传感器的数据进行融合，因此能够提高导航***的稳定性。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1为本公开交通工具导航数据融合方法的一个实施例的流程示意图。
图2为本公开交通工具导航数据融合方法的另一个实施例的流程示意图。
图3为本公开交通工具导航数据融合装置的一个实施例的结构示意图。
图4为本公开交通工具导航数据融合装置的另一个实施例的结构示意图。
图5为本公开交通工具导航数据融合装置的再一个实施例的结构示意图。
图6为本公开交通工具导航数据融合装置的又一个实施例的结构示意图。
图7为本公开交通工具导航数据融合***的一个实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
图1为本公开交通工具导航数据融合方法的一个实施例的流程示意图。
在步骤110，获取惯性传感器采集的交通工具的导航状态数据。交通工具例如为无人机、无人车等无人设备，导航状态数据可以包括多维状态量。
在步骤120，基于导航状态数据中的惯性速度数据建立观测方程。惯性速度数据例如包括北向速度vn，东向速度ve和地向速度vd，观测方程包括交通工具在载体系的第一坐标轴角速度数据和第二坐标轴角速度数据，第一坐标轴角速度数据例如为X轴角速度数据flowrateX和第二坐标轴角速度数据例如为Y轴角速度数据flowrateY。
在步骤130，基于观测方程对导航状态数据求偏导获取观测雅可比矩阵。例如，基于X轴角速度数据flowrateX对导航状态数据中的状态量求偏导获得X轴观测雅可比矩阵H_flowX；以及基于Y轴角速度数据flowrateY对导航状态数据中的状态量求偏导获得Y轴观测雅可比矩阵H_flowY，H_flowX和H_flowY构成观测雅可比矩阵H。
在步骤140，基于视觉传感器采集的图像信息获取交通工具的光流速度数据。视觉传感器例如为光流传感器，利用光流传感器获得的图像信息可以转换为载体系的速度，其中，将图像信息转换为载体系的速度的方法有LK光流法、块匹配法、Horm-Schunck法等。
步骤110和步骤140可以同时执行也可以不分先后执行。
在步骤150，基于光流速度数据确定光流角速度数据。
在步骤160，基于观测雅可比矩阵，利用光流角速度数据对导航状态数据进行融合，确定交通工具的融合导航数据。例如，基于观测雅可比矩阵和观测方程构建非线性滤波模型，将光流角速度数据和导航状态数据输入至非线性滤波模型，得到交通工具的融合导航数据。
在该实施例中，基于惯性传感器采集的导航状态数据中的惯性速度数据建立观测方程，基于观测方程对导航状态数据求偏导获取观测雅可比矩阵，然后基于观测雅可比矩阵，利用视觉传感器得到的光流角速度数据对导航状态数据进行融合，确定交通工具的融合导航数据，因此，即使在没有GPS的情况下，将视觉传感器的数据与惯性传感器的数据进行融合，能够提高导航***的稳定性。
图2为本公开交通工具导航数据融合方法的另一个实施例的流程示意图。
在步骤210，获取惯性传感器采集的无人机惯性导航状态数据。惯性状态导航数据中的状态量如表1所示，其中，表1中示出22维状态量。本领域的技术人员应当理解，可以根据实际情况设置更多维度或更少维度的状态量。
表1
在步骤220，基于载体系到传感器系的姿态矩阵和载体系到惯性系的姿态矩阵的转置矩阵，以及惯性导航状态数据中的惯性速度数据得到无人机在载体系的相对速度数据。
例如，利用公式确定无人机在载体系的相对速度数据relvel。其中，/>为载体系到传感器系的姿态矩阵，/>为载体系到惯性系的姿态矩阵。载体系是指无人机的坐标系，传感器系指光流传感器的坐标系。
在步骤230，确定光流传感器与地面的距离信息。
在步骤240，基于无人机在载体系的相对速度数据与距离信息的比值，确定观测方程。其中，观测方程包括无人机在载体系的X轴角速度数据flowrateX和无人机在载体系的Y轴角速度数据flowrateY。
例如，光流传感器与地面的距离为range，X轴角速度数据flowrateX＝relvel(2)/range，Y轴角速度数据flowrateY＝-relvel(1)/range，relvel(2)为无人机在载体系的X轴的相对速度，relvel(1)为无人机在载体系的Y轴的相对速度。由flowrateX和flowrateY构成观测方程。
在步骤250，基于X轴角速度数据对导航状态数据中的状态量求偏导获得X轴观测雅可比矩阵H_flowX；基于Y轴角速度数据对导航状态数据中的状态量求偏导获得Y轴观测雅可比矩阵H_flowY。
例如，利用flowrateX对表1中的所有状态量求偏导，得到X轴观测雅可比矩阵H_flowX为：
H_flowx(8)＝H_flowx(9)＝...＝H_flowx(24)＝0
例如，利用flowrateY对表1中的所有状态量求偏导，得到Y轴观测雅可比矩阵H_flowY为：
H_flowy(8)＝H_flowy(9)＝...＝H_flowy(24)＝0
在步骤260，基于光流传感器采集的图像信息获取无人机在载体系的光流速度数据。
在步骤270，基于光流速度数据确定光流角速度数据Z(k)。
在一个实施例中，需要先判断光流传感器采集的数据是否可用。例如，根据光流传感器采集图像信息的时间、无人机的倾斜角以及光流传感器与地面的距离信息确定根据光流角速度数据是否可用。
若光流传感器采集数据的时间为time_flow，惯性传感器采集数据的时间为time_imu，以惯性传感器采集数据的时间为主，检测时间间隔，判断惯性传感器采集数据的时间与光流传感器采集数据的时间之差是否小于时间阈值，例如，time_imu-time_flow是否小于1s。
根据状态导航数据中的四元数状态量可以得到无人机的姿态矩阵，根据姿态矩阵的第三行第三列可以得到无人机的俯仰角cosθ和横滚角cosγ，根据俯仰角和横滚角得到无人机的倾斜角。当cosθcosγ>δ，则说明倾斜角合格，其中，δ可以根据实际情况进行设定，例如，若δ设置为0.71，则说明倾斜角小于40.7°。
计算光流传感器到地面的高度差high_flow-position_z，若high_flow-position_z小于0.5米，则说明无人机可能还没有起飞，光流传感器还不能聚焦，此时，可以设置光流传感器的输出值为0，用于约束误差。
当惯性传感器采集数据的时间与光流传感器采集数据的时间之差小于时间阈值，无人机的倾斜角小于倾斜角阈值，光流传感器到地面的距离大于距离阈值，则确定光流角速度数据可用。
在步骤280，基于观测雅可比矩阵和观测方程构建非线性滤波模型。其中，非线性滤波模型例如为卡尔曼滤波模型。
在步骤290，将光流角速度数据和导航状态数据输入至非线性滤波模型，得到无人机的融合导航数据。
在一个实施例中，可以先设定光流传感器的测量噪声为R，例如R为0.05弧度/s，则可以基于测量噪声、观测雅可比矩阵和预测误差方差阵确定增益调节参数K(k)，例如，可以利用公式K(k)＝P-(k)HT(HP-(k)HT+R)-1确定增益调节参数K(k)，其中，P-(k)为预测误差方差阵。
在一个实施例中，可以判断P-(k)是否可用，例如，利用公式确定革新方差/>若/>大于测量噪声R，则说明P-(k)可用。
在具体数据融合时，可以利用以下公式：
其中，利用光流传感器的实际输出值Z(k)对导航状态数据进行状态修正。是上一次的导航状态数据的状态值，/>为最终修正后的导航状态数据的状态值。在完成本次修正的同时，对本次的协方差矩阵依据公式进行更新，其中，/>为滤波误差方差阵。更新之后，再次进行预测，然后再用观测雅可比矩阵进行修正，这样循环处理，达到数据融合目的。
在该实施例中，可以在传统IMU/GPS融合的前提下，将光流传感器采集的数据与惯性传感器采集的数据进行融合，增强了导航***的稳定性和适应性，减少因GPS数据丢失导致的人力、财产损失。
图3为本公开交通工具导航数据融合装置的一个实施例的结构示意图。该装置包括导航数据获取单元310、观测方程建立单元320、观测矩阵获取单元330、光流速度获取单元340、光流角速度确定单元350和导航数据融合单元360。
导航数据获取单元310被配置为获取惯性传感器采集的交通工具的导航状态数据。交通工具例如为无人机、无人车等，导航状态数据可以包括多维状态量。
观测方程建立单元320被配置为基于导航状态数据中的惯性速度数据建立观测方程。惯性速度数据例如包括北向速度vn，东向速度ve和地向速度vd，观测方程包括交通工具在载体系的X轴角速度数据flowrateX和在载体系的Y轴角速度数据flowrateY。
观测矩阵获取单元330被配置为基于观测方程对导航状态数据求偏导获取观测雅可比矩阵。例如，基于X轴角速度数据flowrateX对导航状态数据中的状态量求偏导获得X轴观测雅可比矩阵H_flowX；以及基于Y轴角速度数据flowrateY对导航状态数据中的状态量求偏导获得Y轴观测雅可比矩阵H_flowY，H_flowX和H_flowY构成观测雅可比矩阵H。
光流速度获取单元340被配置为基于视觉传感器采集的图像信息获取交通工具的光流速度数据。视觉传感器例如为光流传感器，利用光流传感器获得的图像信息可以转换为载体系的速度，其中，将图像信息转换为载体系的速度的方法有LK光流法、块匹配法、Horm-Schunck法等。
光流角速度确定单元350被配置为基于光流速度数据确定光流角速度数据。
导航数据融合单元360被配置为基于观测雅可比矩阵，利用光流角速度数据对导航状态数据进行融合，确定交通工具的融合导航数据。
例如，基于观测雅可比矩阵和观测方程构建非线性滤波模型，将光流角速度数据和导航状态数据输入至非线性滤波模型，得到交通工具的融合导航数据。
在该实施例中，基于惯性传感器采集的导航状态数据中的惯性速度数据建立观测方程，基于观测方程对导航状态数据求偏导获取观测雅可比矩阵，然后基于观测雅可比矩阵，利用视觉传感器得到的光流角速度数据对导航状态数据进行融合，确定交通工具的融合导航数据，因此，即使在没有GPS的情况下，将视觉传感器的数据与惯性传感器的数据进行融合，能够提高导航***的稳定性。
图4为本公开无人机导航数据融合装置的另一个实施例的结构示意图。该装置包括导航数据获取单元410、观测方程建立单元420、观测矩阵获取单元430、光流速度获取单元440、光流角速度确定单元450、光流角速度可用确定单元460和导航数据融合单元470。
导航数据获取单元410被配置为获取惯性传感器采集的无人机的惯性导航状态数据。惯性状态导航数据中的状态量如表1所示，其中，表1中示出22维状态量。
观测方程建立单元420被配置为基于载体系到传感器系的姿态矩阵和载体系到惯性系的姿态矩阵的转置矩阵，以及导航状态数据中的惯性速度数据得到无人机在载体系的相对速度数据；确定光流传感器与地面的距离信息；基于无人机在载体系的相对速度数据与距离信息的比值，确定观测方程。其中，观测方程包括无人机在载体系的X轴角速度数据和无人机在载体系的Y轴角速度数据。
观测矩阵获取单元430被配置为基于观测方程对导航状态数据求偏导获取观测雅可比矩阵。例如，基于X轴角速度数据对导航状态数据中的状态量求偏导获得X轴观测雅可比矩阵H_flowX；基于Y轴角速度数据对导航状态数据中的状态量求偏导获得Y轴观测雅可比矩阵H_flowY。
光流速度获取单元440被配置为基于光流传感器采集的图像信息获取无人机的光流速度数据。
光流角速度确定单元450被配置为基于光流速度数据确定光流角速度数据。
光流角速度可用确定单元460被配置为根据光流传感器采集图像信息的时间、无人机的倾斜角以及光流传感器与地面的距离信息确定根据光流角速度数据是否可用。例如，若惯性传感器采集状态导航数据的时间与光流传感器采集图像信息的时间之差小于时间阈值，无人机的倾斜角小于倾斜角阈值，并且光流传感器与地面的距离信息大于距离阈值，则确定光流角速度数据可用。
导航数据融合单元470被配置为若光流角速度数据可用，则基于观测雅可比矩阵和观测方程构建非线性滤波模型，将光流角速度数据和导航状态数据输入至非线性滤波模型，得到无人机的融合导航数据。其中，非线性滤波模型例如为卡尔曼滤波模型。
在该实施例中，可以在传统IMU/GPS融合的前提下，将光流传感器采集的数据与惯性传感器采集的数据进行融合，增强了导航***的稳定性和适应性，减少因GPS数据丢失导致的人力、财产损失。
图5为本公开交通工具导航数据融合装置的再一个实施例的结构示意图。该装置包括：存储器510和处理器520，其中，存储器510可以是磁盘、闪存或其它任何非易失性存储介质。存储器510被配置为存储图1、2所对应实施例中的指令。处理器520耦接至存储器510，可以作为一个或多个集成电路来实施，例如微处理器或微控制器。该处理器520被配置为执行存储器中存储的指令。
在一个实施例中，还可以如图6所示，该装置600包括存储器610和处理器620。处理器620通过BUS总线630耦合至存储器610。该装置600还可以通过存储接口640连接至外部存储装置650以便调用外部数据，还可以通过网络接口660连接至网络或者另外一台计算机***(未标出)，此处不再进行详细介绍。
在该实施例中，通过存储器存储数据指令，再通过处理器处理上述指令，将视觉传感器的数据与惯性传感器的数据进行融合，能够提高导航***的稳定性。
图7为本公开交通工具导航数据融合***的一个实施例的结构示意图。该***包括惯性传感器710、视觉传感器720和交通工具导航数据融合装置730，其中，交通工具导航数据融合装置730已在上述实施例中进行了详细介绍，此处不再进一步阐述。
惯性传感器710和视觉传感器720设置在交通工具上，该交通工具例如为无人机、无人车等，视觉传感器720例如为光流传感器。
惯性传感器710被配置为采集交通工具的导航状态数据。
视觉传感器720被配置为采集图像信息，其中，根据图像信息获取交通工具的光流速度数据。
惯性传感器710采集的数据和视觉传感器720采集的数据可以通过交通工具导航数据融合装置730进行数据融合，从而提高交通工具的导航***的稳定性。
在另一个实施例中，一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现图1、2所对应实施例中的方法的步骤。本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(***)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims (8)

1.一种交通工具导航数据融合方法，包括：
获取惯性传感器采集的交通工具的导航状态数据；
基于所述导航状态数据中的惯性速度数据建立观测方程，包括：
基于载体系到传感器系的姿态矩阵和载体系到惯性系的姿态矩阵的转置矩阵，以及所述导航状态数据中的惯性速度数据得到所述交通工具在载体系的相对速度数据，其中，所述导航状态数据为惯性导航状态数据；
确定视觉传感器与地面的距离信息；
基于所述交通工具在载体系的相对速度数据与所述距离信息的比值，确定所述观测方程，其中，所述观测方程包括所述交通工具在载体系的第一坐标轴角速度数据和第二坐标轴角速度数据；
基于所述观测方程对所述导航状态数据求偏导获取观测雅可比矩阵；
基于视觉传感器采集的图像信息获取所述交通工具的光流速度数据；
基于所述光流速度数据确定光流角速度数据；
若所述惯性传感器采集状态导航数据的时间与所述视觉传感器采集图像信息的时间之差小于时间阈值，所述交通工具的倾斜角小于倾斜角阈值，并且所述视觉传感器与地面的距离信息大于距离阈值，则确定所述光流角速度数据可用；
若所述光流角速度数据可用，则基于所述观测雅可比矩阵，利用所述光流角速度数据对所述导航状态数据进行融合，确定所述交通工具的融合导航数据。
2.根据权利要求1所述的交通工具导航数据融合方法，其中，基于所述观测方程对所述导航状态数据求偏导获取观测雅可比矩阵包括：
基于所述第一坐标轴角速度数据对所述导航状态数据中的状态量求偏导获得第一坐标轴观测雅可比矩阵；
基于所述第二坐标轴角速度数据对所述导航状态数据中的状态量求偏导获得第二坐标轴观测雅可比矩阵。
3.根据权利要求1或2所述的交通工具导航数据融合方法，其中，基于所述观测雅可比矩阵，利用所述光流角速度数据对所述导航状态数据进行融合，确定所述交通工具的融合导航数据包括：
基于所述观测雅可比矩阵和所述观测方程构建非线性滤波模型；
将所述光流角速度数据和所述导航状态数据输入至所述非线性滤波模型，得到所述交通工具的融合导航数据。
4.根据权利要求3所述的交通工具导航数据融合方法，其中，
所述非线性滤波模型为卡尔曼滤波模型。
5.一种交通工具导航数据融合装置，包括：
导航数据获取单元，被配置为获取惯性传感器采集的交通工具的导航状态数据；
观测方程建立单元，被配置为基于所述导航状态数据中的惯性速度数据建立观测方程，基于载体系到传感器系的姿态矩阵和载体系到惯性系的姿态矩阵的转置矩阵，以及所述导航状态数据中的惯性速度数据得到所述交通工具在载体系的相对速度数据，其中，所述导航状态数据为惯性导航状态数据，确定视觉传感器与地面的距离信息，基于所述交通工具在载体系的相对速度数据与所述距离信息的比值，确定所述观测方程，其中，所述观测方程包括所述交通工具在载体系的第一坐标轴角速度数据和第二坐标轴角速度数据；
观测矩阵获取单元，被配置为基于所述观测方程对所述导航状态数据求偏导获取观测雅可比矩阵；
光流速度获取单元，被配置为基于视觉传感器采集的图像信息获取所述交通工具的光流速度数据；
光流角速度确定单元，被配置为基于所述光流速度数据确定光流角速度数据；
光流角速度可用确定单元，被配置为若所述惯性传感器采集状态导航数据的时间与所述视觉传感器采集图像信息的时间之差小于时间阈值，所述交通工具的倾斜角小于倾斜角阈值，并且所述视觉传感器与地面的距离信息大于距离阈值，则确定所述光流角速度数据可用；
导航数据融合单元，被配置为若所述光流角速度数据可用，则基于所述观测雅可比矩阵，利用所述光流角速度数据对所述导航状态数据进行融合，确定所述交通工具的融合导航数据。
6.一种交通工具导航数据融合装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至4任一项所述的交通工具导航数据融合方法。
7.一种交通工具导航数据融合***，包括：
惯性传感器，被配置为采集交通工具的导航状态数据；
视觉传感器，被配置为采集图像信息，其中，根据图像信息获取所述交通工具的光流速度数据；以及
权利要求5或6所述交通工具导航数据融合装置。
8.一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现权利要求1至4任一项所述的交通工具导航数据融合方法的步骤。
CN201910058136.0A 2019-01-22 2019-01-22 交通工具导航数据融合方法、装置和*** Active CN111457913B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910058136.0A CN111457913B (zh) 2019-01-22 2019-01-22 交通工具导航数据融合方法、装置和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910058136.0A CN111457913B (zh) 2019-01-22 2019-01-22 交通工具导航数据融合方法、装置和***

Publications (2)

Publication Number Publication Date
CN111457913A CN111457913A (zh) 2020-07-28
CN111457913B true CN111457913B (zh) 2024-05-17

Family

ID=71676349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910058136.0A Active CN111457913B (zh) 2019-01-22 2019-01-22 交通工具导航数据融合方法、装置和***

Country Status (1)

Country Link
CN (1) CN111457913B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112284380A (zh) * 2020-09-23 2021-01-29 深圳市富临通实业股份有限公司 一种基于光流和imu融合的非线性估计方法及***
CN112985388B (zh) * 2021-02-08 2022-08-19 福州大学 基于大位移光流法的组合导航方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107014371A (zh) * 2017-04-14 2017-08-04 东南大学 基于扩展自适应区间卡尔曼的无人机组合导航方法与装置
CN108375370A (zh) * 2018-07-02 2018-08-07 江苏中科院智能科学技术应用研究院 一种面向智能巡防无人机的复合导航***
CN108919283A (zh) * 2018-04-28 2018-11-30 北京空间飞行器总体设计部 一种星上自主的非合作目标相对导航方法和***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8589072B2 (en) * 2011-04-13 2013-11-19 Honeywell International, Inc. Optimal combination of satellite navigation system data and inertial data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107014371A (zh) * 2017-04-14 2017-08-04 东南大学 基于扩展自适应区间卡尔曼的无人机组合导航方法与装置
CN108919283A (zh) * 2018-04-28 2018-11-30 北京空间飞行器总体设计部 一种星上自主的非合作目标相对导航方法和***
CN108375370A (zh) * 2018-07-02 2018-08-07 江苏中科院智能科学技术应用研究院 一种面向智能巡防无人机的复合导航***

Also Published As

Publication number Publication date
CN111457913A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
US20230360260A1 (en) Method and device to determine the camera position and angle
CN109116397B (zh) 一种车载多相机视觉定位方法、装置、设备及存储介质
CN110084832B (zh) 相机位姿的纠正方法、装置、***、设备和存储介质
CN111415387B (zh) 相机位姿确定方法、装置、电子设备及存储介质
CN109544630B (zh) 位姿信息确定方法和装置、视觉点云构建方法和装置
US10846541B2 (en) Systems and methods for classifying road features
CN112835085B (zh) 确定车辆位置的方法和装置
US20170039718A1 (en) Information processing apparatus, information processing method, and storage medium
CN111457913B (zh) 交通工具导航数据融合方法、装置和***
CN108627152B (zh) 一种微型无人机基于多传感器数据融合的导航方法
CN114018274A (zh) 车辆定位方法、装置及电子设备
CN114136315B (zh) 一种基于单目视觉辅助惯性组合导航方法及***
CN114264301B (zh) 车载多传感器融合定位方法、装置、芯片及终端
CN116184430B (zh) 一种激光雷达、可见光相机、惯性测量单元融合的位姿估计算法
CN107764273B (zh) 一种车辆导航定位方法及***
CN114488183A (zh) 障碍物点云的处理方法、装置、设备以及可读存储介质
CN105103211B (zh) 地点显示***、方法以及程序
CN113009816B (zh) 时间同步误差的确定方法及装置、存储介质及电子装置
CN114119744A (zh) 一种构建点云地图的方法、装置、设备及存储介质
CN112363196A (zh) 车辆属性确定方法、装置、存储介质和电子设备
KR101933580B1 (ko) 차량 ｍｍｓ를 이용한 과속방지턱 정보 취득방법
CN107976176B (zh) 无人机数据处理方法及装置
CN114842224A (zh) 一种基于地理底图的单目无人机绝对视觉匹配定位方案
CN115560744A (zh) 机器人以及基于多传感器的三维建图方法、存储介质
CN112284402B (zh) 一种车辆定位的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210305

Address after: 101, 1st floor, building 2, yard 20, Suzhou street, Haidian District, Beijing 100080

Applicant after: Beijing Jingbangda Trading Co.,Ltd.

Address before: 100086 8th Floor, 76 Zhichun Road, Haidian District, Beijing

Applicant before: BEIJING JINGDONG SHANGKE INFORMATION TECHNOLOGY Co.,Ltd.

Applicant before: BEIJING JINGDONG CENTURY TRADING Co.,Ltd.

Effective date of registration: 20210305

Address after: Room a1905, 19 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Beijing Jingdong Qianshi Technology Co.,Ltd.

Address before: 101, 1st floor, building 2, yard 20, Suzhou street, Haidian District, Beijing 100080

Applicant before: Beijing Jingbangda Trading Co.,Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant