CN109147058A - 用于视觉惯导信息融合的初始化方法和装置以及存储介质 - Google Patents
用于视觉惯导信息融合的初始化方法和装置以及存储介质 Download PDFInfo
- Publication number
- CN109147058A CN109147058A CN201811012768.5A CN201811012768A CN109147058A CN 109147058 A CN109147058 A CN 109147058A CN 201811012768 A CN201811012768 A CN 201811012768A CN 109147058 A CN109147058 A CN 109147058A
- Authority
- CN
- China
- Prior art keywords
- terminal
- inertial
- relative quantity
- guidance data
- initializing variable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000004927 fusion Effects 0.000 title claims abstract description 39
- 238000003860 storage Methods 0.000 title claims description 8
- 238000003384 imaging method Methods 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 25
- 230000001133 acceleration Effects 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000005484 gravity Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 4
- 238000013508 migration Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000005259 measurement Methods 0.000 description 9
- 230000001360 synchronised effect Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Algebra (AREA)
- Computer Hardware Design (AREA)
- Databases & Information Systems (AREA)
- Navigation (AREA)
Abstract
本发明揭示了一种用于视觉惯导信息融合的初始化方法，包括：从终端的图像传感器和惯性传感器分别获取图像数据和惯导数据；以及基于所述图像数据中相邻图像之间的几何约束条件，以及所述惯导数据在所述相邻图像的获取时间之间的积分相对量，来获取所述终端的初始化变量，其中，在获取所述终端的初始化变量时，引入由于所述惯导数据的噪声对所述积分相对量产生的不确定性度量。根据本发明实施例提供的用于视觉惯导信息融合的初始化方案，通过引入由于惯导数据的噪声对积分相对量产生的不确定性度量，大大提高了初始化的易用性和稳定性。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种用于视觉惯导信息融合的初始化方法和装置以及计算机存储介质和电子设备。
背景技术
视觉惯导信息融合通常是表示一类将视觉信息和惯导信息进行融合，并用于同步定位和环境重建的方法。这里的视觉信息一般是指由摄像头拍摄所得到的二维图像，而惯导信息一般是指IMU(Inertial Measurement Unit，惯性测量单元)输出的角速度信息和加速度等信息。
举例来说，通过移动终端摄像头拍摄所得到的图像是二维的，也即是对三维环境的降维表示；然而，结合IMU输出的惯导信息，便可基于摄像头在不同时刻、不同位置所拍摄得到的图像，重构移动终端所处三维环境，并推断其在不同时刻的历史位置。这一过程便是基于视觉惯导信息融合的同步定位和环境重建。
一旦获得移动终端的位置和环境信息，便使其具备了和环境交互的能力。例如，在VR(Virtua Reality，虚拟现实)和AR(Augmented Reality，增强现实)应用中，基于已知的环境信息，可以将虚拟物品放置在真实环境中。同时，结合已知的终端位置信息，可以通过相对应的位置关系，将真实的环境和虚拟的环境渲染为终端屏幕上显示的图像。例如，在商场导航中，基于已知的环境信息，可以帮助用户识别所处的环境；同时，结合已知的位置信息，通过在终端屏幕显示的真实环境上，叠加显示虚拟的导航信息，可以根据需求将用户指引到附近的餐厅、商店、洗手间等。
随着VR和AR等技术的飞速发展，同步定位和环境重建也逐渐成为计算机视觉领域里一个非常重要的研究方向，有着广阔的应用。然而，另一方面，如上所述，同步定位与环境构建是一个从低维信息推导出高维信息的过程，这个过程是高度非线性的，因而难以进行计算。为了使得基于视觉惯导信息融合的同步定位与地图构建能够顺利执行，通常需要为这一过程选择适当的变量初始值，在相关技术中，这往往要求用户按照特定的方式执行特定的动作来完成，因此给用户造成额外的操作约束，启动过程也较复杂，整体的易用性较差。
发明内容
为了解决相关技术中基于视觉惯导信息融合的变量初始化过程复杂、易用性差的问题，本发明提供了一种用于视觉惯导信息融合的初始化方法和装置以及计算机存储介质和电子设备。
根据本发明的实施例，提供一种用于视觉惯导信息融合的初始化方法，包括：从终端的图像传感器和惯性传感器分别获取图像数据和惯导数据；以及基于所述图像数据中相邻图像之间的几何约束条件，以及所述惯导数据在所述相邻图像的获取时间之间的积分相对量，来获取所述终端的初始化变量，其中，在获取所述终端的初始化变量时，引入由于所述惯导数据的噪声对所述积分相对量产生的不确定性度量。
根据本发明的实施例，提供一种用于视觉惯导信息融合的初始化装置，包括：获取模块，用于从终端的图像传感器和惯性传感器分别获取图像数据和惯导数据；以及初始化模块，用于基于所述图像数据中相邻图像之间的几何约束条件，以及所述惯导数据在所述相邻图像的获取时间之间的积分相对量，来获取所述终端的初始化变量，其中，所述初始化模块在获取所述终端的初始化变量时，引入由于所述惯导数据的噪声对所述积分相对量产生的不确定性度量。
根据本发明的实施例，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的用于视觉惯导信息融合的初始化方法。
根据本发明的实施例，提供一种电子设备，包括：处理器；以及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上所述的用于视觉惯导信息融合的初始化方法。
本发明的实施例提供的技术方案可以包括以下有益效果：
根据本发明实施例提供的用于视觉惯导信息融合的初始化方案，通过引入由于惯导数据的噪声对积分相对量产生的不确定性度量，大大提高了初始化的易用性和稳定性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。
图1示出了适于用来实现本发明实施例的电子设备的结构示意图。
图2是根据一示例性实施例示出的一种用于视觉惯导信息融合的初始化方法的流程图。
图3是根据另一示例性实施例示出的一种用于视觉惯导信息融合的初始化方法的流程图。
图4是根据一示例性实施例示出的一种用于视觉惯导信息融合的初始化装置的框图。
图5是根据另一示例性实施例示出的一种用于视觉惯导信息融合的初始化装置的框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
图1示出了适于用来实现本公开实施例的电子设备的结构示意图。需要说明的是，图1示出的电子设备100仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。该电子设备100可以是手机或平板电脑等移动终端。参照图1，终端100可以包括以下一个或多个组件：处理组件102、存储器104、电源组件106、多媒体组件108、输入/输出(I/O)接口112、传感器组件114、以及通信组件116。
处理组件102通常控制终端100的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件102可以包括一个或多个处理器来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件102可以包括一个或多个模块，便于处理组件102和其他组件之间的交互。例如，处理部件102可以包括多媒体模块，以方便多媒体组件108和处理组件102之间的交互。
存储器104被配置为存储各种类型的数据以支持在终端100的操作。这些数据的示例包括用于在终端100上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器104可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件106为终端100的各种组件提供电力。电源组件106可以包括电源管理***，一个或多个电源，及其他与为终端100生成、管理和分配电力相关联的组件。
多媒体组件108包括在所述终端100和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件108包括一个前置摄像头和/或后置摄像头。当终端100处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
I/O接口112为处理组件102和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。
传感器组件114包括一个或多个传感器，用于为终端100提供各个方面的状态评估。例如，传感器组件114可以检测到终端100的打开/关闭状态，组件的相对定位，例如所述组件为终端100的显示器和小键盘，传感器组件114还可以检测终端100或终端100一个组件的位置改变，用户与终端100接触的存在或不存在，终端100方位或加速/减速和终端100的温度变化。传感器组件114可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件114还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件114还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件116被配置为便于终端100和其他设备之间有线或无线方式的通信。终端100可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件116经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件116还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，终端100可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例的方法。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图2和图3所示的各个步骤。
在详细阐述本发明的实施例的技术方案之前，以下介绍一些相关的技术方案和原理。
背景技术中以移动终端为例介绍了基于视觉惯导信息融合进行同步定位和环境重建的场景。下面本发明仍以移动终端作为实施初始化的载体为例进行说明，但这仅为示例而并不构成对本发明保护范围的限制。
在移动终端上实施本发明用于视觉惯导信息融合的初始化方法时，可通过运行移动终端上安装的应用(例如VR和AR应用)来实现。相应的，这时移动端的应用往往具备实时性、映射性和易用性几点要求，分别说明如下。
首先，用户在移动终端上使用上述应用时，同步定位与地图构建的过程是在线的，也即，需要实时地计算出移动终端在不同时刻的位置，并重构周边的环境，以满足应用的需要。
其次，同步定位所获得的位置信息与地图构建所构建的地图，在尺度上与真实世界不一致。简单来说，这是由于不同大小的物体在不同距离的情况下，在相机的投影却是一样的。为了解决尺度不确定的问题，可以引入惯性传感器的惯导数据，例如包括加速度计测量的三轴加速度以及陀螺仪从测量的三轴角速率等等。由于这些惯导数据是在真实世界坐标系下的测量，将其与摄像头获取的图像数据进行融合，可以实现使最终得到的同步定位与地图构建的尺度，映射成与真实世界的尺度一致。
最后，如背景技术部分中已经提及，由于同步定位与地图构建是一个从低维信息推导高维信息的高度非线性过程，因此处理过程非常困难。为了让同步定位与地图构建可以顺利执行，通常需要为这一过程选择适当的变量初始值，在相关技术中，这往往要求用户按照特定的方式执行特定的动作来完成，因此给用户造成额外的操作约束，启动过程也较复杂，整体的易用性较差。
针对上述相关技术，本发明实施例提供一种用于视觉惯导信息融合的初始化方法和装置、计算机可读存储介质以及电子设备。
以下对本发明实施例的技术方案的原理和实现细节进行详细阐述。
图2是根据一示例性实施例示出的一种用于视觉惯导信息融合的初始化方法的流程图。如图2所示，该方法可以由如图1所示的电子设备执行，可包括以下步骤210-230。
在步骤210中，从终端的图像传感器和惯性传感器分别获取图像数据和惯导数据。
这里的图像传感器包括能够检测可见光、红外光或紫外光的成像装置，例如包括终端内置或外接的相机。相应的，这里的图像数据包括图像传感器获取的对被摄物体的可见光、红外光或紫外光成像。为简便起见，下文均以图像传感器为终端相机、图像数据为终端相机拍摄的图像为例进行说明。
在一个实施例中，这里的终端可包括一个以上的图像传感器，从而能够提供更多的图像数据，并实现增强的稳定性以应对其中部分图像传感器故障的情况。另外，组合来自多个图像传感器的数据，可以考虑不同图像传感器之间的空间关系，从而提供更准确的融合结果。
这里的惯性传感器例如可包括加速度计和陀螺仪，前者能够测量终端三轴的加速度，后者能够测量终端三轴的角速度。惯性传感器也可包括其他能够测量加速度和角速度的惯性测量单元(IMU，Inertia Measurement Unit)。相应的，这里的惯导数据可包括惯性传感器输出的加速度和/或角速度测量值。为简便起见，下文均以惯性传感器包括速度计和陀螺仪、惯导数据包括二者分别获取的加速度和角速度(统称为IMU数据)为例进行说明。
接续参考图2，步骤230中，基于图像数据中相邻图像之间的几何约束条件，以及惯导数据在相邻图像的获取时间之间的积分相对量，来获取终端的初始化变量。
在一些实施例中，在执行视觉惯导信息融合时用某些变量来初始化融合算法可能是必要的或有益的。这种变量在本文中可以称作“初始化变量”，其可以包括移动终端在初始时刻时(例如，当移动终端开始运行某VR或AR应用时)的初始值。初始化变量的准确性可以影响后续视觉惯导信息融合的准确性。确定上述初始化变量的过程在本文中可以称作“初始化”。
在一些实施例中，上述变量包括终端的速度在惯性传感器坐标系下的表示、视觉观察和IMU积分结果之间的尺度缩放、以及重力在一个图像坐标下的表示(也称重力加速度)。通过估计求解这些变量，可以得到终端在真实世界坐标下的位置、旋转和速度。因此，本发明实施例的初始化方法可以应用于视觉惯导融合定位和重建的一系列优化方法，如非线性优化、图优化、卡尔曼滤波、拓展卡尔曼滤波和无损卡尔曼滤波等。
以下详细说明步骤230获取初始化变量的算法示例。
首先，假设(·)w表示真实世界的坐标系，和分别表示在拍摄第k帧图像时的IMU坐标系和相机坐标系，分别表示从Y坐标系到X坐标系的三维位置、速度和旋转。对于旋转使用对应的哈密尔顿四元数来加以表示另外，本示例中还假设相机获取的图像已经过矫正，并且已知内参(例如包括焦距长度和中心点)。IMU数据和图像之间的位移和旋转分别为和
假设连续K帧图像的旋转和位置为在一个实施例中，这些变量可以通过单目视觉的光束平差法(Bundle adjustment)计算得出。具体的计算方法可以参考Bundle Adjustment-A Modern Synthesis,ICCV1999Proceedings ofthe International Workshop on Vision Algorithms:Theory and Practice(光束平差-现代综合论，ICCV 1999年国际视觉算法研讨会论文集：理论与实践)，此处不再赘述。
然而，计算出来的这些变量与真实世界的尺度是不一致的。因此，需要调整这些变量的尺度s，使其映射为与真实世界的尺度一致。同时，为了可以和IMU的线性加速度和角速度的积分相关联起来，可以引入终端在真实尺度下的位置旋转速度以及重力在图像坐标下的表示
根据运动方程，可得到终端在获取第k+1帧图像时的位置、旋转和速度之间的几何约束条件表达式如下所示：
其中，对于旋转R，为了运算方便，可使用与其相对应的四元数表示方法其中s是相机坐标系与世界真实坐标系的缩放，和是相机和IMU之间位移和旋转。
和表示IMU数据在第k和k+1帧图像的拍摄时间之间的积分相对量：
其中，和分别是bt时刻的加速度和角速度；和是一个和传感器相关的测量偏移量，这两个量可以从传感器配置文件或者参数文件中读出；如果不存在，则可以设其为0。
基于几何约束条件表达式(1)和(2)以及IMU数据的积分相对量表达式(3)-(5)，可构造初始化变量的目标函数如下所示：
其中，X表示所示初始化变量，例如可表示为 Δt表示第k和k+1帧图像数据之间的时间间隔；和表示所述惯导数据在第k和k+1帧图像数据之间的积分相对量；和分别表示在获取第k帧图像数据时的惯性传感器坐标系和图像传感器坐标系；分别表示从Y坐标系到X坐标系的三维位置、速度和旋转；表示图像传感器坐标系下的重力加速度。
通过求解使上述目标函数f1(X)取最小化值的X，可获取终端的初始化变量。
上述的目标函数只考虑了表达式(1)和(2)的代数特性，而没有考虑变量的不确定性和IMU测量值的噪声，使得算出来的初始化变量X质量不好。
为此，本发明的实施例中，在步骤230获取初始化变量时，进一步引入由于惯导数据的噪声对积分相对量产生的不确定性度量。
在一些实施方式中，可在表达式(3)和(5)的积分过程中，计算和由IMU测量值的噪声带来的不确定性。为了推导，首先可获取上式(3)-(5)的离散化表示如下：
其中，i表示tk和tk+1之间的第i个IMU数据，δt是两个IMU数据之间的时间差，和分别是获取第i个惯导数据时的加速度和角速度，并且设定迭代的初始条件为
为了推导和的不确定性，可定义误差态 和表示当前的离散化近似后的计算值和真实值的差值，上述误差态和差值可分别表示为：
对于旋转，可采用旋转的最小化表示方式并设定迭代的初始条件为
如此一来，基于上式(7)-(9)可迭代地计算积分和同时可迭代地计算以及组成的协方差矩阵分别如下式(10)和(11)所示：
如果那么是一个将向量变成矩阵的操作。na、nω、分别为加速度计的测量噪声、角速度计的测量噪声、加速度计偏差的噪声以及角速度计偏差的噪声。Q为单位对角矩阵，如下式(12)所示：
式(12)中包含加速度的噪声方差角速度的噪声方差加速度的高斯随机游走噪声方差和角速度的高斯随机游走噪声方差
基于获得的取出其左上角6*6的矩阵对应于和的不确定性，具体如下所示：
其中，Pa∈R6×9,Pb∈R9×6,Pc∈R9×9。
至此可得到相比式(6)修改后的目标函数表达式如下：
接续，通过求解使上述目标函数f2(X)取最小化值的X，可获取终端的初始化变量，包括：视觉观察与惯导数据的积分结果之间的尺度缩放s，重力加速度在相机0时刻的表示和速度在IMU坐标系下的表示同时，与式(11)相比，式(13)的目标函数不仅考虑了IMU积分所得项和的不确定性，同时使和关联起来，能够大大提高初始化的稳定性。
综上所述，根据本发明实施例提供的用于视觉惯导信息融合的初始化方案，通过引入由于惯导数据的噪声对积分相对量产生的不确定性度量，大大提高了初始化的易用性和稳定性。
图3是根据另一示例性实施例示出的一种用于视觉惯导信息融合的初始化方法的流程图。如图3所示，该方法可以由如图1所示的电子设备执行，可包括以下步骤310-350。
在步骤310中，从终端的图像传感器和惯性传感器分别获取图像数据和惯导数据。
在步骤330中，基于图像数据中相邻图像之间的几何约束条件，以及惯导数据在相邻图像的获取时间之间的积分相对量，来获取终端的初始化变量。
其中，在步骤330获取终端的初始化变量时，引入由于惯导数据的噪声对积分相对量产生的不确定性度量。
以上步骤310和330的细节可参见图2实施例中步骤210和230的详细说明，此处不再赘述。
在步骤350中，根据初始化变量获取所述终端在真实世界坐标系中的位置、旋转和速度。
接续图2步骤230的示例，基于式(13)求解得到的初始化变量可包括视觉观察与惯导数据的积分结果之间的尺度缩放s，重力加速度在相机0时刻的表示和速度在IMU坐标系下的表示据此可以计算终端的位移、旋转和速度在世界坐标系下的表示。
下面描述一个简单的计算过程示例，但并不对本发明的保护范围构成限制。
首先，基于式(1)和(2)，可以算出和同时，由于已知重力加速度在世界坐标系下可表示为gw＝[0 0 9.8]T，因此通过和gw这两个变量，我们可以算出
接续，参见上文对式(1)和(2)的描述可知，对于任意时刻k，可计算得到类似的可得到：
如此一来，可定义第一个时刻终端在世界坐标系中的位置为0，即相应的，对于任意时刻k，可得到终端在真实世界的位置和速度表示分别如下式(14)和(15)所示：
综上所述，根据本发明实施例提供的用于视觉惯导信息融合的初始化方案，通过引入由于惯导数据的噪声对积分相对量产生的不确定性度量，大大提高了初始化的易用性和稳定性，基于初始化变量获取的终端位移、旋转和速度也更加准确可靠。
下述为本发明的装置实施例，可以用于执行本发明上述用于视觉惯导信息融合的初始化方法实施例。对于本发明装置实施例中未披露的细节，请参照上述本发明用于视觉惯导信息融合的初始化方法实施例。
图4是根据一示例性实施例示出的一种用于视觉惯导信息融合的初始化装置的框图。如图4所示，该装置可由如图1所示的电子设备实现，可包括获取模块410和初始化模块430。
其中，获取模块410用于从终端的图像传感器和惯性传感器分别获取图像数据和惯导数据；初始化模块430用于基于所述图像数据中相邻图像之间的几何约束条件，以及所述惯导数据在所述相邻图像的获取时间之间的积分相对量，来获取所述终端的初始化变量；其中，所述初始化模块在获取所述终端的初始化变量时，引入由于所述惯导数据的噪声对所述积分相对量产生的不确定性度量。
在一个实施例中，初始化模块430包括目标函数单元和求解单元。其中，目标函数单元用于基于所述几何约束和所述积分相对量构造所述初始化变量的目标函数；求解单元用于通过使所述目标函数的值最大化或最小化，来获取所述初始化变量。
在一个实施例中，目标函数单元还可用于迭代式的获取所述积分相对量的离散化表示，基于误差态获取所述积分相对量的协方差矩阵，并根据所述协方差矩阵获取所述初始化变量的更新目标函数。这里的计算示例可参见上文对式(7)-(12)的具体描述，此处不再赘述。
在一个实施例中，目标函数单元基于所述几何约束和所述积分相对量可将初始化变量的目标函数构造为如上式(6)所示。
在一个实施例中，目标函数单元还可根据所述协方差矩阵将初始化变量的目标函数更新为如上式(13)所示。
综上所述，根据本发明实施例提供的用于视觉惯导信息融合的初始化方案，通过引入由于惯导数据的噪声对积分相对量产生的不确定性度量，大大提高了初始化的易用性和稳定性。
图5是根据另一示例性实施例示出的一种用于视觉惯导信息融合的初始化装置的框图。如图5所示，该装置可由如图1所示的电子设备实现，可包括获取模块510、初始化模块530和计算模块550。
其中，获取模块510和初始化模块530的操作可参见图4实施例中获取模块410和初始化模块430的具体描述，此处不再赘述。
在一个实施例中，上述计算模块550用于根据所述初始化变量获取所述终端在真实世界坐标系中的位置、旋转和速度。这里的初始化变量例如可包括但不限于终端的速度在惯性传感器坐标系下的表示、视觉观察与所述惯导数据的积分结果之间的尺度缩放、以及图像传感器坐标系下的重力加速度。
综上所述，根据本发明实施例提供的用于视觉惯导信息融合的初始化方案，通过引入由于惯导数据的噪声对积分相对量产生的不确定性度量，大大提高了初始化的易用性和稳定性，基于初始化变量获取的终端位移、旋转和速度也更加准确可靠。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。作为模块或单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (11)
1.一种用于视觉惯导信息融合的初始化方法，其特征在于，所述方法包括：
从终端的图像传感器和惯性传感器分别获取图像数据和惯导数据；以及
基于所述图像数据中相邻图像之间的几何约束条件，以及所述惯导数据在所述相邻图像的获取时间之间的积分相对量，来获取所述终端的初始化变量，
其中，在获取所述终端的初始化变量时，引入由于所述惯导数据的噪声对所述积分相对量产生的不确定性度量。
2.如权利要求1所述的方法，其特征在于，所述的获取所述终端的初始化变量，包括：
基于所述几何约束和所述积分相对量构造所述初始化变量的目标函数；以及
通过使所述目标函数的值最大化或最小化，来获取所述初始化变量。
3.如权利要求2所述的方法，其特征在于，所述的获取所述终端的初始化变量，还包括：
迭代式的获取所述积分相对量的离散化表示，并基于误差态获取所述积分相对量的协方差矩阵；以及
根据所述协方差矩阵获取所述初始化变量的更新目标函数。
4.如权利要求3所述的方法，其特征在于，所述的基于所述几何约束和所述积分相对量构造所述初始化变量的目标函数，包括：
构造所述目标函数为：
其中，Δt表示第k和k+1帧图像数据之间的时间间隔，和表示所述惯导数据在第k和k+1帧图像数据之间的积分相对量，和分别表示在获取第k帧图像数据时的惯性传感器坐标系和图像传感器坐标系，分别表示从Y坐标系到X坐标系的三维位置、速度和旋转，表示图像传感器坐标系下的重力加速度。
5.如权利要求4所述的方法，其特征在于，所述的根据所述协方差矩阵获取所述初始化变量的更新目标函数，包括：
获取所述更新目标函数为：
6.如权利要求4所述的方法，其特征在于，所述的迭代式的获取所述积分相对量的离散化表示，包括：
基于下式获取所述积分相对量的离散化表示：
其中，i表示第k和k+1帧图像数据之间的第i个惯导数据，δt是获取相邻惯导数据之间的时间差，和分别是获取第i个惯导数据时的加速度和角速度，并且设定迭代的初始条件为
7.如权利要求6所述的方法，其特征在于，所述的基于误差态获取所述积分相对量的协方差矩阵Pi k，包括：
基于下式获取所述协方差矩阵：
其中，Q为用于表示所述惯导数据的噪声和高斯随机游走的单位对角矩阵，所述惯导数据包括加速度和角速度。
8.如权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：
根据所述初始化变量获取所述终端在真实世界坐标系中的位置、旋转和速度；
其中，所述的初始化变量包括所述终端的速度在惯性传感器坐标系下的表示、视觉观察与所述惯导数据的积分结果之间的尺度缩放、以及图像传感器坐标系下的重力加速度。
9.一种用于视觉惯导信息融合的初始化装置，其特征在于，所述装置包括：
获取模块，用于从终端的图像传感器和惯性传感器分别获取图像数据和惯导数据；以及
初始化模块，用于基于所述图像数据中相邻图像之间的几何约束条件，以及所述惯导数据在所述相邻图像的获取时间之间的积分相对量，来获取所述终端的初始化变量，
其中，所述初始化模块在获取所述终端的初始化变量时，引入由于所述惯导数据的噪声对所述积分相对量产生的不确定性度量。
10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1至8中任一项所述的用于视觉惯导信息融合的初始化方法。
11.一种电子设备，其特征在于，包括：
处理器；以及
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据权利要求1至8中任一项所述的用于视觉惯导信息融合的初始化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811012768.5A CN109147058B (zh) | 2018-08-31 | 2018-08-31 | 用于视觉惯导信息融合的初始化方法和装置以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811012768.5A CN109147058B (zh) | 2018-08-31 | 2018-08-31 | 用于视觉惯导信息融合的初始化方法和装置以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109147058A true CN109147058A (zh) | 2019-01-04 |
| CN109147058B CN109147058B (zh) | 2022-09-20 |
Family
ID=64826070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811012768.5A Active CN109147058B (zh) | 2018-08-31 | 2018-08-31 | 用于视觉惯导信息融合的初始化方法和装置以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109147058B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109767470A (zh) * | 2019-01-07 | 2019-05-17 | 浙江商汤科技开发有限公司 | 一种跟踪***初始化方法及终端设备 |
| CN111539982A (zh) * | 2020-04-17 | 2020-08-14 | 北京维盛泰科科技有限公司 | 一种移动平台中基于非线性优化的视觉惯导初始化方法 |
| CN113465596A (zh) * | 2021-06-25 | 2021-10-01 | 电子科技大学 | 一种基于多传感器融合的四旋翼无人机定位方法 |
| CN114323010A (zh) * | 2021-12-30 | 2022-04-12 | 北京达佳互联信息技术有限公司 | 初始特征确定方法、装置、电子设备及存储介质 |
| WO2022228056A1 (zh) * | 2021-04-30 | 2022-11-03 | 华为技术有限公司 | 一种人机交互方法及设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090248304A1 (en) * | 2008-03-28 | 2009-10-01 | Regents Of The University Of Minnesota | Vision-aided inertial navigation |
| CN105492985A (zh) * | 2014-09-05 | 2016-04-13 | 深圳市大疆创新科技有限公司 | 多传感器环境地图构建 |
| US20160327395A1 (en) * | 2014-07-11 | 2016-11-10 | Regents Of The University Of Minnesota | Inverse sliding-window filters for vision-aided inertial navigation systems |
| CN107255476A (zh) * | 2017-07-06 | 2017-10-17 | 青岛海通胜行智能科技有限公司 | 一种基于惯性数据和视觉特征的室内定位方法和装置 |
| US20170336220A1 (en) * | 2016-05-20 | 2017-11-23 | Daqri, Llc | Multi-Sensor Position and Orientation Determination System and Device |
| US20170343356A1 (en) * | 2016-05-25 | 2017-11-30 | Regents Of The University Of Minnesota | Resource-aware large-scale cooperative 3d mapping using multiple mobile devices |
| US20180018787A1 (en) * | 2016-07-18 | 2018-01-18 | King Abdullah University Of Science And Technology | System and method for three-dimensional image reconstruction using an absolute orientation sensor |
| CN107869989A (zh) * | 2017-11-06 | 2018-04-03 | 东北大学 | 一种基于视觉惯导信息融合的定位方法及*** |
| CN108051002A (zh) * | 2017-12-04 | 2018-05-18 | 上海文什数据科技有限公司 | 基于惯性测量辅助视觉的运输车空间定位方法及*** |
| CN108427479A (zh) * | 2018-02-13 | 2018-08-21 | 腾讯科技（深圳）有限公司 | 可穿戴设备、环境图像数据的处理***、方法及可读介质 |
-
2018
- 2018-08-31 CN CN201811012768.5A patent/CN109147058B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090248304A1 (en) * | 2008-03-28 | 2009-10-01 | Regents Of The University Of Minnesota | Vision-aided inertial navigation |
| US20160327395A1 (en) * | 2014-07-11 | 2016-11-10 | Regents Of The University Of Minnesota | Inverse sliding-window filters for vision-aided inertial navigation systems |
| CN105492985A (zh) * | 2014-09-05 | 2016-04-13 | 深圳市大疆创新科技有限公司 | 多传感器环境地图构建 |
| US20170336220A1 (en) * | 2016-05-20 | 2017-11-23 | Daqri, Llc | Multi-Sensor Position and Orientation Determination System and Device |
| US20170343356A1 (en) * | 2016-05-25 | 2017-11-30 | Regents Of The University Of Minnesota | Resource-aware large-scale cooperative 3d mapping using multiple mobile devices |
| US20180018787A1 (en) * | 2016-07-18 | 2018-01-18 | King Abdullah University Of Science And Technology | System and method for three-dimensional image reconstruction using an absolute orientation sensor |
| CN107255476A (zh) * | 2017-07-06 | 2017-10-17 | 青岛海通胜行智能科技有限公司 | 一种基于惯性数据和视觉特征的室内定位方法和装置 |
| CN107869989A (zh) * | 2017-11-06 | 2018-04-03 | 东北大学 | 一种基于视觉惯导信息融合的定位方法及*** |
| CN108051002A (zh) * | 2017-12-04 | 2018-05-18 | 上海文什数据科技有限公司 | 基于惯性测量辅助视觉的运输车空间定位方法及*** |
| CN108427479A (zh) * | 2018-02-13 | 2018-08-21 | 腾讯科技（深圳）有限公司 | 可穿戴设备、环境图像数据的处理***、方法及可读介质 |
Non-Patent Citations (4)
| Title |
|---|
| C. GUO: "Efficient Visual-Inertial Navigation using a Rolling-Shutter Camera with Inaccurate Timestamps", 《SCIENCE AND SYSTEMS》 * |
| RICCARDO ANTONELLO: "Motion reconstruction with a low-cost MEMS IMU for the automation of human operated specimen manipulation", 《2011 IEEE INTERNATIONAL SYMPOSIUM ON INDUSTRIAL ELECTRONICS》 * |
| 姚二亮等: "基于Vision-IMU的机器人同时定位与地图创建算法", 《仪器仪表学报》 * |
| 王聪等: "基于惯性导航与立体视觉的风管清扫机器人同时定位与地图创建方法", 《机械工程学报》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109767470A (zh) * | 2019-01-07 | 2019-05-17 | 浙江商汤科技开发有限公司 | 一种跟踪***初始化方法及终端设备 |
| CN109767470B (zh) * | 2019-01-07 | 2021-03-02 | 浙江商汤科技开发有限公司 | 一种跟踪***初始化方法及终端设备 |
| CN111539982A (zh) * | 2020-04-17 | 2020-08-14 | 北京维盛泰科科技有限公司 | 一种移动平台中基于非线性优化的视觉惯导初始化方法 |
| CN111539982B (zh) * | 2020-04-17 | 2023-09-15 | 北京维盛泰科科技有限公司 | 一种移动平台中基于非线性优化的视觉惯导初始化方法 |
| WO2022228056A1 (zh) * | 2021-04-30 | 2022-11-03 | 华为技术有限公司 | 一种人机交互方法及设备 |
| CN113465596A (zh) * | 2021-06-25 | 2021-10-01 | 电子科技大学 | 一种基于多传感器融合的四旋翼无人机定位方法 |
| CN114323010A (zh) * | 2021-12-30 | 2022-04-12 | 北京达佳互联信息技术有限公司 | 初始特征确定方法、装置、电子设备及存储介质 |
| CN114323010B (zh) * | 2021-12-30 | 2024-03-01 | 北京达佳互联信息技术有限公司 | 初始特征确定方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109147058B (zh) | 2022-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109147058A (zh) | 用于视觉惯导信息融合的初始化方法和装置以及存储介质 | |
| US10674142B2 (en) | Optimized object scanning using sensor fusion | |
| US10852847B2 (en) | Controller tracking for multiple degrees of freedom | |
| CN109186592A (zh) | 用于视觉惯导信息融合的方法和装置以及存储介质 | |
| CN108700947A (zh) | 用于并发测距和建图的***和方法 | |
| US10733798B2 (en) | In situ creation of planar natural feature targets | |
| CN110599549A (zh) | 界面显示方法、装置及存储介质 | |
| CN109074154A (zh) | 增强和/或虚拟现实中的悬停触摸输入补偿 | |
| CN109074149A (zh) | 用于增强或虚拟现实环境的头戴式参考系中的对象跟踪 | |
| US20160210761A1 (en) | 3d reconstruction | |
| CN108008817B (zh) | 一种实现虚实融合的方法 | |
| WO2022005717A1 (en) | Generating ground truth datasets for virtual reality experiences | |
| JP7182020B2 (ja) | 情報処理方法、装置、電子機器、記憶媒体およびプログラム | |
| JP2009278456A (ja) | 映像表示装置 | |
| US11537196B2 (en) | Drift cancelation for portable object detection and tracking | |
| CN114812609A (zh) | 视觉惯性***的参数标定方法及装置、电子设备和介质 | |
| CN109040525A (zh) | 图像处理方法、装置、计算机可读介质及电子设备 | |
| US10931926B2 (en) | Method and apparatus for information display, and display device | |
| US20220335638A1 (en) | Depth estimation using a neural network | |
| CN116348916A (zh) | 用于卷帘快门相机的方位跟踪 | |
| Kim et al. | Oddeyecam: A sensing technique for body-centric peephole interaction using wfov rgb and nfov depth cameras | |
| WO2023140990A1 (en) | Visual inertial odometry with machine learning depth | |
| KR101743888B1 (ko) | 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법 | |
| US20240126369A1 (en) | Information processing system and information processing method | |
| US20230421717A1 (en) | Virtual selfie stick |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |