CN108680196B - 一种时延校正方法、***及计算机可读介质 - Google Patents

Abstract

本申请披露了一种时延校正方法，包括：获取一个或多个角速度信息；获取一个或多个参考图像信息；基于所述一个或多个角速度信息，确定一个或多个第一旋转角度信息；基于所述一个或多个参考图像信息，确定一个或多个第二旋转角度信息；基于所述一个或多个第一旋转角度信息和所述一个或多个第二旋转角度信息，确定时延值；基于所述时延值校正时延。

Description

一种时延校正方法、***及计算机可读介质

技术领域

本发明涉及一种时延校正方法和***。具体的，涉及一种智能机器人中传感器之间的时延校正方法和***。

背景技术

智能机器人的应用越来越广泛，由于智能机器人中的各个传感器的测量原理等的不同，各个传感器间会出现时延。智能机器人中传感器间的同步对数据采集、处理的精确度有着很大的影响。因此，需要一种精确的时延校正方法和***以实现各个传感器间的同步。

发明内容

针对现有技术中传感器间时延校正误差较大的情况，本申请提出了一种时延校正方法，该方法通过比对角度差来实现多个传感器之间的同步，提高了校正时延的精确度。

本申请的一个方面涉及一种时延校正方法，包括：获取一个或多个角速度信息；获取一个或多个参考图像信息；基于所述一个或多个角速度信息，确定一个或多个第一旋转角度信息；基于所述一个或多个参考图像信息，确定一个或多个第二旋转角度信息；基于所述一个或多个第一旋转角度信息和所述一个或多个第二旋转角度信息，确定时延值；基于所述时延值校正时延。

在一些实施例中，所述基于所述一个或多个第一旋转角度信息和所述一个或多个第二旋转角度信息，确定时延值包括：修正所述一个或多个第一旋转角度信息和所述一个或多个第二旋转角度信息；基于所述一个或多个修正的第一旋转角度信息和所述一个或多个修正的第二旋转角度信息，确定时延值。

在一些实施例中，所述修正所述一个或多个第一旋转角度信息和所述一个或多个第二旋转角度信息包括：获取一个或多个参考时间点；基于所述一个或多个参考时间点，修正所述一个或多个第一旋转角度信息和所述一个或多个第二旋转角度信息。

在一些实施例中，所述基于所述一个或多个参考时间点，修正所述一个或多个第一旋转角度信息包括：基于一个待定时间变量，对所述一个或多个参考时间点进行延时；基于所述一个或多个延时的参考时间点，确定一个或多个修正的第一旋转角度信息。

在一些实施例中，所述基于所述一个或多个参考时间点，修正所述一个或多个第二旋转角度信息包括：基于一个待定时间变量，对所述一个或多个参考时间点进行延时；基于所述一个或多个延时的参考时间点，确定一个或多个修正的第二旋转角度信息。

在一些实施例中，所述基于所述一个或多个修正的第一旋转角度信息和所述一个或多个修正的第二旋转角度信息，确定时延值包括：基于所述一个或多个修正的第一旋转角度信息和所述一个或多个修正的第二旋转角度信息，确定一个或多个角度差值；确定所述一个或多个角度差值的平方和；基于所述一个或多个角度差值的平方和，确定时延值。

在一些实施例中，所述基于所述一个或多个角度差值的平方和，确定时延值包括：基于所述待定时间变量，确定所述一个或多个角度差值的平方和的最小值；将所述一个或多个角度差值的平方和的最小值对应的待定时间变量确定为时延值。

本申请的又一方面涉及一种时延校正***，包括：角速度采集模块，所述角速度采集模块用于获取一个或多个角速度信息；图像采集模块，所述图像采集模块用于获取一个或多个参考图像信息；处理模块，所述处理模块用于基于所述一个或多个角速度信息和所述一个或多个参考图像信息，确定时延值；校正模块，所述校正模块用于基于所述时延值，校正时延。

在一些实施例中，所述角速度采集装置为陀螺仪。

在一些实施例中，所述图像采集装置为摄像头。

本申请的另一个方面涉及一种时延校正装置，包括处理器，所述处理器执行所述时延校正方法。

本申请的另一个方面涉及一种计算机可读存储介质，所述存储介质存储计算机指令，所述计算机指令被计算机读取后执行所述时延校正方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构和操作。

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。

图1是根据本申请的一些实施例所示的一种智能机器人***示意图；

图2是根据本申请的一些实施例所示的一种计算设备配置示意图；

图3是根据本申请的一些实施例所示的一种移动设备示意图；

图4是根据本申请的一些实施例所示的一种时延校正方法示意图；

图5是根据本申请的一些实施例所示的摄像头坐标系和图像坐标系示意图；

图6是根据本申请的一些实施例所示的时延值确定方法示意图；

图7是根据本申请的一些实施例所示的修正一个或多个第一旋转角度信息和一个或多个第二旋转角度信息示意图；

图8是根据本申请的一些实施例所示的修正一个或多个第一旋转角度信息示意图；

图9是根据本申请的一些实施例所示的时延值确定方法示意图；

图10是根据本申请的一些实施例所示的时延校正***示意图；以及

图11是根据本申请的一些实施例所示的一个智能机器人时延校正实施例示意图。

具体实施方式

在下面的详细描述中，通过示例阐述了本申请的许多具体细节，以便提供对相关披露的透彻理解。然而，对于本领域的普通技术人员来讲，本申请显而易见的可以在没有这些细节的情况下实施。应当理解的是，本申请中使用“***”、“装置”、“单元”和/或“模块”术语，是用于区分在顺序排列中不同级别的不同部件、元件、部分或组件的一种方法。然而，如果其他表达式可以实现相同的目的，这些术语可以被其他表达式替换。

应当理解的是，当设备、单元或模块被称为“在……上”、“连接到”或“耦合到”另一设备、单元或模块时，其可以直接在另一设备、单元或模块上，连接或耦合到或与其他设备、单元或模块通信，或者可以存在中间设备、单元或模块，除非上下文明确提示例外情形。例如，本申请所使用的术语“和/或”包括一个或多个相关所列条目的任何一个和所有组合。

本申请所用术语仅为了描述特定实施例，而非限制本申请范围。如本申请说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的特征、整体、步骤、操作、元素和/或组件，而该类表述并不构成一个排它性的罗列，其他特征、整体、步骤、操作、元素和/或组件也可以包含在内。

参看下面的说明以及附图，本申请的这些或其他特征和特点、操作方法、结构的相关元素的功能、部分的结合以及制造的经济性可以被更好地理解，其中说明和附图形成了说明书的一部分。然而，可以清楚地理解，附图仅用作说明和描述的目的，并不意在限定本申请的保护范围。可以理解的是，附图并非按比例绘制。

此外，本申请仅描述了与时延校正方法和***，可以理解的是，本申请中的描述仅仅是一个实施例。

本申请中的术语“用户设备”或“智能设备”或“移动终端”可以指可以用于请求服务、订购服务或促进服务的提供的工具。

本申请中使用了多种结构图用来说明根据本申请的实施例的各种变形。应当理解的是，前面或下面的结构并不是用来限定本申请。本申请的保护范围以权利要求为准。

本申请描述了智能机器人***示意图100。如图1所示，智能机器人***100可以包括智能机器人110、网络120、用户设备130和数据库140。在一些实施例中，智能机器人110包括处理装置111。

在一些实施例中，智能机器人110可以通过传感器采集数据。例如，智能机器人110可以通过摄像头采集图像信息。又例如，智能机器人110可以通过陀螺仪采集自身的转动信息。在一些实施例中，智能机器人110的处理装置111可以接收并处理采集的数据，确定智能机器人110当前的状态信息。所述状态信息可以包括所处位置、障碍物信息、行驶速度、转弯速度等。所述智能机器人的状态信息可以用于指导智能机器人的运动。例如，状态信息中所处位置为障碍物前方时，所述智能机器人110中的处理装置111产生躲避障碍物运动的一系列指令。在一些实施例中，智能机器人110中的传感器(例如，摄像头、陀螺仪等)间存在时延。特别地，处理装置111处理存在时延的各个传感器采集的数据，确定的智能机器人110的状态信息会产生误差。在一些实施例中，由于传感器间的时延引起的状态信息的误差会影响智能机器人110的功能(例如，行进、转弯等)。

网络120可以是单个网络，或多个不同网络的组合。例如，网络120可以是一个局域网(local area network，LAN)、广域网(wide area network，WAN)、公用网络、私人网络、专有网络、公共交换电话网(public switched telephone network，PSTN)、互联网、无线网络、虚拟网络、城域网络、电话网络等，或几种的组合。网络120可以包括多个网络接入点，例如，有线接入点、无线接入点、基站、互联网交换点等在内的有线或无线接入点。通过这些接入点，数据源可以接入网络120并通过网络120发送数据信息。在一些实施例中，网络120可以分为无线网络(蓝牙、wireless local area network(WLAN、Wi-Fi、WiMax等)、移动网络(2G、3G、4G信号等)、或其他连接方式(虚拟专用网络(virtual private network，VPN)、共享网络、近场通信(near field communication，NFC)、ZigBee等)。在一些实施例中，网络120可以用于智能机器人***100的通信。例如，网络120接收智能机器人***100内部或外部的信息，向智能机器人***100内部其他部分或外部发送信息。在一些实施例中，智能机器人110、用户设备130和数据库140之间可以通过有线连接、无线连接、或二者结合的方式接入网络120。

用户设备130是用户的设备。所述用户设备可以通过网络120连接智能机器人110或数据库140。在一些实施例中，所述用户设备130可以是智能设备。所述智能设备可以是手机130-1、平板电脑130-2或笔记本电脑130-3等中的一种或几种的组合。所述用户设备130还可以包括智能家庭设备、可穿戴设备、移动设备、虚拟现实设备、增强现实设备等中的一种或多种的组合。在一些实施例中，所述智能家用设备可以包括智能照明装置、智能电器控制装置、智能监控装置、智能电视、智能摄像机、对讲机等中的一种或多种的组合。在一些实施例中，所述可穿戴设备可能包括手环、鞋袜、眼镜、头盔、手表、服装、背包、智能配件等一种或多种的组合。在一些实施例中，所述移动设备可以包括移动电话、个人数字助理(PDA)、游戏设备、导航设备、销售点(POS)设备、笔记本电脑、平板电脑、台式机等中的一种或多种的组合。在一些实施例中，所述虚拟现实设备和/或所述增强现实装置可以包括虚拟现实头盔、虚拟现实眼镜、虚拟现实眼罩、增强现实头盔、增强现实眼镜、增强现实眼罩等中的一种或多种的组合。例如，所述虚拟现实设备和/或所述增强现实设备可以包括Google Glass^TM、Oculus Rift^TM、Hololens^TM、Gear VR^TM等。

数据库140可以泛指具有存储功能的设备。数据库140可以存储智能机器人110收集的数据(例如，智能机器人110接收到的用户设备130的信息、指令等)。数据库140可以是本地的，或远程的。数据库140可以包括层次式数据库、网络式数据库和关系式数据库等，或几种的组合。数据库140可以将信息数字化后再以利用电、磁或光学等方式的存储设备加以存储。数据库140可以用来存放各种信息，例如，程序、数据等。数据库140可以是利用电能方式存储信息的设备，例如，各种存储器、随机存取存储器(Random Access Memory(RAM))、只读存储器(Read Only Memory(ROM))等。随机存储器可以包括十进计数管、选数管、延迟线存储器、威廉姆斯管、动态随机存储器(DRAM)、静态随机存储器(SRAM)、晶闸管随机存储器(T-RAM)、零电容随机存储器(Z-RAM)等，或几种的组合。只读存储器可以包括磁泡存储器、磁钮线存储器、薄膜存储器、磁镀线存储器、磁芯内存、磁鼓存储器、光盘驱动器、硬盘、磁带、早期非易失存储器(NVRAM)、相变化内存、磁阻式随机存储式内存、铁电随机存储内存、非易失SRAM、闪存、电子抹除式可复写只读存储器、可擦除可编程只读存储器、可编程只读存储器、屏蔽式堆读内存、浮动连接门随机存取存储器、纳米随机存储器、赛道内存、可变电阻式内存、可编程金属化单元等，或几种的组合。数据库140可以是利用磁能方式存储信息的设备，例如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘、闪存等。数据库140可以是利用光学方式存储信息的设备，例如，CD或DVD等。数据库140可以是利用磁光方式存储信息的设备，例如，磁光盘等。数据库140的存取方式可以是随机存储、串行访问存储、只读存储等，或几种的组合。数据库140可以包括非永久记忆存储器，永久记忆存储器，或二者的组合。在一些实施例中，数据库140可以存储在线地图或离线地图。所述在线地图可以被实时地更新。例如，智能机器人110在行进过程中采集的实时地图可以通过网络120存储在数据库140中。又例如智能机器人110可以通过网络120从数据库140中获取最新的地图数据。

图2是根据本申请的一些实施例所示的计算设备配置示意图。计算设备200可以被用于实现实施本申请中披露的特定方法和装置。本实施例中的特定装置利用功能框图展示了一个包含显示模块的硬件平台。在一些实施例中，计算设备200可以实施本申请中所描述的处理装置111的一个或多个模块和单元。在一些实施例中，处理装置111可以被计算设备200通过其硬件设备、软件程序、固件以及它们的组合所实现。在一些实施例中，计算设备200可以是一个通用目的的计算机，或一个有特定目的的计算机。

如图2所示，计算设备200可以包括内部通信总线210、处理器220、只读存储器(ROM)230、随机存取存储器(RAM)240、通信端口250、输入/输出组件260、硬盘270、以及显示器280。内部通信总线210可以实现计算设备200组件间的数据通信。处理器220可以进行判断和发出提示。在一些实施例中，处理器220可以由一个或多个处理器组成。通信端口250可以实现计算设备200与智能机器人***100中的其他部件(例如，用户设备130和数据库140)之间数据通信。在一些实施例中，计算设备200可以通过通信端口250从网络120发送和接受信息及数据。输入/输出组件260支持计算设备200与智能机器人***100的其他组件(例如，用户设备130和数据库140)之间的输入/输出数据流。显示器280可以用于显示计算设备200处理产生的信息。计算设备200还可以包括不同形式的程序储存单元以及数据储存单元，例如硬盘270、只读存储器(ROM)230和随机存取存储器(RAM)240，他们能够存储计算设备200处理和/或通信使用的各种数据文件，以及处理器220所执行的可能的程序指令。

数据总线210可以用于传输数据信息。在一些实施例中，计算设备200内各硬件之间可以通过所述数据总线210进行数据的传输。例如，处理器220可以通过所述数据总线210将数据发送到存储器或输入/输出端口260等其它硬件中。需要注意的是，所述数据可以是真正的数据，也可以是指令代码、状态信息或控制信息。在一些实施例中，数据总线210可以为工业标准(ISA)总线、扩展工业标准(EISA)总线、视频电子标准(VESA)总线、外部部件互联标准(PCI)总线等。

处理器220可以用于逻辑运算、数据处理和指令生成。在一些实施例中，处理器220可以从内部存储器中获取数据/指令，所述内部存储器可以包括只读存储器(ROM)、随机存储器(RAM)、高速缓冲存储器(Cache)(在图中未示出)等。在一些实施例中，处理器220可以包括多个子处理器，所述子处理器可以用于实现***的不同功能。

在一些实施例中，只读存储器可以包括可编程只读存储器(PROM)、可编程可擦除只读存储器(EPROM)等。随机存储器240用于存放操作***、各种应用程序、数据等。在一些实施例中，随机存储器240可以包括静态随机存储器(SRAM)、动态随机存储器(DRAM)等。

通信端口250用于连接操作***与外部网络，实现它们之间的通信交流。在一些实施例中，通信端口250可以包括FTP端口、HTTP端口或DNS端口等。输入/输出端口260用于外部设备或电路与处理器210之间进行数据、信息的交换和控制。在一些实施例中，输入/输出端口260可以包括USB端口、PCI端口、IDE端口等。

硬盘270用于存储智能机器人110所产生的或从智能机器人110所接收到的信息及数据。例如，智能机器人110的传感器采集的数据可以存储在硬盘270中。在一些实施例中，硬盘270可以包括机械硬盘(HDD)、固态硬盘(SSD)或混合硬盘(HHD)等。显示器280用于显示智能机器人***100生成的信息、数据等。在一些实施例中，显示器280可以包括一个物理显示器，如带扬声器的显示器、LCD显示器、LED显示器、OLED显示器、电子墨水显示器(E-Ink)等。在一些实施例中，所述显示器280可以包含在智能机器人110中，而不包含在计算设备200或处理装置111中。

图3是根据本申请的一些实施例所示的一种移动设备示意图。在一些实施例中，移动设备300可以实施本申请中所描述的用户设备130的一个或多个模块和单元。如图3所示，所述移动设备300可以包括通信平台310、显示器320、图形处理器(GPU)330、中央处理器(CPU)340、输入/输出接口350、内存360和存储器390。在一些实施例中，操作***370(如，iOS，Android，Windows Phone等)和一个或多个应用程序380可以从存储器390加载到内存360中，以便由CPU 340执行。

图4是根据本申请的一些实施例所示的一种时延校正方法示意图。在一些实施例中，所述时延校正方法由智能机器人110或计算设备200执行。

在402中，获取一个或多个角速度信息。所述一个或多个角速度信息由陀螺仪获取。在一些实施例中，角速度信息可以包括第一时间戳信息和角速度。所述第一时间戳信息可以是陀螺仪的时间戳。所述第一时间戳信息包括初始时间戳和结束时间戳。

在404中，获取一个或多个参考图像信息。所述参考图像信息由摄像头拍摄参考图像获得。在一些实施例中，参考图像信息可以包括第二时间戳信息和参考图像。所述第二时间戳信息可以是摄像头的时间戳。在一些实施例中，所述参考图像正对摄像头放置。所述参考图像可以是棋盘格、二维码等可做标定的图像。所述摄像头可以拍摄完整的参考图像。在一些实施例中，摄像头位于X-Y-Z坐标系，参考图像位于u-v坐标系。所述X-Y平面平行于所述u-v平面。所述X-Y-Z坐标可以转化为u-v坐标。

在406中，基于所述一个或多个角速度信息，确定一个或多个第一旋转角度信息。如402中所述，角速度信息可以包括第一时间戳信息和角速度。所述第一时间戳信息t_gyro可以包括初始时间戳t_S和结束时间戳t_e。所述角速度可以是沿不同坐标轴的角速度w_x、w_y和w_z。特别地，所述旋转角度信息仅与围绕Z轴的角速度w_z有关。w_z可以是随时间变化的函数。在一些实施例中，可以通过对w_z积分获得一个第一旋转角度。如公式(1)中所示：

其中，t_s、t_e为初始时间戳和结束时间戳。在陀螺仪的一次角速度信息采集过程中，所述采集的一个角速度信息包括一个开始时间点和一个结束时间点。所述初始时间戳包括陀螺仪采集的多个开始时间点。所述结束时间戳包括陀螺仪采集的多个结束时间点。

在一些实施例中，第一旋转角度信息包含第一旋转角度θ_gyro和第一时间戳信息t_gyro。在一些实施例中，陀螺仪可以获取一个或多个角速度信息。进而，可以通过公式(1)确定一个或多个第一旋转角度信息。在一些实施例中，所述一个或多个第一旋转角度信息中的一个或多个第一旋转角度可以是一个或多个如公式(1)中所示的表达式，或者根据公式(1)中所示的具体的值。

在408中，基于所述一个或多个参考图像信息，确定一个或多个第二旋转角度信息。基于所述一个或多个参考图像信息，确定一个或多个第二旋转角度信息的方法见图5及其描述。

在410中，基于所述一个或多个第一旋转角度信息和所述一个或多个第二旋转角度信息，确定时延值。所述时延值为传感器间的时延值。特别地，所述时延值为陀螺仪与摄像头之间的时延值。

在412中，基于所述时延值校正时延。在一些实施例中，所述时延值可以用于校正传感器间的时延。例如，基于所述时延值，对陀螺仪的第一时间戳延时相应的时长。所述相应的时长与时延值相等。又例如，基于所述时延值，对摄像头的第二时间戳提前相应的时长。在一些实施例中，所述时延值可以是正值或负值。

应当注意，许多替代方案，修改方案和变形对于本领域技术人员将是显而易见的。本申请描述的示例性实施例的特征、结构、方法和其他特征可以以各种方式组合以获得附加的和/或替代的示例性实施例。例如，所述角速度信息和参考图像信息的获取顺序，或所述一个或多个第一旋转角度信息和所述一个或多个第二旋转角度信息的处理顺序可以是任意的。即，图4中方法的执行顺序还可以是402-404-408-406-410-412，404-402-406-408-410-412，404-402-408-406-410-412，402-406-404-408-410-412或404-408-402-406-410-412。

图5是根据本申请的一些实施例所示的摄像头坐标系和图像坐标系示意图。如图5所示，摄像头坐标系为X-Y-Z坐标系，图像坐标系为u-v坐标系，Z轴与u-v平面的交点为(u₀,v₀)。在一些实施例中，摄像头的内参为焦距f_x和f_y，光心c_x,c_y。

在摄像头的一个采样时间点，摄像头获取一个参考图像信息。所述一个参考图像信息包括一个当前时间点和一个参考图像。所述当前时间点是摄像头时间戳中的一个采样时间点。所述参考图像上某一点的坐标为D(x,y,z)。则可通过公式：

得出点D(x,y,z)在图像坐标系对应的坐标p_c(u,v)。

进一步地，可以根据公式

sp_c＝K[R|T]p_w (3)

确定当前时间点对应的参考图像相对于起始时间点对应的参考图像的旋转和平移关系。所述起始时间点可以是摄像头拍摄第一幅参考图像的时间点。其中，p_c＝[u v 1]^T是图像坐标系对应的坐标，s是图像坐标系中对应点p_c的比例因子，K是摄像头的内参数矩阵，R和T是摄像头所需的3D旋转和3D平移，p_w＝[x y z 1]^T为世界坐标系的坐标。

在一些实施例中，假定数据是无噪声的，则公式(3)的等价公式为：

在一些实施例中，可以根据R和T确定当前坐标D(x,y,z)对应的第二角度。所述第二角度为当前时间点的参考图像相对于起始时间点的参考图像转过的角度。所述起始时间点可以是摄像头时间戳的采集参考图像的第一个时间点。进一步地，可以确定当前时间点的上一时间点的第二角度。将当前时间点对应的第二角度和上一时间点对应的第二角度的差值，确定为当前时间点的第二旋转角度θ_cam。将当前时间点和当前时间点对应的第二旋转角度θ_cam，确定为一个第二旋转角度信息。

如404中所述，摄像头可以获取一个或多个参考图像信息。所述一个或多个参考图像信息可以包括摄像头的时间戳信息(第二时间戳信息)。进一步地，可以基于所述一个或多个参考图像信息，根据图5中所述方法确定一个或多个第二旋转角度信息。所述一个或多个旋转角度信息包括一个或多个第二旋转角度和第二时间戳信息。

图6是根据本申请的一些实施例所示的时延值确定方法示意图。在一些实施例中，所述时延值确定方法由处理装置111或计算设备200执行。

在602中，修正所述一个或多个第一旋转角度信息和所述一个或多个第二旋转角度信息。如图4中所述，所述一个或多个第一旋转角度信息包括一个或多个第一旋转角度θ_gyro和第一时间戳信息t_gyro。由于所述一个或多个旋转角度θ_gyro是基于时间戳t_gyro积分确定的，因此θ_gyro可以表示为θ_gyro(t_gyro)。所述一个或多个第二旋转角度信息包括一个或多个第二旋转角度θ_cam(t_cam)和第二时间戳信息t_cam。所述修正过程可以是修正所述第一时间戳信息和所述第二时间戳信息。

在604中，基于所述一个或多个修正的第一旋转角度信息和所述一个或多个修正的第二旋转角度信息，确定时延值。所述基于所述一个或多个修正的第一旋转角度信息和所述一个或多个修正的第二旋转角度信息，确定时延值的方法见图9及其相应描述。

图7是根据本申请的一些实施例所示的修正一个或多个第一旋转角度信息和一个或多个第二旋转角度信息示意图。在一些实施例中，修正所述一个或多个第一旋转角度信息和所述一个或多个第二旋转角度信息的方法由处理装置111或计算设备200执行。

在702中，获取一个或多个参考时间点。在一些实施例中，所述一个或多个参考时间点可以是智能机器人行进或旋转过程中的离散时间序列t_i，其中i为序列号。例如，所述一个或多个参考时间点为***的时钟。在一些实施例中，所述离散时间序列t_i是已知的。特别地，所述一个或多个参考时间点可以与传感器的时间戳相同。例如，离散时间序列t_i与陀螺仪的时间戳t_gyro相同。又例如，离散时间序列t_i与摄像头的时间戳t_cam相同。

在704中，基于所述一个或多个参考时间点，修正所述一个或多个第一旋转角度信息和所述一个或多个第二旋转角度信息。特别地，修正过程为基于所述一个或多个参考时间点t_i，修正所述第一时间戳信息t_gyro和所述第二时间戳信息t_cam，进而实现一个或多个第一旋转角度信息和所述一个或多个第二旋转角度信息。

图8是根据本申请的一些实施例所示的修正一个或多个第一旋转角度信息示意图。在一些实施例中，所述一个或多个第一旋转角度信息修正方法由处理装置111或计算设备200执行。

在802中，基于一个待定时间变量，对所述一个或多个参考时间点进行延时。在一些实施例中，所述待定时间变量Δt可以是表征传感器间(例如，陀螺仪和摄像头间)时延值的参数。所述一个或多个参考时间点t_i经过待定时间变量Δt延时后变为t_i+Δt。

在804中，基于所述一个或多个延时的参考时间点，确定一个或多个修正的第一旋转角度信息。如图4中406中所述，第一旋转角度信息包含第一旋转角度θ_gyro(t_gyro)和第一时间戳信息t_gyro。所述第一时间戳信息t_gyro可以包括初始时间戳t_s和结束时间戳t_e。在一些实施例中，基于所述一个或多个延时的参考时间点，确定所述一个或多个修正的第一旋转角度为θ_gyro(t_i+Δt)。与公式(1)类似，一个或多个修正的第一旋转角度θ_gyro(t_i+Δt)也可通过积分获得。所述一个或多个修正的第一旋转角度信息包括一个或多个修正的第一旋转角度θ_gyro(t_i+Δt)和修正的第一时间戳t_i+Δt。

如704中所述，基于离散时间序列t_i，确定一个或多个修正的第二旋转角度为θ_cam(t_i)。所述一个或多个修正的第二旋转角度信息包括一个或多个修正的第二旋转角度θ_cam(t_i)和修正的第二时间戳t_i。所述修正的第二时间戳t_i未经过待定时间变量Δt的延时。

图9是根据本申请的一些实施例所示的时延值确定方法示意图。在一些实施例中，所述时延值确定方法由处理装置111或计算设备200执行。

在902中，基于所述一个或多个修正的第一旋转角度信息和一个或多个修正的第二旋转角度信息，确定一个或多个角度差值。在一些实施例中，所述一个或多个角度差值可以是θ_gyro(t_i+Δt)和θ_cam(t_i)之差。例如，所述一个或多个角度差值可以是θ_gyro(t_i+Δt)-θ_cam(t_i)或θ_cam(t_i)-θ_gyro(t_i+Δt)。

在一些实施例中，可以通过匹配过程确定所述一个或多个角度差值。所述匹配过程可以是基于所述一个或多个参考时间点t_i，匹配所述一个或多个修正的第一旋转角度和所述一个或多个修正的第二旋转角度。具体地，将参考时间点序列号相同的第一旋转角度和第二旋转角度匹配为一组。例如，将θ_gyro(t₁+Δt)和θ_cam(t₁)匹配为一组。又例如，将θ_gyro(t₄+Δt)和θ_cam(t₄)匹配为一组。进一步地，计算匹配的一组或多组第一旋转角度和第二旋转角度的差值，确定为一个或多个角度差值。

在一些实施例中，可以基于序列号i通过指令或代码确定所述一个或多个角度差值θ_gyro(t_i+Δt)-θ_cam(t_i)。此时，上述匹配过程将不再必要。

在904中，确定所述一个或多个角度差值的平方和。在一些实施例中，所述一个或多个角度差值的平方和可以表示为

在906中，基于所述一个或多个角度差值的平方和，确定时延值。在一些实施例中，当所述一个或多个角度差值的平方和

最小时，将此时的Δt确定为时延值。

值得说明的是，图6-图9所示的时延值确定方法，仅是本申请的时延确定方法的一种或几种实施例，并不用于限定本申请，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，可以实现本申请的诸多变型。例如，可以基于所述一个或多个延时的参考时间点t_i+Δt，确定一个或多个修正的第二旋转角度θ_cam(t_i+Δt)；基于所述参考时间点t_i，确定一个或多个修正的第一旋转角度θ_gyro(t_i)。又例如，基于所述一个或多个修正的第一旋转角度θ_gyro(t_i)和所述一个或多个修正的第二旋转角度θ_cam(t_i+Δt)，确定一个或多个角度差值的平方和

进一步地，基于所述一个或多个角度差值的平方和，确定时延值。

在一些实施例中，图4-图9所述的时延校正方法可以表现为计算机可读介质中的指令。计算设备200可以通过读取并执行所述指令实现所述电单车寻车方法。智能机器人110或处理装置111或计算设备200可以通过读取并执行所述指令实现所述时延校正方法。

图10是根据本申请的一些实施例所示的时延校正***示意图。如图10中所示，时延校正***1000包括角速度采集模块1010、图像采集模块1020和处理模块1030。在一些实施例中，所述时延校正***1000的功能可以通过智能机器人110实现。

角速度采集模块1010可以用于获取一个或多个角速度信息。所述角速度采集模块1010可以是陀螺仪。在一些实施例中，所述角速度信息可以包括第一时间戳信息和角速度。所述第一时间戳信息包括初始时间戳和结束时间戳。

图像采集模块1020可以用于获取一个或多个参考图像信息。所述图像采集模块1020可以是摄像头。在一些实施例中，参考图像信息可以包括第二时间戳信息和参考图像。所述第二时间戳信息可以是摄像头的时间戳。在一些实施例中，所述参考图像正对摄像头放置。所述参考图像可以是棋盘格、二维码等可做标定的图像。特别地，所述摄像头可以拍摄完整的参考图像。

处理模块1030可以用于基于所述一个或多个角速度信息和所述一个或多个参考图像信息，确定时延值。处理模块1030的功能可以通过智能机器人中的处理装置111或计算设备200实现。具体地，所述处理模块1030基于所述一个或多个角速度信息，确定一个或多个第一旋转角度信息；处理模块1030基于所述一个或多个参考图像信息，确定一个或多个第二旋转角度信息；处理模块1030基于所述一个或多个第一旋转角度信息和所述一个或多个第二旋转角度信息，确定时延值。所述处理模块1030确定时延值的具体过程见图4-图9及其相关描述。

校正模块1040用于基于所述时延值校正时延。例如，基于所述时延值，校正模块1040对陀螺仪的第一时间戳延时相应的时长。所述相应的时长与时延值相等。又例如，基于所述时延值，校正模块1040对摄像头的第二时间戳提前相应的时长。在一些实施例中，所述时延值可以是正值或负值。

图11是根据本申请的一些实施例所示的一个智能机器人时延校正实施例示意图。特别地，所述机器人为扫地机器人。如图11所示，扫地机器人位于一个时延校正辅助装置上。时延校正辅助装置由底板、顶板及连接底板和顶板的固定支柱组成。所述顶板上放置有参考图像。所述参考图像为棋盘格。所述底板上放置有一个垫板，垫板与底板通过可调节支柱连接，扫地机器人位于所述垫板上。扫地机器人上侧设有摄像头，机器人***设有陀螺仪。扫地机器人在旋转过程中，陀螺仪可以获取一个或多个角速度信息，摄像头可以获取棋盘格的一个或多个参考图像信息。扫地机器人内的处理模块获取所述一个或多个角速度信息和所述一个或多个参考图像信息。扫地机器人基于获取的一个或多个角速度信息和一个或多个参考图像信息，采用图4-图9中所述的方法确定时延值。在一些实施例中，还可以基于图4-图9中所述的方法，确定另一传感器与摄像头之间的时延值。例如，摄像头获取参考图像信息，另一传感器获取传感器信息，基于所述参考图像信息和所述传感器信息，确定时延值。进一步地，通过校正摄像头与多个传感器间的时延，实现多个传感器之间的时延校正。

与现有技术相比，本申请的有益效果表现如下：

一、基于智能机器人内置的陀螺仪和摄像头所测量的数据进行校正，易于操作。

二、基于智能机器人内置的陀螺仪和摄像头所测量的数据进行校正，与仅基于陀螺仪和摄像头的时间戳进行校正的方法，更为精确。

以上概述了的方法的不同方面和/或通过程序实现其他步骤的方法。技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，是通过计算机可读的介质所参与或实现的。有形的、永久的储存介质包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何时间能够为软件提供存储功能的设备。

所有软件或其中的一部分有时可能会通过网络进行通信，如互联网或其他通信网络。此类通信能够将软件从一个计算机设备或处理器加载到另一个。例如：从智能机器人***的一个管理服务器或主机计算机加载至一个计算机环境的硬件平台，或其他实现***的计算机环境，或与智能机器人***所需要的信息相关的类似功能的***。因此，另一种能够传递软件元素的介质也可以被用作局部设备之间的物理连接，例如光波、电波、电磁波等，通过电缆、光缆或者空气实现传播。用来载波的物理介质如电缆、无线连接或光缆等类似设备，也可以被认为是承载软件的介质。在这里的用法除非限制了有形的“储存”介质，其他表示计算机或机器“可读介质”的术语都表示在处理器执行任何指令的过程中参与的介质。

因此，一个计算机可读的介质可能有多种形式，包括但不限于，有形的存储介质，载波介质或物理传输介质。稳定的储存介质包括：光盘或磁盘，以及其他计算机或类似设备中使用的，能够实现图中所描述的***组件的存储***。不稳定的存储介质包括动态内存，例如计算机平台的主内存。有形的传输介质包括同轴电缆、铜电缆以及光纤，包括计算机***内部形成总线的线路。载波传输介质可以传递电信号、电磁信号，声波信号或光波信号，这些信号可以由无线电频率或红外数据通信的方法所产生的。通常的计算机可读介质包括硬盘、软盘、磁带、任何其他磁性介质；CD-ROM、DVD、DVD-ROM、任何其他光学介质；穿孔卡、任何其他包含小孔模式的物理存储介质；RAM、PROM、EPROM、FLASH-EPROM，任何其他存储器片或磁带；传输数据或指令的载波、电缆或传输载波的连接装置、任何其他可以利用计算机读取的程序代码和/或数据。这些计算机可读介质的形式中，会有很多种出现在处理器在执行指令、传递一个或更多结果的过程之中。

本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，例如，局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

本领域技术人员能够理解，本申请所披露的内容可以出现多种变型和改进。例如，以上所描述的不同***组件都是通过硬件设备所实现的，但是也可能只通过软件的解决方案得以实现。例如：在现有的服务器上安装***。此外，这里所披露的位置信息的提供可能是通过一个固件、固件/软件的组合、固件/硬件的组合或硬件/固件/软件的组合得以实现。

以上内容描述了本申请和/或一些其他的示例。根据上述内容，本申请还可以作出不同的变形。本申请披露的主题能够以不同的形式和例子所实现，并且本申请可以被应用于大量的应用程序中。后文权利要求中所要求保护的所有应用、修饰以及改变都属于本申请的范围。

同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的***组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的***。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

针对本申请引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档、物件等，特将其全部内容并入本申请作为参考。与本申请内容不一致或产生冲突的申请历史文件除外，对本申请权利要求最广范围有限制的文件(当前或之后附加于本申请中的)也除外。需要说明的是，如果本申请附属材料中的描述、定义、和/或术语的使用与本申请所述内容有不一致或冲突的地方，以本申请的描述、定义和/或术语的使用为准。

最后，应当理解的是，本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的教导一致。相应地，本申请的实施例不限于本申请明确介绍和描述的实施例。

Claims (9)

1.一种时延校正方法，其特征在于，包括：

获取一个或多个角速度信息；

获取一个或多个参考图像信息；

基于所述一个或多个角速度信息，确定一个或多个第一旋转角度信息，所述第一旋转角度信息包括第一旋转角度和第一时间戳信息；

基于所述一个或多个参考图像信息，确定一个或多个第二旋转角度信息，所述第二旋转角度信息包括第二旋转角度和第二时间戳信息；

获取一个或多个参考时间点；

基于所述一个或多个参考时间点，修正所述一个或多个第一旋转角度信息和所述一个或多个第二旋转角度信息；

基于一个或多个修正的第一旋转角度信息和一个或多个修正的第二旋转角度信息，确定一个或多个角度差值；基于所述一个或多个角度差值的平方和，确定时延值；

基于所述时延值校正时延。

2.如权利要求1所述的方法，其特征在于，所述基于所述一个或多个参考时间点，修正所述一个或多个第一旋转角度信息和所述一个或多个第二旋转角度信息，包括：

基于一个待定时间变量，对所述一个或多个参考时间点进行延时；

基于一个或多个延时的参考时间点，确定一个或多个修正的第一旋转角度信息，所述修正的第一旋转角度信息包括修正的第一旋转角度和修正的第一时间戳信息；

基于所述一个或多个参考时间点，修正所述一个或多个第二旋转角度信息，所述修正的第二旋转角度信息包括修正的第二旋转角度和修正的第二时间戳信息。

3.如权利要求1所述的方法，其特征在于，所述基于所述一个或多个参考时间点，修正所述一个或多个第一旋转角度信息和所述一个或多个第二旋转角度信息包括：

基于一个待定时间变量，对所述一个或多个参考时间点进行延时；

基于一个或多个延时的参考时间点，确定一个或多个修正的第二旋转角度信息，所述修正的第二旋转角度信息包括修正的第二旋转角度和修正的第二时间戳信息；

基于所述一个或多个参考时间点，修正所述一个或多个第一旋转角度信息，所述修正的第一旋转角度信息包括修正的第一旋转角度和修正的第一时间戳信息。

4.如权利要求2或3所述的方法，其特征在于，所述基于所述一个或多个角度差值的平方和，确定时延值包括：

基于所述待定时间变量，确定所述一个或多个角度差值的平方和的最小值；

将所述一个或多个角度差值的平方和的最小值对应的待定时间变量确定为时延值。

5.一种时延校正***，其特征在于，包括：

角速度采集模块，所述角速度采集模块用于获取一个或多个角速度信息；

图像采集模块，所述图像采集模块用于获取一个或多个参考图像信息；

处理模块，所述处理模块用于：

基于所述一个或多个角速度信息，确定一个或多个第一旋转角度信息，所述第一旋转角度信息包括第一旋转角度和第一时间戳信息；

基于所述一个或多个参考图像信息，确定一个或多个第二旋转角度信息，所述第二旋转角度信息包括第二旋转角度和第二时间戳信息；

获取一个或多个参考时间点；

基于所述一个或多个参考时间点，修正所述一个或多个第一旋转角度信息和所述一个或多个第二旋转角度信息；

基于一个或多个修正的第一旋转角度信息和一个或多个修正的第二旋转角度信息，确定一个或多个角度差值；基于所述一个或多个角度差值的平方和，确定时延值；

校正模块，所述校正模块用于基于所述时延值，校正时延。

6.如权利要求5所述的***，其特征在于，所述角速度采集模块为陀螺仪。

7.如权利要求5所述的***，其特征在于，所述图像采集模块为摄像头。

8.一种时延校正装置，其特征在于，包括处理器，所述处理器执行如权利要求1-4任一所述的时延校正方法。

9.一种计算机可读存储介质，所述存储介质存储计算机指令，其特征在于，所述计算机指令被计算机读取后执行如权利要求1-4任一所述的时延校正方法。

Images