CN113311905A - 一种数据处理*** - Google Patents

一种数据处理*** Download PDF

Info

Publication number
CN113311905A
CN113311905A CN202010130518.2A CN202010130518A CN113311905A CN 113311905 A CN113311905 A CN 113311905A CN 202010130518 A CN202010130518 A CN 202010130518A CN 113311905 A CN113311905 A CN 113311905A
Authority
CN
China
Prior art keywords
time
positioning result
image
vehicle
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010130518.2A
Other languages
English (en)
Other versions
CN113311905B (zh
Inventor
韩方正
梁煜彬
李明
贾保才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Momenta Suzhou Technology Co Ltd
Original Assignee
Momenta Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Momenta Suzhou Technology Co Ltd filed Critical Momenta Suzhou Technology Co Ltd
Priority to CN202010130518.2A priority Critical patent/CN113311905B/zh
Publication of CN113311905A publication Critical patent/CN113311905A/zh
Application granted granted Critical
Publication of CN113311905B publication Critical patent/CN113311905B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/04—Generating or distributing clock signals or signals derived directly therefrom
    • G06F1/12—Synchronisation of different clock signals provided by a plurality of clock generators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/04—Generating or distributing clock signals or signals derived directly therefrom
    • G06F1/10—Distribution of clock signals, e.g. skew
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Navigation (AREA)

Abstract

本发明实施例公开了一种数据处理***，该***包括：主设备、与主设备连接的多个从设备，以及分别与主设备和各个从设备连接的处理器；其中，主设备，作为***内的主时钟源，被配置为向各个从设备发送时间信息；从设备，被配置为接收主设备发送的时间信息，在达到与主设备时间同步后，将带有时间信息的数据发送给处理器；其中，当主设备接收到外部时钟源设备发送的时间校准信息时，确定当前时间与时间校准信息的时间差值，并将时间差值发送给处理器；处理器被配置为，接收各个从设备发送的带有时间信息的数据，并结合接收到的时间差值对数据进行融合处理。通过采用上述技术方案，实现了在接入外部时钟源时不引起***时间跳变的效果。

Description

一种数据处理***
技术领域
本发明涉及自动驾驶技术领域，具体涉及一种数据处理***。
背景技术
对于很多工业级领域，比如自动驾驶行业，需要综合处理同一时刻的多路传感器的采集数据，且对数据的时间精度要求极高，延时误差要求严格。
为了保证***中多路传感器的时间同步性，典型地使用一个设备作为统一时钟源，同步多路传感器的时间。这个时间同步设备工作时，为了保证与外部的绝对时间，比如UTC(协调世界时)，格林威治时间保持同步，会引入GPS(Global Positioning System，全球定位***GPS)等外部时钟设备，对自身***时间进行校准。但是由于***时间跟外部时钟有差异，引入外部时钟，***时间会发生跳变，而跳变方向也不确定。时钟源的跳变，会对***造成较为严重的影响，造成多路传感器时间扰动，时间不同步的问题发生。
现有解决时间跳变的方法，是以较小的步伐，经过长时间将***时间拉至与外部时间源同步。但是这种方法只适用于***时间与外部时间源仅有较小的误差；且这样仍然会造成***中设备的时间不同步及扰动，没有实质解决问题。
发明内容
本发明实施例公开了一种数据处理***，实现了在***内各设备时间同步的前提下，当接入外部时钟源时也不引起***时间跳变的效果。
第一方面，本发明实施例公开了一种数据处理***，应用于自动驾驶，该***包括：主设备、与所述主设备连接的多个从设备，以及分别与所述主设备和各个所述从设备连接的处理器；其中，
所述主设备，作为***内的主时钟源，被配置为向各个从设备发送时间信息；
所述从设备，配置为接收所述主设备发送的所述时间信息，在达到与所述主设备时间同步后，将带有时间信息的数据发送给所述处理器；
其中，当所述主设备接收到外部时钟源设备发送的时间校准信息时，确定当前时间与所述时间校准信息的时间差值，并将所述时间差值发送给所述处理器；
所述处理器被配置为，接收各个从设备发送的带有时间信息的数据，并结合接收到的所述时间差值对所述数据进行融合处理。
可选的，各个从设备被配置为与所述处理器相连；相应的，
如果所述从设备接收到所述外部时钟源设备发送的时间校准信息，则确定当前时间与所述时间校准信息的时间差值，并将带有时间信息的数据以及所述时间差值发送给所述处理器。
可选的，所述主设备与各所述从设备的连接方式包括：网线连接、串口连接或CAN接口连接。
可选的，所述从设备包括：轮速传感器和图像传感器；
相应的，所述处理器具体被配置为：
根据所述轮速传感器发送的带有时间信息的轮速传感器数据，所述时间差值和图像传感器发送的图像传感器数据，确定车辆在当前时间下的定位结果。
可选的，所述处理器具体被配置为：
根据车辆的轮速传感器所采集的轮速传感器数据，确定车辆在当前时刻的定位信息；
根据所述定位信息和已完成修正的车辆的历史定位结果确定所述车辆在当前时间下的当前定位结果；
其中，所述历史定位结果是在所述当前时刻之前，利用图像传感器数据所确定的第一定位结果对轮速传感器数据所确定的第二定位结果进行修正处理后得到的。
可选的，所述历史定位结果的修正处理的过程采用迭代方式，在图像传感器的任意一个图像采样周期内，利用图像传感器数据所确定的第一定位结果对该图像采样周期内各个时刻的由轮速传感器数据所确定的第二定位结果依次进行修正处理，并将每次修正处理的输出作为下次修正处理的输入。
可选的，所述定位信息包括车轮位移、轮距和车辆的航向角；
相应的，所述处理器具体被配置为：
根据车轮位移、轮距和车辆的航向角，并结合已完成修正的车辆的历史定位结果，按照如下公式计算车辆在当前时间下的当前定位结果：
Figure BDA0002393057280000021
Δs＝(Δsr+Δsl)/2
Δθ＝(Δsr-Δsl)/B
其中，i表示上一个时刻，i+1表示当前时刻；pi+1为车辆在当前时刻的当前定位结果，pi＝(xi,yi,θi)t为上一时刻已完成修正的车辆的历史定位结果，该历史定位结果包括x,y方向坐标和航向角θ；Δsr,Δsl分别为右后车轮位移和左后车轮位移，B为轮距。
可选的，所述第一定位结果通过采用如下步骤来确定：
对于当前时刻所属图像采样周期之前的相邻两个图像采样周期，获取所述相邻两个图像采样周期内前一个图像采样周期的第一图像数据以及后一个图像采样周期的第二图像数据；
根据车辆在所述前一个图像采样周期结束时刻已完成修正的定位结果，并结合所述第一图像数据和所述第二图像数据计算第一定位结果。
可选的，所述处理器，具体被配置为：
确定轮速传感器所对应的各个第二定位结果从所述前一个图像采样周期开始时刻到所述后一个图像采样周期开始时刻的位姿增量；
相应的，所述处理器，还被配置为：
根据所述位姿增量、所述车辆在前一个图像采样周期结束时刻已完成修正的定位结果、所述第一图像数据和所述第二图像数据，确定第一定位结果。
可选的，所述处理器，具体被配置为：
按照如下公式确定第一定位结果：
pm+1,λm＝argmin(||pm*Am-pm+1*Am+1||2+||pm+λmΔpm-pm+1||2)；
其中，m表示所述前一个图像采样周期的开始时刻，m+1表示所述后一个图像采样周期的开始时刻；Pm表示所述前一个图像采样周期对应的已完成修正的定位结果，Pm+1表示所述后一个图像采样周期对应的第一定位结果；λm为轮速传感器与图像之间的尺度比例系数；ΔPm为所述位姿增量；Am为所述第一图像数据；Am+1表示所述第二图像数据。
本发明的发明点包括：
1、各个从设备在实现与主设备的时间同步后，当主设备接收到外部时钟源设备发送的时间校准信息时，确定当前时间与时间校准信息的时间差值，并将时间差值发送给处理器。处理器可根据接收到的各个从设备发送的带有时间信息的数据，并结合接收到的时间差值对从设备发送的数据进行融合处理。这样设置，避免了引入外部时钟源时，直接校准***主时钟源的***时间而造成时间跳变的问题。在接收到外部时钟源的授时信息后，***内各个设备的时间仍保持高度统一同步，不会发生跳变，是本发明的发明点之一。
2、本申请利用采样频率高于图像传感器采样频率的轮速传感器对车辆进行定位，提高了车辆定位的实时性。此外，考虑到利用轮速传感器在数据采集过程中会因数据噪声对车辆的定位精度造成影响，本申请中利用图像传感器数据所确定的第一定位结果对轮速传感器数据所确定的第二定位结果进行了修正。由于当前定位结果是在已完成修正的车辆的历史定位结果得到的，因此，相对于单纯采用轮速传感器数据进行车辆定位的技术方案，本申请的技术方案提高了车辆定位的精度，得到的车辆当前定位结果的精度更高、可靠性更好。
3、在利用图像传感器数据所确定的车辆的第一定位结果对轮速传感器数据所确定的车辆的第二定位结果进行修正的过程中，由于图像传感器的采样频率低于轮速传感器的采样频率，因此，当根据图像传感器数据得到一个车辆的第一定位结果时，数据处理器已经输出了根据轮速传感器数据所确定的多个第二定位结果。为了后续车辆定位结果的准确性，本发明实施例的技术方案将轮速传感器输出的第二定位结果暂存于缓存空间中。当得到第一定位结果时，通过利用第一定位结果对各个第二定位结果进行依次修正，并将每次执行修正操作的输出作为下次修正操作的输入，可有效抑制车辆定位结果误差的积累，使得后续输出的车辆的定位结果的精度得到有效提升。
4、本发明实施例的技术方案将相邻两个图像采样周期内轮速传感器数据的定位结果与图像传感器数据的定位结果进行了融合，具体是在融合过程中考虑到了轮速传感器在相邻两个图像采样周期内的位姿增量。这样设置将轮速传感器所在坐标系换算到图像传感器所在的坐标系，避免了由于两种不同数据源的定位结果相冲突而对融合结果造成影响，使得第一定位结果的精度达到最优，从而在利用第一定位结果对第二定位结果进行修正时，提高了修正结果的可靠性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种数据处理***的结构框图；
图2是本发明实施例提供的一种处理器对车辆的定位方法的流程示意图；
图3是本发明实施例提供的一种利用第一定位结果对第二定位结果进行修正的原理图；
图4是本发明实施例提供的一种处理器根据图像传感器数据生成车辆的第一定位结果的方法的流程示意图；
图5是本发明实施例提供的一种地图的构建方法的流程示意图；
图6是本发明实施例提供的一种处理器对车辆的定位装置的结构示意图；
图7是本发明实施例提供的一种地图的构建装置的结构示意图；
图8是本发明实施例提供的一种车载终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
请参阅图1，图1是本发明实施例提供的一种数据处理***的结构框图。该***应用于自动驾驶中。如图1所示，本实施例提供的***具体包括：主设备110、与主设备110连接的多个从设备120，以及分别与主设备110和各个从设备120连接的处理器130；其中，
主设备110，作为***内的主时钟源，被配置为向各个从设备120发送时间信息；
从设备120，配置为接收主设备110发送的时间信息，在达到与主设备110时间同步后，将带有时间信息的数据发送给处理器130；
其中，当主设备110接收到外部时钟源设备发送的时间校准信息时，确定当前时间与时间校准信息的时间差值，并将时间差值发送给处理器130；
处理器130被配置为，接收各个从设备120发送的带有时间信息的数据，并结合接收到的时间差值对数据进行融合处理。
本实施例中，主设备的功能之一是作为***中的主时间源，***中所有的设备都与该主设备连接，以获取主设备发送的时间信息，实现时间同步功能。示例性的，主设备与各从设备的连接方式可包括：网线连接、串口连接或CAN接口连接等。主设备可通过上述接口向各个从设备发送同步信号，以使各个从设备与主设备实现时间同步。在实现时间同步后，各从设备可将带有时间信息的数据发送给处理器。
为了使***时间保持精准，可利用外部时钟源，例如GPS，为主设备提供非常准确的外部时间，例如于UTC等时间高度一致。当主设备接收到外部时钟源设备发送的时间校准信息时，可确定当前时间与时间校准信息的时间差值，并将时间差值发送给处理器。处理器可根据接收到的各个从设备发送的带有时间信息的数据，并结合接收到的时间差值对从设备发送的数据进行融合处理。这样设置，避免了引入外部时钟源时，直接校准***主时钟源的***时间而造成时间跳变的问题。在接收到外部时钟源的授时信息后，***内各个设备的时间仍保持高度统一同步，不会发生跳变。处理服务器在执行数据处理时可结合当前***时间与外部时钟源的差值，对数据进行融合处理。
示例性的，各个从设备还可被配置为与外部时钟源设备建立通信连接，以接收外部时钟源设备发送的授时信息。具体的，当从设备接收到外部时钟源设备发送的时间校准信息时，可确定当前时间与时间校准信息的时间差值，并将带有时间信息的数据以及时间差值发送给处理器，从而在保证***时间不发生跳变的条件下，实现各个设备与外部时钟源设备时间同步的功能。
示例性的，本实施例中的从设备可以包括多种传感器设备，例如雷达(Radar)，激光雷达(Lidar)、图像传感器和轮速传感器等。下面，将以图像传感器和轮速传感器为例，来对处理器对数据的具体融合处理过程进行如下说明：
具体的，处理器被配置为：当处理器接收到主设备发送的时间差值，轮速传感器发送的带有时间信息的轮速传感器数据和图像传感器发送的图像传感器数据时，可将图像传感器数据和轮速传感器数据进行融合处理，得到车辆在当前时间下的定位结果。
具体的，请参阅图2，图2是本发明实施例提供的一种处理器对车辆的定位方法的流程示意图，该方法包括：
210、根据车辆的轮速传感器所采集的轮速传感器数据，确定车辆在当前时刻的定位信息。
其中，轮速传感器所采集的数据为轮速脉冲信号。根据轮速脉冲信号，可得到车辆在当前时刻的定位信息。该定位信息可包括车辆左右车轮的位移。由于处理器已经获取到主设备发送的时间差值，因此处理器可得到某个精确时刻车辆的定位信息。
220、根据定位信息和已完成修正的车辆的历史定位结果确定车辆在当前时间下的当前定位结果。
其中，历史定位结果是在当前时刻之前，利用图像传感器数据所确定的第一定位结果对轮速传感器数据所确定的第二定位结果进行修正处理后得到的。
其中，对于轮速传感器而言，当前时刻根据该轮速传感器所采集数据得到的定位信息可看作是上一时刻车辆定位结果的增量，即当前时刻所要确定的车辆定位结果是在上一个时刻车辆定位结果的基础上，结合该增量得到的，也即只要当前时刻之前的车辆的历史定位结果得到修正，那么车辆的当前定位结果就会有一定程度的提高。本实施例中，可将当前时刻之前各个时刻的车辆定位结果均作为历史定位结果。或者由于车辆的定位结果是一个不断累加的过程，可将当前时刻之前任意一个时刻的定位结果作为历史定位结果，例如可优选将当前时刻之前上一时刻的车辆定位结果作为历史定位结果。本实施例中，历史定位结果是当前时刻之前，利用第一定位结果对第二定位结果进行修正得到的。
其中，第一定位结果是在当前时刻之前，根据图像传感器数据所确定的车辆的定位结果，第二定位结果是根据轮速传感器数据所确定的车辆的定位结果。由于图像传感器数据中存在多个语义特征(例如路灯、道路线、车道线、车位线或障碍物)，那么根据这些语义特征所确定的车辆的第一定位结果相对于单纯根据轮速传感器数据所得到的第二定位结果的精度较高。因此，如果利用第一定位结果对第二定位结果进行了修正处理，那么基于修正后的历史定位结果所确定的当前定位结果的精度将会得到有效提升。
需要说明的是，因为轮速传感器的采样频率高于图像传感器的采样频率，所以对于任意一个图像传感器的采样周期，在获取到图像传感器数据到根据该数据确定出车辆的第一定位结果的过程中，必然会存在多个轮速传感器的采样时刻，相应的，也就会存在多个基于轮速传感器数据所确定的车辆的第二定位结果，并且一般情况下这些第二定位结果已经实时输出给车辆。由于车辆当前时刻的定位结果会受到当前时刻之前历史定位结果的影响，同理，当前时刻的定位结果也会影响下一时刻的定位结果，因此，即使已经输出多个第二定位结果，但通过将这些第二定位结果暂存于缓存空间中，并在下一轮速传感器数据得到之前，通过利用第一定位结果对这些第二定位结果中的一个或多个进行修正，可使得车辆在下一时刻定位结果的精度得到提高。如果将这里提到的下一时刻作为当前时刻，那么上述在下一时刻之前的修正过程即为确定历史定位结果的过程。
示例性的，对于任意一个图像传感器的图像采样周期，可利用该周期内得到的第一定位结果对该图像采样周期内任意一个时刻(例如当前时刻的上一时刻)的第二定位结果进行修正处理。这样设置是因为车辆的定位结果是一个不断累加的过程，在一个图像采样周期内，只要其中某个时刻的定位结果被修正，就会影响下一时刻的车辆定位精度，即对于当前时刻车辆的定位精度而言，只要当前时刻之前有一个第二定位结果被修正，那么用于确定当前定位结果的历史定位结果的精度就会有所提高，从而有助于提高当前时刻定位结果的精度。
优选的，历史定位结果的修正过程还可以为：利用图像传感器数据所确定的第一定位结果对图像采样周期内各个时刻的由轮速传感器数据所确定的第二定位结果进行依次修正，并将每次修正处理的输出作为下次修正过程的输入。这样设置的好处在于，抑制了轮速传感器定位误差的叠加，相对于只对其中一个或几个第二定位结果进行修正的方案，这样设置可使得当前定位结果的精度得到最大程度的提高。
还需要说明的是，由于每个图像采样周期内会存在多个轮速传感器的采样时刻，那么当前时刻与确定历史定位结果的上一时刻可处于同一个图像采样周期，也可处于不同的图像采样周期。对于处于不同的图像采样周期而言，当前时刻可以是每个图像采样周期的开始时刻，也可以是非开始时刻。下面对上述不同的情况进行详细介绍：
如果当前时刻与上一时刻处于不同的图像采样周期，且当前时刻是每个采样周期的开始时刻，那么历史定位结果则为上一个图像采样周期结束时刻的第二定位结果。该第二定位结果可在上个图像采样周期内被直接修正，或者也可被间接修正。下面结合图3来进行说明，请参阅图3：
图3是本发明实施例提供的一种利用第一定位结果对第二定位结果进行修正的原理图。如图3所示，输入流中的图像0、图像3和图像6表示图像传感器所采集的图像数据(或者图像中的语义特征信息)；相应的，输出流中的图像定位0、图像定位3和图像定位6均表示根据图像数据(或者图像中的语义特征信息)所确定的车辆的第一定位结果；输入流中的轮速计0-轮速计6均表示轮速传感器所采集的数据(或者根据轮速计数据得到的车辆的定位信息)；相应的，输出流中的轮速计定位0--速计定位6均表示根据轮速计数据(或者根据轮速计数据得到的车辆的定位信息)所确定的车俩的第二定位结果。
如图3所示，如果当前时刻是t3时刻，那么当前定位结果之前已完成修正的历史定位结果即为上一个图像采样周期结束时(t2时刻)已完成修正的定位结果，即利用图像定位0对轮速计定位2修正后的结果。
其中，t2时刻对应的第二定位结果(轮速计定位2)可利用第一定位结果(图像定位0)被直接修正。直接修正的方式包括两种，一种方式是图像定位0不对轮速计定位0和1进行修正，而是直接对轮速计定位2进行修正；另外一种优选的方式是利用迭代方式，即先对t0时刻的轮速计定位0进行修正，修正得到的结果会影响轮速计定位1的结果，然后利用图像定位0再对轮速计定位1进行修正，直到完成对轮速计定位2的修正，并完成修正后的结果作为历史定位结果。
示例性的，因为车辆的定位结果是一个不断累加的过程，所以t2时刻对应的第二定位结果(轮速计定位2)还可被第一定位结果(图像定位0)间接修正。例如，如果图像定位0只对轮速计定位0进行了修正，而未对轮速计定位1和2进行修正，那么由于定位结果的不断叠加，修正后的轮速计0的定位结果会影响轮速计定位1的定位结果，从而间接影响了轮速计2的定位结果。
综上所述，不论是采用直接修正第二定位结果还是采用间接修正第二定位结果的方式，均会对的下一时刻的定位结果产生积极的影响，即修正完成的历史定位结果会影响当前定位结果。但为了最大程度提高车辆定位的精度，本实施例优选采用迭代的方式，利用图像传感器数据所确定的第一定位结果对该图像采样周期内各个时刻的由轮速传感器数据所确定的第二定位结果进行依次修正处理，并将每次修正处理的输出作为下次修正处理的输入。
对于当前时刻与上一时刻处于不同的图像采样周期，且当前时刻非每个采样周期的开始时刻的情况，下面仍结合图3来进行说明：
如图3所示，如果当前时刻为t4时刻，此时，图像定位3还未得到确定，那么上一时刻(t3时刻)所对应的历史定位结果还无法被图像定位3进行修正。但由于上一个图像采样周期的图像定位0已经对轮速计定位2进行了修正，则可说明轮速计定位3的结果已被间接修正。当前t4时刻的定位结果仍可结合经过间接修正的轮速计定位3得到确定。
另外，在一些特殊情况下，当前时刻与上一时刻可能会处于同一个图像采样周期，即某个时刻的定位结果被修正后，下一时刻的定位结果还未输出，那么下一时刻的定位结果可结合前一时刻经过直接修正的定位结果来得到。如图3所示，如果当前时刻t4的定位结果被确定之前，图像定位3已生成，并已完成对轮速计定位3的修正，此时t4时刻的定位结果可结合经过直接修正的轮速计定位3得到确定。
综上所述，本实施例中，当前时刻的定位结果可与历史定位结果的修正过程处于同一个图像采样周期，也可处于不同的图像采样周期。并且用于确定当前定位结果的历史定位结果可以是被直接修正得到的，也可是通过间接修正得到的，本实施对此不作具体限定。
作为一种具体的实施方式，本实施例中的轮速传感器所采集的脉冲信号所得到的当前车辆的定位信息可包括车轮位移、轮距和车辆的航向角。
相应的，步骤220中根据定位信息和已完成修正的车辆的历史定位结果确定车辆在当前时间下的当前定位结果，具体可以为：
根据车轮位移、轮距和车辆的航向角，并结合已完成修正的车辆的历史定位结果，按照如下公式计算车辆在当前时间下的当前定位结果：
Figure BDA0002393057280000101
Δs＝(Δsr+Δsl)/2
Δθ＝(Δsr-Δsl)/B
其中，i表示上一个时刻，i+1表示当前时刻；pi+1为车辆在当前时刻的当前定位结果，pi＝(xi,yi,θi)t为上一时刻已完成修正的车辆的历史定位结果，该历史定位结果包括x,y方向坐标和航向角θ；Δsr,Δsl分别为右后车轮位移和左后车轮位移，B为轮距。
本实施例提供的技术方案，通过利用采样频率高于图像传感器采样频率的轮速传感器对车辆进行定位，提高了车辆定位的实时性。考虑到利用轮速传感器在数据采集过程中会因数据噪声对车辆的定位精度造成影响，本申请中利用图像传感器数据所确定的第一定位结果对轮速传感器数据所确定的第二定位结果进行了修正。由于当前定位结果是在已完成修正的车辆的历史定位结果得到的，因此，相对于单纯采用轮速传感器数据进行车辆定位的技术方案，本申请的技术方案提高了车辆定位的精度，得到的车辆当前定位结果的精度更高、可靠性更好。此外，由于处理器在对传感器数据进行实时处理的过程中，结合了轮速传感器和图像传感器采样时间与外部时钟源提供的时间校准信息的时间差值，因此处理器在完成传感器数据融合后，可得到某个准确时刻车辆的定位结果。
实施例二
请参阅图4，图4是本发明实施例提供的一种处理器根据图像传感器数据生成车辆的第一定位结果的方法的流程示意图。本实施例在上述实施例的基础上进行了优化，提供了第一定位结果的具体计算方式，使得第一定位结果的计算更加精准，从而为第二定位结果的修正结果提供了保障，以使当前定位结果的可靠性得到有效提高。如图4所示，该方法包括：
310、对于当前时刻所属图像采样周期之前的相邻两个图像采样周期，获取前一个图像采样周期的第一图像数据以及后一个图像采样周期的第二图像数据。
其中，第一图像数据和第二图像数据均是利用图像传感器所采集的原始数据数据，或者是通过经过经验筛选，识别出的具有特殊含义并有助于车辆定位的语义特征，例如车道线、车位线或者障碍物等。
可选的，车载终端可以通过图像分割等图像识别算法识别出图像语义特征。优选的，可以预先采用大量标注有图像语义特征的样本图像对神经网络模型进行训练，并利用训练后的神经网络模型识别图像语义特征。
本领域技术人员可以理解的是，随着车辆的移动，在不同图像采样周期，同一语义特征在图像中的位置是不同的。但如果利用不同时刻车辆的位姿，将不同时刻同一语义特征投影到一个全局地图坐标系下，那么不同时刻同一语义特征在该坐标中的位置是相同的。上述原理可通过如下公式来表示：
Figure BDA0002393057280000111
其中，m和m+1表示相邻两个图像采样周期的开始时刻，j表示图像数据中的语义特征；对于相邻两个图像采样周期，Pm表示前一个图像采样周期已完成修正的定位结果，Pm+1后一个图像采样周期的第一定位结果；
Figure BDA0002393057280000112
表示语义特征在前一个图像采样周期所对应图像中的位置；
Figure BDA0002393057280000113
表示语义特征在后一个图像采样周期所对应图像中的位置；Xj表示语义特征在全局地图坐标系中的位置。
由于通过一个语义特征无法确定准确的位置，因此，可将图像中的多个语义特征形成语义特征集合
Figure BDA0002393057280000114
相应的，上述原理可表示为：
Pm*Am＝Pm+1*Am+1。
320、根据车辆在前一个图像采样周期结束时刻已完成修正的定位结果，并结合第一图像数据和第二图像数据计算第一定位结果。
可以理解的是，在理想情况下，Pm*Am与Pm+1*Am+1表示的是全局地图中的同一个位置，即||Pm*Am-Pm+1*Am+1||的结果为0。但由于数据采集过程中误差的存在，会导致Pm*Am-Pm+1*Am+1||的结果并不为零。因此，为了计算车辆在当前图像采样周期内的第一定位结果，可通过利用最小二乘法使得||Pm*Am-Pm+1*Am+1||的值做小，从而可计算出车辆的第一定位结果Pm+1。
作为一种具体的实施方式，如图3所示，如果当前时刻是t6时刻，那么历史定位结果可以是通过第一定位结果(图像定位3)对第二定位结果(轮速计定位3、轮速计定位4和轮速计定位5)进行修正得到的。在此过程中需要确定出第一定位结果(图像定位3)。其中，第一定位结果(图像定位3)的计算需要结合当前时刻所属图像采样周期之前的相邻两个图像采样周期的图像数据(图像0和图像3)，以及相邻两个图像采样周期中前一个图像采样周期的图像定位结果(图像定位0)。
具体的，如果将根据图像定位0对轮速计定位2修正后得到的结果作为上述相邻两个图像采样周期中前一个图像采样周期结束时刻已完成修正的定位结果Pm，那么后一个图像采样周期的第一定位结果Pm+1，即图像定位3，可基于上述公式，利用第一图像数据(图像0)、第二图像数据(图像3)和前一个图像采样周期结束时刻已完成修正的定位结果Pm来计算。当计算出Pm+1后，可利用Pm+1先对t3的轮速计定位3进行修正，修正得到的结果会影响轮速计定位4的结果，然后可利用Pm+1再对轮速计定位4进行修正，直到完成对轮速计定位5的修正，得到历史定位结果。该修正过程的进行是发生在当前时刻的前一个图像采样周期，即前一个图像采样周期的修正结果是为了提供对下一个采样周期开始时刻的车辆定位精度。但在当前采样周期内，如果当前时刻的定位结果为得到确定，而上一时刻的定位结果已被修正，则当前时刻的定位结果可基于修正后的定位结果进行确定。
综上所述，本实施例中，如果将计算出第一定位结果的时刻作为当前时刻，那么第一定位结果的计算是为了对当前时刻所述图像采样周期内的各个第二定位结果进行修正，在修正过程中，虽然当前时刻的定位结果已经输出，但修正的结果可作为下一时刻(一般为第一定位结果的下一个图像采样周期的开始时刻)的输入，使得下一时刻的车辆定位精度得到提高。或者可从另外一个角度去理解，如果将上述下一时刻作为当前时刻，那么第一定位结果是当前时刻所属图像采样周期之前的上一个图像采样周期的图像定位结果。第一定位结果的计算是为了利用第一定位结果对在当前定位结果输出之前对的第二定位结果进行修正，从而提供历史定位结果的精度，以提升当前时刻输出的车辆的定位精度。
进一步的，由于图像传感器的采样频率低于轮速传感器的采样频率，因此，在得到上述相邻两个图像采样周期的图像定位的时间段内，必然已输出多个轮速传感器的定位结果。例如，如图3所示，图像定位0是对应于t0时刻的图像定位结果，图像定位3是对应于t3时刻的图像定位结果。在图像定位0确定之后，且图像3来临时，处理器会根据图像定位0、图像3、图像0来计算图像定位3。在此过程中，轮速计定位0、轮速计定位1和轮速计定位2早已被实时输出。因此，为了进一步提升Pm+1，例如图3中为图像定位3，的精度，可将根据图像传感器数据所确定的定位结果与相邻两个图像采样周期内的根据轮速传感器数据所确定的定位结果相融合，这样设置可将轮速传感器与图像传感器所在坐标系进行统一，相对于单纯结合图像传感器数据来确定后一个图像定位结果的方式，这样设置可进一步提供第一定位结果的精度。具体的，本实施例在将两种类型的传感器数据相融合的过程中，考虑到了轮速传感器对应的第二定位结果从前一个图像采样周期开始时刻到后一个图像采样周期开始时刻的位姿增量，即将轮速传感器所在坐标系换算到图像传感器所在坐标系中，从而避免了由于两个不同数据源的定位结果相冲突而对融合结果造成影响，使得第一定位结果的精度达到最优，这是本发明的创新处之一。
具体的，位姿增量的计算过程可以为，在前一个图像采样周期开始时刻到后一个图像采样周期开始时刻的时间段内，将前后两个不同时刻的第二定位结果两两相减，得到多个第二定位结果的差值，然后再将多个差值相加。如图3所示，从t0时刻到t2时刻第二定位结果的位姿增量的计算过程可以为：计算t1时刻与t0时刻，以及t2时刻与t1时刻的位姿之差，然后将得到的两个差值相加的和值，作为从t0时刻到t2时刻第二定位结果的位姿增量。
在确定出位姿增量后，可按照如下公式所示，根据位姿增量，并结合车辆在前一个图像采样周期结束时刻已完成修正的定位结果、第一图像数据和第二图像数据，计算第一定位结果。通过利用第一定位结果对第二定位结果进行修正，可使得当前定位结果的精度得到提高。
pm+1,λm＝argmin(||pm*Am-pm+1*Am+1||2+||pm+λmΔpm-pm+1||2)；
其中，m表示相邻两个图像采样周期的开始时刻；对于相邻两个图像采样周期，Pm表示前一个图像采样周期对应的已完成修正的定位结果，Pm+1表示后一个图像采样周期对应的第一定位结果；λm为轮速传感器与图像之间的尺度比例系数；ΔPm为所述位姿增量；Am为所述第一图像数据；Am+1表示所述第二图像数据。
本实施例在上述实施例的基础上，将轮速传感器数据的定位结果与图像传感器数据的定位结果进行了融合，具体是在融合过程中考虑到了轮速传感器在相邻两个图像采样周期内的位姿增量。这样设置将两种不同类型的传感器统一到了一个坐标系下，避免了由于两种不同数据源的定位结果相冲突而对融合结果造成影响，使得第一定位结果的精度达到最优，从而在利用第一定位结果对第二定位结果进行修正时，提高了修正结果的可靠性。
进一步的，在处理器完成对车辆在某个时刻的定位之后，可利用定位结果进行地图构建。具体的地图构建过程可参见如下实施例的说明。
实施例三
请参阅图5，图5是本发明实施例提供的一种地图的构建方法的流程示意图。该方法应用于自动驾驶中，可由地图的构建装置来执行，该装置可通过软件和/或硬件的方式实现，一般可集成于车载电脑、车载工业控制计算机(Industrial personal Computer，IPC)等车载终端的处理器中，本发明实施例不做限定。如图5所示，本实施例提供的地图的构建方法具体包括：
410、对图像传感器所采集的不同采样周期的图像进行识别，得到不同采样周期各个语义特征的位置信息。
本实施例中，图像传感器可以为分别安装在车辆前、后、左和右四个方向的摄像头，每个摄像头的取景范围至少包括该摄像头的下方地面。可选的，上述摄像头可以为鱼眼摄像头，鱼眼摄像头的视场(Field OF View，FOV)较大，从而可以使得单个鱼眼摄像头拍摄到的目标图像中尽可能多地包括车辆的周边环境，提高观测的完整性进，有助于提高后续车辆定位的精度。安装在上述四个方向的摄像头组成了摄像头的环视方案，使得车载终端可以一次性获取到车辆周边各个方向的环境信息，从而可以使得利用单次采集得到的目标图像构建出的局部地图包含更多的信息。此外，四路摄像头采集的图像数据存在一定的冗余，如果某一路摄像头失效，其余摄像头采集的图像数据可以作为补充，对车载终端构建地图和定位的影响较低。
本实施例中，可将安装在车辆前、后、左和右四个方向的摄像头在同一时刻拍摄到的目标图像进行拼接，得到的俯视拼接图包含了以车辆为中心360度的环境信息。通过识别俯视拼接图，可得到各个语义特征的位置信息。此外，如果用于拍摄目标图像的摄像头为鱼眼摄像头，车载终端在对多张目标图像进行拼接之前，还需要对目标图像进行反畸变处理，即按照一定的映射规则，将鱼眼摄像头拍摄到的目标图像投影到地平面上，然后再对投影完成得到的图像进行拼接，并对拼接后的图像进行识别，得到各个语义特征的位置信息。
其中，某个时刻各个语义特征的位置信息可用集合
Figure BDA0002393057280000141
来表示，该集合中的元素表示某个语义特征j在该采样周期开始时刻i在图像中的位置
Figure BDA0002393057280000142
420、根据车辆在不同采样周期的定位结果，将各语义特征对应的位置信息投影到全局地图坐标系中，得到各语义特征在全局地图坐标系中的目标位置。
本领域技术人员可以理解的是，随着车辆的移动，在不同图像采样周期，同一语义特征在图像中的位置是不同的。但如果利用不同时刻车辆的位姿，将同一语义特征投影到一个全局地图坐标系下，那么不同时刻同一语义特征在该坐标中的位置是相同的。上述原理可通过如下公式来表示：
Figure BDA0002393057280000143
其中，m表示前一个图像采样周期的开始时刻，m+1表示当前图像采样周期的开始时刻，j表示图像数据中的语义特征；Pm表示前一个图像采样周期对应的已完成修正的定位结果，Pm+1后一个图像采样周期对应的第一定位结果；
Figure BDA0002393057280000151
表示前一个图像采样周期语义特征在图像中的位置；
Figure BDA0002393057280000152
表示后一个图像采样周期语义特征在图像中的位置；Xj表示语义特征在全局地图坐标系中的目标位置。
本实施例中，车辆在不同采样周期的定位结果具体也可以为车辆在某个采样周期结束时刻的定位结果，该定位结果的技术可采用上述任意实施例所提供的车辆的定位方法，本实施例在此不作赘述。
430、将各个语义特征在地图中所对应的目标位置相结合，得到全局地图。
其中，全局地图的表示方式为MAP＝(X1,X2,...,Xn)，Xn表示地图中语义特征的位置。
进一步的，在根据地图进行定位阶段，观察当前图像语义信息，估计合适的位姿，使得当前语义与全局地图语义匹配，具体方法类似建图中的定位方法：
pm+1,λm＝argmin(||MAP-pm+1*Am+1||2+||pm+λmΔpm-pm+1||2)
其中，其m+1表示当前图像采样周期的开始时刻，m表示当前图像采样周期之前的前一个采样周期的开始时刻；Pm表示前一个图像采样周期结束时刻对应的已完成修正的历史定位结果，Pm+1表示当前图像采样周期对应的当前定位结果；λm为轮速传感器与图像之间的尺度比例系数；ΔPm为轮速传感器所对应的定位结果从m到m+1时刻的位姿增量；MAP表示全局地图；Am+1表示当前图像；arg min(f(x))表示在f(x)取最小值时，自变量x的集合。
上述公式中，等式右边第一项为当前语义特征与全局地图的匹配，第二项为融合轮速计信息的约束项，求解该非线性最小二乘问题即得到最优定位结果。
本实施例在上述实施例的基础上，根据车辆在不同图像采样周期内的位姿信息，并结合不同图像采样周期的语义特征的位置可得到不同语义特征在全局地图中的目标位置，从而可构建出全局地图。在此过程中，图像的采集可利用安装在车辆前、后、左和右四个方向的鱼眼摄像头来执行，这样设置可以使得单次采集得到的目标图像包含更多的环境信息，以提高地图数据的全面性，并且有助于提升车辆的定位精度。
实施例四
请参阅图6，图6是本发明实施例提供的一种处理器对车辆的定位装置的结构示意图。如图6所示，该车辆的定位装置可以包括：定位信息确定模块510和当前定位结果确定模块520。其中，
定位信息确定模块510，用于根据车辆中的轮速传感器所采集的轮速传感器数据，确定车辆在当前时刻的定位信息；
当前定位结果确定模块520，用于根据所述定位信息和已完成修正的车辆的历史定位结果确定所述车辆在当前时间下的定位结果；
其中，所述历史定位结果是在所述当前时刻之前，利用图像传感器数据所确定的第一定位结果对轮速传感器数据所确定的第二定位结果进行修正处理后得到的，所述图像传感器的采样频率小于所述轮速传感器的采样频率。
在上述实施例的基础上，所述修正处理的过程采用迭代方式，在图像传感器的任意一个图像采样周期内，利用图像传感器数据所确定的第一定位结果对该图像采样周期内各个时刻的由轮速传感器数据所确定的第二定位结果进行依次修正处理，并将每次修正处理的输出作为下次修正处理的输入。
在上述实施例的基础上，所述定位信息包括车轮位移、轮距和车辆的航向角；
相应的，所述当前定位结果确定模块具体用于：
根据车轮位移、轮距和车辆的航向角，并结合已完成修正的车辆的历史定位结果，按照如下公式计算车辆在当前时刻的当前定位结果：
Figure BDA0002393057280000161
Δs＝(Δsr+Δsl)/2
Δθ＝(Δsr-Δsl)/B
其中，i表示上一个时刻，i+1表示当前时刻；pi+1为车辆在当前时刻的当前定位结果，pi＝(xi,yi,θi)t为上一时刻已完成修正的车辆的历史定位结果，该历史定位结果包括x,y方向坐标和航向角θ；Δsr,Δsl分别为右后车轮位移和左后车轮位移，B为轮距。
在上述实施例的基础上，所述第一定位结果通过采用如下模块来确定：
图像数据获取模块，用于对于当前时刻所属图像采样周期之前的相邻两个图像采样周期，获取所述相邻两个图像采样周期内前一个图像采样周期的第一图像数据以及后一个图像采样周期的第二图像数据；
第一定位结果计算模块，用于根据车辆在所述前一个图像采样周期结束时刻已完成修正的定位结果，并结合所述第一图像数据和所述第二图像数据计算第一定位结果。
在上述实施例的基础上，所述装置还包括：
位置增量确定模块，用于确定轮速传感器所对应的各个第二定位结果从所述前一个图像采样周期开始时刻到所述后一个图像采样周期开始时刻的位姿增量；
相应的，所述装置还包括：
第一定位结果确定模块，用于根据所述位姿增量、所述车辆在所述前一个图像采样周期结束时刻已完成修正的定位结果、所述第一图像数据和所述第二图像数据，确定第一定位结果。
在上述实施例的基础上，所述第一定位结果确定模块具体用于：
按照如下公式确定第一定位结果：
pm+1,λm＝argmin(||pm*Am-pm+1*Am+1||2+||pm+λmΔpm-pm+1||2)；
其中，m表示所述前一个图像采样周期的开始时刻，m+1表示所述后一个图像采样周期的开始时刻；Pm表示所述前一个图像采样周期对应的已完成修正的定位结果，Pm+1表示所述后一个图像采样周期对应的第一定位结果；λm为轮速传感器与图像之间的尺度比例系数；ΔPm为所述位姿增量；Am为所述第一图像数据；Am+1表示所述第二图像数据。
本发明实施例所提供的车辆的定位装置可执行本发明任意实施例所提供的车辆的定位方法，具备执行方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的车辆的定位方法。
实施例五
请参阅图7，图7是本发明实施例提供的一种地图的构建装置的结构示意图，如图7所示，该装置包括：位置信息确定模块610、目标位置确定模块620和全局地图构建模块630。
其中，
位置信息确定模块610，用于对图像传感器所采集的不同采样周期的图像进行识别，得到不同采样周期各个语义特征的位置信息；
目标位置确定模块620，用于根据车辆在不同采样周期的定位结果，将各语义特征的位置信息投影到全局地图坐标系中，得到各语义特征在所述全局地图坐标系中的目标位置；
全局地图构建模块630，用于将各个语义特征在地图中所对应的目标位置相结合，得到全局地图；
其中，车辆在不同采样周期内任意一个时刻的定位结果均可按照本发明任意实施例所提供的车辆的定位方法进行确定。
本实施例在上述实施例的基础上，根据车辆在不同图像采样周期内的位姿信息，并结合不同图像采样周期的语义特征的位置可得到不同语义特征在全局地图中的目标位置，从而可构建出全局地图。在此过程中，图像的采集可利用安装在车辆前、后、左和右四个方向的鱼眼摄像头来执行，这样设置可以使得单次采集得到的目标图像包含更多的环境信息，以提高地图数据的全面性，并且有助于提升车辆的定位精度。
实施例六
请参阅图8，图8是本发明实施例提供的一种车载终端的结构示意图。如图8所示，该车载终端可以包括：
存储有可执行程序代码的存储器701；
与存储器701耦合的处理器702；
其中，处理器702调用存储器701中存储的可执行程序代码，执行本发明任意实施例所提供的处理器对车辆的定位方法。
本发明实施例还提供了另外一种车载终端，包括存储有可执行程序代码的存储器；与存储器耦合的处理器；其中，处理器调用存储器中存储的可执行程序代码，执行本发明任意实施例所提供的地图的构建方法。
本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行本发明任意实施例所提供的处理器对车辆的定位方法。
本发明实施例还公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行本发明任意实施例所提供的地图的构建方法。
本发明实施例公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行本发明任意实施例所提供的处理器对车辆的定位方法的部分或全部步骤。
本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行本发明任意实施例所提供的地图的构建方法的部分或全部步骤。
在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在本发明所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。
另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种数据处理***进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据处理***，应用于自动驾驶，其特征在于，包括：主设备、与所述主设备连接的多个从设备，以及分别与所述主设备和各个所述从设备连接的处理器；其中，
所述主设备，作为***内的主时钟源，被配置为向各个从设备发送时间信息；
所述从设备，被配置为接收所述主设备发送的所述时间信息，在达到与所述主设备时间同步后，将带有时间信息的数据发送给所述处理器；
其中，当所述主设备接收到外部时钟源设备发送的时间校准信息时，确定当前时间与所述时间校准信息的时间差值，并将所述时间差值发送给所述处理器；
所述处理器被配置为，接收各个从设备发送的带有时间信息的数据，并结合接收到的所述时间差值对所述数据进行融合处理。
2.根据权利要求1所述的***，其特征在于，各个从设备被配置为与所述处理器相连；相应的，
如果所述从设备接收到所述外部时钟源设备发送的时间校准信息，则确定当前时间与所述时间校准信息的时间差值，并将带有时间信息的数据以及所述时间差值发送给所述处理器。
3.根据权利要求1所述的***，其特征在于，所述主设备与各所述从设备的连接方式包括：网线连接、串口连接或CAN接口连接。
4.根据权利要求1所述的***，其特征在于，所述从设备包括：轮速传感器和图像传感器；
相应的，所述处理器具体被配置为：
根据所述轮速传感器发送的带有时间信息的轮速传感器数据，所述时间差值和图像传感器发送的图像传感器数据，确定车辆在当前时间下的定位结果。
5.根据权利要求4所述的***，其特征在于，所述处理器具体被配置为：
根据车辆的轮速传感器所采集的轮速传感器数据，确定车辆在当前时刻的定位信息；
根据所述定位信息和已完成修正的车辆的历史定位结果确定所述车辆在当前时间下的当前定位结果；
其中，所述历史定位结果是在所述当前时刻之前，利用图像传感器数据所确定的第一定位结果对轮速传感器数据所确定的第二定位结果进行修正处理后得到的。
6.根据权利要求5所述的***，其特征在于，所述历史定位结果的修正处理的过程采用迭代方式，在图像传感器的任意一个图像采样周期内，利用图像传感器数据所确定的第一定位结果对该图像采样周期内各个时刻的由轮速传感器数据所确定的第二定位结果依次进行修正处理，并将每次修正处理的输出作为下次修正处理的输入。
7.根据权利要求5或6所述的***，其特征在于，所述定位信息包括车轮位移、轮距和车辆的航向角；
相应的，所述处理器具体被配置为：
根据车轮位移、轮距和车辆的航向角，并结合已完成修正的车辆的历史定位结果，按照如下公式计算车辆在当前时间下的当前定位结果：
Figure FDA0002393057270000021
Δs＝(Δsr+Δsl)/2
Δθ＝(Δsr-Δsl)/B
其中，i表示上一个时刻，i+1表示当前时刻；pi+1为车辆在当前时刻的当前定位结果，pi＝(xi,yi,θi)t为上一时刻已完成修正的车辆的历史定位结果，该历史定位结果包括x,y方向坐标和航向角θ；Δsr,Δsl分别为右后车轮位移和左后车轮位移，B为轮距。
8.根据权利要求5或6所述的***，其特征在于，所述第一定位结果通过采用如下步骤来确定：
对于当前时刻所属图像采样周期之前的相邻两个图像采样周期，获取所述相邻两个图像采样周期内前一个图像采样周期的第一图像数据以及后一个图像采样周期的第二图像数据；
根据车辆在所述前一个图像采样周期结束时刻已完成修正的定位结果，并结合所述第一图像数据和所述第二图像数据计算第一定位结果。
9.根据权利要求8所述的***，其特征在于，所述处理器，具体被配置为：
确定轮速传感器所对应的各个第二定位结果从所述前一个图像采样周期开始时刻到所述后一个图像采样周期开始时刻的位姿增量；
相应的，所述处理器，还被配置为：
根据所述位姿增量、所述车辆在前一个图像采样周期结束时刻已完成修正的定位结果、所述第一图像数据和所述第二图像数据，确定第一定位结果。
10.根据权利要求9所述的***，其特征在于，所述处理器，具体被配置为：
按照如下公式确定第一定位结果：
pm+1,λm＝argmin(||pm*Am-pm+1*Am+1||2+||pm+λmΔpm-pm+1||2)；
其中，m表示所述前一个图像采样周期的开始时刻，m+1表示所述后一个图像采样周期的开始时刻；Pm表示所述前一个图像采样周期对应的已完成修正的定位结果，Pm+1表示所述后一个图像采样周期对应的第一定位结果；λm为轮速传感器与图像之间的尺度比例系数；ΔPm为所述位姿增量；Am为所述第一图像数据；Am+1表示所述第二图像数据。
CN202010130518.2A 2020-02-26 2020-02-26 一种数据处理*** Active CN113311905B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010130518.2A CN113311905B (zh) 2020-02-26 2020-02-26 一种数据处理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010130518.2A CN113311905B (zh) 2020-02-26 2020-02-26 一种数据处理***

Publications (2)

Publication Number Publication Date
CN113311905A true CN113311905A (zh) 2021-08-27
CN113311905B CN113311905B (zh) 2022-06-24

Family

ID=77370154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010130518.2A Active CN113311905B (zh) 2020-02-26 2020-02-26 一种数据处理***

Country Status (1)

Country Link
CN (1) CN113311905B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113890665A (zh) * 2021-09-23 2022-01-04 北京超星未来科技有限公司 一种时间同步方法、***、存储介质及处理器
CN114063703A (zh) * 2021-10-12 2022-02-18 奥比中光科技集团股份有限公司 一种数据同步方法、装置、数据处理设备和存储介质
US11822377B2 (en) 2022-01-11 2023-11-21 Waymo Llc Timebase synchronization using pulsed signal injection

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105745604A (zh) * 2013-11-03 2016-07-06 微软技术许可有限责任公司 传感器数据时间校准
CN106909937A (zh) * 2017-02-09 2017-06-30 北京汽车集团有限公司 交通信号灯识别方法、车辆控制方法、装置及车辆
CN108196285A (zh) * 2017-11-30 2018-06-22 中山大学 一种基于多传感器融合的精确定位***
CN110208001A (zh) * 2019-05-26 2019-09-06 初速度（苏州）科技有限公司 一种车辆的道路测试方法和装置
CN110332945A (zh) * 2019-08-01 2019-10-15 北京眸星科技有限公司 基于交通道路标线视觉识别的车载导航方法和装置
CN110361008A (zh) * 2019-07-10 2019-10-22 北京智行者科技有限公司 地下车库自动泊车的定位方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105745604A (zh) * 2013-11-03 2016-07-06 微软技术许可有限责任公司 传感器数据时间校准
CN106909937A (zh) * 2017-02-09 2017-06-30 北京汽车集团有限公司 交通信号灯识别方法、车辆控制方法、装置及车辆
CN108196285A (zh) * 2017-11-30 2018-06-22 中山大学 一种基于多传感器融合的精确定位***
CN110208001A (zh) * 2019-05-26 2019-09-06 初速度（苏州）科技有限公司 一种车辆的道路测试方法和装置
CN110361008A (zh) * 2019-07-10 2019-10-22 北京智行者科技有限公司 地下车库自动泊车的定位方法及装置
CN110332945A (zh) * 2019-08-01 2019-10-15 北京眸星科技有限公司 基于交通道路标线视觉识别的车载导航方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113890665A (zh) * 2021-09-23 2022-01-04 北京超星未来科技有限公司 一种时间同步方法、***、存储介质及处理器
CN114063703A (zh) * 2021-10-12 2022-02-18 奥比中光科技集团股份有限公司 一种数据同步方法、装置、数据处理设备和存储介质
US11822377B2 (en) 2022-01-11 2023-11-21 Waymo Llc Timebase synchronization using pulsed signal injection

Also Published As

Publication number Publication date
CN113311905B (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN113311905B (zh) 一种数据处理***
CN109345596B (zh) 多传感器标定方法、装置、计算机设备、介质和车辆
US10921460B2 (en) Position estimating apparatus and method
CN107481292B (zh) 车载摄像头的姿态误差估计方法和装置
CN111415387B (zh) 相机位姿确定方法、装置、电子设备及存储介质
EP2053860A1 (en) On-vehicle image processing device and its viewpoint conversion information generation method
CN112051590A (zh) 激光雷达与惯性测量单元的检测方法及相关装置
CN112230242A (zh) 位姿估计***和方法
CN112214009A (zh) 传感器数据处理方法、装置、电子设备及***
CN113759384B (zh) 一种传感器位姿转换关系确定方法、装置、设备和介质
CN113418527A (zh) 一种强实时双构连续景象融合匹配导航定位方法及***
CN114279434B (zh) 一种建图方法、装置、电子设备和存储介质
CN114268787B (zh) 基于ar-hud的延时补偿方法、装置、设备及存储介质
CN116184430A (zh) 一种激光雷达、可见光相机、惯性测量单元融合的位姿估计算法
CN111351497B (zh) 一种车辆的定位方法、装置、地图的构建方法和装置
JP6075377B2 (ja) 通信装置、通信システム、通信方法およびプログラム
CN112967393B (zh) 车辆移动轨迹的修正方法、装置、电子设备及存储介质
CN111461980B (zh) 点云拼接算法的性能估计方法和装置
CN116642511A (zh) Ar导航图像渲染方法、装置、电子设备及存储介质
KR20180097004A (ko) 차량용 레이다 목표 리스트와 비전 영상의 목표물 정합 방법
CN113469045A (zh) 无人集卡的视觉定位方法、***、电子设备和存储介质
CN112556702A (zh) 一种车辆移动轨迹的高度修正方法及相关装置
CN112815959B (zh) 车辆车道级定位***、方法、装置和电子设备
CN115205828B (zh) 一种车辆定位方法、装置、整车控制器及可读存储介质
CN118401862A (zh) 用于移动智能体的具有多个传感器的传感器装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211125

Address after: 215100 floor 23, Tiancheng Times Business Plaza, No. 58, qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou, Jiangsu Province

Applicant after: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

Address before: Room 601-a32, Tiancheng information building, No. 88, South Tiancheng Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province

Applicant before: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant