CN112214009B - 传感器数据处理方法、装置、电子设备及*** - Google Patents

传感器数据处理方法、装置、电子设备及*** Download PDF

Info

Publication number
CN112214009B
CN112214009B CN201910556258.2A CN201910556258A CN112214009B CN 112214009 B CN112214009 B CN 112214009B CN 201910556258 A CN201910556258 A CN 201910556258A CN 112214009 B CN112214009 B CN 112214009B
Authority
CN
China
Prior art keywords
sensor
pose
moment
data
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910556258.2A
Other languages
English (en)
Other versions
CN112214009A (zh
Inventor
邓龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Lingang Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority to CN201910556258.2A priority Critical patent/CN112214009B/zh
Priority to JP2021533178A priority patent/JP7164721B2/ja
Priority to KR1020217016721A priority patent/KR20210087495A/ko
Priority to PCT/CN2020/076813 priority patent/WO2020258901A1/zh
Publication of CN112214009A publication Critical patent/CN112214009A/zh
Application granted granted Critical
Publication of CN112214009B publication Critical patent/CN112214009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Electric Clocks (AREA)

Abstract

本公开实施例提供一种传感器数据处理方法、装置、电子设备及***，该方法包括：获取车辆的第一传感器在第一时刻的第一目标数据；获取车辆的第二传感器在第二时刻的第二目标数据，所述第一时刻和所述第二时刻为所述车辆的时钟下的不同时刻；获取所述车辆在所述第一时刻的第一位姿和在所述第二时刻的第二位姿，所述第一位姿和所述第二位姿不同；根据所述第一位姿和所述第二位姿，对所述第一目标数据进行补偿处理，得到所述第一传感器在所述第二时刻下的补偿数据。

Description

传感器数据处理方法、装置、电子设备及***
技术领域
本公开实施例涉及智能行驶技术，尤其涉及一种传感器数据处理方法、装置、电子设备及***。
背景技术
辅助驾驶和自动驾驶是智能驾驶领域的两项重要技术，通过辅助驾驶或自动驾驶，可以减少交通事故的发生，因此在智能驾驶领域发挥着重要作用。辅助驾驶技术和自动驾驶技术的实施，需要多种传感器的配合。多种传感器分别设置在车辆的不同位置，并实时采集路面图像、车辆运行数据等，辅助驾驶***或自动驾驶***根据各传感器所采集的数据进行路径规划等控制操作。由于车辆上安装的传感器的触发时刻、触发源可能存在不同，因此，多种传感器以及每种传感器中的多个传感器之间可能存在不同步的问题，因此，如何进行多种传感器以及每种传感器中的多个传感器之间的同步，是值得研究的问题。
现有技术中，可以增加额外的硬件设备，通过该硬件设备将车辆上所有的传感器同步触发，从而实现车辆上的多种传感器以及每种传感器中的多个传感器之间的同步。
发明内容
本公开实施例提供一种传感器数据处理方法、装置、电子设备及***。
本公开实施例第一方面提供一种传感器数据处理方法，包括：
获取智能设备的第一传感器在第一时刻的第一目标数据；
获取智能设备的第二传感器在第二时刻的第二目标数据，所述第一时刻和所述第二时刻为所述智能设备的时钟下的不同时刻；
获取所述智能设备在所述第一时刻的第一位姿和在所述第二时刻的第二位姿，所述第一位姿和所述第二位姿不同；
根据所述第一位姿和所述第二位姿，对所述第一目标数据进行补偿处理，得到所述第一传感器在所述第二时刻下的补偿数据。
结合本公开一个或多个实施例，所述根据所述第一位姿和所述第二位姿，对所述第一目标数据进行补偿处理，得到所述第一传感器在所述第二时刻下的补偿数据，包括：
根据所述第一位姿，确定所述第一传感器在所述第一时刻的第一坐标系；
根据所述第二位姿，确定所述第一传感器在所述第二时刻的第二坐标系；
根据所述第一坐标系和所述第二坐标系，对所述第一目标数据进行补偿处理，得到所述第一传感器在所述第二时刻下的补偿数据。
结合本公开一个或多个实施例，所述获取所述智能设备在所述第一时刻的第一位姿和在所述第二时刻的第二位姿，包括：
分别获取所述智能设备上设置的具有位姿检测功能的传感器在多个时刻检测到的智能设备的位姿检测数据，所述多个时刻中的每个时刻均为所述智能设备的时钟下的时刻；
根据所述智能设备上设置的具有位姿检测功能的传感器在多个时刻检测到的智能设备的位姿检测数据，生成所述智能设备的位姿队列；
根据所述智能设备的位姿队列、所述第一时刻和所述第二时刻，得到所述第一位姿以及所述第二位姿。
结合本公开一个或多个实施例，所述根据所述智能设备的位姿队列、所述第一时刻和所述第二时刻，确定所述第一位姿以及所述第二位姿，包括：
响应于所述位姿队列中不包括所述第一时刻的位姿，根据所述第一时刻，对所述智能设备的位姿队列进行补偿处理，得到所述第一位姿；和/或，
响应于所述位姿队列中不包括所述第二时刻的位姿，根据所述第二时刻，对所述智能设备的位姿队列进行补偿处理，得到所述第二位姿。
结合本公开一个或多个实施例，所述在获取智能设备的第一传感器在第一时刻的第一目标数据之前，还包括：
根据所述第一传感器的时钟与所述智能设备的时钟的差异信息，确定第三时刻在所述智能设备时钟下的所述第一时刻，所述第三时刻用于标识所述第一传感器检测所述第一目标数据对应的第一原始数据的时刻，所述第三时刻为所述第一传感器的时钟下的时刻。
结合本公开一个或多个实施例，所述获取智能设备的第一传感器在第一时刻的第一目标数据，包括：
接收所述第一传感器上报的所述第一原始数据，所述第一原始数据包括多个子数据，每个子数据具有一个对应的检测时刻，所述第三时刻为所述第一原始数据包括的多个子数据的检测时刻的参考时刻；
根据所述智能设备在每个子数据的检测时刻的位姿以及每个子数据，获取所述第一传感器在所述第一时刻的所述第一目标数据。
结合本公开一个或多个实施例，所述根据所述智能设备在每个子数据的检测时刻的位姿以及每个子数据，获取所述第一传感器在所述第一时刻的所述第一目标数据，包括：
根据所述智能设备在每个子数据的检测时刻的位姿，确定所述第一传感器在每个子数据的检测时刻的坐标系；
根据所述第一传感器在除所述第三时刻外的每个子数据的检测时刻的坐标系和所述第一传感器在所述第三时刻的坐标系，分别确定除所述第三时刻外的每个子数据在所述第三时刻对应的子数据；
对除所述第三时刻外的每个子数据在所述第三时刻对应的子数据以及所述第三时刻检测的子数据进行整合处理，得到所述第一传感器在所述第一时刻的所述第一目标数据。
结合本公开一个或多个实施例，所述根据所述第一位姿和所述第二位姿，对所述第一目标数据进行补偿处理，得到所述第一传感器在所述第二时刻下的补偿数据之前，还包括：
接收第三传感器上报的第二原始数据，所述第三传感器的类型与所述第一传感器的类型相同，所述第二原始数据包括多个子数据，每个子数据具有一个对应的检测时刻，所述第三时刻为所述第二原始数据包括的多个子数据的检测时刻的参考时刻；
根据智能设备在所述第二原始数据的每个子数据的检测时刻的位姿以及所述第二原始数据的每个子数据，获取所述第三传感器在所述第一时刻的第三目标数据；
所述根据所述第一位姿和所述第二位姿，对所述第一目标数据进行补偿处理，得到所述第一传感器在所述第二时刻下的补偿数据，包括：
根据所述第一位姿和所述第二位姿，对所述第一目标数据和所述第三目标数据进行补偿处理，得到所述第一传感器在所述第二时刻下的补偿数据以及所述第三传感器在所述第二时刻下的补偿数据。
结合本公开一个或多个实施例，所述根据所述第一传感器的时钟与所述智能设备的时钟的差异信息，确定第三时刻在所述智能设备时钟下的所述第一时刻之前，还包括：
根据全球定位***GPS时钟与所述智能设备的时钟误差，获取所述第一传感器的时钟与所述智能设备的时钟的差异信息。
结合本公开一个或多个实施例，所述获取智能设备的第二传感器在第二时刻的第二目标数据之前，还包括：
根据所述第二传感器的时钟与所述智能设备的时钟的差异信息，确定所述第二传感器上报所述第二目标数据时携带的第四时刻在所述智能设备时钟下的所述第二时刻，所述第四时刻用于标识所述第二目标数据的检测时刻，所述第四时刻为所述第二传感器的时钟下的时刻。
结合本公开一个或多个实施例，所述根据所述第二传感器的时钟与所述智能设备的时钟的差异信息，确定所述第二传感器上报所述第二目标数据时携带的第四时刻在所述智能设备时钟下的所述第二时刻之前，还包括：
使用所述第二传感器拍摄所述智能设备的秒表的多个视频帧；
对拍摄每个所述视频帧的时刻信息与每个所述视频帧所对应的秒表所显示的时刻信息进行比对分析，得到所述第二传感器的时钟与所述智能设备的时钟的差异信息。
结合本公开一个或多个实施例，所述第二传感器为摄像头，所述第一传感器为激光雷达或毫米波雷达。
本公开实施例第二方面提供一种传感器数据处理装置，包括：
第一获取模块，用于获取智能设备的第一传感器在第一时刻的第一目标数据；
第二获取模块，用于获取智能设备的第二传感器在第二时刻的第二目标数据，所述第一时刻和所述第二时刻为所述智能设备的时钟下的不同时刻；
第三获取模块，用于获取所述智能设备在所述第一时刻的第一位姿和在所述第二时刻的第二位姿，所述第一位姿和所述第二位姿不同；
补偿模块，用于根据所述第一位姿和所述第二位姿，对所述第一目标数据进行补偿处理，得到所述第一传感器在所述第二时刻下的补偿数据。
结合本公开一个或多个实施例，所述补偿模块具体用于：
根据所述第一位姿，确定所述第一传感器在所述第一时刻的第一坐标系；
根据所述第二位姿，确定所述第一传感器在所述第二时刻的第二坐标系；
根据所述第一坐标系和所述第二坐标系，对所述第一目标数据进行补偿处理，得到所述第一传感器在所述第二时刻下的补偿数据。
结合本公开一个或多个实施例，所述第三获取模块具体用于：
分别获取所述智能设备上设置的具有位姿检测功能的传感器在多个时刻检测到的智能设备的位姿检测数据，所述多个时刻中的每个时刻均为所述智能设备的时钟下的时刻；
根据所述智能设备上设置的具有位姿检测功能的传感器在多个时刻检测到的智能设备的位姿检测数据，生成所述智能设备的位姿队列；
根据所述智能设备的位姿队列、所述第一时刻和所述第二时刻，得到所述第一位姿以及所述第二位姿。
结合本公开一个或多个实施例，所述第三获取模块具体用于：
响应于所述位姿队列中不包括所述第一时刻的位姿，根据所述第一时刻，对所述智能设备的位姿队列进行补偿处理，得到所述第一位姿；和/或，
响应于所述位姿队列中不包括所述第二时刻的位姿，根据所述第二时刻，对所述智能设备的位姿队列进行补偿处理，得到所述第二位姿。
结合本公开一个或多个实施例，还包括：
第一确定模块，用于根据所述第一传感器的时钟与所述智能设备的时钟的差异信息，确定第三时刻在所述智能设备时钟下的所述第一时刻，所述第三时刻用于标识所述第一传感器检测所述第一目标数据对应的第一原始数据的时刻，所述第三时刻为所述第一传感器的时钟下的时刻。
结合本公开一个或多个实施例，所述第一获取模块具体用于：
接收所述第一传感器上报的所述第一原始数据，所述第一原始数据包括多个子数据，每个子数据具有一个对应的检测时刻，所述第三时刻为所述第一原始数据包括的多个子数据的检测时刻的参考时刻；
根据所述智能设备在每个子数据的检测时刻的位姿以及每个子数据，获取所述第一传感器在所述第一时刻的所述第一目标数据。
结合本公开一个或多个实施例，所述第一获取模块，具体用于：
根据所述智能设备在每个子数据的检测时刻的位姿，确定所述第一传感器在每个子数据的检测时刻的坐标系；
根据所述第一传感器在除所述第三时刻外的每个子数据的检测时刻的坐标系和所述第一传感器在所述第三时刻的坐标系，分别确定除所述第三时刻外的每个子数据在所述第三时刻对应的子数据；
对除所述第三时刻外的每个子数据在所述第三时刻对应的子数据以及所述第三时刻检测的子数据进行整合处理，得到所述第一传感器在所述第一时刻的所述第一目标数据。
结合本公开一个或多个实施例，还包括：
接收模块，用于接收第三传感器上报的第二原始数据，所述第三传感器的类型与所述第一传感器的类型相同，所述第二原始数据包括多个子数据，每个子数据具有一个对应的检测时刻，所述第三时刻为所述第二原始数据包括的多个子数据的检测时刻的参考时刻；
第四获取模块，用于根据智能设备在所述第二原始数据的每个子数据的检测时刻的位姿以及所述第二原始数据的每个子数据，获取所述第三传感器在所述第一时刻的第三目标数据；
所述补偿模块，具体用于：
根据所述第一位姿和所述第二位姿，对所述第一目标数据和所述第三目标数据进行补偿处理，得到所述第一传感器在所述第二时刻下的补偿数据以及所述第三传感器在所述第二时刻下的补偿数据。
结合本公开一个或多个实施例，还包括：
第五获取模块，用于根据全球定位***GPS时钟与所述智能设备的时钟误差，获取所述第一传感器的时钟与所述智能设备的时钟的差异信息。
结合本公开一个或多个实施例，还包括：
第二确定模块，用于根据所述第二传感器的时钟与所述智能设备的时钟的差异信息，确定所述第二传感器上报所述第二目标数据时携带的第四时刻在所述智能设备时钟下的所述第二时刻，所述第四时刻用于标识所述第二目标数据的检测时刻，所述第四时刻为所述第二传感器的时钟下的时刻。
结合本公开一个或多个实施例，还包括：
拍摄模块，用于使用所述第二传感器拍摄所述智能设备的秒表的多个视频帧；
分析模块，用于对拍摄每个所述视频帧的时刻信息与每个所述视频帧所对应的秒表所显示的时刻信息进行比对分析，得到所述第二传感器的时钟与所述智能设备的时钟的差异信息。
结合本公开一个或多个实施例，所述第二传感器为摄像头，所述第一传感器为激光雷达或毫米波雷达。
本公开实施例第三方面提供一种智能行驶控制方法，包括：
智能行驶控制装置获取设置在智能设备上的传感器的检测数据，所述检测数据采用如上述第一方面所述的传感器数据处理方法得到；
所述智能行驶控制装置根据所述检测数据对智能设备进行智能行驶控制。
本公开实施例第四方面提供一种智能行驶控制装置，包括：
获取模块，用于获取设置在智能设备上的传感器的检测数据，所述检测数据采用如上述第一方面所述的传感器数据处理方法得到；
智能行驶控制模块，用于根据所述检测数据对智能设备进行智能行驶控制。
本公开实施例第五方面提供一种电子设备，包括：
存储器，用于存储程序指令；
处理器，用于调用并执行所述存储器中的程序指令，执行上述第一方面所述的方法步骤。
本公开实施例第六方面提供一种智能行驶***，包括：通信连接的传感器、上述第五方面所述的电子设备和上述第四方面所述的智能行驶控制装置。
本公开实施例第七方面提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序用于执行上述第一方面所述的方法步骤。
本公开实施例提供的传感器数据处理方法、装置、电子设备及***，获取到第一传感器在第一时刻的第一目标数据和第二传感器在第二时刻的第二目标数据后，根据智能设备在第一时刻的位姿信息和智能设备在第二时刻的位姿信息，对第一目标数据进行补偿处理，从而得到第一传感器在第二时刻下的补偿数据。由于第二传感器的第二目标数据也是第二时刻的监测数据，即通过对第一传感器的数据进行补偿处理，可以得到第一传感器在第二传感器对应时刻的数据，即所得到的第一传感器的第一目标数据和第二传感器的第二目标数据均为同一时刻的数据，从而实现第一传感器和第二传感器的同步。该方法通过软件方式实现传感器的同步，因此，无需额外部署用于进行多个传感器同步触发的专用硬件，降低多传感器数据同步所需的硬件成本。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的传感器数据处理的方法的场景示意图；
图2为本公开实施例提供的传感器数据处理方法的流程示意图；
图3为通过上述过程对第一传感器和第二传感器进行数据同步的示意图；
图4为本公开实施例提供的传感器数据处理方法的流程示意图；
图5为本公开实施例提供的传感器数据处理方法的流程示意图；
图6为本公开实施例提供的传感器数据处理方法的流程示意图；
图7为本公开实施例提供的传感器数据处理方法的流程示意图；
图8为本公开实施例提供的传感器数据处理方法的流程示意图；
图9为对第一原始数据进行帧内数据同步以获取第一目标数据的示例图；
图10为本公开实施例提供的传感器数据处理方法的流程示意图；
图11为对相同类型的传感器进行同步的示例图；
图12为本公开实施例提供的传感器数据处理装置的模块结构图；
图13为本公开实施例提供的传感器数据处理装置的模块结构图；
图14为本公开实施例提供的传感器数据处理装置的模块结构图；
图15为本公开实施例提供的传感器数据处理装置的模块结构图；
图16为本公开实施例提供的传感器数据处理装置的模块结构图；
图17为本公开实施例提供的传感器数据处理装置的模块结构图；
图18为本公开实施例提供的一种电子设备1800的结构示意图；
图19为本公开实施例提供的智能行驶控制方法的流程示意图；
图20为本公开实施例提供的智能行驶控制装置的结构示意图；
图21为本公开实施例提供的智能行驶***的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本公开实施例提供的传感器数据处理的方法的场景示意图，如图1所示，该方法可以适用于安装有传感器的车辆、机器人、导盲设备等智能设备。智能设备上安装的传感器的类型可以包括摄像头、激光雷达(Light Detection And Ranging，简称LiDAR)、毫米波雷达(Radio Detection And Ranging，简称RADAR)、高精惯导、控制器局域网总线(Controller Area Net-work Bus，CANBUS)等，智能设备上设置的相同类型的传感器的数量可能为一个或者多个，例如设置一个或多个摄像头、一个或多个激光雷达等等。不同传感器可以设置在智能设备的不同位置。图1中以摄像头和LiDAR为例进行示出。其中，摄像头可以实时拍摄智能设备周边环境的图像，并将拍摄到的图像上报至智能设备的智能行驶***。LiDAR通过发射和接收激光脉冲可以得到智能设备周边的三维点坐标，形成点云数据，并将点云数据上报至智能设备的智能行驶***。RADAR利用电磁波探测智能设备周边的地面、车辆、树木等物体并接收其回波，从而获得物体的方位、高度、距离等信息，并将其上报至智能设备的智能行驶***。CANBUS将智能设备的运行参数，例如车辆的油门运行参数、方向盘运行参数、车轮速度，使用串行数据传输方式传输到智能设备的智能行驶***。智能行驶***基于各传感器所上报的数据，进行智能行驶控制，例如进行车辆定位、路径规划、路径偏移预警以及车流分析等。
为便于描述，本公开以下实施例将智能设备的智能行驶***简称为“***”。
图2为本公开实施例提供的传感器数据处理方法的流程示意图，如图2所示，该方法包括：
S201、获取智能设备的第一传感器在第一时刻的第一目标数据。
S202、获取智能设备的第二传感器在第二时刻的第二目标数据，该第一时刻和上述第二时刻为智能设备的时钟下的不同时刻。
可选的，***可以向第一传感器和第二传感器发送数据上报指令，第一传感器和第二传感器在接收到指令后检测数据，并将检测到的数据发送给***。或者，第一传感器和第二传感器也可以按照预设的周期，自动检测数据，并将检测到的数据发送给***。
S203、获取智能设备在上述第一时刻的第一位姿和在上述第二时刻的第二位姿，该第一位姿和该第二位姿不同。
S204、根据上述第一位姿和上述第二位姿，对上述第一目标数据进行补偿处理，得到上述第一传感器在上述第二时刻下的补偿数据。
其中，上述第一传感器和上述第二传感器可以为智能设备上的任意两个传感器。智能设备上的同一类型的传感器，可能为一个，也可能为多个。因此，上述第一传感器和上述第二传感器可以为不同类型的两个传感器，也可以为相同类型的两个传感器。
一种示例中，上述第一传感器可以为LiDAR，上述第二传感器可以为摄像头。
当第一传感器为LiDAR，第二传感器为摄像头时，由于摄像头检测到的数据为二维信息，而LiDAR检测到的数据为三维信息，在后续进行补偿处理时，需要对数据进行旋转平移等操作，因此，将检测二维信息的摄像头作为参考的第二传感器，对检测三维信息的liDAR检测的三维数据进行旋转平移等运动补偿操作，可以保证在进行补偿处理时不会引入额外的深度误差。
另一种示例中，上述第一传感器和上述第二传感器可以均为LiDAR。
以智能设备为车辆为例，在本公开实施例中，各传感器可能使用自身独立的时钟，也可能与车辆的智能驾驶***使用相同的时钟。本实施例所述的第一时刻和第二时刻，均是指车辆的智能驾驶***的时钟下的时刻。各传感器可以通过在上报的数据中携带时刻信息等方式向***上报数据在传感器的时钟下的检测时刻，在本公开实施例中，各传感器发送数据的时刻等于或者近似于***接收数据的时刻。如果第一传感器的时钟与***的时钟相同，则上述第一时刻既为第一传感器发送数据时第一传感器时钟下的时刻，也为***接收数据时***的时钟下的时刻。如果第一传感器的时钟与***的时钟不同，则***需要根据第一传感器时钟下的数据发送时刻以及第一传感器与***的时钟差异，得到上述第一时刻，该过程将在下述实施例中详细说明。上述第二时刻的处理方法与上述第一时刻类似，不再赘述。
第一传感器和第二传感器由于触发源、触发时刻不同等因素，可能存在不同步的问题。例如，第一传感器为LiDAR，第二传感器为摄像头，LiDAR每旋转一周向***上报一帧数据，摄像头可以按照自身的拍摄周期向***上报数据，因此，即使LiDAR和摄像头同时开始工作，向***上报的数据可能不是同一时刻的数据。例如，LiDAR探测到车辆前方100米存在一个人，而摄像头拍摄到的为车辆前方120米存在一个人。基于该问题，在本实施例中，在第一时刻和第二时刻均为***的时钟下时刻的前提下，将第二传感器作为第一传感器的参考传感器，将***接收第二传感器的第二目标数据的第二时刻作为第一传感器发送数据的第一时刻的参考时刻，根据车辆在第一时刻的第一位姿和车辆在第二时刻的第二位姿，对第一目标数据进行补偿处理，得到第一传感器在第二时刻下的补偿数据。由于第二传感器的第二目标数据也是第二时刻的检测数据，即通过对第一传感器的数据进行补偿处理，可以得到第一传感器在第二传感器对应时刻的数据，即所得到的第一传感器的数据和第二传感器的数据均为同一时刻的数据，从而实现第一传感器和第二传感器的同步。这种方式是通过软件方式实现传感器的同步，因此无需额外部署用于进行多个传感器同步触发的专用硬件，降低多传感器数据同步所需的硬件成本。
图3为通过上述过程对第一传感器和第二传感器进行数据同步的示意图，如图3所示，第一传感器为LiDAR，第二传感器为摄像头，第一传感器和第二传感器按照一定的周期上报数据帧，不妨将LiDAR上报的数据帧称为LiDAR帧(雷达帧)，将摄像头上报的数据帧称为数据帧。在一个周期中，***在Tl时刻(即第一时刻)接收到一个LiDAR帧，在Tc时刻(即第二时刻)接收到一个摄像头帧，以摄像头作为参考传感器，使用上述的过程可以得到Tl时刻的LiDAR帧在Tc时刻的数据，则相当于在Tc时刻同时获取到了LiDAR数据和摄像头数据，从而实现了LiDAR和摄像头的同步。
在上述示例中，各传感器实时向***发送检测的数据，数据据此进行传感器数据同步。在另一种场景下，还可以预先对各传感器检测的数据进行录制，并对各传感器录制的数据进行数据回放。在数据回放时，需要对各传感器的数据进行同步。
图4为对各传感器的录制数据在数据回放时的同步处理的示意图，如图4所示，预先对摄像头的检测数据进行录制得到一系列数据帧，每帧数据帧均记录检测时的时间戳，预先对CANBUS/高精惯导的检测数据进行录制得到一系列车辆运行数据，预先对LiDAR的检测数据进行录制得到一系列雷达帧，每帧雷达帧均记录检测时的时间戳。在数据回放时，读取一帧数据帧和一帧雷达帧，同时，根据录制的CANBUS/高精惯导的检测数据得到车辆的位姿队列，进而，根据该一帧数据帧的时间戳得到该一帧数据帧检测时车辆的位姿，根据该一帧雷达帧的时间戳得到该一帧数据帧检测时的位姿，进而，根据该两个位姿，将雷达帧补偿到数据帧的检测时刻下，从而实现数据帧和雷达帧的同步，进而，基于同步的数据帧和雷达帧可以进行驾驶控制等操作。
在具体实施过程中，对于智能设备上的多个传感器，可以选择其中一个作为第二传感器，即参考传感器，并分别将其他传感器与该参考传感器同步，从而实现智能设备上各传感器的同步。
本实施例中，获取到第一传感器在第一时刻的第一目标数据和第二传感器在第二时刻的第二目标数据后，根据智能设备在第一时刻的位姿信息和智能设备在第二时刻的位姿信息，对第一目标数据进行补偿处理，从而得到第一传感器在第二时刻下的补偿数据。由于第二传感器的第二目标数据也是第二时刻的监测数据，即通过对第一传感器的数据进行补偿处理，可以得到第一传感器在第二传感器对应时刻的数据，即所得到的第一传感器的第一目标数据和第二传感器的第二目标数据均为同一时刻的数据，从而实现第一传感器和第二传感器的同步。该方法通过软件方式实现传感器的同步，因此，无需额外部署用于进行多个传感器同步触发的专用硬件，降低多传感器数据同步所需的硬件成本。
这种方式是通过软件方式实现传感器的同步，因此无需额外部署用于进行多个传感器同步触发的专用硬件，降低多传感器数据同步所需的硬件成本。
图5为本公开实施例提供的传感器数据处理方法的流程示意图，如图5所示，上述步骤S204中根据第一位姿和第二位姿对第一目标数据进行补偿处理时的一种可选的方式包括：
S501、根据上述第一位姿，确定上述第一传感器在上述第一时刻的第一坐标系。
S502、根据上述第二位姿，确定上述第一传感器在上述第二时刻的第二坐标系。
S503、根据上述第一坐标系和上述第二坐标系，对上述第一目标数据进行补偿处理，得到上述第一传感器在上述第二时刻下的补偿数据。
可选的，以智能设备为车辆为例，车辆在运行状态下，在每个时刻均具有对应的位姿，不同时刻之间的位姿会发生变换，位姿的变换包括旋转和平移。基于车辆在每个时刻的位姿，即旋转和平移，可以得到传感器的位姿。传感器的每个位姿均对应一个坐标系，每个位姿下传感器所检测到的世界坐标系中的点均为该坐标系下的点，即所检测到的点的坐标值均为该坐标系下的坐标值。在本实施例中，车辆在第一时刻和第二时刻下分别具有对应的位姿，进而分别具有第一坐标系和第二坐标系，对于世界坐标系中的一个点，基于第一坐标系和第二坐标系的变换，可以推导出该点在第二坐标系，即第二时刻的坐标值，对第一传感器所检测到的数据中的每个点均执行上述处理，可以得到第一传感器所检测到的数据在第二时刻的检测数据。
以下通过示例说明基于第一坐标系和第二坐标系对第一传感器的第一目标数据进行补偿处理的过程。
假设在世界坐标系下存在一个点X，第一时刻为t0时刻，第二时刻为tn时刻，在t0时刻车辆的位姿为P0，该P0对应的坐标系为第一坐标系，在该t0时刻该第一坐标系下得到的点X的坐标数据为x0，则x0和X的关系满足如下公式(1)：
X＝P0*x0 (1)
假设在第二时刻，即tn时刻，车辆的位姿为Pn，该Pn对应的坐标系为第二坐标系，在该tn时刻该第二坐标系下得到的点X的坐标数据为xn，则xn和X的关系满足如下公式(2)：
X＝Pn*xn (2)
由上述公式(1)和公式(2)可知，x0和xn的关系满足如下公式(3)：
P0*x0＝Pn*xn (3)
对上述公式(3)进行变换处理，可以得到xn，通过如下公式(4)表示：
xn＝Pn-1*P0*x0 (4)
在上述过程中，针对世界坐标系下的一个点，通过第一传感器在第一时刻t0检测该点时该点在t0时刻位姿对应的第一坐标系下的坐标，以及t0时刻和tn时刻的位姿，可以推导得出第一传感器在第二时刻tn检测该点时该点在tn时刻位姿对应的第二坐标系系下的坐标。对第一目标数据对应的每个点均进行上述处理，则可以得到第一传感器在tn时刻的检测数据。
在上述处理过程中，基于车辆在第一时刻的第一位姿以及车辆在第二时刻的第二位姿进行补偿处理，因此，在补偿处理之前可以首先获取车辆在第一时刻的第一位姿以及车辆在第二时刻的第二位姿。
一种可选的实施方式中，可以首先生成智能设备的位姿队列，再基于智能设备的位姿队列得到智能设备在第一时刻的第一位姿以及智能设备在第二时刻的第二位姿。
图6为本公开实施例提供的传感器数据处理方法的流程示意图，如图6所示，生成智能设备的位姿队列，以及基于智能设备的位姿队列确定第一位姿和第二位姿的过程包括：
S601、分别获取智能设备上设置的具有位姿检测功能的传感器在多个时刻检测到的智能设备的位姿检测数据，该多个时刻中的每个时刻均为智能设备的时钟下的时刻。
S602、根据智能设备上设置的具有位姿检测功能的传感器在多个时刻检测到的智能设备的位姿检测数据，生成智能设备的位姿队列。
可选的，以智能设备为车辆为例，车辆上设置的具有位姿检测功能的传感器可以包括CANBUS、高精惯导等。***可以实时接收CANBUS、高精惯导等传感器上报的位姿检测数据，例如车辆的轮速、方向盘等运行数据，***根据这些位姿检测数据可以计算得到车辆在多个时刻的位姿，进而构建一个位姿队列。
S603、根据智能设备的位姿队列、上述第一时刻和上述第二时刻，得到上述第一位姿和上述第二位姿。
可选的，智能设备的位姿队列由各个时刻的位姿组成，在具体实施过程中，一种情况下，第一时刻可能为位姿对列中某个位姿对应的时刻，即位姿队列中直接存在第一时刻的位姿信息，在这种情况下，可以直接从位姿队列中获取智能设备在第一时刻的位姿信息。对于第二时刻的位姿信息采样同样的处理，即如果位姿队列中直接存在第二时刻的位姿信息，则可以直接从位姿队列中获取智能设备在第二时刻的位姿信息。在另一种情况，位姿队列中可能并不存在第一时刻对应的位姿信息，则可以根据第一时刻，对智能设备的位姿队列进行补偿处理，得到智能设备在第一时刻的第一位姿。其中，对位姿队列进行补偿处理例如可以是插值处理。示例性的，第一时刻为t3时刻，智能设备的位姿队列中并不存在t3时刻的位姿信息，此时，可以在位姿队列中查找与t3时刻最接近的两个相邻时刻，例如查找到t4和t5时刻，t4和t5时刻相邻，同时，t3时刻为t4和t5之间的时刻。进而，利用t4时刻的位姿信息和t5时刻的位姿信息，进行插值处理，可以得到智能设备在t3时刻的位姿信息。对于第二时刻，也可以上述过程进行处理。如果位姿队列中不存在第二时刻对应的位姿信息，则可以根据上述第二时刻，对智能设备的位姿队列进行插值处理，得到智能设备在第二时刻的位姿信息。具体的实施方法与获取第一时刻的位姿信息的方式相同，不再赘述。
在上述实施例中，在根据第一位姿和第二位姿，对第一传感器的第一目标数据进行补偿处理时，所使用的数据为上述第一目标数据。上述第一目标数据可以是指第一传感器直接检测到的未经处理的数据，或者，上述第一目标数据也可以是对第一传感器检测的原始数据进行预同步处理后的数据。在一些场景下，例如，当第一传感器为LiDAR时，LiDAR转动一圈，并检测一圈的数据后向***上报一帧数据，由于LiDAR转动一周需要经历一定的时长，因此，在LiDAR向***上报的一个LiDAR帧中，各子数据的实际检测时刻存在差异。其中，一个LiDAR帧中可以包括多个数据包，每个数据包为一个子数据。在诸如这种场景下，在对第一传感器的数据进行补偿处理以实现与作为参考传感器的第二传感器的数据同步之前，可以首先对第一传感器发送的数据中的各子数据进行同步，以使得第一传感器所发送的每帧数据实现帧内同步。其中，对上述各子数据进行同步，是指将各子数据中的一个子数据的发送时刻作为参考时刻，对其余子数据进行补偿处理，得到其余子数据在该参考时刻下的子数据。
一种可选方式中，可以首先根据第一传感器上报上述第一目标数据对应的第一原始数据时携带的第三时刻，以及上述第一传感器的时钟与智能设备的时钟的差异信息，确定上述第一时刻。
在本实施例中，第一原始数据是指第一传感器向***上报的未经过帧内同步处理的数据，第一目标数据是指经过帧内同步处理后的数据。
第一传感器在上报第一原始数据时，可以在第一原始数据中携带检测数据的时刻，即上述的第三时刻。该第三时刻为第一传感器的时钟下的时刻。
当***接收到携带第三时刻的第一原始数据之后，根据第一传感器时钟与智能设备的时钟的差异信息，可以确定出第三时刻在智能设备的时钟下的第一时刻。
可选的，第一传感器的时钟与智能设备的时钟的差异信息，可以预先通过特定的手段获取。示例性的，当第一传感器基于全球定位***(Global Positioning System，简称GPS)时，可以根据GPS时钟与智能设备的时钟的误差，可以准确地确定出第一传感器与智能设备的时钟的误差。
另外，针对上述第二时刻，可以根据第二传感器上报第二目标数据时携带的第四时刻以及第二传感器的时钟与智能设备的时钟的差异信息，确定上述第二时刻，该第四时刻用于标识所述第二目标数据的检测时刻，该第四时刻为上述第二传感器的时钟下的时刻。
一种示例中，如果上述第二传感器为摄像头等能够检测视频帧的传感器，则可以首先使用第二传感器拍摄智能设备的秒表的多个视频帧，进而，对拍摄每个视频帧的时刻信息与每个视频帧所对应的秒表所显示的时刻信息进行比对分析，可以得到第二传感器的时钟与智能设备的时钟的差异信息。
以下说明基于第一传感器上报第一原始数据时携带的第三时刻进行帧内数据同步的过程。
图7为本公开实施例提供的传感器数据处理方法的流程示意图，如图7所示，对第一原始数据进行帧内数据同步以获取第一目标数据的过程包括：
S701、接收第一传感器上报的第一原始数据，该第一原始数据包括多个子数据，每个子数据具有一个对应的检测时刻，上述第三时刻为上述第一原始数据包括的多个数据的检测时刻的参考时刻。
可选的，第一传感器上报的第一原始数据由多个子数据组成，同时携带每个子数据的检测时刻，即每个子数据均具有一个对应的检测时刻。***可以选择这些检测时刻的中的一个时刻作为参考时刻，即第三时刻，将其他时刻的子数据分别补偿至该参考时刻下，从而得到该参考时刻下的所有子数据，这些子数据组合成的数据即为第一目标数据，从而实现第一传感器的帧内数据同步。示例性的，可以选择多个检测时刻中最晚的一个时刻作为上述第三时刻。
S702、根据智能设备在每个子数据的检测时刻的位姿以及每个子数据，获取上述第一传感器在上述第一时刻的上述第一目标数据。
本实施例中，在接收到第一传感器上报的第一原始数据后，基于组成该第一原始数据的每个子数据的检测时刻的位姿，可以完成对第一原始数据中多个子数据的帧内同步，从而进一步提升传感器同步的精确性。
图8为本公开实施例提供的传感器数据处理方法的流程示意图，如图8所示，上述步骤S702的一种可选实施方式包括：
S801、根据智能设备在每个子数据的检测时刻的位姿，确定第一传感器在每个子数据的检测时刻的坐标系。
确定每个检测时刻的坐标系的过程与前述确定第一时刻的第一坐标系的过程相同，可以参照前述的实施例，此处不再赘述。
S802、根据上述第一传感器在除上述第三时刻外的每个子数据的检测时刻的坐标系和上述第一传感器在上述第三时刻的坐标系，分别确定除第三时刻外的每个子数据在上述第三时刻对应的子数据。
本步骤中，将第三时刻作为参考时刻，分别将其他检测时刻的子数据补偿至第三时刻下，以实现各子数据的同步。
其中，根据子数据的检测时刻的坐标系以及第三时刻的坐标系确定子数据在第三时刻对应的子数据的过程与上述步骤S503中的处理过程一致，可以参照上述步骤S503以及公式(1)至(4)的描述，此处不再赘述。
S803、对除第三时刻外的每个子数据在上述第三时刻对应的子数据进行整合处理，得到上述第一传感器在上述第一时刻的上述第一目标数据。
可选的，可以对每个子数据在第三时刻对应的子数据按照原始的检测时刻进行排序组合，从而得到上述第一目标数据，该第一目标数据中的所有子数据均为第三时刻对应坐标系下的数据，即该第一目标数据内的所有子数据为同步数据。在第一传感器的时钟下，该第一目标数据为第三时刻对应坐标系下的数据，而由前文可知，第三时刻在智能设备的时钟下的时刻为第一时刻，因此，在智能设备的时钟下，上述第一目标数据为第一时刻的检测数据。
图9为对第一原始数据进行帧内数据同步以获取第一目标数据的示例图，如图9所示，第一传感器为LiDAR，LiDAR在上报的每一帧数据中，包括n+1个数据包，每个数据包对应一个检测时刻，则可以以第n个数据包(数据包n)的检测时刻为参考时刻，将数据包0至数据包n-1分别补偿到数据包n对应时刻下，从而实现一帧数据的帧内同步。
以上说明了对由多个子数据组成的第一原始数据进行帧内同步以得到第一目标数据的过程。在具体实施过程中，如果智能设备上包含了多个同类型的传感器，并且该同类型的传感器的检测数据为上述包括多个子数据的形式，第一传感器为多个同类型的传感器中的一个，则在将第一传感器与第二传感器进行同步之前，还可以首先基于上述多个子数据同步的方法实现对同类型的多个传感器的检测数据同步。
图10为本公开实施例提供的传感器数据处理方法的流程示意图，如图10所示，对同类型的多个传感器的检测数据进行同步的过程包括：
S1001、接收第三传感器上报的第二原始数据，该第三传感器的类型与上述第一传感器的类型相同，该第二原始数据包括多个子数据，每个子数据具有一个对应的检测时刻，上述第三时刻为上述第二原始数据包括的多个数据的检测时刻的参考时刻。
S1002、根据智能设备在上述第二原始数据的每个子数据的检测时刻的位姿以及上述第二原始数据的每个子数据，获取上述第三传感器在上述第一时刻的第三目标数据。
在本实施例中，将第一传感器的其中一个检测时刻，即第三时刻作为第三传感器同步时的参考时刻，根据第三传感器上报的第二原始数据中每个子数据的位姿，可以将第二原始数据中的每个子数据补偿至第三时刻下，经过这种处理后，第二原始数据中的所有子数据得以同步，从而得到同步后的第三目标数据，同时，由于第三传感器是以第一传感器的第三时刻为参考时刻，因此，使得第三传感器同步后的第三目标数据与第一传感器同步后的第二目标数据是同步的。
图11为对相同类型的传感器进行同步的示例图，如图11所示，第一传感器为LiDAR，第三传感器和第四传感器也为LiDAR，每个LiDAR上报的每一帧数据中，均包括n+1个数据包，每个数据包对应一个检测时刻。则可以以第一传感器的第n个数据包(数据包n)的检测时刻为参考时刻，将第一传感器的数据包0至数据包n-1分别补偿到数据包n对应时刻下，并且，将第三传感器的数据包0至数据包n分别补偿到第一传感器的数据包n对应时刻下，以及，将第四传感器的数据包0至数据包n分别补偿到第一传感器的数据包n对应时刻下，从而实现第一传感器、第三传感器、第四传感器各自的帧内同步，以及第一传感器、第三传感器、第四传感器之间的帧间同步。
本实施例中，当智能设备上存在多个同类型的传感器，并且该类型的传感器上报的检测数据中包括多个子数据时，可以以一个传感器的检测数据中的一个子数据的检测时刻为参考时刻，对于同类型的其余传感器中的每个传感器，将该传感器的所有子数据均补偿到该参考时刻下，经过该处理，不仅能够实现每个传感器的的帧内同步，还同时能够实现同类型的传感器之间的帧件同步。
经过上述过程实现同类型的第三传感器和第一传感器的同步之后，在根据第一位姿和第二位姿对第一目标数据进行补偿处理的同时，也可以根据第一位姿和第二位姿对第三目标数据进行补偿处理，从而得到第一传感器在第二时刻下的补偿数据以及第三传感器在第二时刻下的补偿数据。由于第一传感器和第三传感器作为同类型的传感器，已经实现了同步，在此基础上再与第二传感器实现同步，可以进一步提升传感器同步的精确性。
图12为本公开实施例提供的传感器数据处理装置的模块结构图，如图12所示，该装置包括：
第一获取模块1201，用于获取智能设备的第一传感器在第一时刻的第一目标数据。
第二获取模块1202，用于获取智能设备的第二传感器在第二时刻的第二目标数据，所述第一时刻和所述第二时刻为所述智能设备的时钟下的不同时刻。
第三获取模块1203，用于获取所述智能设备在所述第一时刻的第一位姿和在所述第二时刻的第二位姿，所述第一位姿和所述第二位姿不同。
补偿模块1204，用于根据所述第一位姿和所述第二位姿，对所述第一目标数据进行补偿处理，得到所述第一传感器在所述第二时刻下的补偿数据。
该装置用于实现前述方法实施例，其实现原理和技术效果类似，此处不再赘述。
另一实施例中，补偿模块1204具体用于：
根据所述第一位姿，确定所述第一传感器在所述第一时刻的第一坐标系。
根据所述第二位姿，确定所述第一传感器在所述第二时刻的第二坐标系。
根据所述第一坐标系和所述第二坐标系，对所述第一目标数据进行补偿处理，得到所述第一传感器在所述第二时刻下的补偿数据。
另一实施例中，第三获取模块1203具体用于：
分别获取所述智能设备上设置的具有位姿检测功能的传感器在多个时刻检测到的智能设备的位姿检测数据，所述多个时刻中的每个时刻均为所述智能设备的时钟下的时刻。
根据所述智能设备上设置的具有位姿检测功能的传感器在多个时刻检测到的智能设备的位姿检测数据，生成所述智能设备的位姿队列。
根据所述智能设备的位姿队列、所述第一时刻和所述第二时刻，得到所述第一位姿以及所述第二位姿。
另一实施例中，第三获取模块1203具体用于：
响应于所述位姿队列中不包括所述第一时刻的位姿，根据所述第一时刻，对所述智能设备的位姿队列进行补偿处理，得到所述第一位姿；和/或，
响应于所述位姿队列中不包括所述第二时刻的位姿，根据所述第二时刻，对所述智能设备的位姿队列进行补偿处理，得到所述第二位姿。
图13为本公开实施例提供的传感器数据处理装置的模块结构图，如图13所示，该装置还包括：
第一确定模块1205，用于根据所述第一传感器的时钟与所述智能设备的时钟的差异信息，确定第三时刻在所述智能设备时钟下的所述第一时刻，所述第三时刻用于标识所述第一传感器检测所述第一目标数据对应的第一原始数据的时刻，所述第三时刻为所述第一传感器的时钟下的时刻。
另一实施例中，第一获取模块1201具体用于：
接收所述第一传感器上报的所述第一原始数据，所述第一原始数据包括多个子数据，每个子数据具有一个对应的检测时刻，所述第三时刻为所述第一原始数据包括的多个子数据的检测时刻的参考时刻。
根据所述智能设备在每个子数据的检测时刻的位姿以及每个子数据，获取所述第一传感器在所述第一时刻的所述第一目标数据。
另一实施例中，第一获取模块1201具体用于：
根据所述智能设备在每个子数据的检测时刻的位姿，确定所述第一传感器在每个子数据的检测时刻的坐标系。
根据所述第一传感器在除所述第三时刻外的每个子数据的检测时刻的坐标系和所述第一传感器在所述第三时刻的坐标系，分别确定除所述第三时刻外的每个子数据在所述第三时刻对应的子数据。
对除所述第三时刻外的每个子数据在所述第三时刻对应的子数据以及所述第三时刻检测的子数据进行整合处理，得到所述第一传感器在所述第一时刻的所述第一目标数据。
图14为本公开实施例提供的传感器数据处理装置的模块结构图，如图14所示，该装置还包括：
接收模块1206，用于接收第三传感器上报的第二原始数据，所述第三传感器的类型与所述第一传感器的类型相同，所述第二原始数据包括多个子数据，每个子数据具有一个对应的检测时刻，所述第三时刻为所述第二原始数据包括的多个子数据的检测时刻的参考时刻。
第四获取模块1207，用于根据智能设备在所述第二原始数据的每个子数据的检测时刻的位姿以及所述第二原始数据的每个子数据，获取所述第三传感器在所述第一时刻的第三目标数据。
补偿模块1204，具体用于：
根据所述第一位姿和所述第二位姿，对所述第一目标数据和所述第三目标数据进行补偿处理，得到所述第一传感器在所述第二时刻下的补偿数据以及所述第三传感器在所述第二时刻下的补偿数据。
图15为本公开实施例提供的传感器数据处理装置的模块结构图，如图15所示，该装置还包括：
第五获取模块1208，用于根据GPS时钟与所述智能设备的时钟误差，获取所述第一传感器的时钟与所述智能设备的时钟的差异信息。
图16为本公开实施例提供的传感器数据处理装置的模块结构图，如图16所示，该装置还包括：
第二确定模块1209，用于根据所述第二传感器的时钟与所述智能设备的时钟的差异信息，确定所述第二传感器上报所述第二目标数据时携带的第四时刻在所述智能设备时钟下的所述第二时刻，所述第四时刻用于标识所述第二目标数据的检测时刻，所述第四时刻为所述第二传感器的时钟下的时刻。
图17为本公开实施例提供的传感器数据处理装置的模块结构图，如图17所示，该装置还包括：
拍摄模块1210，用于使用所述第二传感器拍摄所述智能设备的秒表的多个视频帧。
分析模块1211，用于对拍摄每个所述视频帧的时刻信息与每个所述视频帧所对应的秒表所显示的时刻信息进行比对分析，得到所述第二传感器的时钟与所述智能设备的时钟的差异信息。
另一实施例中，所述第二传感器为摄像头，所述第一传感器为激光雷达或毫米波雷达。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，确定模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，ASIC)，或，一个或多个微处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessing unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上***(system-on-a-chip，SOC)的形式实现。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘solid state disk(SSD))等。
图18为本公开实施例提供的一种电子设备1800的结构示意图。如图18示，该电子设备可以包括：处理器181、存储器182、通信接口183和***总线184，所述存储器182和所述通信接口183通过所述***总线184与所述处理器181连接并完成相互间的通信，所述存储器182用于存储计算机执行指令，所述通信接口183用于和其他设备进行通信，所述处理器181执行所述计算机程序时实现如上述图1至图10所示实施例的方案。
该图18提到的***总线可以是外设部件互连标准(peripheral componentinterconnect，PCI)总线或扩展工业标准结构(extended industry standardarchitecture，EISA)总线等。所述***总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(random access memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器CPU、网络处理器(networkprocessor，NP)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
图19为本公开实施例提供的智能行驶控制方法的流程示意图，在上述实施例的基础上，本公开实施例还提供一种智能行驶控制方法，包括：
S1901、智能行驶控制装置获取设置在智能设备上的传感器的检测数据，该检测数据采用本公开实施例提供的传感器数据处理方法获取得到。
S1902、智能行驶控制装置根据所述检测数据对智能设备进行智能行驶控制。
本实施例的执行主体是智能行驶控制装置，本实施例的智能行驶控制装置和上述实施例所述的电子设备可以位于同一设备中，也可以单独设备在不同的设备中。其中本实施例的智能行驶控制装置与上述的电子设备之间通信连接。
其中，传感器的检测数据是采用上述实施例的方法得到的，具体过程参照上述实施例的描述，在此不再赘述。
具体的，电子设备执行上述的传感器数据处理方法，获得设置在智能设备上的传感器的检测数据，并将设置在智能设备上的传感器的检测数据输出。智能行驶控制装置获取设置在智能设备上的传感器的检测数据，并根据设置在智能设备上的传感器的检测数据对智能设备进行智能行驶控制。
本实施例的智能行驶包括辅助行驶、自动行驶和/或辅助行驶和自动行驶之间的行驶模式切换等。
上述智能行驶控制可以包括：制动、改变行驶速度、改变行驶方向、车道线保持、改变车灯状态、行驶模式切换等，其中，行驶模式切换可以是辅助行驶与自动行驶之间的切换，例如，将辅助行驶切换为自动行驶。
本实施例提供的智能行驶控制方法，智能行驶控制装置通过获取设置在智能设备上的传感器的检测数据，并根据设置在智能设备上的传感器的检测数据进行智能行驶控制，进而提高了智能行驶的安全性和可靠性。
图20为本公开实施例提供的智能行驶控制装置的结构示意图，在上述实施例的基础上，本公开实施例的智能行驶控制装置2000，包括：
获取模块2001，用于获取设置在智能设备上的传感器的检测数据，所述检测数据采用上述的传感器数据处理方法得到。
智能行驶控制模块2002，用于根据所述检测数据对智能设备进行智能行驶控制。
本公开实施例的智能行驶控制装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图21为本公开实施例提供的智能行驶***的示意图，如图21所示，本实施例的智能行驶***2100包括：通信连接的传感器2101、电子设备1800和智能行驶控制装置2000，其中电子设备1800如图18所示，智能行驶控制装置2000如图20所示。
其中，传感器2101可以包括前述实施例中所述的摄像头、LiDAR、RADAR、高精惯导等。
具体的，如图21所示，在实际使用时，传感器2101检测智能设备周围环境，得到原始的检测数据，并将这些检测数据发送给电子设备1800，电子设备1800接收到这些原始的检测数据后，根据上述传感器数据处理方法进行数据同步，得到同步后的检测数据。接着，电子设备1800将同步后的检测数据发送给智能行驶控制装置2000，智能行驶控制装置2000根据同步后的检测数据对智能设备进行智能行驶控制。
可选的，本申请实施例还提供一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如上述图1至图10任一所示实施例的方法。
可选的，本申请实施例还提供一种运行指令的芯片，所述芯片用于执行上述图1至图10任一所示实施例的方法。
本申请实施例还提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在存储介质中，至少一个处理器可以从所述存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序时可实现上述图1至图10所示实施例的方法。
在本公开实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系；在公式中，字符“/”，表示前后关联对象是一种“相除”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中，a，b，c可以是单个，也可以是多个。
可以理解的是，在本申请实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本公开实施例的范围。
可以理解的是，在本申请的实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (27)

1.一种传感器数据处理方法，其特征在于，包括：
获取智能设备的第一传感器在第一时刻的第一目标数据；
获取智能设备的第二传感器在第二时刻的第二目标数据，所述第一时刻和所述第二时刻为所述智能设备的时钟下的不同时刻；
获取所述智能设备在所述第一时刻的第一位姿和在所述第二时刻的第二位姿，所述第一位姿和所述第二位姿不同；
根据所述第一位姿和所述第二位姿，对所述第一目标数据进行补偿处理，得到所述第一传感器在所述第二时刻下的补偿数据；
所述根据所述第一位姿和所述第二位姿，对所述第一目标数据进行补偿处理，得到所述第一传感器在所述第二时刻下的补偿数据，包括：
根据所述第一位姿，确定所述第一传感器在所述第一时刻的第一坐标系；
根据所述第二位姿，确定所述第一传感器在所述第二时刻的第二坐标系；
根据所述第一坐标系和所述第二坐标系，对所述第一目标数据进行补偿处理，得到所述第一传感器在所述第二时刻下的补偿数据。
2.根据权利要求1所述的方法，其特征在于，所述获取所述智能设备在所述第一时刻的第一位姿和在所述第二时刻的第二位姿，包括：
分别获取所述智能设备上设置的具有位姿检测功能的传感器在多个时刻检测到的智能设备的位姿检测数据，所述多个时刻中的每个时刻均为所述智能设备的时钟下的时刻；
根据所述智能设备上设置的具有位姿检测功能的传感器在多个时刻检测到的智能设备的位姿检测数据，生成所述智能设备的位姿队列；
根据所述智能设备的位姿队列、所述第一时刻和所述第二时刻，得到所述第一位姿以及所述第二位姿。
3.根据权利要求2所述的方法，其特征在于，所述根据所述智能设备的位姿队列、所述第一时刻和所述第二时刻，确定所述第一位姿以及所述第二位姿，包括：
响应于所述位姿队列中不包括所述第一时刻的位姿，根据所述第一时刻，对所述智能设备的位姿队列进行补偿处理，得到所述第一位姿；和/或，
响应于所述位姿队列中不包括所述第二时刻的位姿，根据所述第二时刻，对所述智能设备的位姿队列进行补偿处理，得到所述第二位姿。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述获取智能设备的第一传感器在第一时刻的第一目标数据之前，还包括：
根据所述第一传感器的时钟与所述智能设备的时钟的差异信息，确定第三时刻在所述智能设备时钟下的所述第一时刻，所述第三时刻用于标识所述第一传感器检测所述第一目标数据对应的第一原始数据的时刻，所述第三时刻为所述第一传感器的时钟下的时刻。
5.根据权利要求4所述的方法，其特征在于，所述获取智能设备的第一传感器在第一时刻的第一目标数据，包括：
接收所述第一传感器上报的所述第一原始数据，所述第一原始数据包括多个子数据，每个子数据具有一个对应的检测时刻，所述第三时刻为所述第一原始数据包括的多个子数据的检测时刻的参考时刻；
根据所述智能设备在每个子数据的检测时刻的位姿以及每个子数据，获取所述第一传感器在所述第一时刻的所述第一目标数据。
6.权利要求5所述的方法，其特征在于，所述根据所述智能设备在每个子数据的检测时刻的位姿以及每个子数据，获取所述第一传感器在所述第一时刻的所述第一目标数据，包括：
根据所述智能设备在每个子数据的检测时刻的位姿，确定所述第一传感器在每个子数据的检测时刻的坐标系；
根据所述第一传感器在除所述第三时刻外的每个子数据的检测时刻的坐标系和所述第一传感器在所述第三时刻的坐标系，分别确定除所述第三时刻外的每个子数据在所述第三时刻对应的子数据；
对除所述第三时刻外的每个子数据在所述第三时刻对应的子数据以及所述第三时刻检测的子数据进行整合处理，得到所述第一传感器在所述第一时刻的所述第一目标数据。
7.根据权利要求4所述的方法，其特征在于，所述根据所述第一位姿和所述第二位姿，对所述第一目标数据进行补偿处理，得到所述第一传感器在所述第二时刻下的补偿数据之前，还包括：
接收第三传感器上报的第二原始数据，所述第三传感器的类型与所述第一传感器的类型相同，所述第二原始数据包括多个子数据，每个子数据具有一个对应的检测时刻，所述第三时刻为所述第二原始数据包括的多个子数据的检测时刻的参考时刻；
根据智能设备在所述第二原始数据的每个子数据的检测时刻的位姿以及所述第二原始数据的每个子数据，获取所述第三传感器在所述第一时刻的第三目标数据；
所述根据所述第一位姿和所述第二位姿，对所述第一目标数据进行补偿处理，得到所述第一传感器在所述第二时刻下的补偿数据，包括：
根据所述第一位姿和所述第二位姿，对所述第一目标数据和所述第三目标数据进行补偿处理，得到所述第一传感器在所述第二时刻下的补偿数据以及所述第三传感器在所述第二时刻下的补偿数据。
8.根据权利要求4所述的方法，其特征在于，所述根据所述第一传感器的时钟与所述智能设备的时钟的差异信息，确定第三时刻在所述智能设备时钟下的所述第一时刻之前，还包括：
根据全球定位***GPS时钟与所述智能设备的时钟误差，获取所述第一传感器的时钟与所述智能设备的时钟的差异信息。
9.根据权利要求1所述的方法，其特征在于，所述获取智能设备的第二传感器在第二时刻的第二目标数据之前，还包括：
根据所述第二传感器的时钟与所述智能设备的时钟的差异信息，确定所述第二传感器上报所述第二目标数据时携带的第四时刻在所述智能设备时钟下的所述第二时刻，所述第四时刻用于标识所述第二目标数据的检测时刻，所述第四时刻为所述第二传感器的时钟下的时刻。
10.根据权利要求9所述的方法，其特征在于，所述根据所述第二传感器的时钟与所述智能设备的时钟的差异信息，确定所述第二传感器上报所述第二目标数据时携带的第四时刻在所述智能设备时钟下的所述第二时刻之前，还包括：
使用所述第二传感器拍摄所述智能设备的秒表的多个视频帧；
对拍摄每个所述视频帧的时刻信息与每个所述视频帧所对应的秒表所显示的时刻信息进行比对分析，得到所述第二传感器的时钟与所述智能设备的时钟的差异信息。
11.根据权利要求1所述的方法，其特征在于，所述第二传感器为摄像头，所述第一传感器为激光雷达或毫米波雷达。
12.一种智能设备的传感器数据处理装置，其特征在于，包括：
第一获取模块，用于获取智能设备的第一传感器在第一时刻的第一目标数据；
第二获取模块，用于获取智能设备的第二传感器在第二时刻的第二目标数据，所述第一时刻和所述第二时刻为所述智能设备的时钟下的不同时刻；
第三获取模块，用于获取所述智能设备在所述第一时刻的第一位姿和在所述第二时刻的第二位姿，所述第一位姿和所述第二位姿不同；
补偿模块，用于根据所述第一位姿和所述第二位姿，对所述第一目标数据进行补偿处理，得到所述第一传感器在所述第二时刻下的补偿数据；
所述补偿模块具体用于：
根据所述第一位姿，确定所述第一传感器在所述第一时刻的第一坐标系；
根据所述第二位姿，确定所述第一传感器在所述第二时刻的第二坐标系；
根据所述第一坐标系和所述第二坐标系，对所述第一目标数据进行补偿处理，得到所述第一传感器在所述第二时刻下的补偿数据。
13.根据权利要求12所述的装置，其特征在于，所述第三获取模块具体用于：
分别获取所述智能设备上设置的具有位姿检测功能的传感器在多个时刻检测到的智能设备的位姿检测数据，所述多个时刻中的每个时刻均为所述智能设备的时钟下的时刻；
根据所述智能设备上设置的具有位姿检测功能的传感器在多个时刻检测到的智能设备的位姿检测数据，生成所述智能设备的位姿队列；
根据所述智能设备的位姿队列、所述第一时刻和所述第二时刻，得到所述第一位姿以及所述第二位姿。
14.根据权利要求13所述的装置，其特征在于，所述第三获取模块具体用于：
响应于所述位姿队列中不包括所述第一时刻的位姿，根据所述第一时刻，对所述智能设备的位姿队列进行补偿处理，得到所述第一位姿；和/或，
响应于所述位姿队列中不包括所述第二时刻的位姿，根据所述第二时刻，对所述智能设备的位姿队列进行补偿处理，得到所述第二位姿。
15.根据权利要求12-14任一项所述的装置，其特征在于，还包括：
第一确定模块，用于根据所述第一传感器的时钟与所述智能设备的时钟的差异信息，确定第三时刻在所述智能设备时钟下的所述第一时刻，所述第三时刻用于标识所述第一传感器检测所述第一目标数据对应的第一原始数据的时刻，所述第三时刻为所述第一传感器的时钟下的时刻。
16.根据权利要求15所述的装置，其特征在于，所述第一获取模块具体用于：
接收所述第一传感器上报的所述第一原始数据，所述第一原始数据包括多个子数据，每个子数据具有一个对应的检测时刻，所述第三时刻为所述第一原始数据包括的多个子数据的检测时刻的参考时刻；
根据所述智能设备在每个子数据的检测时刻的位姿以及每个子数据，获取所述第一传感器在所述第一时刻的所述第一目标数据。
17.权利要求16所述的装置，其特征在于，所述第一获取模块，具体用于：
根据所述智能设备在每个子数据的检测时刻的位姿，确定所述第一传感器在每个子数据的检测时刻的坐标系；
根据所述第一传感器在除所述第三时刻外的每个子数据的检测时刻的坐标系和所述第一传感器在所述第三时刻的坐标系，分别确定除所述第三时刻外的每个子数据在所述第三时刻对应的子数据；
对除所述第三时刻外的每个子数据在所述第三时刻对应的子数据以及所述第三时刻检测的子数据进行整合处理，得到所述第一传感器在所述第一时刻的所述第一目标数据。
18.根据权利要求15所述的装置，其特征在于，还包括：
接收模块，用于接收第三传感器上报的第二原始数据，所述第三传感器的类型与所述第一传感器的类型相同，所述第二原始数据包括多个子数据，每个子数据具有一个对应的检测时刻，所述第三时刻为所述第二原始数据包括的多个子数据的检测时刻的参考时刻；
第四获取模块，用于根据智能设备在所述第二原始数据的每个子数据的检测时刻的位姿以及所述第二原始数据的每个子数据，获取所述第三传感器在所述第一时刻的第三目标数据；
所述补偿模块，具体用于：
根据所述第一位姿和所述第二位姿，对所述第一目标数据和所述第三目标数据进行补偿处理，得到所述第一传感器在所述第二时刻下的补偿数据以及所述第三传感器在所述第二时刻下的补偿数据。
19.根据权利要求15所述的装置，其特征在于，还包括：
第五获取模块，用于根据全球定位***GPS时钟与所述智能设备的时钟误差，获取所述第一传感器的时钟与所述智能设备的时钟的差异信息。
20.根据权利要求12所述的装置，其特征在于，还包括：
第二确定模块，用于根据所述第二传感器的时钟与所述智能设备的时钟的差异信息，确定所述第二传感器上报所述第二目标数据时携带的第四时刻在所述智能设备时钟下的所述第二时刻，所述第四时刻用于标识所述第二目标数据的检测时刻，所述第四时刻为所述第二传感器的时钟下的时刻。
21.根据权利要求20所述的装置，其特征在于，还包括：
拍摄模块，用于使用所述第二传感器拍摄所述智能设备的秒表的多个视频帧；
分析模块，用于对拍摄每个所述视频帧的时刻信息与每个所述视频帧所对应的秒表所显示的时刻信息进行比对分析，得到所述第二传感器的时钟与所述智能设备的时钟的差异信息。
22.根据权利要求12所述的装置，其特征在于，所述第二传感器为摄像头，所述第一传感器为激光雷达或毫米波雷达。
23.一种智能行驶控制方法，其特征在于，包括：
分别获取设置在智能设备上的第一传感器和第二传感器的检测数据，所述检测数据采用如权利要求1-11任一项所述的传感器数据处理方法得到；
根据所述检测数据对智能设备进行智能行驶控制。
24.一种智能行驶控制装置，其特征在于，包括：
获取模块，用于获取设置在智能设备上的传感器的检测数据，所述检测数据采用如权利要求1-11任一项所述的传感器数据处理方法得到；
智能行驶控制模块，用于根据所述检测数据对智能设备进行智能行驶控制。
25.一种电子设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用并执行所述存储器中的程序指令，执行权利要求1-11任一项所述的方法。
26.一种智能行驶***，其特征在于，包括：通信连接的传感器、如权利要求25所述的电子设备和如权利要求24所述的智能行驶控制装置。
27.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序用于执行权利要求1-11任一项所述的方法。
CN201910556258.2A 2019-06-25 2019-06-25 传感器数据处理方法、装置、电子设备及*** Active CN112214009B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910556258.2A CN112214009B (zh) 2019-06-25 2019-06-25 传感器数据处理方法、装置、电子设备及***
JP2021533178A JP7164721B2 (ja) 2019-06-25 2020-02-26 センサデータ処理方法、装置、電子機器及びシステム
KR1020217016721A KR20210087495A (ko) 2019-06-25 2020-02-26 센서 데이터 처리 방법, 장치, 전자 기기 및 시스템
PCT/CN2020/076813 WO2020258901A1 (zh) 2019-06-25 2020-02-26 传感器数据处理方法、装置、电子设备及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910556258.2A CN112214009B (zh) 2019-06-25 2019-06-25 传感器数据处理方法、装置、电子设备及***

Publications (2)

Publication Number Publication Date
CN112214009A CN112214009A (zh) 2021-01-12
CN112214009B true CN112214009B (zh) 2022-07-26

Family

ID=74048283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910556258.2A Active CN112214009B (zh) 2019-06-25 2019-06-25 传感器数据处理方法、装置、电子设备及***

Country Status (4)

Country Link
JP (1) JP7164721B2 (zh)
KR (1) KR20210087495A (zh)
CN (1) CN112214009B (zh)
WO (1) WO2020258901A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112880674A (zh) * 2021-01-21 2021-06-01 深圳市镭神智能***有限公司 一种行驶设备的定位方法、装置、设备及存储介质
CN112902951B (zh) * 2021-01-21 2024-07-26 深圳市镭神智能***有限公司 一种行驶设备的定位方法、装置、设备及存储介质
CN113033483B (zh) * 2021-04-20 2024-02-02 北京百度网讯科技有限公司 检测目标对象的方法、装置、电子设备和存储介质
CN113724303B (zh) * 2021-09-07 2024-05-10 广州文远知行科技有限公司 点云与图像匹配方法、装置、电子设备和存储介质
CN114520855B (zh) * 2021-12-31 2024-03-15 广州文远知行科技有限公司 基于多模块数据的图像帧渲染方法、装置及存储介质
CN115167612B (zh) * 2022-07-14 2023-06-16 北京中科心研科技有限公司 同步数据的墙上时间和增补包方法、装置及设备和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103353304A (zh) * 2013-06-25 2013-10-16 深圳市宇恒互动科技开发有限公司 一种对三维惯性运动感测进行补偿的方法及装置
CN104112363A (zh) * 2014-07-04 2014-10-22 西安交通大学 多传感数据时空同步方法及道路多传感数据车载采集***
CN107590768A (zh) * 2016-07-06 2018-01-16 罗伯特·博世有限公司 用于对用于运输工具的位置和/或方向的传感器数据进行处理的方法
CN108168918A (zh) * 2017-12-25 2018-06-15 中铁第四勘察设计院集团有限公司 用于轨道自动测量车同步测量的同步自动控制***及方法
CN108957466A (zh) * 2018-04-18 2018-12-07 广东宝乐机器人股份有限公司 移动机器人的雷达数据补偿方法、装置、设备和存储介质
CN109218562A (zh) * 2018-09-07 2019-01-15 百度在线网络技术（北京）有限公司 时钟同步方法、装置、设备、存储介质和车辆

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5906655A (en) * 1997-04-02 1999-05-25 Caterpillar Inc. Method for monitoring integrity of an integrated GPS and INU system
JP2008003779A (ja) * 2006-06-21 2008-01-10 Hitachi Ltd 予防安全自動車の計測データ処理装置
JP2009222438A (ja) 2008-03-13 2009-10-01 Toyota Motor Corp 移動体用測位装置
JP5416026B2 (ja) 2010-04-23 2014-02-12 本田技研工業株式会社 車両の周辺監視装置
US20150127284A1 (en) * 2013-11-03 2015-05-07 Microsoft Corporation Sensor Data Time Alignment
CN103940434B (zh) * 2014-04-01 2017-12-15 西安交通大学 基于单目视觉和惯性导航单元的实时车道线检测***
CN104501814B (zh) * 2014-12-12 2017-05-10 浙江大学 一种基于视觉和惯性信息的姿态与位置估计方法
CN106546238B (zh) * 2016-10-26 2020-09-01 北京小鸟看看科技有限公司 可穿戴设备及在可穿戴设备中确定用户位移的方法
JP6787102B2 (ja) 2016-12-14 2020-11-18 株式会社デンソー 物体検出装置、物体検出方法
US10145945B2 (en) * 2017-01-11 2018-12-04 Toyota Research Institute, Inc. Systems and methods for automatically calibrating a LIDAR using information from a secondary vehicle
CN107462892B (zh) * 2017-07-28 2021-11-30 深圳市远弗科技有限公司 基于多超声传感器的移动机器人同步定位与地图构建方法
US10599931B2 (en) * 2017-08-21 2020-03-24 2236008 Ontario Inc. Automated driving system that merges heterogenous sensor data
CN107976193B (zh) * 2017-11-21 2020-10-27 出门问问信息科技有限公司 一种行人航迹推断方法、装置、航迹推断设备及存储介质
CN109270534B (zh) * 2018-05-07 2020-10-27 西安交通大学 一种智能车激光传感器与相机在线标定方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103353304A (zh) * 2013-06-25 2013-10-16 深圳市宇恒互动科技开发有限公司 一种对三维惯性运动感测进行补偿的方法及装置
CN104112363A (zh) * 2014-07-04 2014-10-22 西安交通大学 多传感数据时空同步方法及道路多传感数据车载采集***
CN107590768A (zh) * 2016-07-06 2018-01-16 罗伯特·博世有限公司 用于对用于运输工具的位置和/或方向的传感器数据进行处理的方法
CN108168918A (zh) * 2017-12-25 2018-06-15 中铁第四勘察设计院集团有限公司 用于轨道自动测量车同步测量的同步自动控制***及方法
CN108957466A (zh) * 2018-04-18 2018-12-07 广东宝乐机器人股份有限公司 移动机器人的雷达数据补偿方法、装置、设备和存储介质
CN109218562A (zh) * 2018-09-07 2019-01-15 百度在线网络技术（北京）有限公司 时钟同步方法、装置、设备、存储介质和车辆

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Acoustic Tag State Estimation with unsynchronized Hydrophones on AUVs;Shi Jingnan,et al.;《IEEE International Conference on Intelligent Robots and Systems》;20181001;1919-1926 *
列车组合定位信息采集平台的研究;袁振江等;《中国铁路》;20071215(第12期);58-61 *
车载三维数据获取与处理***设计与实现;魏波等;《中国体视学与图像分析》;20080325(第01期);35-38 *

Also Published As

Publication number Publication date
JP2022513780A (ja) 2022-02-09
KR20210087495A (ko) 2021-07-12
WO2020258901A1 (zh) 2020-12-30
CN112214009A (zh) 2021-01-12
JP7164721B2 (ja) 2022-11-01

Similar Documents

Publication Publication Date Title
CN112214009B (zh) 传感器数据处理方法、装置、电子设备及***
US10789771B2 (en) Method and apparatus for fusing point cloud data
US11789119B2 (en) Time synchronization and latency compensation for emulation test system
JP6906567B2 (ja) 障害物の検知方法、システム、コンピュータ装置、コンピュータ記憶媒体
CN113888639B (zh) 基于事件相机与深度相机的视觉里程计定位方法及***
CN112041767B (zh) 用于同步车辆传感器和设备的***和方法
CN113505687B (zh) 设备测试方法、装置、电子设备、***和存储介质
CN113311905B (zh) 一种数据处理***
US11656328B2 (en) Validating object detection hardware and algorithms
US11300977B2 (en) Systems and methods for creating and using risk profiles for fleet management of a fleet of vehicles
CN113256683B (zh) 目标跟踪方法及相关设备
CN111583338B (zh) 用于无人设备的定位方法、装置、介质及无人设备
CN116990776A (zh) 激光雷达点云补偿方法、装置及电子设备、存储介质
CN116684740A (zh) 感知训练数据生成方法、装置、计算机设备和存储介质
CN116528279A (zh) 一种路侧测试时延的方法、装置、存储介质及电子设备
CN116129378A (zh) 车道线检测方法、装置、设备、车辆和介质
JP6087218B2 (ja) 画像解析装置
CN114006672B (zh) 一种车载多传感器数据同步采集方法及***
CN115661014A (zh) 一种点云数据处理方法、装置和电子设备、存储介质
CN115760636A (zh) 激光雷达点云的畸变补偿方法、装置、设备及存储介质
KR101690882B1 (ko) 데이터의 시간 정확도를 향상시키는 마이크로 컨트롤러, 이를 이용한 3차원 맵핑 시스템 및 방법
CN116996760A (zh) 视频数据的处理方法、装置、计算机可读介质及电子设备
CN110830718A (zh) 拍照控制方法、测绘方法及相关装置
CN111522035A (zh) 定位轨迹的生成方法、设备及可读存储介质
CN115641567B (zh) 用于车辆的目标对象检测方法、装置、车辆及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant