CN113076383A - 道路数据采集车及其数据采集*** - Google Patents

道路数据采集车及其数据采集*** Download PDF

Info

Publication number
CN113076383A
CN113076383A CN202010008674.1A CN202010008674A CN113076383A CN 113076383 A CN113076383 A CN 113076383A CN 202010008674 A CN202010008674 A CN 202010008674A CN 113076383 A CN113076383 A CN 113076383A
Authority
CN
China
Prior art keywords
image
data
road
image sensor
synchronization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010008674.1A
Other languages
English (en)
Other versions
CN113076383B (zh
Inventor
朱宝伟
陈岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010008674.1A priority Critical patent/CN113076383B/zh
Publication of CN113076383A publication Critical patent/CN113076383A/zh
Application granted granted Critical
Publication of CN113076383B publication Critical patent/CN113076383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

道路数据采集车及其数据采集***，所述数据采集***用于搭载于车辆上，包括：两台以上的第一类图像传感器、激光雷达传感器、FPGA芯片模块、定位设备、同步设备、中央处理器和存储设备，其中：第一类图像传感器，用于采集道路图像并传输至FPGA模块对应的接口；FPGA芯片模块，用于将第一类图像传感器传输来的道路图像进行压缩处理，FPGA芯片模块的一个接口对应一个第一类图像传感器采集到的道路图像的处理资源；定位设备，用于采集车辆行驶过程中形成的轨迹数据；激光雷达传感器，用于采集道路点云数据；同步设备，用于控制第一类图像传感器、定位设备和激光雷达传感器同步工作；中央处理器，用于将压缩图像数据、轨迹数据、道路点云数据存储至存储设备。

Description

道路数据采集车及其数据采集***
技术领域
本说明书实施例涉及地图数据采集技术领域，尤其涉及道路数据采集车及其数据采集***。
背景技术
高精地图作为自动驾驶领域的稀缺资源以及刚需，在整个领域扮演着核心角色，可以帮助汽车预先感知路面复杂信息，结合智能路径规划，让汽车做出正确决策。相比普通精度地图，高精地图包含更多要素，能够更加真实完整地反映道路及周围环境情况。
目前，高精地图的制作依赖于车辆采集的数据，包括：点云、道路图像和轨迹等数据。为采集这些数据，采集车上需要搭载激光雷达传感器、定位设备及图像传感器(如相机/摄像机)等。发明人发现，激光雷达传感器采集的点云数据存在部分区域点云密度小，对现实世界的还原度不足，这会影响高精地图制作精度和效率，为解决该问题，现有技术通过图像传感器采集的道路图像和点云数据配合进行高精地图的制作，以提高高精地图数据的质量。由此可见，图像传感器是车辆采集数据时必备的设备。
发明内容
有鉴于此，本说明书实施例提供一种道路数据采集车及其数据采集***，能够对车辆行驶过程中道路图像数据的多通道采集，提升基于所述数据采集***采集的数据制作的地图对现实世界的还原度。
本说明书实施例提供了一种数据采集***，用于搭载于车辆上，在车辆行驶过程中采集数据，包括：两台以上的第一类图像传感器、激光雷达传感器、FPGA芯片模块、定位设备、同步设备、中央处理器和存储设备，其中：
所述第一类图像传感器，用于采集道路图像并将道路图像传输至FPGA模块对应的接口；
所述FPGA芯片模块，用于将所述第一类图像传感器传输来的道路图像进行压缩处理，其中，FPGA芯片模块的一个接口对应一个第一类图像传感器采集到的道路图像的处理资源；
定位设备，用于采集车辆行驶过程中形成的轨迹数据，向所述同步设备输出卫星定位***时间信息；
激光雷达传感器，用于采集道路点云数据；
同步设备，基于所述定位设备输出的卫星定位***时间工作，用于控制所述第一类图像传感器、定位设备和激光雷达传感器同步工作；
中央处理器，用于将所述FPGA芯片模块传输来的压缩图像数据、定位设备传输来的轨迹数据、激光雷达传感器采集的道路点云数据存储至所述存储设备。
可选地，所述数据采集***还包括：第二类图像传感器，用于采集道路全景图像数据并将道路全景图像数据传输至所述中央处理器；
所述中央处理器，还用于将接收到的道路全景图像数据与所述道路点云数据、压缩图像数据的时间戳进行对齐，并存储至所述存储设备。
可选地，所述同步设备还用于记录接收到所述第一类图像传感器在获取到所述道路图像的曝光时刻时返回的曝光反馈信号的时刻，作为所述第一类图像传感器的曝光时刻；并将获取的所述第一类图像传感器采集所述道路图像的曝光时刻作为采集所述道路图像的时间戳通过数据传输端传输至所述中央处理器。
可选地，所述同步设备用于基于轮速测量信号，按照预设频率输出拍摄触发信号。
可选地，所述同步设备包括多个，其中一个同步设备作为主同步设备，其他同步设备作为辅同步设备，所述主同步设备适于与所述辅同步设备级联连接，其中：
所述主同步设备的同步信号输入端适于与所述定位设备连接，所述主同步设备通过信号连接端分别与辅同步设备的同步信号输入端连接，传输所述卫星定位***时间信息，以控制所述辅同步设备同步工作；
所述辅同步设备适于通过同步信号端接收所述主同步设备传输的卫星定位***时间信息，并进行时间同步，且通过信号连接端向与之连接的第一类图像传感器输出拍摄触发信号，并将获取的所述第一类图像传感器采集的所述图像的曝光时刻作为采集所述图像的时间戳通过所述数据传输端传输至所述中央处理器。
可选地，所述FPGA芯片模块包括：
图像采集单元，适于采集所述第一类图像传感器传输的道路图像并缓冲；
JPEG压缩单元，适于将所述图像采集单元采集到的道路图像采用JPEG方式进行编码处理，得到JPEG压缩图像数据。
可选地，所述FPGA芯片模块还包括：第一图像格式转换单元，适于将输入的RGB格式的图像数据转换为YCRCB格式的图像数据，并输出至所述JPEG压缩单元。
可选地，所述FPGA芯片模块还包括：第二图像格式转换单元，适于将所述图像采集单元采集到的图像数据进行拜耳转换，得到RGB格式的图像数据，并输出至所述第一图像格式转换单元。
可选地，所述FPGA芯片模块包括多个，多个FPGA芯片模块的数据输入端分别与至少一个所述第一类图像传感器电连接，数据输出端分别与所述中央处理器电连接。
本说明书实施例还提供了一种道路数据采集车，包括上述任一实施例所述的数据采集***。
数据采集***采集的所有数据中，图像数据占据很大比重的数据存储容量及带宽资源，采用本说明书实施例，所述FPGA芯片模块与所述中央处理器协同工作，FPGA芯片模块的一个接口对应一个第一类图像传感器采集到的道路图像的处理资源，因此FPGA芯片模块是流水线式并行处理数据，因此可以实现对来自一个或多个第一类图像传感器的图像数据进行高效地压缩处理，且由同步设备控制多台第一图像传感器、定位设备和激光雷达传感器同步工作，多视角多维度地采集道路数据，因此使得采集到的道路数据可以更加充分地还原现实世界，进而可以提高基于采集到的道路数据所制作的地图的还原度和精确性。此外，采用FPGA芯片模块对道路图像数据进行压缩处理后再传输至中央处理器，可以避免带宽传输资源的限制，并且也可以降低中央处理器的处理负荷。
进一步地，由所述中央处理器对采集的道路全景数据与所述道路点云数据、压缩图像数据的时间戳进行对齐，并存储至所述存储设备，用于辅助所述道路点云数据制作高精地图数据，可以进一步提高高精地图的精度。此外，在所述FPGA芯片模块与所述中央处理器协同工作时，在保障实时性的情况下，也可以使中央处理器的数据处理资源得到充分利用。
进一步地，通过所述同步设备将接收到所述第一类图像传感器在获取到所述道路图像的曝光时刻时返回的曝光反馈信号的时刻，作为所述第一类图像传感器的曝光时刻，可以提高所记录的所述道路图像的曝光时刻的时间精度，所记录的所述照片的曝光时刻的时间精度可以达到微秒级，通过将获取的所述第一图像传感器采集所述道路图像的曝光时刻作为采集所述道路图像的时间戳通过数据传输端传输至所述中央处理器，可以显著提高地图数据制作过程中高精采集车采集到的图像数据和点云数据的匹配精度，进而可以提高地图数据的精度。
进一步地，所述同步设备基于轮速测量信号，按照预设频率输出所述拍摄触发信号，可以使得所述高精采集车采集到的道路图像的距离间隔更加均匀，使得高精采集车的道路图像采集效率及精度得到提高。
进一步地，通过多个同步设备的级联，可以成倍地扩展所述道路数据采集车支持的第一类图像传感器的数量，从而可以显著地提高采集到的道路数据对现实世界的还原度。
进一步地，由于JPEG格式的图像具有很高的压缩比，因此通过JPEG压缩单元对第一类图像传感器采集到的道路图像采用JPEG方式进行编码处理，之后对JPEG压缩图像数据进行传输及存储，可以极大地节约带宽资源及存储资源。此外，对压缩后的JPEG数据进行处理及存储，使得中央处理器有足够的能力对采集到的道路图像数据进行迅速甚至实时的处理和存储。
进一步地，在对图像压缩前，通过对输入的RGB格式的图像数据转换为YCrCb格式的图像数据，可以支持所述第一类图像传感器采集到的道路图像具有更多的色彩信息，从而可以进一步提升采集到的道路数据对现实世界的还原度。
进一步地，采用所述第一图像格式转换单元及第二图像格式转换单元，将采集到的原始图像数据进行拜耳转换，得到RGB格式的图像数据，之后再转换为YCrCb格式后进行JPEG编码压缩，可以提高所采集到的图像数据的完整性，从而可以更充分地还原现实世界，进一步提高高精地图的数据精度。
进一步地，通过多个FPGA芯片模块分别与至少一个第一类图像传感器连接，可以提高所述车辆上所支持的第一类图像传感器的数量，获得更加丰富全面的采集图像，从而可以更加充分地还原现实世界，进一步提高高精地图制作精度。
附图说明
图1示出了本说明书实施例中一种数据采集***的结构示意图；
图2示出了本说明书实施例中一种FPGA芯片模块的结构示意图；
图3示出了本说明书实施例中一种同步设备的结构示意图；
图4示出了本说明书实施例中一种多个同步设备级联方式示意图。
具体实施方式
如前所述，在利用激光雷达传感器所采集的点云数据存在部分区域点云密度小，对现实世界的还原度不足，因此会影响地图制作精度和效率。
为解决该问题，现有技术通过图像传感器采集的道路图像和点云数据配合进行高精地图的制作，以提高高精地图数据的质量。由此可见，图像传感器是车辆采集数据时必备的设备。
目前，道路数据采集车上通常仅搭载一台图像传感器(如相机/摄像机)，用于在行驶过程中获取道路前方图像，对现实世界的还原度不足。然而，若搭载多台图像传感器，通过道路数据采集车上搭载的工控机对多个图像传感器采集的图像数据进行处理，图像传感器采集的图像数据所需存储容量大、带宽高，由于现有的传输带宽及存储设备的存储容量、存储速度的限制，难以实现对多图像传感器采集的数据进行高效处理及存储。
例如，若一台道路数据采集车上搭载4至6台相机，通过工控机进行图像处理及存储。其中相机按照5帧/秒的速度进行道路图像采集，一帧图像大小4M(2048像素*2048像素)，由于涉及RGB三个通道的数据，则有12M，一秒钟一台相机产生的数据量有60M，则4至6台相机一秒钟产生的数据有240M至360M，一天若连续采集10个小时，则产生道路图像数据8.6T～13T。目前固态硬盘(SSD)的写入速度大概在300M/S，存储容量在1T左右，存储容量和写入速度成为极大的瓶颈。并且，工控机中的中央处理器对道路图像处理基本是串行地一帧一帧地对图像数据进行处理，多个相机采集图像的速度远远超过中央处理器处理速度，且360M/S的数据量也超过相机与工控机之间传输带宽的上限。因而目前道路数据采集车难以实现多图像传感器的道路图像采集，因此采集到的道路图像对现实世界的还原度仍不足，进而也难以基于采集到的道路数据制作高精地图。
针对上述问题，本说明书实施例采用FPGA芯片模块与中央处理器协同工作，FPGA芯片模块的一个接口对应一个第一类图像传感器采集道路图像的处理资源，因此FPGA芯片模块是流水线式并行处理数据，因此可以实现对来自一个或多个第一类图像传感器的图像数据进行高效地压缩处理，且由同步设备控制第一图像传感器、定位设备和激光雷达传感器同步工作，多视角多维度地采集道路数据，因此使得采集到的道路数据可以更加充分地还原现实世界，进而可以提高基于采集到的道路数据所制作的地图的还原度和精确性。此外，采用FPGA芯片模块对道路图像数据进行压缩处理后再传输至中央处理器，可以避免带宽传输资源的限制，并且也可以降低中央处理器的处理负荷。
为使本领域技术人员更好地理解和实现本说明书实施例，以下参照附图，通过具体应用场景对本说明书实施例进行详细描述。
参照图1所示的本说明书实施例中一种数据采集***的结构示意图，所述数据采集***可以搭载于车辆上，在车辆行驶过程中采集数据。在本说明书实施例中，如图1所示的数据采集***10，可以包括：两台以上的第一类图像传感器11、FPGA芯片模块12、定位设备13、同步设备14、激光雷达传感器15和中央处理器16、存储设备17，其中：
所述第一类图像传感器11，用于采集道路图像并将所述道路图像传输至FPGA模块对应的接口；
所述FPGA芯片模块12，用于将所述第一类图像传感器11传输来的道路图像进行压缩处理，其中，FPGA芯片模块12的一个接口对应一个第一类图像传感器11采集到的道路图像的处理资源；
定位设备13，用于采集车辆行驶过程中形成的轨迹数据，向同步设备14输出卫星定位***时间信息；
激光雷达传感器15，用于采集道路点云数据；
同步设备14，基于所述定位设备输出的卫星定位***时间工作，用于控制所述第一类图像传感器11、定位设备13和激光雷达传感器15同步工作；
中央处理器16，用于将所述FPGA芯片模块12传输来的压缩图像数据，定位设备13传输来的轨迹数据、激光雷达传感器15采集的道路点云数据存储至所述存储设备17。
以下简述上述数据采集***10的工作原理：
所述同步设备14控制多台第一类图像传感器11、定位设备13和激光雷达传感器15同步工作，采集相应类型的道路数据，从而可以多维度多视角地还原现实世界。其中，所述第一类图像传感器11采集道路图像并将道路图像传输至FPGA芯片模块12，由于FPGA芯片模块12的一个接口对应一个第一类图像传感器11采集到的道路图像的处理资源，FPGA芯片模块12对多台第一类图像传感器11传输来的道路图像并行地进行压缩处理，可以获得多视角的道路图像；同时，中央处理器16将所述FPGA芯片模块12传输来的压缩图像数据、定位设备13传输来的轨迹数据、激光雷达传感器15采集的道路点云数据存储至所述存储设备17。
由上可知，通过同步设备14控制控制所述多台第一类图像传感器11、定位设备13和激光雷达传感器15同步工作，并由FPGA芯片模块12对多台第一类图像传感器采集到的道路图像进行压缩处理，从而可以多维度多视角地还原现实世界，进而可以提高基于采集到的道路数据所制作的地图的还原度和精确性。
此外，由于FPGA芯片模块12采用可编程逻辑门阵列(Field Programmable GateArray，FPGA)芯片，因此可以进行并行流水线运算，因而有能力对来自一个或多个所述第一类图像传感器的道路图像进行实时压缩处理，且压缩处理后再进行传输，可以极大地节约带宽资源，缓解带宽压力。之后，对于压缩后的道路图像，中央处理器16也有能力将其与定位设备13传输来的轨迹数据、FPGA芯片模块12传输来的压缩图像数据、激光雷达传感器15采集的道路点云数据进行时间戳对齐等处理，由于道路图像进行了压缩处理，因此存储设备17的存储容量及写入速度也可以满足多第一类图像传感器11的实时采集需求。
在本说明书实施例中，继续参照图1，数据采集***10还可以包括：第二类图像传感器18，可以用于采集道路全景图像数据，并将道路全景图像数据传输至所述中央处理器16；相应地，所述中央处理器16，可以将接收到的全景图像数据与所述道路点云数据、压缩图像数据的时间戳进行对齐，并可以实时存储至所述存储设备17。
采用上述实施例，由所述中央处理器16对采集的道路全景图像数据与所述道路点云数据、压缩图像数据的时间戳对齐，并实时存储至所述存储设备17，用于辅助所述道路点云数据制作高精地图数据，可以进一步提高高精地图的精度，在所述FPGA芯片模块12与所述中央处理器16协同工作时，在保障实时性的情况下，也可以使中央处理器16的数据处理资源得到充分利用。
在具体实施中，所述第一类图像传感器11可以为普通相机，用于采集道路。在本说明书一实施例中，采用500万像素的相机模组作为所述第一类图像传感器。例如，可以在高精采集车的一个或多个位置朝向多个方向设置多台500万像素的相机模组采集道路图像。
在具体实施中，所述第二类图像传感器18可以为单反全景相机。
在具体实施中，所述定位设备13可以包括：组合惯导装置，所述组合惯导装置可以包括卫星导航定位模块和惯性导航模块，用于采集车辆行驶过程中形成的轨迹数据，其中所述卫星导航定位模块可以输出所述卫星定位***时间信息，用于向同步设备14授时。
在具体应用过程中，所述卫星导航定位模块可以为全球定位***(GlobalPositioning System，GPS)模块、北斗卫星导航***模块、伽利略卫星导航***模块、格洛纳斯卫星导航***模块，或为集成多种导航***的全球卫星导航***(Global NavigationSatellite System，GNSS)模块。所述惯性导航模块可以基于其内部设置的惯性器件如陀螺仪、加速度计等获取当前位置信息。
在具体实施中，所述卫星定位***时间信息可以包括：每秒脉冲数(Pulse PerSecond，PPS)信息和当前时间信息。例如对于包含GPS模块的定位设备21，所述当前时间信息可以采用美国国家海洋电子协会(National Marine Electronics Association，NMEA)标准格式的当前时间信息(GPZDA)，可以获取到精确到秒级的当前时间。
在具体实施中，所述同步设备14可以基于轮速测量信号Wh，按照预设频率输出所述拍摄触发信号。在本说明书一实施例中，所述同步设备14可以和轮速计直接连接，获取道路数据采集车的轮速测量信号。
在具体实施中，所述激光雷达传感器15可以包括数据采集模组(未示出)和授时模组(未示出)，其中：所述数据采集模组适于采集道路点云数据；所述授时模组可以与同步设备14电连接，适于将卫星定位***时间数据与所述道路点云数据绑定，授时与所述点云数据。
在具体实施中，所述存储设备17可以采用固态硬盘(Solid State Drive，SSD)等大容量高速存储设备。
在具体实施中，所述中央处理器16和所述存储设备17可以集成在一个设备中，在本说明书一实施例中，可以采用包含中央处理器16和存储设备17的工控机1实现，如图1所示。
在本说明书一实施例中，参见图1，所述第一类图像传感器11可以通过千兆网工业相机(Gigabit Ethernet，GigE)接口与所述FPGA芯片模块12通信，进行图像数据传输。所述FPGA芯片模块12可以通过多个PCIe接口将压缩后的图像数据传输至工控机1中的中央处理器16进行处理。
在本说明书一实施例中，参见图1，所述第二类图像传感器18通过通用串行总线(Universal Serial Bus，USB)3.0接口与工控机相连，所述第二类图像传感器18采集的道路全景数据传输至所述工控机1的中央处理器16进行处理。
在本说明书一实施例中，参见图1，所述定位设备13通过通用异步收发器(Universal Asynchronous Receiver Transmitter，UART)将车辆行驶过程中采集的轨迹数据传输至所述工控机1的中央处理器16进行实时处理。
在本说明书一实施例中，继续参见图1，所述同步设备14可以通过晶体管-晶体管逻辑电路(Transistor-Transistor Logic，TTL)电平接口分别与所述第一类图像传感器11、轮速计(未示出)等连接。
在本说明书一实施例中，所述激光雷达传感器15可以通过以太网(Ethernet)接口将道路点云数据传输至工控机1的中央处理器16，进行采集、解析等处理，并存储。在具体实施中，上述各过程可以在车辆行驶过程中实时同步进行。
为使本领域技术人员更好地理解和实现本说明书实施例，以下对本说明书实施例所采用的FPGA芯片模块进行详细介绍。
参照图2所示的FPGA芯片模块的结构示意图，在本说明书实施例中，如图2所示，FPGA芯片模块20可以包括：
图像采集单元21，适于采集所述第一类图像传感器传输的道路图像数据并缓冲；
JPEG压缩单元22，适于将所述图像采集单元21采集到的道路图像采用JPEG方式进行编码处理，得到JPEG压缩图像数据。
基于FPGA，所述JPEG压缩单元可以采用压缩算子对采集到的道路图像进行编码。
其中，JPEG是Joint Photographic Experts Group(联合图像专家组)的缩写，文件后缀名为“.jpg”或“.jpeg”，是最常用的图像文件格式，是一种有损压缩格式，能够将图像压缩在很小的存储空间，图像中重复或不重要的资料会被丢弃，从而可以去除冗余的图像数据，在获得极高压缩率的同时能够展现十分丰富生动的图像，换言之，可以用最少的磁盘空间得到较好的图像品质，因此可以很好地突破高精地图数据存储容量、存储速度和带宽的瓶颈，实现较高精度的地图数据的实时采集、实时处理及实时存储。
在具体实施中，继续参照图2，所述JPEG压缩单元22可以包括：图像分割模块221、离散余弦变换(Discrete Cosine Transform，DCT)模块222、数据量化模块223和哈夫曼编码模块224，其中：
所述图像分割模块221，可以将图像分割为8*8像素的小块。
这些小块在整个压缩过程都是单独被处理，对于一个8*8的图像块，采用YCrCb编码格式，在数据上表现为3个8*8的矩阵。
所述DCT模块222，可以对所述3个矩阵做一个二维的DCT变换，经过DCT变换，每个8*8的图像块都变成3个8*8的浮点数矩阵。
所述数据量化模块223可以采用预设量化函数分别对所述3个8*8的浮点数矩阵进行量子化，得到量子化后的二维矩阵，之后，可以按照预设的取值顺序将二维矩阵变为一维数组。其中，所述量化函数是将所述3个8*8的矩阵与对应的量化系数相除取整得到。通过量子化处理，可以使一大部分数据变为0，更有利于后续压缩存储。可以按照从左上角到右下角的取值顺序进行取值，最终矩阵可以变为一个整数数组。
在具体实施中，量化系数可以采用两张标准的量化系数矩阵表中，分别用于处理亮度数据Y和色差数据Cr和Cb，这两张表中的数据是人们根据人眼对不同频率的敏感程度的差别所积累下的经验制定的，一般而言，人眼对于低频分量比对高频分量更加敏感，所以两张表中左上角的数值明显小于右下角区域，在实际的压缩过程中，还可以根据需要在这些系数的基础上再乘以预设系数，以使得更多或更少的数据变成0，可以通过控制这个预设系数来控制压缩质量。
所述哈夫曼编码模块224可以通过哈夫曼编码方式对所述数据量化模块得到的整数数组进行编码处理。哈夫曼编码方式的基本原理是根据数据中元素的使用频率，调整元素的编码长度，从而可以得到更高的压缩比。在具体实施中，可以采用JPEG提供的标准码表进行编码，此处不再详述。
在具体实施中，第一类图像传感器可能采用不同于YCrCb的图像格式，针对这种情况FPGA芯片模块可以采用相应的格式转换算子进行格式转换。
在本说明书一实施例中，所述FPGA芯片模块采集到的图像格式为RGB格式，参照图2，所述FPGA芯片模块20还可以包括：第一图像格式转换单元23，适于将输入的RGB格式的图像数据转换为YCrCb格式的图像数据，并输出至所述JPEG压缩单元22。
RGB色彩***是常用的表示颜色的方式，JPEG采用的是YCbCr***，Y成分表示一个像素的亮度，Cr和Cb则分别为红色和蓝色的色差分量若要用JPEG压缩方式处理全彩色图像，对于输入的RGB格式的图像，需要转换为YCbCr格式的图像数据。具体可以通过如下计算公式完成数据转换：
Y＝0.2990R+0.5870G+0.1140B；
Cb＝-0.1687R-0.3313G+0.5000B+128；
Cr＝0.5000R-0.4187G-0.0813B+128。
如前所述，人类的眼睛对低频分量的数据比对高频分量的数据具有更高的敏感度，并且，人类的眼睛对亮度的改变也比对色彩的改变要敏感得多，也就是说Y成份的数据是比较重要的。既然Cb成份和Cr成份的数据比较相对不重要，就可以只取部分数据来处理，以增加压缩的比例。JPEG通常有两种采样方式：YUV411和YUV422，它们所代表的意义是Y、Cb和Cr三个成份的数据取样比例一般是4：1：1或者4：2：2。其中，4：1：1含义就是：在2x2的单元中，本应分别有4个Y，4个U，4个V值，用12个字节进行存储。经过4:1:1采样处理后，每个单元中的值分别有4个Y、1个U、1个V，只要用6个字节就可以存储了。这样的采样方式，虽然损失了一定的精度，但也在人眼不太察觉到的范围内减小了数据的存储量。当然，JPEG格式里面也允许将每个点的U,V值都记录下来。
在本说明书另一实施例中，所述FPGA芯片模块20还可以包括：第二图像格式转换单元24，适于将所述图像采集单元21采集到的图像数据进行拜耳(Bayer)转换，得到RGB格式的图像数据，并输出至所述第一图像格式转换单元23。
将所述图像采集单元21采集到的未经处理的图像数据，通常称为原始图像数据。原始图像数据也称为RAW格式的图像数据，RAW的原意是“未经加工”，RAW格式的图像数据就是未经处理、也未经压缩的格式，一般后缀名.raw。就是互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor Transistor，CMOS)或电荷耦合器件(Charge Coupled Device，CCD)图像传感器将捕捉到的光源信号转化为数字信号的原始数据，也称为Bayer格式图像。
对于彩色图像，需要采集多种最基本的颜色，如红绿蓝(RGB)三种颜色，Bayer格式图像是在一块滤镜上设置不同的颜色，通过分析人眼对颜色的感知发现，人眼对绿色比较敏感，所以一般Bayer格式的图像绿色格式的像素是红色像素和蓝色像素之和。
图像传感器是每一个感光像素之间都有金属隔离层，光线通过显微镜头，在色彩滤波器过滤之后，投射到相应的漏洞式硅的感光元件上。当图像传感器往外逐行输出数据时，像素的序列为GRGRGR.../BGBGBG...(顺序RGB)，这样阵列的图像传感器设置，使得RGB传感器减少到了全色传感器的1/3。每一个像素仅仅包含光谱的一部分，必须通过插值来实现每个像素的RGB值，为了从Bayer格式得到每个像素的RGB格式，可以通过插值填补缺失的两个色彩，插值的方法有多种，例如领域插值、线性插值、3*3插值，5*5插值等，插值速度和质量平衡，可以选用线性插值算法。在本说明书一实施例中，所述第二图像格式转换单元24采用5*5的彩色插值算子，可以将原始RGB图像转换成RGB24的彩色图像，每个像素有三种颜色，每个颜色的值在0～255之间。
采用上述实施例，先将原始图像数据转换为RGB格式，再转换为YCrCb格式，之后进行JPEG编码压缩，可以提高所得到的图像数据的完整性，从而可以更充分地还原现实世界，进一步提高高精地图的数据精度。
在具体实施中，继续参照图1，每个PFGA芯片模块12可以通过所述多个数据输入接口与多个所述第一类图像传感11连接，从而可以实时采集并存储来自多个第一类图像传感器11的图像。此外，所述FPGA芯片模块12可以有多个，多个FPGA芯片模块12的数据输入端分别与相应的第一类图像传感器11电连接，数据输出端分别与所述中央处理器16电连接，从而可以支持更多的第一类图像传感器11实时采集及存储道路图像数据，获得多视角的更加丰富全面的道路图像，从而可以更加充分地还原现实世界，进一步提高高精地图制作精度。
在具体实施中，继续参照图1，所述同步设备14可以记录接收到所述第一类图像传感器11在获取到所述道路图像的曝光时刻时返回的曝光反馈信号的时刻，作为所述第一类图像传感器11的曝光时刻；并将获取的所述第一类图像传感器11采集所述道路图像的曝光时刻作为采集所述道路图像的时间戳通过数据传输端传输至所述中央处理器16。所述中央处理器16可以生成将获取的道路图像的时间戳与所述道路图像进行对齐，生成所述图像的曝光信息文件，相对于目前由中央处理器触发所述第一类图像传感器拍摄图像的时刻作为曝光时刻，采用本说明书实施例可以显著提高地图数据制作过程中高精采集车采集的道路非全景图像与点云的匹配精度，进而可以提高地图数据的精度。
图3示出了本说明书实施例中一种同步设备的结构示意图，在具体实施中，如图3所示，同步设备30可以包括：同步信号输入端Sync、多个信号连接端S1～Sn、数据传输端D和数据处理单元C，其中：所述同步设备30可以通过所述同步信号输入端Sync与定位设备31连接，通过所述信号连接端S1～Sn可以分别与第一类图像传感器32连接，通过所述数据传输端D与中央处理器33连接，其中：
所述数据处理单元C，适于基于所述定位设备31输出的卫星定位***时间工作，控制与之连接第一类图像传感器进行拍摄，采集图像，包括：向与之连接的第一类图像传感器32输出拍摄触发信号触发所述第一类图像传感器32采集图像，并记录接收到所述第一类图像传感器32在获取到所述道路图像的曝光时刻时返回的曝光反馈信号的时刻，作为所述第一类图像传感器32采集所述道路图像的曝光时刻；并将获取的所述第一类图像传感器32采集到所述道路图像的曝光时刻作为所述道路图像的时间戳通过所述数据传输端D传输至中央处理器33。
采用上述实施例的同步设备，可以通过同步信号端与定位设备连接，获得精确的卫星定位***时间，进行时间同步，以基于卫星定位***时间工作，从而可以保证所述同步设备的时间精度，且所述同步设备具有多个信号连接端，因此可以通过所述多个信号连接端实现同时与多个第一类图像传感器连接，可以同时向所述多个第一类图像传感器输出拍摄触发信号，接收所述多个第一类图像传感器32采集道路图像时反馈的曝光反馈信号，每接收到一个曝光反馈信号，可以将同步设备30的时间记录为所述曝光反馈信号对应的道路图像的曝光时刻，并将获取到的各第一类图像传感器采集所述图像的曝光时刻作为所述道路图像的时间戳，通过数据传输端传输至中央处理器，由中央处理器33将各第一类图像传感器32采集的道路图像与各个道路图像对应的时间戳(所述同步设备30获取到的各道路图像的曝光时刻)对齐，即可生成道路图像的曝光信息文件。
在同步设备的上述处理过程中，以获取到道路图像的曝光时刻时返回的曝光反馈信号的时刻，作为第一类图像传感器采集的道路图像的曝光时刻，这一处理方式充分考虑到第一类图像传感器采集的道路图像时的曝光的发生机制，相对于以第一类图像传感器采集的道路图像的触发时刻作为曝光时刻，可以极大地提高所生成的图像的曝光信息文件的时间精度，在具体应用过程中，可以达到微秒级的精度，满足高精地图的制作指标。且采用所述同步设备，可以同时控制高精采集车上的多个第一类图像传感器，满足高精采集车多角度全方位采集道路图像数据的需求。
此外，采用本说明书实施例的同步设备，无须采用专门可以触发第一类图像传感器采集图像的定位设备，通过通用的定位设备能够获取到用于时间同步的卫星定位***时间信息即可，因而无须对高精采集车上通用的定位设备进行替换，仅需将本说明书实施例的同步设备安装于道路数据采集车上，与道路数据采集车上已有的定位设备、中央处理器、第一类图像传感器配合即可使用，对现有的高精采集车升级改造的成本较小，易于推广普及。
继续参照图3，在本说明书实施例中，同步设备30还可以包括测速信号输入端Wh，用于与轮速计34相连，输入测量得到的车速，相对应地，所述数据处理单元C可以适于基于所述测量得到的车速，调节所述道路图像的拍摄触发信号的输出频率。
在具体实施中，数据采集***可以采用多个同步设备，其中一个同步设备作为主同步设备，其他同步设备作为辅同步设备，所述主同步设备适于与所述辅同步设备级联连接，其中：
所述主同步设备的同步信号输入端适于与所述定位设备连接，所述主同步设备通过信号连接端分别与辅同步设备的同步信号输入端连接，传输所述卫星定位***时间信息，以控制所述辅同步设备同步工作；
所述辅同步设备适于通过同步信号端接收所述主同步设备传输的卫星定位***时间信息，并进行时间同步，且通过信号连接端向与之连接的第一类图像传感器输出拍摄触发信号，并将获取的所述第一类图像传感器采集的所述图像的曝光时刻通过所述数据传输端传输至所述中央处理器。
参照图4所示的本说明书实施例中一种多个同步设备的级联方式示意图，包括主同步设备41以及与之级联的辅同步设备42和辅同步设备43。若每个同步设备上均设置有6个信号连接端S1～S6，则采用图4所示多个同步设备的级联方式，采用3个同步设备，最多可以同时获取12个摄像装置拍摄的照片的曝光信息。
所述主同步设备41的同步信号输入端Sync适于与定位设备连接，所述主同步设备41通过信号连接端S1、S6分别与辅同步设备42、辅同步设备43等的同步信号输入端Sync连接，传输所述卫星定位***时间信息；
所述辅同步设备42、43适于通过同步信号端Sync接收所述主同步设备41传输的卫星定位***时间信息，并进行时间同步，且通过信号连接端S1～S6向与之连接的第一类图像传感器输出拍摄触发信号，并将获取的所述第一类图像传感器采集的所述图像的曝光时刻通过所述数据传输端传输至所述中央处理器。通过多个同步设备的级联，可以成倍地扩展所述高精采集车支持的第一类图像传感器的数量。
在具体实施中，继续参见图1，数据采集***还可以包括：显示设备19，用于将所述中央处理器16处理得到的图像数据实时显示。通过显示设备19将所述中央处理器16处理得到的图像数据实时显示，可以使用户对道路数据采集车采集的道路数据进行实时监控，保障采集数据的有效性。
本说明书实施例还提供了一种高精地图采集车，所述高精地图采集车上可以设置前述任一实施例所述的数据采集***，实现包含大量图像数据的高精地图数据的实时采集、实时处理及实时存储，具体实现可以参见前述各实施例，此处不再赘述。
需要说明的是，本说明书实施例中采用的如“第一类图像传感器”、“第二类图像传感器”等其中的“第一”、“第二”并不具有顺序、大小等特殊含义，仅用于区分不同的器件、装置或设备。
虽然本说明书实施例披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本说明书实施例的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (10)

1.一种数据采集***，用于搭载于车辆上，在车辆行驶过程中采集数据，包括：两台以上的第一类图像传感器、激光雷达传感器、FPGA芯片模块、定位设备、同步设备、中央处理器和存储设备，其中：
所述第一类图像传感器，用于采集道路图像并将道路图像传输至FPGA模块对应的接口；
所述FPGA芯片模块，用于将所述第一类图像传感器传输来的道路图像进行压缩处理，其中，FPGA芯片模块的一个接口对应一个第一类图像传感器采集到的道路图像的处理资源；
定位设备，用于采集车辆行驶过程中形成的轨迹数据，向所述同步设备输出卫星定位***时间信息；
激光雷达传感器，用于采集道路点云数据；
同步设备，基于所述定位设备输出的卫星定位***时间工作，用于控制所述第一类图像传感器、定位设备和激光雷达传感器同步工作；
中央处理器，用于将所述FPGA芯片模块传输来的压缩图像数据、定位设备传输来的轨迹数据、激光雷达传感器采集的道路点云数据存储至所述存储设备。
2.根据权利要求1所述的数据采集***，还包括：第二类图像传感器，用于采集道路全景图像数据并将道路全景图像数据传输至所述中央处理器；
所述中央处理器，还用于将接收到的道路全景图像数据与所述道路点云数据、压缩图像数据的时间戳进行对齐，并存储至所述存储设备。
3.根据权利要求2所述的数据采集***，所述同步设备还用于记录接收到所述第一类图像传感器在获取到所述道路图像的曝光时刻时返回的曝光反馈信号的时刻，作为所述第一类图像传感器的曝光时刻；并将获取的所述第一类图像传感器采集所述道路图像的曝光时刻作为采集所述道路图像的时间戳通过数据传输端传输至所述中央处理器。
4.根据权利要求3所述的数据采集***，所述同步设备用于基于轮速测量信号，按照预设频率输出拍摄触发信号。
5.根据权利要求3所述的数据采集***，所述同步设备包括多个，其中一个同步设备作为主同步设备，其他同步设备作为辅同步设备，所述主同步设备适于与所述辅同步设备级联连接，其中：
所述主同步设备的同步信号输入端适于与所述定位设备连接，所述主同步设备通过信号连接端分别与辅同步设备的同步信号输入端连接，传输所述卫星定位***时间信息，以控制所述辅同步设备同步工作；
所述辅同步设备适于通过同步信号端接收所述主同步设备传输的卫星定位***时间信息，并进行时间同步，且通过信号连接端向与之连接的第一类图像传感器输出拍摄触发信号，并将获取的所述第一类图像传感器采集的所述图像的曝光时刻作为采集所述图像的时间戳通过所述数据传输端传输至所述中央处理器。
6.根据权利要求1所述的数据采集***，所述FPGA芯片模块包括：
图像采集单元，适于采集所述第一类图像传感器传输的道路图像并缓冲；
JPEG压缩单元，适于将所述图像采集单元采集到的道路图像采用JPEG方式进行编码处理，得到JPEG压缩图像数据。
7.根据权利要求6所述的数据采集***，所述FPGA芯片模块还包括：
第一图像格式转换单元，适于将输入的RGB格式的图像数据转换为YCRCB格式的图像数据，并输出至所述JPEG压缩单元。
8.根据权利要求7所述的数据采集***，所述FPGA芯片模块还包括：第二图像格式转换单元，适于将所述图像采集单元采集到的图像数据进行拜耳转换，得到RGB格式的图像数据，并输出至所述第一图像格式转换单元。
9.根据权利要求1所述的数据采集***，所述FPGA芯片模块包括多个，多个FPGA芯片模块的数据输入端分别与至少一个所述第一类图像传感器电连接，数据输出端分别与所述中央处理器电连接。
10.一种道路数据采集车，包括权利要求1至9任一项所述的数据采集***。
CN202010008674.1A 2020-01-06 2020-01-06 道路数据采集车及其数据采集*** Active CN113076383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010008674.1A CN113076383B (zh) 2020-01-06 2020-01-06 道路数据采集车及其数据采集***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010008674.1A CN113076383B (zh) 2020-01-06 2020-01-06 道路数据采集车及其数据采集***

Publications (2)

Publication Number Publication Date
CN113076383A true CN113076383A (zh) 2021-07-06
CN113076383B CN113076383B (zh) 2023-03-21

Family

ID=76608576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010008674.1A Active CN113076383B (zh) 2020-01-06 2020-01-06 道路数据采集车及其数据采集***

Country Status (1)

Country Link
CN (1) CN113076383B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114967540A (zh) * 2022-05-10 2022-08-30 禾多科技（北京）有限公司 车载传感器的数据采集设备
WO2024011408A1 (zh) * 2022-07-12 2024-01-18 阿波罗智能技术(北京)有限公司 同步采集数据的方法和同步确定方法、装置、自动驾驶车

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202782968U (zh) * 2012-09-21 2013-03-13 纵横皆景（武汉）信息技术有限公司 基于激光扫描与全景影像的车载测量集成***
CN104535070A (zh) * 2014-12-26 2015-04-22 上海交通大学 高精细地图数据结构、采集和处理***及方法
CN104573733A (zh) * 2014-12-26 2015-04-29 上海交通大学 一种基于高清正射影像图的高精细地图生成***及方法
CN104935794A (zh) * 2015-05-29 2015-09-23 江苏天鹰知淮数码科技有限公司 一种高清智能报警半球形网络摄像机
US20160005154A1 (en) * 2011-09-28 2016-01-07 U.S. Army Research Laboratory Attn: Rdrl-Loc-I System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles
CN105862556A (zh) * 2016-05-30 2016-08-17 江苏智途科技股份有限公司 智能车载道路信息采集装置以及采集道路信息的方法
CN107665250A (zh) * 2017-09-26 2018-02-06 百度在线网络技术（北京）有限公司 高清道路俯视地图的构建方法、装置、服务器和存储介质
CN108955702A (zh) * 2018-05-07 2018-12-07 西安交通大学 基于三维激光和gps惯性导航***的车道级地图创建***
CN109033164A (zh) * 2018-06-20 2018-12-18 安徽迈普德康信息科技有限公司 一种全景地图数据采集***及其移动采集终端
CN109588055A (zh) * 2016-07-29 2019-04-05 索尼公司 图像处理设备和图像处理方法
CN109640032A (zh) * 2018-04-13 2019-04-16 河北德冠隆电子科技有限公司 基于人工智能多要素全景监控检测五维预警***
CN109634263A (zh) * 2018-12-29 2019-04-16 深圳市易成自动驾驶技术有限公司 基于数据同步的自动驾驶方法、终端及可读存储介质
CN109672892A (zh) * 2018-12-25 2019-04-23 广东浪潮大数据研究有限公司 一种图像压缩装置、方法和fpga板卡
CN110047373A (zh) * 2019-04-28 2019-07-23 北京超维度计算科技有限公司 一种基于通用应用处理器的高精度地图生成***

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160005154A1 (en) * 2011-09-28 2016-01-07 U.S. Army Research Laboratory Attn: Rdrl-Loc-I System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles
CN202782968U (zh) * 2012-09-21 2013-03-13 纵横皆景（武汉）信息技术有限公司 基于激光扫描与全景影像的车载测量集成***
CN104535070A (zh) * 2014-12-26 2015-04-22 上海交通大学 高精细地图数据结构、采集和处理***及方法
CN104573733A (zh) * 2014-12-26 2015-04-29 上海交通大学 一种基于高清正射影像图的高精细地图生成***及方法
CN104935794A (zh) * 2015-05-29 2015-09-23 江苏天鹰知淮数码科技有限公司 一种高清智能报警半球形网络摄像机
CN105862556A (zh) * 2016-05-30 2016-08-17 江苏智途科技股份有限公司 智能车载道路信息采集装置以及采集道路信息的方法
CN109588055A (zh) * 2016-07-29 2019-04-05 索尼公司 图像处理设备和图像处理方法
CN107665250A (zh) * 2017-09-26 2018-02-06 百度在线网络技术（北京）有限公司 高清道路俯视地图的构建方法、装置、服务器和存储介质
CN109640032A (zh) * 2018-04-13 2019-04-16 河北德冠隆电子科技有限公司 基于人工智能多要素全景监控检测五维预警***
CN108955702A (zh) * 2018-05-07 2018-12-07 西安交通大学 基于三维激光和gps惯性导航***的车道级地图创建***
CN109033164A (zh) * 2018-06-20 2018-12-18 安徽迈普德康信息科技有限公司 一种全景地图数据采集***及其移动采集终端
CN109672892A (zh) * 2018-12-25 2019-04-23 广东浪潮大数据研究有限公司 一种图像压缩装置、方法和fpga板卡
CN109634263A (zh) * 2018-12-29 2019-04-16 深圳市易成自动驾驶技术有限公司 基于数据同步的自动驾驶方法、终端及可读存储介质
CN110047373A (zh) * 2019-04-28 2019-07-23 北京超维度计算科技有限公司 一种基于通用应用处理器的高精度地图生成***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨闯 等: "由感知到动作决策一体化的类脑导航技术研究现状与未来发展" *
罗文婷 等: "一种高精地图道路三维线形测量方法" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114967540A (zh) * 2022-05-10 2022-08-30 禾多科技（北京）有限公司 车载传感器的数据采集设备
WO2024011408A1 (zh) * 2022-07-12 2024-01-18 阿波罗智能技术(北京)有限公司 同步采集数据的方法和同步确定方法、装置、自动驾驶车

Also Published As

Publication number Publication date
CN113076383B (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
US9906764B2 (en) Resolution based formatting of compressed image data
US20180220122A1 (en) Camera imaging systems and methods
CN113076383B (zh) 道路数据采集车及其数据采集***
TWI555386B (zh) 原始格式影像資料處理技術
WO2018050725A1 (en) A method and a device for reconstructing a point cloud representative of a scene using light-field data
US8009924B2 (en) Method and apparatus for recording image data
JPH04506144A (ja) 全及び減小解像度画像の多形式記憶装置を備えた電子式静止カメラ
CN107371040B (zh) 一种无人机影像高效处理***
US20130129245A1 (en) Compression of image data
CN102111635B (zh) 视频信号处理设备和视频信号处理方法
Chao et al. Pre-demosaic light field image compression using graph lifting transform
CN100518241C (zh) 一种获得两个或两个以上的视频同步帧的方法
KR102505130B1 (ko) 명시야 컨텐츠를 표현하는 신호를 인코딩하기 위한 방법 및 디바이스
US11570389B2 (en) Imaging apparatus for downsizing an image sensor and a signal processor
CN113473084A (zh) 数据发送方法、数据接收方法及相关终端和存储介质
JP6486120B2 (ja) 符号化装置、符号化装置の制御方法、及びプログラム
CN216301005U (zh) 一种驾驶辅助***的传感器采集设备
KR101600029B1 (ko) 듀얼 방식의 실시간 고화질 영상 복원 및 인코딩 시스템
JP7382186B2 (ja) 符号化装置、復号装置、及びプログラム
CN114898239A (zh) 目标对象检测方法及其设备
EP2015573A1 (en) Telecomunication device and system
CN112995557A (zh) 多通道影像的并行处理方法及设备
CN113650572A (zh) 一种驾驶辅助***的传感器采集设备和方法
WO2021249955A1 (en) Metadata to describe color filter on top on camera sensors
CN112689175A (zh) 一种可直播滑板车

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant