CN110065500B - 处理传感器数据的方法、相应设计的预处理单元以及车辆 - Google Patents

处理传感器数据的方法、相应设计的预处理单元以及车辆 Download PDF

Info

Publication number
CN110065500B
CN110065500B CN201910062065.1A CN201910062065A CN110065500B CN 110065500 B CN110065500 B CN 110065500B CN 201910062065 A CN201910062065 A CN 201910062065A CN 110065500 B CN110065500 B CN 110065500B
Authority
CN
China
Prior art keywords
processing
sensor
bus
control devices
sensor data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910062065.1A
Other languages
English (en)
Other versions
CN110065500A (zh
Inventor
P.施利克特
S.肖尔茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of CN110065500A publication Critical patent/CN110065500A/zh
Application granted granted Critical
Publication of CN110065500B publication Critical patent/CN110065500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L2012/40208—Bus networks characterized by the use of a particular bus standard
    • H04L2012/40215—Controller Area Network CAN
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L2012/40208—Bus networks characterized by the use of a particular bus standard
    • H04L2012/40241—Flexray
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L2012/40267—Bus for use in transportation systems
    • H04L2012/40273—Bus for use in transportation systems the transportation system being a vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种用于在控制装置联合的多个控制装置中处理传感器数据的方法。控制装置经由至少一个通信总线(102，104，106)与至少一个传感器(112‑114)连接，其中至少一个传感器(112‑114)的传感器数据由至少两个不同的控制装置(131‑133)逐阶段处理。在此，至少一个处理阶段在两个控制装置(131‑133)中一致或者至少与另一个阶段大体上等同，使得处理结果能够通过换算相互转换。本发明的特征在于，设置预处理单元(110)，向其提供至少一个传感器(112‑114)的传感器数据，其中在预处理单元(110)中在至少一个一致的处理阶段(M11&M21，M12&M22，M13&M23)中执行传感器数据的处理，并且将处理后的传感器数据转发到至少两个不同的控制装置(131‑133)以进行单独的进一步处理。

Description

处理传感器数据的方法、相应设计的预处理单元以及车辆
技术领域
本发明涉及传感器数据的采集、整理和处理的技术领域。在此，传感器数据被转发到多个控制装置，这些控制装置又需要这些传感器数据以用于其单独的分析。特别地，在此涉及提供传感器数据用于车辆的环境采集。本发明还涉及一种相应设计的预处理单元、具有预处理单元的车辆以及相应设计的计算机程序。
背景技术
在现代车辆中安装了大量控制装置。仅对于驱动系就使用了许多控制装置，例如，发动机控制装置、变速器控制装置、ESP控制装置等。另外值得一提的是负责在行驶机构领域中进行调节的一类控制装置。这些控制装置是用于电子行驶机构设置的控制装置或者用于行驶动力学调节的控制装置或者用作转向辅助的控制装置，例如与速度相关的助力转向。此外，还有执行用于驾驶员辅助的特定功能的控制装置。这些控制装置例如是速度调节控制装置、距离调节控制装置、停车辅助装置、紧急制动辅助控制装置等。此外，还有安装在车辆车身区域中并且负责特定的舒适功能的其他控制装置。作为示例在此提到车门或者车窗升降器控制装置、空调控制装置、座椅调节控制装置、安全气囊控制装置等。此外还有一类传感器，诸如用于环境观测的多个摄像头、导航装置、雷达或者激光雷达装置、具有电视、广播、视频和音乐功能等的通信模块和娱乐模块。
通常，不同类别的控制装置分别与针对装置类别相应设计的单独的总线联网。因此可能在车辆中使用多个不同的总线***。在此，不同的总线***可以经由网关相互连接，以便能够进行数据交换。在驱动系控制装置的领域中，同样地在舒适控制装置的领域中通常使用CAN总线。在信息娱乐领域中还使用其他总线***，例如基于以太网技术的总线***，例如，基于根据IEEE 802.3标准的标准系列的AVB(Audio Video Bridging音频视频桥接)。还可以使用经由光波导进行数据传输的总线***。作为示例提及MOST总线(MediaOriented System Transport，面向媒体的***传输)或者D2B总线(Domestic DigitalBus，国内数字总线)。
根据ISO标准，汽车领域中的主要的总线是CAN总线(Controller Area Network控制器局域网络)。CAN总线是在八十年代开发的，并于1994年标准化。相应的ISO标准的编号为ISO 11898。还有用于直至1Mbit/s的高速范围的标准，其是标准ISO 11898-2。然后还有用于直至125kBit/s的低速范围的标准，其是标准ISO 11898-3。由于增长的数据总量，在CAN总线上产生越来越高的总线负载。这导致了CAN总线的进一步发展。这种扩展的CAN总线作为术语CAN FD总线已知。在此，FD代表灵活的数据速率。在这种CAN总线的变形中切换数据速率。对于仲裁阶段，数据速率如在传统的CAN总线中一样保持较低。对于有效数据的传输，将其切换到更高的数据速率。如果更快地传输了CAN-FD消息的有效数据，则会缩短占用总线的持续时间；并且减少总线负载。如果传输持续时间保持在与在传统的CAN消息中相同的范围内，则可以以CAN-FD消息传输更大的数据量。在CAN FD中也是如此。代替8字节长的有效数据字段，在CAN FD中使用64字节长的有效数据字段。数据速率在例如从500kbit/s切换到2Mbit/s的情况下增加用于传输有效数据字段。
在汽车工业中，关于安装在车辆中的电气***的数量和复杂性可以看到由电子器件实现或者支持的车辆功能的数量显著增加的趋势。通过在协作驾驶或者自主驾驶领域中的发展加剧了这种趋势。为了考虑到这种趋势，很久以来不再给每个控制装置安装单独的传感器，而是将传感器连接到总线***，总线***也与控制装置连接。由此，传感器数据可以被转发到需要该传感器数据的所有控制装置。
(部分)自动驾驶的功能发展基于大量传感器，这些传感器必须在感知、场景理解、定位和预测的范围内进行处理。在此，还使用图像处理神经网络，即所谓的卷积神经网络(Convolutional Neural Networks，CNNs)。类似于经典的信号处理，从传感器(诸如摄像头；对应于无线电检测和测距的雷达；对应于光检测和测距的激光雷达；超声波或者红外传感器)输入的源信号通过多个阶段处理。这些阶段特别是包括一个或者多个滤波阶段，其将信号的主要部分滤出。信号处理的目的是建立特征图(Feature Maps)。
在多个处理模块中，几乎不可避免地在多个CNN中使用等效滤波器(足够用于进一步处理)。因此，仍然存在特定的控制装置必须以相同的或者至少以类似方式处理传感器数据的问题。将传感器原始数据转发到不同的控制装置可能在通信总线上导致高的数据总量，这可能导致过高的总线满载。此外还存在以下问题，控制装置必须具有相应的计算能力，以便能够分别执行对传感器数据的相同的或者类似的处理。根据有多少控制装置必须处理相同的传感器数据，所产生的图像处理步骤的多次实施可能导致增加的计算需求以及因此导致增加的硬件、时间和能量需求。增加的能量消耗的问题特别是对于电动汽车特别重要。
从文献DE 10 2015 104 934 A1中已知在机动车辆的环境观测中，将关于自由空间的信息，即，没有识别到的对象的空间的信息作为传感器原始数据存储在传感器侧的控制单元中。该信息经由通信接口被转发到创建周围环境区域图的处理设备。
从文献DE10 2015 210 881 A1中已知一种用于确定车辆的位置和/或方位的方法和设备。在此设置至少两个传感器，这些传感器的数据被合并。针对质量分析使用神经网络。
从文献DE 10 2015 220 616 A1中已知一种用于提供和分析传感器数据的方法和设备，其中遵循仅在机动车辆的分析单元中对传感器数据进行分析的方法。分析不在外部进行，即，传感器单元不传输处理后的传感器数据而传输传感器原始数据。
从文献US 2017/0039436 A1中已知使用CNN来分析来自激光雷达传感器的图像数据。由此从图像中提取特定的特征，特别是车道标记。
从文献US 2017/0300763 A1中已知从视频摄像机数据中提取这些特征。此外还使用CNN。在此，来自多个摄像头的图像分析的结果被合并为总结果。
发明内容
本发明要解决的技术问题是，提供一种用于处理传感器数据的方法，该方法避免了上述缺点。特别地，应该减少用于在不同的控制装置中多次分析传感器数据的计算消耗。
该技术问题通过根据本发明的用于在通信网络中处理传感器数据的方法来解决，其中多个处理传感器数据的计算单元连接到该通信网络，此外还通过根据本发明的相应设计的预处理单元以及相应设计的车辆来解决。
本发明还包括有利的扩展和对应于这些措施的随后描述的本发明的改善。
本发明的中心目的涉及一种用于通过神经网络处理传感器信息的方法和计算单元，用于沿(部分)自动驾驶的处理链进行合并的进一步处理。
在此，必要时利用优化方法根据形成的一组CNN确定特征图的量(KONSOL)，在该图上，随后的KI模块在必要时能够以适配的形式没有限制地实施其功能。特征图通过神经网络根据输入的数据流来计算，并且可以提供给(部分)自动驾驶的所有模块和控制装置使用。
特别地，对于车辆在道路交通中的环境感知使用KI模块，通常是具有折叠层的深度神经网络。原始数据的预处理以展开第一折叠层的形式(通过进行处理的KI模块合并)在传感器方向上压缩数据并且定义传感器与进一步处理之间的特定于功能的接口，这些接口一方面允许进一步扩展传感器，另一方面允许进一步扩展进行处理的模块，并且因此使技术进步变得容易，以及提供了竞争优势。
具体地，该建议涉及一种用于在多个控制装置中处理传感器数据的方法，其中控制装置经由至少一个通信总线与至少一个传感器连接。在此，至少一个传感器的传感器数据由至少两个不同的控制装置逐阶段地处理。至少一个处理阶段在两个控制装置中一致或者至少等同。在此，等同意味着，处理结果能够通过换算相互转换。该方法的特征在于，设置预处理单元，向该预处理单元提供至少一个传感器的传感器数据，其中，在该预处理单元中，在至少一个一致的处理阶段中执行传感器数据的处理，并且将处理后的传感器数据转发到至少两个不同的控制装置以进行单独的进一步处理。该方法的优点在于，在各个控制装置中节省了计算时间以及计算能力。这产生如下效果：减少了硬件需求和/或减少了能量需求，并且相应地减少了对于散热的开销。一个重要的优点在于，仅须将更少的数据传输到控制装置，由此减少总线满载或者为其他应用提供更多的总线容量。也就是，传感器数据的预处理能够导致转发到控制装置的数据流的压缩，并且在使用(部分)自动驾驶时减轻车辆中的总线***的负载。该方法还能够实现用于(部分)自动驾驶功能的***的模块化。该方法还开辟了将接口标准化以转发预处理后的传感器数据的可能性。该接口标准化的优点在于对于所连接的和基于接口的传感器的选择的灵活性。
对于实现有利的是，在控制装置中执行用于转换计算结果的换算(适配)，该控制装置需要换算后形式的计算结果用于单独的进一步处理。
该方法可以有利地在处理成像传感器的数据时使用。在此，至少两个不同的控制装置涉及两个图像处理控制装置。
成像传感器的逐阶段处理的典型措施对应于如下的图像处理，其中借助于神经网络、特别是卷积神经网络CNN执行滤波和/或图像处理。
在此，以有利的方式，通过在阶段中的图像处理提取图像中的典型特征并且构成特征图。
根据本发明的处理阶段的合并通过将多个提取典型特征的阶段铺设并且因此集中到预处理单元中来实现。由此，所涉及的阶段不必在进行进一步处理的控制装置中多次设置。
图像中的能够通过相应的CNN提取的典型特征是边缘、轮廓、线条、面、对比度、亮度、颜色、锐度、噪声分量等。
预处理单元可以有利地作为独立的计算单元连接到通信总线、作为同样必须处理传感器数据的控制装置的模块、或者作为中央网关控制装置的模块设置。
作为通信总线考虑在车辆领域中使用的串行通信总线。特别地，其可以是类型：CAN总线，对应于控制器局域网络总线(Controller Area Network-Bus)；CAN-FD总线；对应于控制器局域网络总线灵活数据速率(Controller Area Network-Bus Flexible DataRate)；或者FlexRay总线；或者以太网总线。
对于用于执行根据本发明的方法的相应的预处理单元得出相同的优点，如在结合该方法的相应措施中所解释的。
预处理单元负责将一个或多个传感器的输出数据流与接口格式匹配。该预处理单元是特定于传感器模型类型的，但主要负责有效的传感器诊断的数据传输。
接口格式表示传感器信息的特定于功能的压缩并且与传感器模型无关。在此，特定于功能并不明确意味着接口与部分功能性的依赖关系，而是意味着相对于例如(部分)自动驾驶的整个处理链的相关功能的特异性。符合接口的压缩的传感器数据允许由随后的部件对信息进行无损的进一步处理(不使用原始信息)，但不一定是无损或者几乎无损地恢复原始数据。因此，传输所有在语义上以及在物理上对于进一步处理相关的原始数据的属性。
该接口表示传感器对来自数据提供的传感器信息的特定于功能的处理的明确限定的界限。接口由质量要求和相关特征(Feature)的定义来限定。质量要求包括特定于传感器的要求，例如置信度以及诸如最大允许的延迟的处理要求。
列出的优点也适用于安装有相应的预处理单元的车辆。
所建议的方法的典型应用是机动车领域中的通信网络。在那里主要使用如下类型的串行总线***：CAN总线，对应于控制器局域网络总线(Controller Area Network-Bus)；CAN-FD总线，对应于控制器局域网络总线灵活数据速率(Controller Area Network-BusFlexible Data Rate)；FlexRay总线；以太网总线；或者LIN总线，对应于线性网络总线(Linear Network-Bus)。
附图说明
在附图中示出了本发明的实施例，并且随后根据附图详细解释本发明的实施例。
附图中：
图1示出了具有用于驱动、行驶机构和驾驶辅助领域的机动车电子部件的车辆；
图2示出了用于驱动、行驶机构和驾驶辅助领域的车辆通信网络的框图；
图3示出了在相应层中具有相同的或者类似的特征分析的两个控制装置的情况下的传感器数据的单独处理的原理；和
图4示出了在两个控制装置的情况下在预处理单元中用于相同的或者类似的特征分析的传感器数据的共同的预处理的原理。
具体实施方式
在此的描述阐明了根据本发明的公开的原理。因此将理解，本领域技术人员能够设计不同的布置，这些布置虽然在此未详细描述，但体现了根据本发明的公开的原理并且在其范围中同样应该被保护。
图1示出了具有不同电子部件的车辆10。所示是乘用车辆。但是，任何其他车辆也被视为车辆。其他车辆的例子有：公共汽车、商用车辆，特别是卡车LKW、农业机械、建筑机械、摩托车、轨道车辆等。本发明通常可以用于陆地车辆、轨道车辆、船只和飞机。本发明的使用主要用于车辆领域。但是，如在CAN总线的情况下，还考虑在现场总线领域中、即在自动化技术、过程技术等中的使用。
在现代的机动车辆中使用了大量的电子控制装置。在图1中示出了一些控制装置和传感器的联网。在此区分三种不同类别的控制装置。一类控制装置分别独立地联网。相应的通信总线经由中央网关控制装置140连接。用于信息娱乐领域的控制装置的类别的控制装置经由总线102联网。连接到该总线的是以下部件：车载单元111、雷达传感器112、倒车摄像头113、前置摄像头114和LCD显示单元115。同样连接到该总线上的还有预处理单元110，其功能细节在下面更详细地说明。在此，雷达传感器112(对应于无线电检测和测距)作为传感器用于实现雷达速度控制器或者用于实现距离警告装置或者碰撞警告装置。为此，可以补充或替换地使用激光雷达装置(对应于光检测和测距)(未示出)。还可以连接其他未示出的控制装置。
用于驱动系的控制装置的类别的控制装置经由总线104联网。连接到总线104上的是以下控制装置：发动机控制装置121、ESP控制装置122和变速器控制装置123。此外，连接到总线104上的是车轮转速传感器124至127。通过附图标记129表示诊断接口。还可以连接其他未示出的控制装置和/或传感器。
用于行驶机构和驾驶员辅助领域的控制装置的类别的控制装置经由总线106联网。连接到总线106上的是以下控制装置：行驶机构控制装置131和紧急制动辅助控制装置132和距离调节控制装置133。还可以连接其他未示出的控制装置和/或传感器。
距离调节控制装置133基于来自摄像头传感器(以及可能的其他传感器，例如雷达和激光雷达)的图像分析依据前面车辆的距离和速度来调节车辆的速度。
图2示出了用于信息娱乐、驱动、行驶机构和驾驶员辅助领域中的机动车电子器件的相应的框图。图2中的相同的附图标记表示如图1中的相同的部件。三个独立的通信总线102、104、106实施为线性的总线。在此，可以根据在那里联网的控制装置的需要来设计通信总线102、104和106的总线协议。例如，将用于行驶机构和驾驶员辅助领域的通信总线106相比于两个通信总线102和104设计用于更高的数据速率可能是有利的。对于对行驶机构重要的传感器信号，例如在舒适特征坑洼识别中，必须非常快速地进行反应，以便能够相应地调整阻尼器设置。
为了在连接到不同通信总线102、104、106的参与者之间交换数据，设置网关140。该网关与所有三个不同的总线***102、104和106连接。该网关140被设计为，转换经由一个通信总线接收的数据包，使得其可以以另外的通信总线的传输格式在那里被转发。如图所示，网关140作为中央装置也连接到总线102、总线104和总线106。因此，当数据要在不同的总线***之间交换时，网关接管所有需要的格式转换。
连接到驱动系的通信总线104的部件129表示诊断接口。在此可以连接外部的诊断计算机(未示出)，经由该外部的诊断计算机可以查询不同的控制装置的故障存储器中的故障存储器条目。
在所示示例中，总线***102和104作为CAN总线实现，并且总线106作为CAN FD总线实现。作为物理传输介质，在所有的总线***102、104、106中使用双绞线电缆，在该双绞线电缆上施加对称的差电压以用于信息传输。电压代表发射器根据期望的比特流产生(编码)的符号。接收器又使用所形成的符号流来获得(解码)所包含的比特。
在通信网络102中设置预处理单元110。预处理单元110负责将一个或多个传感器的输出数据流压缩。在此，可以考虑使用人工智能KI的方法以及经典的信号处理技术。该预处理单元是特定于传感器模型类型的，但主要负责有效的传感器诊断的数据传输。
这在图像处理阶段的例子中可以很好地解释。在这种情况下，预处理单元110对应于计算单元，在该计算单元中图像处理控制装置的合并阶段将距离调节控制装置133和紧急制动辅助控制装置132结合。图像处理阶段是创建特征图的所谓的卷积神经网络(CNN)。在此，还使用图像处理神经网络。特别地，提取基本特征的CNN合并到预处理阶段。这些特征的例子是，例如轮廓、边缘、对比度、线条、面、亮度、颜色、锐度或者噪声程度。该阶段可以基于识别/提取相应的特征，或者适配相应的特征而设计。适配例如可以是，减弱或者加强相应的特征。这些阶段在没有要求完整性的情况下例如是：轮廓提取阶段、边缘识别阶段，边缘变陡阶段、对比度增强阶段、线条识别阶段、平面识别阶段、形状识别阶段、亮度调整阶段、颜色识别阶段、颜色调整阶段，锐度增强阶段、噪声减少阶段。通常假设CNN的结构和工作方式是已知的。
为了进一步阐述该原理，首先在图3的示例中解释通常的处理方法。图3示出了两个并行的处理分支。相同的附图标记表示如图1和图2中的相同的部件。上面的分支示出了在距离调节控制装置133中对由前置摄像头114记录的图像数据的处理。图像数据来自可以实施为摄像机的前置摄像头。前置摄像头以具有典型的图像速率(例如25或者30Hz)的SD或HD分辨率提供图像。图像数据将会未压缩地经由CAN总线102传输到网关控制装置140，并且进一步经由CAN-FD总线106传输到距离调节控制装置133。图像数据的逐阶段处理将会在阶段M11至M1i中进行。在此，各个阶段可以设计为CNN。CNN计算特征图，这些特征图在图3中作为每个阶段的层示出。在图3中突出了在相应的阶段中提取的哪些特征图是相同的或者等同的。在处理阶段M11中，最下面的特征图等同于处理阶段M21中的最上面第二个特征图。在处理阶段M12中，最下面的特征图之后的两个特征图等同于处理阶段M21中的最下面第三个特征图之后的三个特征图。首先，在阶段M11中进行诸如对比度增强、锐度增强或者噪声减小的基本处理。在随后的步骤M12至M1i中图像处理变得越来越复杂，从而在其中还识别和处理整个图像序列以及诸如面部或者车辆的复杂概念。这导致在车辆的环境中识别真实的对象。在距离调节中必须至少识别前方行驶的车辆，并且还必须确定距前方行驶的车辆的距离。
下面的分支示出了在紧急制动辅助控制装置132中对图像数据的处理。其中还分析了前置摄像头114的图像数据。图像数据同样将会经由网关控制装置140到达紧急制动辅助控制装置132。图像分析在阶段M21至M2i中进行。在此进行与上面的分支非常类似的图像分析。最后，同样地确定距前方行驶的车辆的距离。然而，附加地还应确定接近前面行驶的车辆的或者迎面而来的车辆的速度。因此，在后面阶段中，图像处理是不同的。然而，此外还必须识别其他交通参与者/对象，从而必须进行更深入的图像分析。并行分支中的多次图像分析是部分冗余、耗能的并且需要增加的硬件成本。此外，图像数据在必要时必须多次传输到不同的图像处理控制装置中。根据通信总线，这可能意味着关于总线满载的问题。
距离调节控制装置和紧急制动辅助的两个功能在分开的控制装置上处理所连接的传感器的传感器原始数据。在此，在第一预处理中，除了借助滤波器(经典的图像处理或者学习的折叠核心)清洁数据(对比度调整，分割)之外，还从传感器原始数据中产生不同的特征图(所谓的滤波器通道)。如所描述的，这样的特征图可能涉及例如边缘的划分、颜色过渡、对比度变化等(参见图3中的层M11和层M21)。然后，这些特征图随着处理扩展为用于划分更高级的特征(图案，边缘特征，形状)的图(参见图3中的层M12/M13和层M22/M23)。
在两个功能之间，在不同的处理深度中存在等效的特征图(完全相同的或者通过线性组合可以互相转换的滤波器通道)：紧急制动辅助控制装置132以及距离调节控制装置133都对于边缘(层M11)、识别的车辆、车道上的对象和行驶轨迹的路线(更高等级的特征)敏感。这些特征的分开的、冗余的计算是多余且耗时且耗能的。在传感器合并(例如，前置摄像头114和雷达传感器112)的范围中，这还可以涉及两个传感器信号的合并以及对由两个功能使用的传感器信息的(共同的、分开或者部分分开的)处理。
在图3中，在处理阶段M11和M12中用R标记的特征图等于或等同于在处理阶段M21和M22中用G标记的特征图。在此，等同意味着特征图G与特征图R相同或者与特征图R的(线性)组合相同。在后续阶段中用B标记的特征图不等同于用GR标记的特征图，并且必须在每种情况下单独计算以保证***的正确运行。
因此，本发明建议至少部分地合并并行分支中的处理。为此，使用预处理阶段110。具有预处理阶段110的合并处理的原理在图4中示出。
在根据本发明的预处理单元110中，现在靠近传感器地共同计算(数据清洁、传感器合并、特征计算)为实施紧急制动辅助132和距离调节控制装置133所需的所有特征图，并且然后经由车辆网络将结果转发到两个辅助***的控制装置133、132。
预处理阶段110中的处理呈现为传感器信息的特定于功能的压缩，并且与传感器模型无关。在此，特定于功能并不明确不意味着与部分功能的依赖关系，而是意味着相对于例如(部分)自动驾驶的整个后续处理链的特异性。压缩的传感器数据允许由随后的部件对信息进行无损的进一步处理(不使用传感器原始数据)，但不一定无损或者几乎无损地恢复传感器原始数据。因此，传输在逻辑上以及在物理上对于进一步处理重要的传感器原始数据的属性。例如通过滤波(例如噪声减小)或者通过提取特征实现压缩，其中，然后例如仅须通过特征图传输特征在图像中的方位，而不再传输这些特征的真正的图像内容。在图4的示例中合并了阶段M11和M21以及M12和M22中的处理。然后，不再需要在控制装置133和132中设置这些阶段。仅从下个阶段M13或M23开始在控制装置133和132中再次独立地进行图像处理。仅还将预处理阶段110中的图像处理的合并的结果传输到网关140并且进一步传输到控制装置133和132。在此必要的是，在进一步处理之前，至少控制装置133和132中的一个中必须进行结果的适配/投影。否则，不可能将该阶段集成到预处理单元110中。适配是还必须在目标控制装置中利用传输结果执行的运算(变换)，从而在目标控制装置中准备数据用于单独的进一步处理的数据。在此可以使用不同的运算。坐标变换在没有要求完整性的情况下例如是：缩放、平移、旋转、镜像、剪切。然而还可以考虑例如滤波器通道的线性组合的其他变换。由于在控制装置联合的设计中已知，哪些控制设备需要预处理后的图像数据，所以各个控制装置可以分别配备相关的适配层，以便计算传输的结果的调节。
在预处理单元110中，靠近传感器地共同计算(数据清洁、传感器合并)为实施紧急制动辅助132和距离调节控制装置133所需的所有特征图。其是用R、B和GR标记的特征图。然后，结果经由车辆网络被转发到两个辅助***的控制装置133和132。特征图R、B涉及距离调节控制装置133；特征图R、GR涉及紧急制动辅助132。然后，可以通过由用R标记的特征图组成的相应的(线性)组合来计算为实施紧急制动辅助132所需的特征图G。在此，可以以固定定义的接口的形式提供合并的感知(自上而下的方法)，或者可以根据两个功能的计算的整合来产生合并的感知(自下而上的方法)。
在另外的实施方式中，同样地还可以压缩在预处理之后还存在于预处理单元110中的其余图像。为此，可以使用诸如MPEG2视频编码、JPEG编码、H.264编码等视频编码领域中的已知的压缩方法。然而，在这种情况下，必须在进行接收的控制装置中进行相应的解码，以便能够进一步处理图像。在此应该注意，所提到的视频编码方法是有损的。因此必须保证该损失不产生以下影响：不再能够在解码后的图像中识别诸如路牌、车道标记、坑洼、车辆、行人等的期望对象。然而，还存在可供使用并且替换地可以使用的无损的图像压缩方法。
另一类压缩可以通过报头压缩(Header-Komprimierung)方法中的一个获得。例如鲁棒报头压缩ROHC(Header Compression)和van Jacobson TCP/IP报头压缩，其特别是对于以太网领域是有吸引力的，以便减小总线满载。
本公开不限于在此描述的实施例。还存在本领域技术人员基于其专业知识以及本公开考虑的不同的调整和修改的空间。
在扩展的实施方式中，还合并行驶机构控制装置131的坑洼识别功能。同样在行驶机构控制装置131中对前置摄像头114的图像进行图像分析。由此进一步改善了整个***的效率。
另一个应用可能在于共同使用尾部雷达***用于轨迹变换辅助(监测关于自己的轨迹和相邻的轨迹的后面的交通)以及在于出车位辅助(监测出车位时的横向交通)。
在此提及的所有示例以及有限的描述应理解为不限于这些特别提及的示例。因此，例如本领域技术人员承认在此示出的框图示出了示例性的电路布置的概念图。以类似的方式应当理解，所示出的流程图、状态转换图、伪代码等示出了用于呈现基本上能够存储在计算机可读介质中并因此可以由计算机或处理器执行的过程的不同的变形方案。
应该理解，所建议的方法和相关的设备可以以不同形式的硬件、软件、固件、专用处理器或其组合来实现。专用处理器可以包括特定于应用的集成电路(ASIC)、精简指令集计算机(RISC)和/或现场可编程门阵列(FPGA)。优选地，所建议的方法和设备作为硬件和软件的组合来实施。该软件优选地作为应用程序安装在程序存储设备上。通常，其是基于计算机平台的机器，其具有硬件，例如一个或多个中央处理单元(CPU)、随机存取存储器(RAM)和一个或多个输入/输出(I/O)接口。此外，在计算机平台上通常还安装运行***。在此描述的不同的过程和功能可以是应用程序的一部分或者是通过运行***实施的部分。
附图标记列表
10 车辆
102 数据总线-驾驶员辅助
104 数据总线-驱动器
106 数据总线-行驶机构
110 预处理单元
111 车载单元
112 雷达传感器
113 倒车摄像头
114 前置摄像头
121 电机控制装置
122 ESP控制装置
123 变速器控制装置
124 车轮转速传感器
125 车轮转速传感器
126 车轮转速传感器
127 车轮转速传感器
129 诊断接口
131 行驶机构控制装置
132 驾驶员辅助控制装置
133 距离调节控制装置
134 LCD显示单元
140 网关
M11-M1i 用于计算特征图的不同阶段(路径1)
M21-M2i 用于计算特征图的不同阶段(路径2)

Claims (12)

1.一种用于在多个控制装置中处理传感器数据的方法，其中所述控制装置经由至少一个通信总线(102，104，106)与至少一个传感器(112，113，114)连接，其中，至少一个传感器(112，113，114)是成像传感器，并且至少两个不同的控制装置(131，132，133)涉及两个图像处理控制装置，并且其中设置预处理单元(110)，向所述预处理单元提供至少一个传感器(112，113，114)的传感器数据，其特征在于，至少一个传感器(112，113，114)的传感器数据由至少两个不同的控制装置(131，132，133)进行逐阶段处理，其中至少一个处理阶段在两个控制装置(131，132，133)中一致或者至少等同，使得处理结果能够通过换算相互转换，其中通过阶段(M11，M21，M12，M22)中的图像处理提取图像中的典型特征并且构成特征图并且在至少一个一致的处理阶段(M11&M21，M12&M22，M13&M23)中合并地执行传感器数据的处理，其中多个提取典型特征的阶段(M11，M21，M12，M22)铺设并且因此集中到所述预处理单元(110)中，并且处理后的传感器数据转发到至少两个不同的控制装置(131，132，133)以进行单独的进一步处理。
2.根据权利要求1所述的方法，其中，在控制装置中执行用于转换计算结果的换算，即，需要换算后形式的计算结果以进行单独的进一步处理。
3.根据权利要求1或2所述的方法，其中，成像传感器(112,113，114)的逐阶段处理对应于滤波和/或图像处理借助于神经网络、特别是卷积神经网络CNN执行的图像处理。
4.根据上述权利要求中任一项所述的方法，其中，在预处理单元(110)中设置多个提取典型特征的阶段(M11，M21，M12，M22)。
5.根据上述权利要求中任一项所述的方法，其中，所述典型特征涉及一个或者多个以下特征：边缘、轮廓、线条、面、对比度、亮度、颜色、锐度、噪声分量。
6.根据权利要求4或5所述的方法，其中，所述预处理单元(110)设置为连接到通信总线(102，104，106)的独立的计算单元，或者设置为处理传感器数据的控制装置的模块，或者设置为中央网关控制装置(140)的模块。
7.根据上述权利要求中任一项所述的方法，其中，至少一个通信总线(102，104，106)是以下类型的串行通信总线：CAN总线，对应于控制器局域网络总线；CAN-FD总线，对应于控制器局域网络总线灵活数据速率；或者FlexRay总线；或者以太网总线。
8.一种通信***，具有预处理单元(110)，至少一个传感器(112，113，114)和至少两个不同的控制装置(131，132，133)，其中，所述预处理单元(110)具有针对通信总线(102，104，106)的接口，所述预处理单元(110)经由所述接口从至少一个传感器(112-114)接收传感器数据，并且其中至少一个传感器(112，113，114)是成像传感器，并且至少两个不同的控制装置(131，132，133)涉及两个图像处理控制装置，其特征在于，阶段(M11，M21，M12，M22)中的图像处理提取图像中的典型特征并且计算特征图，并且所述预处理单元(110)具有用于合并地处理传感器数据的至少一个处理阶段(M11&M21，M12&M22，M13&M23)，其中多个提取典型特征的阶段铺设并且因此集中到所述预处理单元(110)中，其中所述预处理单元被设计为其将处理后的传感器数据经由针对通信总线的相同的接口或者经由另一个接口转发给至少两个不同的控制装置(131，132，133)以用于单独的进一步处理。
9.根据权利要求8所述的通信***，其中，成像传感器(112，113，114)的传感器数据的逐阶段处理对应于滤波和/或图像处理借助于一个或多个神经网络、特别是卷积神经网络CNN实现的图像处理。
10.根据权利要求8或9所述的通信***，其中，所述典型特征涉及一个或者多个以下特征：边缘、轮廓、线条、面、对比度、亮度、颜色、锐度、噪声分量。
11.根据权利要求8至10中任一项所述的通信***，其中，所述预处理单元(110)实施为独立的计算单元实施，其能够连接到通信总线(102，104，106)；或者实施为处理传感器数据的控制装置的模块，或者实施为中央网关控制装置(140)的模块。
12.一种车辆，其特征在于，在所述车辆中安装有根据权利要求8至11中任一项所述的通信***。
CN201910062065.1A 2018-01-23 2019-01-23 处理传感器数据的方法、相应设计的预处理单元以及车辆 Active CN110065500B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018200982.1A DE102018200982A1 (de) 2018-01-23 2018-01-23 Verfahren zur Verarbeitung von Sensordaten in einer Anzahl von Steuergeräten, entsprechend ausgelegte Vorverarbeitungseinheit sowie Fahrzeug
DE102018200982.1 2018-01-23

Publications (2)

Publication Number Publication Date
CN110065500A CN110065500A (zh) 2019-07-30
CN110065500B true CN110065500B (zh) 2022-06-03

Family

ID=64755328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910062065.1A Active CN110065500B (zh) 2018-01-23 2019-01-23 处理传感器数据的方法、相应设计的预处理单元以及车辆

Country Status (5)

Country Link
US (1) US10922557B2 (zh)
EP (1) EP3528230A1 (zh)
KR (1) KR102179933B1 (zh)
CN (1) CN110065500B (zh)
DE (1) DE102018200982A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10796206B2 (en) * 2019-01-31 2020-10-06 StradVision, Inc. Method for integrating driving images acquired from vehicles performing cooperative driving and driving image integrating device using same
DE102019201316A1 (de) * 2019-02-01 2020-08-06 Robert Bosch Gmbh Teilnehmerstation für ein serielles Bussystem und Verfahren zur Kommunikation in einem seriellen Bussystem
US11188766B2 (en) * 2019-02-05 2021-11-30 Honda Motor Co., Ltd. System and method for providing context aware road-user importance estimation
EP3959645A1 (en) * 2019-04-24 2022-03-02 Sony Group Corporation Sensing apparatus and control system for automotive
KR20210051719A (ko) 2019-10-31 2021-05-10 삼성에스디에스 주식회사 센서 측정값 전처리 방법 및 이를 이용한 기계 학습 방법
DE102019130609A1 (de) * 2019-11-13 2021-05-20 Ford Global Technologies, Llc Verfahren zum Bestimmen eines Reglers für eine Regelstrecke
CN111601267B (zh) * 2020-04-01 2023-04-07 吉利汽车研究院（宁波）有限公司 一种传感器数据共享方法、装置、设备及存储介质
KR102155562B1 (ko) * 2020-07-07 2020-09-15 (주) 한일프로텍 차량 네트워크에 대한 시뮬레이션 및 모니터링 정보를 제공하는 시스템
DE102020119743A1 (de) * 2020-07-27 2022-01-27 Bayerische Motoren Werke Aktiengesellschaft System und verfahren zur verarbeitung von informations-signalen
US10902291B1 (en) * 2020-08-04 2021-01-26 Superb Ai Co., Ltd. Methods for training auto labeling device and performing auto labeling related to segmentation while performing automatic verification by using uncertainty scores and devices using the same
US10885387B1 (en) * 2020-08-04 2021-01-05 SUPERB Al CO., LTD. Methods for training auto-labeling device and performing auto-labeling by using hybrid classification and devices using the same
US10902290B1 (en) * 2020-08-04 2021-01-26 Superb Ai Co., Ltd. Methods for training auto labeling device and performing auto labeling related to object detection while performing automatic verification by using uncertainty scores and devices using the same
DE102021201628B4 (de) 2021-02-19 2023-07-13 Vitesco Technologies GmbH Computerimplementiertes Verfahren und Vorrichtung zur Codierung und Verarbeitung von hochdimensionalen Sensorpfaddaten einer Sensoreinheit zur Steuerung eines Fahrzeugs
DE102021113853A1 (de) 2021-05-28 2022-12-01 Valeo Schalter Und Sensoren Gmbh Übertragung von Sensorinformation von einem Umgebungssensor an ein Steuergerät unter Verwendung eines trainierten neuronalen Netzwerks
DE102021113850A1 (de) 2021-05-28 2022-12-01 Valeo Schalter Und Sensoren Gmbh Übertragung von Sensorinformation eines Umgebungssensors basierend auf Transformation in den Frequenzbereich
CN116962475B (zh) * 2023-09-21 2023-12-12 南京能可瑞科技有限公司 一种电动汽车与充电桩的通信控制器及通信数据处理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005036953A1 (de) * 2005-08-05 2007-02-08 Robert Bosch Gmbh Verfahren zum Erzeugen von Umwelthypothesen für Fahrerassistenzfunktionen
CN102666262A (zh) * 2009-09-25 2012-09-12 法雷奥开关和传感器有限责任公司 用于车辆的驾驶员辅助***，具有驾驶员辅助***的车辆，和用于辅助驾驶员驾驶车辆的方法
EP3076377A1 (de) * 2015-03-31 2016-10-05 Valeo Schalter und Sensoren GmbH Verfahren zum bereitstellen von freirauminformationen in einem umgebungsbereich eines kraftfahrzeugs als sensor-rohdaten an einer kommunikationsschnittstelle, sensoreinrichtung, verarbeitungseinrichung und kraftfahrzeug
DE102015210881A1 (de) * 2015-06-15 2016-12-15 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Bestimmung von Position und/oder Orientierung eines Fahrzeugs
DE102015220616A1 (de) * 2015-10-22 2017-04-27 Volkswagen Ag Verfahren und Vorrichtung zur Bereitstellung und Auswertung von Sensordaten für mindestens ein Fahrerassistenzsystem in einem Kraftfahrzeug
EP3219564A1 (en) * 2016-03-14 2017-09-20 IMRA Europe S.A.S. Driving prediction with a deep neural network
CN107305633A (zh) * 2016-04-19 2017-10-31 通用汽车环球科技运作有限责任公司 使用车辆摄像机***的道路特征检测

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9007197B2 (en) 2002-05-20 2015-04-14 Intelligent Technologies International, Inc. Vehicular anticipatory sensor system
KR100629798B1 (ko) 2004-11-03 2006-09-28 현대모비스 주식회사 전자제어유닛 통합제어 장치
WO2008020458A2 (en) 2006-08-18 2008-02-21 Ananya Innovations Limited A method and system to detect drowsy state of driver
DE102011083254A1 (de) 2011-09-23 2013-03-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Koppeln eines ersten Sensors mit zumindest einem zweiten Sensor
DE102011088020A1 (de) * 2011-12-08 2013-06-13 Bayerische Motoren Werke Aktiengesellschaft Kommunikationseinrichtung für ein Kraftfahrzeug
US10293826B2 (en) * 2013-12-04 2019-05-21 Mobileye Vision Technologies Ltd. Systems and methods for navigating a vehicle among encroaching vehicles
SG10201403292WA (en) 2014-06-16 2016-01-28 Ats Group Ip Holdings Ltd Fusion of data from heterogeneous sources
EP3234867A4 (en) 2014-12-17 2018-08-15 Nokia Technologies Oy Object detection with neural network
DE102015201723A1 (de) * 2015-02-02 2016-08-04 Robert Bosch Gmbh Fahrerassistenzsystem für ein Kraftfahrzeug
DE102015104938A1 (de) 2015-03-31 2016-10-06 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bereitstellen einer Information über eine Zugehörigkeitsbeurteilung eines Erfassungspunkts zu einem Objekt in einem Umgebungsbereich eines Kraftfahrzeugs an einer Kommunikationsschnittstelle sowie Computerprogrammprodukt, Sensoreinrichtung für ein Kraftfahrzeug und Kraftfahrzeug
EP3295422B1 (en) * 2015-05-10 2020-01-01 Mobileye Vision Technologies Ltd. Road profile along a predicted path
US10460230B2 (en) 2015-06-04 2019-10-29 Samsung Electronics Co., Ltd. Reducing computations in a neural network
US20180181860A1 (en) 2015-06-26 2018-06-28 Sentiance Nv Deriving movement behaviour from sensor data
US9710714B2 (en) 2015-08-03 2017-07-18 Nokia Technologies Oy Fusion of RGB images and LiDAR data for lane classification
DE102016205139B4 (de) 2015-09-29 2022-10-27 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zur Charakterisierung von Objekten
US9418546B1 (en) 2015-11-16 2016-08-16 Iteris, Inc. Traffic detection with multiple outputs depending on type of object detected
US10373019B2 (en) 2016-01-13 2019-08-06 Ford Global Technologies, Llc Low- and high-fidelity classifiers applied to road-scene images
US20170277955A1 (en) * 2016-03-23 2017-09-28 Le Holdings (Beijing) Co., Ltd. Video identification method and system
DE102017108255A1 (de) 2016-04-19 2017-10-19 GM Global Technology Operations LLC Parallele detektion von primitiven in einer szene unter verwendung eines rundum-kamerasystems
US10943148B2 (en) * 2016-12-02 2021-03-09 Apple Inc. Inspection neural network for assessing neural network reliability
US10997421B2 (en) * 2017-03-30 2021-05-04 Hrl Laboratories, Llc Neuromorphic system for real-time visual activity recognition
US20180300763A1 (en) 2017-04-12 2018-10-18 Campaign Partners, Inc. Non-profit funding campaign management employing a predictive analytics intelligence platform
EP3707572B1 (en) * 2017-11-10 2023-08-23 Nvidia Corporation Systems and methods for safe and reliable autonomous vehicles
US10528823B2 (en) * 2017-11-27 2020-01-07 TuSimple System and method for large-scale lane marking detection using multimodal sensor data
US10657390B2 (en) * 2017-11-27 2020-05-19 Tusimple, Inc. System and method for large-scale lane marking detection using multimodal sensor data
US10528054B2 (en) * 2017-12-18 2020-01-07 GM Global Technology Operations LLC Detecting features from multi-modal images
US10739459B2 (en) * 2018-01-12 2020-08-11 Ford Global Technologies, Llc LIDAR localization

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005036953A1 (de) * 2005-08-05 2007-02-08 Robert Bosch Gmbh Verfahren zum Erzeugen von Umwelthypothesen für Fahrerassistenzfunktionen
CN102666262A (zh) * 2009-09-25 2012-09-12 法雷奥开关和传感器有限责任公司 用于车辆的驾驶员辅助***，具有驾驶员辅助***的车辆，和用于辅助驾驶员驾驶车辆的方法
EP3076377A1 (de) * 2015-03-31 2016-10-05 Valeo Schalter und Sensoren GmbH Verfahren zum bereitstellen von freirauminformationen in einem umgebungsbereich eines kraftfahrzeugs als sensor-rohdaten an einer kommunikationsschnittstelle, sensoreinrichtung, verarbeitungseinrichung und kraftfahrzeug
DE102015210881A1 (de) * 2015-06-15 2016-12-15 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Bestimmung von Position und/oder Orientierung eines Fahrzeugs
DE102015220616A1 (de) * 2015-10-22 2017-04-27 Volkswagen Ag Verfahren und Vorrichtung zur Bereitstellung und Auswertung von Sensordaten für mindestens ein Fahrerassistenzsystem in einem Kraftfahrzeug
EP3219564A1 (en) * 2016-03-14 2017-09-20 IMRA Europe S.A.S. Driving prediction with a deep neural network
CN107305633A (zh) * 2016-04-19 2017-10-31 通用汽车环球科技运作有限责任公司 使用车辆摄像机***的道路特征检测

Also Published As

Publication number Publication date
US10922557B2 (en) 2021-02-16
CN110065500A (zh) 2019-07-30
DE102018200982A1 (de) 2019-08-08
US20190228236A1 (en) 2019-07-25
KR102179933B1 (ko) 2020-11-17
KR20190089776A (ko) 2019-07-31
EP3528230A1 (de) 2019-08-21

Similar Documents

Publication Publication Date Title
CN110065500B (zh) 处理传感器数据的方法、相应设计的预处理单元以及车辆
US9592764B2 (en) Redundant object detection for driver assistance systems
CN110895674B (zh) 用于基于自我中心视觉的未来车辆定位的***和方法
US10576968B2 (en) Control system, relay device and control method
CN111754389A (zh) 保留语义的风格转移
US20070043491A1 (en) Driver assistance system
US20210314032A1 (en) Vehicular secured communication system
JP7280874B2 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
CN114043989B (zh) 一种基于递归图和卷积神经网络的驾驶风格识别模型、换道决策模型及决策方法
CN114340956A (zh) 车载网络***
CN115376347A (zh) 智驾域控制器以及车辆的控制方法
JP2021135809A (ja) 車載機器制御装置
KR102572785B1 (ko) 운전자 보조 시스템
CN114341757A (zh) 车载网络***
CN111210411A (zh) 图像中灭点的检测方法、检测模型训练方法和电子设备
US11908200B2 (en) System and method in the prediction of target vehicle behavior based on image frame and normalization
CN115223144A (zh) 一种基于云端数据的无人驾驶矿车传感器数据筛选方法及装置
US20220048509A1 (en) Vehicular control system with traffic jam assist
WO2021020294A1 (ja) 車両制御システム
EP4005890A1 (en) Vehicle control system
GB2605636A (en) A method for predicting at least one motion of at least one object in the surroundings of a motor vehicle as well as a corresponding detection system
CN114619963A (zh) 用于辅助车辆驾驶员的视觉的方法及装置
CN113525361A (zh) 用于辅助驾驶的设备及其方法
US20230379188A1 (en) Vehicle data protection
JP7298323B2 (ja) 外部環境認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant