CN113815533A - 前向adas及自动泊车融合控制器 - Google Patents
前向adas及自动泊车融合控制器 Download PDFInfo
- Publication number
- CN113815533A CN113815533A CN202010566469.7A CN202010566469A CN113815533A CN 113815533 A CN113815533 A CN 113815533A CN 202010566469 A CN202010566469 A CN 202010566469A CN 113815533 A CN113815533 A CN 113815533A
- Authority
- CN
- China
- Prior art keywords
- image processing
- vpu
- processing unit
- mcu microprocessor
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 29
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 title claims abstract description 10
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 title claims abstract description 10
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 title claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 66
- 230000006870 function Effects 0.000 claims abstract description 20
- 238000004891 communication Methods 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000012546 transfer Methods 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 description 10
- 230000008447 perception Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了前向ADAS及自动泊车融合控制器，它包含ECU嵌入式电子控制器，ECU嵌入式电子控制器由MCU微处理器和VPU图像处理单元组成，且MCU微处理器和VPU图像处理单元通过SPI通信协议通讯连接，将传感器数据融合分配到VPU图像处理单元中进行，同时通过重新定义的SPI通信协议进行回传，将融合之后的数据回传到MCU微处理器进行决策控制。VPU图像处理单元内部的图形处理核心和硬件加速器重新分配，将两颗图形处理核心分配给传感器数据融合和目标选择两个核心功能块进行运算。本发明重新定义的***架构，将原本由MCU来执行的传感器数据融合部分工作转移到VPU中进行处理，从而将MCU的算力解放出来进行泊车控制的轨迹计算和控制功能的实现，大大降低成本。
Description
技术领域
本发明涉及电子信息技术应用于汽车智能驾驶辅助技术领域，具体涉及一种应用于汽车的智能辅助驾驶***中来辅助驾驶员进行车辆操控及驾驶的前向ADAS及自动泊车融合控制器。
背景技术
高级驾驶辅助***是利用安装于车上的各式的传感器，或者感知***，在第一时间收集车内外的环境数据，并进行静、动态物体的辨识、侦测与追踪等技术上的处理，从而能够让车辆在最快的时间察觉可能发生的危险，并对驾驶员加以提醒甚至介入车辆控制，避免危险的一种主动安全技术。而自动泊车***则是利用车辆周围装备感知***，如超声波雷达或者环视摄像头对车辆周边环境及动，静态物体进行识别，从而提取出车辆周边可使用停车位坐标信息并根据车辆现坐标位置，通过路径规划结合路径上可能出现的障碍物信息对车辆进行速度和转向控制，从而使车辆泊入目标车位的一种舒适及安全***。
目前行业内的主流方案都是高级驾驶辅助***(前向)由单个域控制器进行实时控制，而自动泊车***则由另外一个单独的控制器进行控制，对于整车厂成本高，研发费用高，终端客户选装成本高，究其原因，目前两种***的硬件平台及开发资源体系相互不能打通，高级驾驶辅助***及自动泊车***都可分为感知，决策及控制三大主要功能，高级驾驶辅助***的开发在感知领域多依赖于集成视觉供应商，例如无比视(Mobileye)，地平线等视觉感知芯片提供商，而将感知融合功能集成到另外一块嵌入式控制MCU中进行，因为融合算法要求计算资源较高，对目前主流嵌入式MCU的计算能力占用较多，导致单个MCU平台完成感知融合计算之后，多余的算力仅够支持对车辆进行最后的决策及控制部分，而自动泊车***所需的超声波雷达信息融合和车辆控制虽然算力要求不高，但是已然无法在同一颗MCU上实现，仍旧需要新的MCU平台来实现，导致了两个硬件平台和大量的底层开发工作；成本高，且开发成本加大，整车厂需要投入更多的单件成本和研发成本和额外的工程资源来进行两套***的开发。
发明内容
(一)解决的技术问题
本发明的目的在于提供前向ADAS及自动泊车融合控制器，重新定义的***架构，将原本由MCU来执行的传感器数据融合部分工作转移到VPU中进行处理，从而将MCU的算力解放出来进行泊车控制的轨迹计算和控制功能的实现，从而在一个嵌入式控制器上，实现了智能驾驶辅助和全自动泊车两套功能，大大降低成本。
(二)技术方案
为实现上述目的，本发明提供如下技术方案：前向ADAS及自动泊车融合控制器，它包含ECU嵌入式电子控制器，ECU嵌入式电子控制器由MCU微处理器和VPU图像处理单元组成，且MCU微处理器和VPU图像处理单元通过SPI通信协议通讯连接，将传感器数据融合分配到VPU图像处理单元中进行，同时通过重新定义的SPI通信协议进行回传，将融合之后的数据回传到MCU微处理器进行决策控制。
作为本发明的进一步改进，所述的VPU图像处理单元内部的图形处理核心和硬件加速器重新分配，将两颗图形处理核心分配给传感器数据融合和目标选择两个核心功能块进行运算。
(三)有益效果
与现有技术相比，采用上述技术方案后，本发明有益效果为：
1、本发明将传感器数据融合移植到图像处理单元上进行，而非传统的在嵌入式微控制器上进行，同时在一个ECU嵌入式电子控制器上实现前向智能驾驶辅助功能和全自动泊车功能，通过整车电子架构提供的信号，判断当前车辆的运动状态，调度前向和泊车功能的唤醒和激活。
2、本发明将两个***成功融合到同一个ECU嵌入式电子控制器，用单个***的成本，实现了两个***的功能，单车可节省约200-300人民币的零件成本，以一半乘用车整个生命周期20-30万辆的销售数量来计算，可以为整车企业节省超过5000万人民币的成本，以及每个车型超过500万的开发费用，为车厂客户及终端消费者创造了更多价值。
附图说明
图1是本发明所提供的实施例的***架构图；
图2是本发明所提供的实施例的原理框图；
图3是本发明所提供的实施例的工作流程图；
图4是本发明所提供的实施例中VPU图像处理单元的图像处理示例图；
附图标记说明：
1、ECU嵌入式电子控制器；2、MCU微处理器；3、VPU图像处理单元。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图4，本发明提供的一种实施例：前向ADAS及自动泊车融合控制器，它包含ECU嵌入式电子控制器1、MCU微处理器2和VPU图像处理单元3，ECU嵌入式电子控制器1由MCU微处理器2和VPU图像处理单元3组成，且MCU微处理器2和VPU图像处理单元3通过SPI通信协议通讯连接，将传感器数据融合分配到VPU图像处理单元3中进行，同时通过重新定义的SPI通信协议进行回传，将融合之后的数据回传到MCU微处理器2进行决策控制，VPU图像处理单元3内部的图形处理核心和硬件加速器重新分配，将两颗图形处理核心分配给传感器数据融合和目标选择两个核心功能块进行运算。请参阅图4，对VPU图像处理单元3内部的图像处理算法进行优化，从而释放图像处理核心的算力来用于传感器数据融合及目标选择计算功能。
请参阅图2-图3，本实施例的工作原理及流程为：
1、通过重新定义***架构，通讯协议以及功能分配，将原本由MCU微处理器2来执行的传感器数据融合部分工作转移到VPU图像处理单元3中进行处理，同时重新定义MCU微处理器2和VPU图像处理单元3之间的数据传输协议，使得MCU微处理器2将毫米波雷达或者超声波雷达数据传输到VPU图像处理单元3；
2、在VPU图像处理单元3内部，通过VPU图像处理单元3的8颗图形处理核心中的两颗处理器核心，将由另外6颗图形处理核心处理完的图像识别数据与MCU微处理器2处传来的雷达数据进行融合，最后将融合完成之后的目标数据回传给MCU微处理器2进行决策控制，这样，就将原本由MCU微处理器2进行处理的传感器融合工作成功转移到了VPU图像处理单元3上进行，从而释放MCU微处理器2将近500DMIPS的算力，从而成功将这部分算力用于处理全自动泊车的轨迹计算和控制，同时在该ECU嵌入式电子控制器1内，成功地实现前向智能驾驶辅助和全自动泊车两套***功能。
本实施例要实现VPU图像处理单元3的核心释放，则需要通过和视觉处理芯片合作商共同定制视觉处理芯片，通过优化硬件加速器的图像处理效率，通过积累的大量智能驾驶场景数据，针对中国国内实际环境将视觉处理算法中多余的视觉处理负载去除，同时针对中国的道路线，交通参与者进行算法优化，从而提高视觉处理效率，将视觉处理芯片中优化出来计算核心的算力释放出一部分，然后再通过上述的方法，将占用主控MCU微处理器2大量计算资源的感知融合功能移植到视觉处理芯片中，并重新定制视觉处理芯片和MCU微处理器2之间的信息交互数据库，将主控接收到的雷达信号传输给视觉处理芯片，完成感知融合后将融合后的目标物信息反馈给主控MCU微处理器2进行决策和控制，重新建立了两块芯片之间的数据通讯架构，从而大大降低主控MCU微处理器2的计算载荷，并将这部分计算资源用于自动泊车的轨迹计算及控制功能，通过和整车电子架构通过整车能源模式及当前使用状态交互进行综合判断，将所需的融合信息输出给决策及控制功能模块进行车辆控制，从而实现了两个功能集成的技术创新。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (3)
1.前向ADAS及自动泊车融合控制器，它包含ECU嵌入式电子控制器，其特征在于，ECU嵌入式电子控制器由MCU微处理器和VPU图像处理单元组成，且MCU微处理器和VPU图像处理单元通过SPI通信协议通讯连接，将传感器数据融合分配到VPU图像处理单元中进行，同时通过重新定义的SPI通信协议进行回传，将融合之后的数据回传到MCU微处理器进行决策控制。
2.根据权利要求1所述的前向ADAS及自动泊车融合控制器，其特征在于，所述的VPU图像处理单元内部的图形处理核心和硬件加速器重新分配，将两颗图形处理核心分配给传感器数据融合和目标选择两个核心功能块进行运算。
3.根据权利要求1所述的前向ADAS及自动泊车融合控制器，其特征在于，它的工作流程为：
通过重新定义***架构，通讯协议以及功能分配，将原本由MCU微处理器来执行的传感器数据融合部分工作转移到VPU图像处理单元中进行处理，同时重新定义MCU微处理器和VPU图像处理单元之间的数据传输协议，使得MCU微处理器将毫米波雷达或者超声波雷达数据传输到VPU图像处理单元；
在VPU图像处理单元内部，通过VPU图像处理单元的8颗图形处理核心中的两颗处理器核心，将由另外6颗图形处理核心处理完的图像识别数据与MCU微处理器处传来的雷达数据进行融合，最后将融合完成之后的目标数据回传给MCU微处理器进行决策控制，这样，就将原本由MCU微处理器进行处理的传感器融合工作成功转移到了VPU图像处理单元上进行，从而释放MCU微处理器的算力，从而成功将这部分算力用于处理全自动泊车的轨迹计算和控制，同时在该ECU嵌入式电子控制器内，实现前向智能驾驶辅助和全自动泊车两套***功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010566469.7A CN113815533B (zh) | 2020-06-19 | 2020-06-19 | 前向adas及自动泊车融合控制器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010566469.7A CN113815533B (zh) | 2020-06-19 | 2020-06-19 | 前向adas及自动泊车融合控制器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113815533A true CN113815533A (zh) | 2021-12-21 |
| CN113815533B CN113815533B (zh) | 2023-04-07 |
Family
ID=78911620
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010566469.7A Active CN113815533B (zh) | 2020-06-19 | 2020-06-19 | 前向adas及自动泊车融合控制器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113815533B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114609953A (zh) * | 2022-04-13 | 2022-06-10 | 中国第一汽车股份有限公司 | 一种融合车控控制器***及车辆 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104853972A (zh) * | 2012-11-16 | 2015-08-19 | 英特尔公司 | 利用板载车辆平台中的图像处理支持扩增车辆的adas特征 |
| US20170021839A1 (en) * | 2015-03-02 | 2017-01-26 | Surya Kiran Satyavolu | Methods and systems of algorithmically controlling automotive functions |
| CN106740630A (zh) * | 2016-12-06 | 2017-05-31 | 惠州市德赛西威汽车电子股份有限公司 | 基于adas和ivi的汽车外部主动安全气囊控制***及方法 |
| CN107958224A (zh) * | 2017-12-14 | 2018-04-24 | 智车优行科技（北京）有限公司 | Adas上基于isp的图像预处理***及方法 |
| CN110568852A (zh) * | 2019-10-12 | 2019-12-13 | 深圳市布谷鸟科技有限公司 | 一种自动驾驶***及其控制方法 |
-
2020
- 2020-06-19 CN CN202010566469.7A patent/CN113815533B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104853972A (zh) * | 2012-11-16 | 2015-08-19 | 英特尔公司 | 利用板载车辆平台中的图像处理支持扩增车辆的adas特征 |
| US20170021839A1 (en) * | 2015-03-02 | 2017-01-26 | Surya Kiran Satyavolu | Methods and systems of algorithmically controlling automotive functions |
| CN106740630A (zh) * | 2016-12-06 | 2017-05-31 | 惠州市德赛西威汽车电子股份有限公司 | 基于adas和ivi的汽车外部主动安全气囊控制***及方法 |
| CN107958224A (zh) * | 2017-12-14 | 2018-04-24 | 智车优行科技（北京）有限公司 | Adas上基于isp的图像预处理***及方法 |
| CN110568852A (zh) * | 2019-10-12 | 2019-12-13 | 深圳市布谷鸟科技有限公司 | 一种自动驾驶***及其控制方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114609953A (zh) * | 2022-04-13 | 2022-06-10 | 中国第一汽车股份有限公司 | 一种融合车控控制器***及车辆 |
| CN114609953B (zh) * | 2022-04-13 | 2024-03-26 | 中国第一汽车股份有限公司 | 一种融合车控控制器***及车辆 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113815533B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107614349B (zh) | 车辆控制装置及车辆控制方法 | |
| CN108170126B (zh) | 控制***及汽车 | |
| CN110568852A (zh) | 一种自动驾驶***及其控制方法 | |
| CN110519703A (zh) | 一种矿车无人驾驶*** | |
| CN113479195A (zh) | 用于自动代客泊车的方法和用于执行所述方法的*** | |
| US20180283887A1 (en) | Electric vehicle charging | |
| JP2019137185A (ja) | 車両制御システム、車両制御方法、およびプログラム | |
| US20200271456A1 (en) | Method for the generation of a merged free-space map, electronic control device and storage medium | |
| CN115116257A (zh) | 基于边缘云服务的车辆调度方法、装置、设备及介质 | |
| CN113815533B (zh) | 前向adas及自动泊车融合控制器 | |
| Elshaer et al. | Autonomous car implementation based on CAN bus protocol for IoT applications | |
| CN103021187B (zh) | 一种基于车联网技术的车辆报警方法以及车载终端 | |
| CN112677996A (zh) | 车辆驾驶***和车辆 | |
| WO2020250519A1 (ja) | 外部環境認識装置 | |
| KR102668692B1 (ko) | 차량 제어 시스템 및 차량 제어 방법 | |
| CN114827954A (zh) | 一种车辆节能方法 | |
| CN115314526A (zh) | 用于自车位置识别的***架构、传输方法、车辆、介质及芯片 | |
| CN112861771A (zh) | 一种基于s32k系列芯片的adas域控制方法 | |
| CN214355979U (zh) | 车辆驾驶***和车辆 | |
| US11987266B2 (en) | Distributed processing of vehicle sensor data | |
| CN108549380A (zh) | 一种基于北斗导航技术的自动驾驶装置 | |
| CN110667599A (zh) | 控制装置、控制单元、控制方法及存储介质 | |
| CN114179785B (zh) | 一种基于面向服务的融合泊车控制***、电子设备和车辆 | |
| US20240246561A1 (en) | Server and Operation System | |
| WO2024084552A1 (ja) | 情報処理装置、及び情報処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20221115 Address after: Building 20, Lane 1000, Zhangheng Road, Pudong New Area, Shanghai 200000 Applicant after: MOTOVIS TECHNOLOGY (SHANGHAI) CO.,LTD. Address before: Room 7092, dinglou, 555 Dongchuan Road, Minhang District, Shanghai 200241 Applicant before: SHANGHAI NETCAR TECH LTD. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |