CN113978365A - 全向adas+360°全景融合辅助驾驶***及方法 - Google Patents
全向adas+360°全景融合辅助驾驶***及方法 Download PDFInfo
- Publication number
- CN113978365A CN113978365A CN202111262430.7A CN202111262430A CN113978365A CN 113978365 A CN113978365 A CN 113978365A CN 202111262430 A CN202111262430 A CN 202111262430A CN 113978365 A CN113978365 A CN 113978365A
- Authority
- CN
- China
- Prior art keywords
- adas
- omnidirectional
- panoramic
- paths
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 title claims abstract description 68
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 title claims abstract description 68
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 title claims abstract description 68
- 230000004927 fusion Effects 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 title claims description 10
- 238000004364 calculation method Methods 0.000 claims abstract description 34
- 230000001960 triggered effect Effects 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种全向ADAS+360°全景融合辅助驾驶***,包括:核心板;ADAS摄像模块,所述ADAS摄像模块与所述核心板连接,所述ADAS摄像模块为多个。通过摄像头对车辆周边进行全方位的预警;通过边缘模块加核心模块的架构,使到计算的负荷分布到边缘和核心两个模块,计算速度更快,硬件成本更加优化。
Description
技术领域
本发明涉及辅助驾驶术领域,特别涉及一种全向ADAS+360°全景融合辅助驾驶***及方法。
背景技术
现在智能驾驶辅助***技术还不完善,目前的视觉的ADAS只有单向,即只有前向,对侧面和后面来车的报警,需要通过其他设备,如没有报警功能的凸镜,或者具有报警功能的雷达,***复杂度高。现在汽车技术发展迅速,特别在自动驾驶、远程驾驶的技术发展方向,现有的驾驶辅助***存在全景只能用于展示,无法主动报警,并存在不能实时显示的不足,不能满足现有的技术发展。
发明内容
本发明的主要目的在于提供一种全向ADAS+360°全景融合辅助驾驶***,可以有效解决背景技术中的问题。
为实现上述目的,本发明采取的技术方案为:
一种全向ADAS+360°全景融合辅助驾驶***,包括:
核心板;
ADAS摄像模块,所述ADAS摄像模块与所述核心板连接,所述ADAS摄像模块为多个。
进一步地,所述ADAS摄像模块包括:
边缘计算模块,所述边缘计算模块与核心板电联接,所述边缘计算模块用于对摄入的视频计算输出点云至所述核心板;
摄像头,所述摄像头与所述边缘计算模块电联接。
进一步地,所述ADAS摄像模块为4组或4组以上,分别设于车辆的前、后、左、右。
进一步地,还包括交互模块,所述交互模块至少具有显示屏、扬声器和麦克风,所述显示屏用于显示ADAS计算结果与环视图像融合的全景***视频图像,所述扬声器用于触发ADAS警报时发声警示。
进一步地,单个所述摄像头的拍摄角度大于180°。
进一步地,所述核心板为Xilinx的ZU4EV或者NXP的I.MX8或者高通的SA8155P等型号的核心板。
基于本发明的另一个方面,提供了一种全向ADAS+360°全景融合辅助驾驶方法,包括以下步骤:
4路或4路以上摄像图像信息单独转化成点云;
接收4路或4路以上方向点云数据和4路图像信息,对4路或4路以上方向点云数据进行ADAS算法计算,对4路或4路以上图像信息进行360°拼接算法,合成环视图像;
将ADAS计算结果与环视图像融合并输出到显示屏和扬声器。
进一步地,还包括以下步骤:
当触发ADAS警报时扬声器进行发声警示。
进一步地,还包括以下步骤:
对4路或4路以上图像信息直接进行ADAS和360°拼接算法计算,根据计算结果输出控制信号至车辆控制器。
与现有技术相比,本发明具有如下有益效果:
1.通过摄像头对车辆周边进行全方位的预警;
2.通过边缘模块加核心模块的架构,使到计算的负荷分布到边缘和核心两个模块,计算速度更快,硬件成本更加优化。
附图说明
图1为本发明的一种全向ADAS+360°全景融合辅助驾驶***的结构示意图。
图2为本发明的一种全向ADAS+360°全景融合辅助驾驶***的数据传输流向示意图。
图3为本发明的一种全向ADAS+360°全景融合辅助驾驶***的全景视图示意图。
图4为本发明的一种全向ADAS+360°全景融合辅助驾驶***的摄像模块的安装点位图。
图中:1、核心板;2、边缘计算模块;3、摄像头;4、显示屏;5、扬声器;6、麦克风。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体实施方式,进一步阐述本发明。
如图1-4所示的一种全向ADAS+360°全景融合辅助驾驶***,包括:
核心板1;
ADAS摄像模块,所述ADAS摄像模块与所述核心板1连接,所述ADAS摄像模块为多个,用于提供多个视角范围的数据到核心板进一步计算和拼接。
其中,所述ADAS摄像模块包括:
边缘计算模块2,所述边缘计算模块2与核心板1电联接,所述边缘计算模块2用于对摄入的视频计算输出点云至所述核心板;
摄像头3,所述摄像头3与所述边缘计算模块2电联接。
其中,根据图3图4所示,所述ADAS摄像模块为4组,分别设于车辆的4个角。
其中,还包括交互模块,所述交互模块至少具有显示屏4、扬声器5和麦克风6,所述显示屏4用于显示ADAS计算结果与环视图像融合的全景***视频图像,所述扬声器5用于触发ADAS警报时发声警示。
其中,单个所述摄像头3的拍摄角度大于180°。
其中,所述核心板1为Xilinx的ZU4EV或者NXP的I.MX8或者高通的SA8155P等型号的核心板。
基于本发明的另一个方面,提供了一种全向ADAS+360°全景融合辅助驾驶方法,包括以下步骤:
4路或4路以上摄像图像信息单独转化成点云;
接收4路或4路以上方向点云数据和4路或4路以上图像信息,对4路方向点云数据进行ADAS算法计算,对4路或4路以上图像信息进行360°拼接算法,合成环视图像;
将ADAS计算结果与环视图像融合并输出到显示屏和扬声器。
其中,还包括以下步骤:
当触发ADAS警报时扬声器进行发声警示。
其中,还包括以下步骤:
对4路或4路以上图像信息直接进行ADAS和360°拼接算法计算,根据计算结果输出控制信号至车辆控制器。
针对现有的辅助驾驶缺乏及时性、准确性以及不够全面的缺陷,360°全景ADAS智能驾驶辅助***可以根据车体大小安装4个以上摄像头,每个摄像头角度均大于180°,每个摄像头都能做ADAS功能,每个摄像头都配有一个具备一个边缘计算模块,对摄入的视频计算输出点云。4个摄像头输出的点云都给到核心板,核心板会对4个摄像头输入的点云进一步同时计算,得到最后的结果。可以实现获取到360°驾驶画面,全方位监控。获取到的数据传输到核心板,内嵌算法进行计算将360°图像拼接,得到360°全景图像效果展示在显示屏上。
根据图1和图2所示,4路摄像收集图像信息,分两种情况输出,一种是图像传输到核心板进行360°拼接算法,合成全景视频图像输出,另一种进行边缘计算转化成点云可到到核心板,4路方向点云数据同时进行ADAS算法计算。ADAS计算结果与环视图像融合输出到显示屏和扬声器上,显示屏可直观看到全景***视频图像,当触发ADAS警报时扬声器发声警示。同时摄像头将获取到的原视频流直接给到核心板进行ADAS计算以及360°算法计算,计算结果可得出控制信号给到车辆控制器,紧急情况时可实现紧急自动辅助驾驶。所以摄像头可独立做多种驾驶辅助功能,同时将车身全方位的摄像图像信息实时的显示到显示屏上,驾驶员可以实时的看到车辆驾驶周边情况,紧急情况下自动启动辅助驾驶实现紧急避让等功能。
通过360°全景ADAS智能驾驶辅助***可以获取到360°全景驾驶视频画面,车辆驾驶路况一清二楚。***里面的每个摄像头都有ADAS算法,可以更快更清晰的获取图像信息,同时可实现异常检测自动报警、车距检测及报警、车辆检测VD、行人检测PED、行人保护***、驾驶员驾驶检测、盲点探测等功能,达到行人及时保护,对驾驶员时刻监控并警示、对车辆物品及时躲避等等效果,达到车辆驾驶更安全的效果。对比现在的独立***,***的优点是:
1.能通过摄像头对车辆周边进行全方位的预警;
2.通过边缘模块+核心模块的架构,使到计算的负荷分布到边缘和核心两个模块,计算速度更快,硬件成本更加优化。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (10)
1.一种全向ADAS+360°全景融合辅助驾驶***,其特征在于,包括:
核心板;
ADAS摄像模块,所述ADAS摄像模块与所述核心板连接,所述ADAS摄像模块为多个。
2.根据权利要求1所述的全向ADAS+360°全景融合辅助驾驶***,其特征在于,所述ADAS摄像模块包括:
边缘计算模块,所述边缘计算模块与核心板电联接,所述边缘计算模块用于对摄入的视频计算输出点云至所述核心板;
摄像头,所述摄像头与所述边缘计算模块电联接。
3.根据权利要求2所述的全向ADAS+360°全景融合辅助驾驶***,其特征在于,所述ADAS摄像模块为4组或4组以上。
4.根据权利要求2所述的全向ADAS+360°全景融合辅助驾驶***,其特征在于,还包括交互模块,所述交互模块至少具有显示屏、扬声器和麦克风,所述显示屏用于显示ADAS计算结果与环视图像融合的全景***视频图像,所述扬声器用于触发ADAS警报时发声警示。
5.根据权利要求2所述的全向ADAS+360°全景融合辅助驾驶***,其特征在于,所述核心板为Xilinx的ZU4EV或者NXP的I.MX8或者高通的SA8155P等型号的核心板。
6.根据权利要求2所述的全向ADAS+360°全景融合辅助驾驶***,其特征在于,单个所述摄像头的拍摄角度大于180°。
7.根据权利要求2所述的全向ADAS+360°全景融合辅助驾驶***,其特征在于,所述核心板为Xilinx的ZU4EV或者NXP的I.MX8或者高通的SA8155P等型号的核心板。
8.一种全向ADAS+360°全景融合辅助驾驶方法,其特征在于,包括以下步骤:
4路或4路以上摄像图像信息单独转化成点云;
接收4路或4路以上图像点云数据和4路或4路以上图像信息,对4路或4路以上图像点云数据进行ADAS算法计算,对4路或4路以上图像信息进行360°拼接算法,合成环视图像;
将ADAS计算结果与环视图像融合并输出到显示屏和扬声器。
9.根据权利要求8所述的全向ADAS+360°全景融合辅助驾驶方法,其特征在于,还包括以下步骤:
当触发ADAS警报时扬声器进行发声警示。
10.根据权利要求8所述的全向ADAS+360°全景融合辅助驾驶方法,其特征在于,还包括以下步骤:
对4路或4路以上图像信息直接进行ADAS和360°拼接算法计算,根据计算结果输出控制信号至车辆控制器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111262430.7A CN113978365A (zh) | 2021-10-28 | 2021-10-28 | 全向adas+360°全景融合辅助驾驶***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111262430.7A CN113978365A (zh) | 2021-10-28 | 2021-10-28 | 全向adas+360°全景融合辅助驾驶***及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113978365A true CN113978365A (zh) | 2022-01-28 |
Family
ID=79743322
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111262430.7A Pending CN113978365A (zh) | 2021-10-28 | 2021-10-28 | 全向adas+360°全景融合辅助驾驶***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113978365A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180020160A1 (en) * | 2016-07-18 | 2018-01-18 | Suyin Optronics Corp. | 360-degree panoramic camera module and device |
CN109109790A (zh) * | 2018-08-29 | 2019-01-01 | 广东卡仕达电子科技有限公司 | 一种360°全景泊车辅助***及其语音控制方法 |
CN109435852A (zh) * | 2018-11-08 | 2019-03-08 | 湖北工业大学 | 一种针对大型卡车的全景式辅助驾驶***及方法 |
CN109581931A (zh) * | 2018-12-19 | 2019-04-05 | 广州路派电子科技有限公司 | 一种用于全景环视***的控制器*** |
CN209089078U (zh) * | 2018-09-26 | 2019-07-09 | 福州大学 | 一种面向大型客车的嵌入式六路全景*** |
CN111559314A (zh) * | 2020-04-27 | 2020-08-21 | 长沙立中汽车设计开发股份有限公司 | 深度与图像信息融合的3d增强全景环视***及实现方法 |
CN112954281A (zh) * | 2019-12-10 | 2021-06-11 | 通用汽车环球科技运作有限责任公司 | 在配备有驾驶辅助***的车辆中使用偏振相机生成三维点云 |
-
2021
- 2021-10-28 CN CN202111262430.7A patent/CN113978365A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180020160A1 (en) * | 2016-07-18 | 2018-01-18 | Suyin Optronics Corp. | 360-degree panoramic camera module and device |
CN109109790A (zh) * | 2018-08-29 | 2019-01-01 | 广东卡仕达电子科技有限公司 | 一种360°全景泊车辅助***及其语音控制方法 |
CN209089078U (zh) * | 2018-09-26 | 2019-07-09 | 福州大学 | 一种面向大型客车的嵌入式六路全景*** |
CN109435852A (zh) * | 2018-11-08 | 2019-03-08 | 湖北工业大学 | 一种针对大型卡车的全景式辅助驾驶***及方法 |
CN109581931A (zh) * | 2018-12-19 | 2019-04-05 | 广州路派电子科技有限公司 | 一种用于全景环视***的控制器*** |
CN112954281A (zh) * | 2019-12-10 | 2021-06-11 | 通用汽车环球科技运作有限责任公司 | 在配备有驾驶辅助***的车辆中使用偏振相机生成三维点云 |
CN111559314A (zh) * | 2020-04-27 | 2020-08-21 | 长沙立中汽车设计开发股份有限公司 | 深度与图像信息融合的3d增强全景环视***及实现方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109435852B (zh) | 一种针对大型卡车的全景式辅助驾驶***及方法 | |
CN103679838A (zh) | 车辆监控***及方法 | |
CN110371140B (zh) | 一种基于全景环视图像处理的车门开启预警***及方法 | |
JP5495071B2 (ja) | 車両周辺監視装置 | |
TWM593949U (zh) | 用於車輛之影像整合警示系統 | |
US20140184737A1 (en) | Driving assistant system and method | |
US11708032B2 (en) | Driving support device | |
TW201425105A (zh) | 泊車輔助系統及方法 | |
CN103241172A (zh) | 一种汽车全景监视*** | |
CN102442249A (zh) | 全景汽车行驶实景监视*** | |
JP5500392B2 (ja) | 車両周辺監視装置 | |
US8213683B2 (en) | Driving support system with plural dimension processing units | |
CN112001266B (zh) | 一种大型无人运输车监控方法及*** | |
CN113978365A (zh) | 全向adas+360°全景融合辅助驾驶***及方法 | |
CN216331763U (zh) | 一种集成全景功能和bsd功能的智能汽车电子后视镜设备 | |
CN207637310U (zh) | 车辆周围移动物体的检测报警装置 | |
CN202923503U (zh) | 一种多输出模式的全景辅助泊车*** | |
CN212324233U (zh) | 一种全地域覆盖的车载周视监测*** | |
CN209290277U (zh) | 辅助驾驶*** | |
TWI626605B (zh) | 影像式車輛防撞模組的測試裝置以及測試方法 | |
CN113301271A (zh) | 一种域控制器显示方法 | |
CN112507850A (zh) | 一种用于基于计算机视觉的防止车辆碰撞的提醒方法 | |
CN112216067A (zh) | 一种基于车载广角相机的图像处理方法 | |
CN219667976U (zh) | 一种带限速控制的车辆安全辅助驾驶*** | |
TWM479253U (zh) | 車用影像安全系統 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |